029. Badanie pilotażowe – po co je wykonywać i co powinno sprawdzać?

Badanie pilotażowe jest etapem poprzedzającym większy projekt badawczy albo jego częścią. Nie służy przede wszystkim do uzyskania ostatecznej odpowiedzi na pytanie, czy interwencja działa. Jego zadaniem jest sprawdzenie, czy zaplanowane badanie da się przeprowadzić zgodnie z protokołem, czy narzędzia i procedury działają w praktyce oraz jakie zmiany trzeba wprowadzić przed rozpoczęciem badania głównego. Dobrze zaprojektowany pilotaż ogranicza ryzyko zmarnowania czasu, środków i zaangażowania uczestników.

W tej lekcji, będącej częścią publicznego szkolenia metodologii badań i statystyki na statystyk.edu.pl, odróżnimy badanie pilotażowe od badania wstępnego, badania eksploracyjnego i badania typu proof of concept. Najważniejsze będzie jednak praktyczne pytanie: co konkretnie powinien sprawdzać pilotaż, aby jego wyniki mogły wpłynąć na decyzję o badaniu właściwym?

Czym jest badanie pilotażowe?

Badanie pilotażowe to zaplanowane, zwykle mniejsze badanie, które ma ocenić wykonalność przyszłego projektu lub jego kluczowych elementów. W literaturze terminy „pilot study” i „feasibility study” bywają stosowane zamiennie, choć można przyjąć użyteczne rozróżnienie: badanie wykonalności odpowiada na pytanie, czy przyszły projekt można przeprowadzić, natomiast badanie pilotażowe jest jego mniejszą, praktyczną próbą, w której realizuje się część lub całość procedur planowanego badania głównego (Thabane et al., 2010; Eldridge et al., 2016).

Pilotaż może poprzedzać różne typy badań:

• randomizowane badanie kliniczne;
• badanie kohortowe lub obserwacyjne;
• badanie ankietowe;
• badanie psychologiczne z użyciem testów lub zadań eksperymentalnych;
• badanie jakościowe lub mieszane;
• projekt dotyczący organizacji świadczeń zdrowotnych albo wdrażania procedury.

Rozmiar pilotażu nie jest jednak wystarczającym kryterium jego rozpoznania. Małe badanie bez jasno określonego celu nie staje się pilotażem tylko dlatego, że uczestniczyło w nim niewiele osób. O charakterze pilotażu decydują przede wszystkim jego cele metodologiczne, zaplanowane kryteria powodzenia i sposób wykorzystania wyników.

Po co wykonuje się pilotaż?

1. Ocena możliwości rekrutacji

Jednym z podstawowych celów jest sprawdzenie, czy można pozyskać odpowiednią liczbę uczestników w założonym czasie. Na etapie planowania badacz może oszacować liczbę potencjalnych pacjentów na podstawie danych administracyjnych, ale nie zawsze wie, ilu z nich spełni kryteria włączenia, wyrazi zgodę i rzeczywiście pozostanie w badaniu.

W pilotażu można obserwować między innymi:

• liczbę osób ocenionych pod kątem kwalifikacji;
• odsetek osób spełniających kryteria;
• odsetek odmów udziału;
• czas potrzebny na włączenie jednej osoby;
• różnice w rekrutacji między ośrodkami;
• przyczyny rezygnacji z udziału.

Jeżeli w pilotażu udaje się włączyć średnio 3 osoby miesięcznie, a badanie główne wymaga 240 uczestników w ciągu 12 miesięcy, problem nie polega na „braku istotności statystycznej”. Problem dotyczy wykonalności organizacyjnej i wymaga zmiany protokołu, wydłużenia rekrutacji, zwiększenia liczby ośrodków albo redefinicji kryteriów — o ile jest to uzasadnione naukowo.

2. Sprawdzenie akceptowalności procedur

Procedura może być poprawna teoretycznie, lecz trudna do zaakceptowania przez uczestników lub personel. Dotyczy to na przykład pobierania krwi, wielokrotnych wizyt, noszenia urządzenia monitorującego, prowadzenia dzienniczka objawów albo wykonywania długiego testu psychologicznego.

Pilotaż powinien ujawnić, czy uczestnicy rozumieją instrukcje, ile czasu zajmuje wykonanie procedury, czy obciążenie jest akceptowalne oraz czy występują nieprzewidziane problemy praktyczne. Warto zbierać zarówno dane liczbowe, jak i informacje jakościowe: krótkie wywiady, komentarze uczestników i uwagi personelu.

3. Ocena kompletności i jakości pomiarów

Badacz powinien sprawdzić, czy narzędzia generują dane, które można później analizować. Dotyczy to między innymi:

• odsetka brakujących odpowiedzi;
• liczby nieprawidłowo wypełnionych formularzy;
• częstości błędów w dokumentacji;
• powtarzalności pomiarów;
• czasu między pomiarem a wprowadzeniem danych do bazy;
• zgodności procedury między badaczami lub ośrodkami.

Jeżeli 35% uczestników pomija pytania dotyczące objawów, nie należy po prostu „przemilczeć” tego problemu. Trzeba ustalić, czy pytania są niezrozumiałe, zbyt osobiste, źle umieszczone w ankiecie albo niedostosowane do populacji.

4. Sprawdzenie działania procedury randomizacji i zaślepienia

W pilotażu randomizowanego badania klinicznego można ocenić, czy personel rozumie sposób przydziału do grup, czy system alokacji działa prawidłowo oraz czy zaplanowane zaślepienie jest możliwe do utrzymania. Należy także monitorować bezpieczeństwo interwencji i kompletność obserwacji.

Nie należy jednak wykorzystywać pilotażu do nieformalnego „testowania”, która grupa wygląda na lepszą, zwłaszcza gdy próba jest mała. Takie porównania są zazwyczaj bardzo nieprecyzyjne i mogą prowadzić do przedwczesnych, mylących wniosków o skuteczności.

5. Oszacowanie parametrów potrzebnych do planowania badania głównego

Pilotaż może dostarczyć informacji o zmienności wyniku, odsetku zdarzeń, częstości rezygnacji lub korelacji pomiarów powtarzanych. Parametry te mogą być pomocne przy planowaniu liczebności próby, ale należy zachować ostrożność. Oszacowania z małego pilotażu są obarczone dużą niepewnością i nie powinny być traktowane jako precyzyjne wartości populacyjne.

Dla porównania dwóch średnich często stosuje się zależność, w której liczebność zależy między innymi od wariancji wyniku i oczekiwanej różnicy:

n ≈ 2 × (z1−α/2 + z1−β)2 × σ2 / Δ2

• n — orientacyjna liczba uczestników w jednej grupie;
• α — przyjęty poziom błędu pierwszego rodzaju;
• β — prawdopodobieństwo błędu drugiego rodzaju;
• 1−β — moc statystyczna;
• σ — odchylenie standardowe wyniku;
• Δ — różnica, którą badacz uznaje za istotną praktycznie lub klinicznie;
• z — odpowiedni kwantyl standardowego rozkładu normalnego.

W praktyce pilotaż pomaga lepiej ocenić σ i możliwy odsetek braków danych, ale nie powinien służyć do „wyliczenia” skuteczności na podstawie przypadkowej różnicy między grupami. Wielkość efektu zaobserwowana w pilotażu może być niestabilna, a przedział ufności — szeroki.

Co pilotaż powinien sprawdzać?

Przed rozpoczęciem badania należy sporządzić listę pytań wykonalności. Każde pytanie powinno mieć sposób pomiaru i, jeśli to możliwe, wcześniej ustalone kryterium decyzji.

Obszar	Przykładowe pytanie	Możliwy wskaźnik
Rekrutacja	Czy można pozyskać uczestników?	Liczba włączeń miesięcznie
Retencja	Czy uczestnicy pozostają w badaniu?	Odsetek osób z pełną obserwacją
Pomiar	Czy narzędzie jest zrozumiałe i kompletne?	Odsetek brakujących odpowiedzi
Procedura	Czy personel wykonuje ją jednolicie?	Zgodność z checklistą
Bezpieczeństwo	Czy występują nieakceptowalne działania niepożądane?	Liczba i ciężkość zdarzeń
Organizacja	Czy przepływ danych działa poprawnie?	Czas i liczba korekt w bazie

Przydatne jest ustanowienie trzech stref decyzji: zielonej — można przejść do badania głównego bez istotnych zmian; żółtej — potrzebne są modyfikacje i ponowna ocena; oraz czerwonej — projekt w obecnej postaci nie powinien być kontynuowany. Granice tych stref muszą wynikać z charakteru badania, a nie z uniwersalnej, przypadkowej reguły.

Przykład 1: pilotaż badania klinicznego

Zespół planuje randomizowane badanie programu edukacyjnego dla pacjentów po zawale serca. Interwencja obejmuje cztery spotkania, aplikację do monitorowania aktywności i pomiar jakości życia po 12 tygodniach.

Celem pilotażu nie jest udowodnienie, że program zmniejsza ryzyko kolejnego zdarzenia sercowo-naczyniowego. Cele są następujące:

1. sprawdzenie, czy jeden ośrodek może rekrutować co najmniej 5 pacjentów miesięcznie;
2. ocena, czy pacjenci uczestniczą w co najmniej trzech z czterech spotkań;
3. sprawdzenie, czy aplikacja przekazuje dane bez przerw dłuższych niż 48 godzin;
4. oszacowanie odsetka pacjentów, którzy ukończą pomiar jakości życia;
5. identyfikacja problemów związanych z transportem, terminami wizyt i obciążeniem personelu.

Załóżmy, że pilotaż wykazał dobrą frekwencję, lecz 40% uczestników nie korzystało z aplikacji. Wniosek nie powinien brzmieć: „interwencja jest nieskuteczna”. Trafniejszy wniosek brzmi: „obecny sposób cyfrowego monitorowania jest niewykonalny dla znacznej części populacji; przed badaniem głównym należy uprościć aplikację lub wprowadzić alternatywny dzienniczek telefoniczny”.

Przykład 2: pilotaż ankiety w zdrowiu publicznym

Badacz chce oszacować rozpowszechnienie bezsenności wśród pielęgniarek pracujących zmianowo. Przygotował ankietę internetową zawierającą metryczkę, pytania o grafik pracy, skalę objawów bezsenności i pytania o korzystanie z pomocy medycznej.

W pilotażu uczestniczy 25 pielęgniarek z dwóch oddziałów. Oceniane są: czas wypełniania, zrozumiałość pytań, odsetek przerwanych ankiet oraz pytania, które generują wiele odpowiedzi „nie wiem” lub „nie dotyczy”.

Jeżeli średni czas wynosi 18 minut, a wiele osób przerywa ankietę przy pytaniach o zdrowie psychiczne, badacz może skrócić formularz, poprawić instrukcje i wyjaśnić zasady poufności. Pilotaż nie daje jeszcze wiarygodnego oszacowania rozpowszechnienia bezsenności w całej populacji pielęgniarek, ponieważ jego próba jest mała i może być niereprezentatywna.

Analiza przypadku: kiedy pilotaż prowadzi do zmiany protokołu?

W badaniu psychologicznym planowano trzy pomiary poziomu lęku: przed interwencją, bezpośrednio po niej i po miesiącu. Pilotaż wykazał, że pomiar bezpośrednio po sesji wykonywano w bardzo różnych odstępach czasu — od 5 do 45 minut. Ponadto część uczestników nie rozumiała, czy odpowiadać na pytania dotyczące stanu „w tej chwili”, czy całego dnia.

Najwłaściwszą reakcją jest standaryzacja procedury: określenie przedziału czasowego, dodanie jednoznacznej instrukcji i przeszkolenie osób prowadzących pomiar. Można także rozważyć rejestrację dokładnego czasu zakończenia sesji i rozpoczęcia pomiaru. W ten sposób pilotaż poprawia trafność i porównywalność danych, zamiast dostarczać pozornie precyzyjnych, lecz metodologicznie niejednorodnych wyników.

Czego pilotaż nie powinien rozstrzygać?

Pilotaż zwykle nie ma wystarczającej mocy do wiarygodnego testowania niewielkich różnic w skuteczności. Dlatego nie należy traktować wartości p jako prawdopodobieństwa prawdziwości hipotezy zerowej ani jako samodzielnego kryterium przejścia do badania głównego. Brak istotności statystycznej w małej próbie nie dowodzi braku efektu, a istotność może być przypadkowa.

Wyniki pilotażu należy interpretować przede wszystkim przez pryzmat celów wykonalności, precyzji oszacowań, bezpieczeństwa, kompletności danych i uzgodnionych kryteriów progresji. Jeżeli analizuje się wyniki kliniczne, można przedstawić statystyki opisowe i przedziały ufności, ale trzeba jasno zaznaczyć eksploracyjny i nieostateczny charakter tych analiz (Lancaster, Dodd i Williamson, 2004; Eldridge et al., 2016).

Najczęstsze błędy

• Używanie słowa „pilotaż” bez określenia celu. Małe badanie powinno mieć jasno opisane pytania dotyczące wykonalności.
• Traktowanie pilotażu jako miniaturowego badania głównego. Pomniejszenie próby nie wystarczy; trzeba zmienić akcent z oceny skuteczności na ocenę możliwości realizacji.
• Wyciąganie wniosków o skuteczności na podstawie wartości p. Mała liczebność zwykle oznacza niską moc i szerokie przedziały ufności.
• Brak kryteriów progresji. Przed rozpoczęciem należy ustalić, jakie wyniki oznaczają kontynuację, modyfikację albo rezygnację.
• Wybór uczestników wyłącznie dlatego, że są łatwo dostępni. Pilotaż nie musi być reprezentatywny dla wszystkich cech populacji, ale powinien obejmować warunki i grupy, które mogą ujawnić problemy z procedurą.
• Brak dokumentowania zmian. Każda modyfikacja narzędzia, procedury lub kryteriów powinna być opisana i uzasadniona.
• Nieuwzględnianie etyki. Uczestnicy muszą wiedzieć, że biorą udział w badaniu pilotażowym, a procedury wymagają odpowiedniej oceny etycznej.
• Kontynuowanie projektu mimo sygnałów o nieakceptowalnym ryzyku. Problemy bezpieczeństwa mają pierwszeństwo przed ambicją realizacji projektu.

Jak zaplanować dobry pilotaż?

1. Sformułuj główne pytanie dotyczące wykonalności.
2. Wypisz procedury, które w praktyce mogą zawieść.
3. Ustal mierzalne wskaźniki, na przykład czas rekrutacji, odsetek braków lub retencję.
4. Określ kryteria progresji przed rozpoczęciem zbierania danych.
5. Zaprojektuj sposób rejestrowania problemów i odstępstw od protokołu.
6. Ustal, które elementy można modyfikować po pilotażu, a które muszą pozostać niezmienione.
7. Zaplanować analizę opisową, a nie selektywne poszukiwanie „istotnych” wyników.
8. Po zakończeniu pilotażu podejmij formalną decyzję: kontynuować, zmodyfikować, powtórzyć pilotaż czy zakończyć projekt.

Jeżeli pilotaż jest randomizowany, jego raportowanie powinno uwzględniać rozszerzenie CONSORT dotyczące randomizowanych badań pilotażowych i wykonalności. Dla badań nierandomizowanych pomocne są zasady opisane przez Lancaster i Thabane (2019), a także odpowiednie wytyczne raportowania dostępne w bazie EQUATOR. Wytyczne raportowania warto wykorzystać już na etapie planowania, nie dopiero podczas pisania artykułu.

Co warto zapamiętać?

• Badanie pilotażowe służy przede wszystkim ocenie wykonalności, a nie ostatecznemu potwierdzeniu skuteczności.
• Powinno sprawdzać rekrutację, retencję, akceptowalność, bezpieczeństwo, jakość pomiarów, działanie procedur i przepływ danych.
• Każdy cel pilotażu powinien mieć odpowiadający mu wskaźnik oraz, najlepiej, wcześniej określone kryterium powodzenia.
• Wyniki pilotażu mogą pomóc zaplanować liczebność próby, ale nie należy bezkrytycznie traktować oszacowań z małej próby jako stabilnych parametrów populacji.
• Brak istotności statystycznej w pilotażu nie dowodzi braku efektu, a istotność statystyczna nie zastępuje oceny wykonalności i znaczenia praktycznego.
• Największą wartością pilotażu jest możliwość wprowadzenia uzasadnionych zmian przed rozpoczęciem kosztownego i obciążającego badania głównego.

W następnym etapie procesu badawczego warto traktować pilotaż jako narzędzie uczenia się o własnym projekcie. Nie jest on formalnością ani „małym badaniem z obowiązku”, lecz kontrolowaną próbą sprawdzenia, czy założenia protokołu wytrzymują konfrontację z rzeczywistością.

\n

Źródła i dalsza lektura

\n

1. Thabane, L.; Ma, J.; Chu, R.; Cheng, J.; Ismaila, A.; Rios, L. P.; Robson, R.; Thabane, M.; Giangregorio, L.; Goldsmith, C. H. (2010). A tutorial on pilot studies: the what, why and how. BMC Medical Research Methodology, 10, 1. DOI: 10.1186/1471-2288-10-1.
2. Lancaster, G. A.; Dodd, S.; Williamson, P. R. (2004). Design and analysis of pilot studies: recommendations for good practice. Journal of Evaluation in Clinical Practice, 10(2), 307–312. DOI: 10.1111/j.2002.384.doc.x.
3. Eldridge, S. M.; Chan, C. L.; Campbell, M. J.; Bond, C. M.; Hopewell, S.; Thabane, L.; Lancaster, G. A.; on behalf of the PAFS consensus group (2016). CONSORT 2010 statement: extension to randomised pilot and feasibility trials. BMJ, 355, i5239. DOI: 10.1136/bmj.i5239.
4. Lancaster, G. A.; Thabane, L. (2019). Guidelines for reporting non-randomised pilot and feasibility studies. Pilot and Feasibility Studies, 5, 114. DOI: 10.1186/s40814-019-0499-1.
5. EQUATOR Network (2026). Reporting guidelines for health research. EQUATOR Network. EQUATOR Network. Źródło.

\n