050. Jak sprawdzić, czy cel badania jest możliwy do osiągnięcia przy danym projekcie?

Cel badania może być ważny, interesujący i dobrze sformułowany, a mimo to niemożliwy do osiągnięcia przy zastosowanym projekcie. Dzieje się tak wtedy, gdy badacz chce wyciągać wnioski, których nie pozwalają uzasadnić: dobór uczestników, sposób pomiaru, czas obserwacji, liczebność próby albo plan analizy. W tej lekcji uczymy się sprawdzać nie tylko, czy cel brzmi poprawnie, lecz także, czy projekt rzeczywiście dostarcza danych potrzebnych do jego realizacji. Jest to naturalne rozwinięcie wcześniejszych lekcji kursu publicznego na statystyka.edu.pl dotyczących tematów, problemów i celów badawczych.

1. Cel badania a wykonalność celu

Wykonalność celu badania oznacza możliwość uzyskania danych, które pozwolą odpowiedzieć na pytanie badawcze w sposób zgodny z zakresem zaplanowanego wnioskowania. Nie chodzi wyłącznie o to, czy da się zebrać jakiekolwiek dane. Trzeba ustalić, czy będą one wystarczająco trafne, kompletne, porównywalne i liczne, aby uzasadnić konkretny rodzaj wniosku.

Przykładowo cel „ocenić skuteczność programu edukacyjnego w zapobieganiu wypaleniu zawodowemu pielęgniarek” wymaga innego projektu niż cel „opisać poziom wypalenia zawodowego wśród pielęgniarek”. Pierwszy cel zakłada ocenę zmiany przypisywanej programowi, a więc wymaga co najmniej pomiaru przed i po interwencji oraz rozwiązania problemu grupy porównawczej. Drugi może być zrealizowany w badaniu przekrojowym, ale takie badanie nie wystarcza do oceny skuteczności programu.

Ocena wykonalności powinna poprzedzać ostateczne zatwierdzenie protokołu. Jeżeli projekt nie pozwala na osiągnięcie celu, należy zmienić cel, projekt albo oba elementy. Nie należy natomiast „ratować” niespójności dopiero na etapie interpretacji wyników.

2. Zasada zgodności: cel–projekt–dane–wniosek

Najprościej sprawdzać wykonalność, analizując cztery ogniwa:

1. Cel – co dokładnie chcemy ustalić?
2. Projekt – jaki schemat badania zastosowano?
3. Dane – jakie obserwacje i pomiary zostaną uzyskane?
4. Wniosek – jaki typ twierdzenia można uzasadnić?

Każde ogniwo powinno odpowiadać poprzedniemu. Cel opisowy wymaga danych pozwalających opisać zjawisko. Cel porównawczy wymaga co najmniej dwóch sensownie zdefiniowanych grup lub warunków. Cel zależnościowy wymaga pomiaru obu zmiennych u tych samych jednostek albo uzasadnionego połączenia danych. Cel przyczynowy wymaga projektu i kontroli zakłóceń, które pozwalają rozważać wpływ jednej zmiennej na drugą.

W badaniu obserwacyjnym można analizować związek między aktywnością fizyczną a jakością snu, ale ostrożnie należy formułować wniosek: „wyższy poziom aktywności wiązał się z lepszą jakością snu”. Nie powinno się automatycznie pisać, że aktywność fizyczna poprawiła sen. Sam związek statystyczny nie rozstrzyga o kierunku przyczynowości ani o wpływie zmiennych zakłócających.

3. Sześć pytań kontrolnych dotyczących wykonalności

3.1. Czy populacja i próba odpowiadają celowi?

Najpierw trzeba ustalić, kogo dotyczy cel, a następnie sprawdzić, kto rzeczywiście może zostać włączony do badania. Jeżeli celem jest ocena częstości depresji wśród wszystkich studentów w kraju, próba z jednej uczelni nie daje automatycznie podstaw do tak szerokiego uogólnienia. Może natomiast pozwolić opisać studentów tej uczelni albo oszacować zależności w podobnie zdefiniowanej populacji.

Należy ocenić kryteria włączenia i wyłączenia, sposób rekrutacji, ryzyko selekcji oraz reprezentatywność. Reprezentatywność nie jest cechą deklarowaną przez badacza, lecz wnioskiem zależnym od procedury doboru i zakresu uogólnienia.

3.2. Czy projekt dostarcza właściwego rodzaju porównania?

Cel „porównać skuteczność dwóch metod opatrywania ran” wymaga porównania grup otrzymujących różne metody. Jeżeli wszyscy pacjenci otrzymują tę samą metodę, można opisać przebieg gojenia, ale nie można bez dodatkowych założeń ocenić, która metoda jest skuteczniejsza.

W badaniach eksperymentalnych ważne są między innymi: przydział do grup, kolejność pomiarów, zaślepienie, standard postępowania i kontrola współinterwencji. W badaniach obserwacyjnych należy rozważyć, czy grupy różnią się także pod względem wieku, ciężkości stanu zdrowia, dostępu do opieki lub innych czynników.

3.3. Czy zmienne są mierzalne i wystarczająco trafne?

Cel może być niewykonalny nie dlatego, że brakuje uczestników, lecz dlatego, że główne pojęcie nie zostało prawidłowo zoperacjonalizowane. „Dobrostan psychiczny”, „jakość opieki” czy „sprawność funkcjonalna” nie są jeszcze zmiennymi gotowymi do analizy. Trzeba wskazać narzędzie, sposób obliczenia wyniku, moment pomiaru i regułę interpretacji.

Jeżeli badacz chce ocenić zmianę lęku po interwencji, powinien użyć narzędzia o znanych właściwościach pomiarowych i zastosować je w porównywalnych warunkach przed oraz po interwencji. Pojedyncze, niezwalidowane pytanie może być wystarczające dla celu eksploracyjnego, lecz może nie wystarczyć do precyzyjnej oceny skuteczności klinicznej.

3.4. Czy czas obserwacji jest odpowiedni?

Projekt powinien obejmować okres, w którym może wystąpić zjawisko będące przedmiotem celu. Badanie wpływu krótkiej edukacji na poziom wiedzy można zakończyć bezpośrednio po zajęciach, ale badanie wpływu edukacji na zachowania zdrowotne wymaga dłuższej obserwacji. Z kolei ocena nawrotów choroby wymaga czasu umożliwiającego zaobserwowanie odpowiedniej liczby zdarzeń.

Trzeba uwzględnić także terminy pomiarów, utratę uczestników w obserwacji oraz sezonowość. Cel sformułowany jako „ocenić utrzymanie efektu po sześciu miesiącach” jest niewykonalny, jeżeli obserwacja kończy się po czterech tygodniach.

3.5. Czy liczebność próby jest wystarczająca dla tego celu?

Liczebność próby należy wiązać z głównym celem, a nie z ogólnym przekonaniem, że „większa próba zawsze będzie lepsza”. W badaniu potwierdzającym hipotezę liczebność często planuje się na podstawie oczekiwanej wielkości efektu, poziomu alfa, mocy statystycznej, wariancji i przewidywanej utraty obserwacji. W badaniu opisowym można koncentrować się na precyzji oszacowania, na przykład szerokości przedziału ufności.

Ogólny zapis zależności dotyczącej marginesu błędu dla proporcji ma postać:

ME = z1−α/2 · √[p(1−p)/n]

• ME – maksymalny planowany margines błędu oszacowania proporcji;
• z1−α/2 – odpowiedni kwantyl standardowego rozkładu normalnego;
• p – przewidywana proporcja w populacji;
• n – liczebność próby;
• α – przyjęty poziom niepewności związany z przedziałem ufności.

Wzór jest uproszczeniem i wymaga odpowiedniego schematu doboru próby. Nie zastępuje pełnego planowania, zwłaszcza gdy występuje klastrowanie, ważenie, nierównoliczne grupy lub złożony model statystyczny. W badaniach pilotażowych celem zwykle nie jest wiarygodne wykazanie skuteczności, lecz ocena procedur, rekrutacji, retencji, akceptowalności i jakości pomiaru. Dobór próby powinien wtedy wynikać z tych celów wykonalności, a nie z mechanicznego stosowania reguły „10 osób na grupę” (Thabane et al., 2010; Eldridge et al., 2016).

3.6. Czy plan analizy odpowiada celowi?

Cel i analiza muszą być określone w tej samej logice. Dla celu opisowego odpowiednie mogą być częstości, miary położenia, miary zmienności i przedziały ufności. Dla celu porównawczego potrzebne są jasno określone grupy, wynik główny i miara różnicy. Dla celu zależnościowego należy wskazać zmienne, kierunek analizy i ewentualne zmienne zakłócające. Dla celu predykcyjnego trzeba określić, czy chodzi o wyjaśnianie zależności, czy o przewidywanie nowych obserwacji.

Nie należy zaczynać od wyboru testu, a dopiero potem dopasowywać do niego cel. Najpierw określa się pytanie, wynik główny, populację i schemat, a dopiero następnie metodę analizy. Wynik testu statystycznego nie zastępuje oceny wielkości efektu, jego przedziału ufności i znaczenia praktycznego.

4. Macierz wykonalności celu

Praktycznym narzędziem jest krótka macierz, którą można przygotować przed rozpoczęciem badania.

Element	Pytanie kontrolne	Przykładowy dowód wykonalności
Cel	Co ma zostać ustalone?	Jednoznaczny wynik główny i określona populacja
Projekt	Czy schemat umożliwia taki wniosek?	Pomiar przed–po i grupa porównawcza dla oceny efektu interwencji
Pomiar	Czy zmienne można wiarygodnie zmierzyć?	Wystandaryzowane, odpowiednie narzędzie
Próba	Czy można dotrzeć do wystarczającej liczby osób?	Realistyczny rejestr potencjalnych uczestników
Czas	Czy obserwacja obejmie istotny okres?	Pomiar w terminie zgodnym z mechanizmem zjawiska
Analiza	Czy planowana analiza odpowie na cel?	Z góry określona miara efektu i sposób interpretacji

Jeżeli przy którymkolwiek elemencie odpowiedź brzmi „nie wiem”, cel nie jest jeszcze dostatecznie zabezpieczony metodologicznie. „Nie wiem” nie oznacza automatycznie, że badania nie można wykonać, lecz wskazuje obszar wymagający pilotażu, konsultacji lub zmiany protokołu.

5. Przykład praktyczny: program edukacyjny dla ratowników medycznych

Załóżmy, że zespół formułuje cel: „ocenić wpływ szkolenia z komunikacji z rodziną pacjenta na stres ratowników medycznych”. Zaplanowano jednorazową ankietę internetową przeprowadzoną wśród 80 ratowników, którzy sami zgłosili udział. Ankieta zawiera pytania o to, czy uczestniczyli w szkoleniu, oraz jednorazową skalę stresu.

Ten projekt może pozwolić opisać poziom stresu i porównać osoby deklarujące udział w szkoleniu z osobami bez takiego udziału. Nie pozwala jednak bezpiecznie ocenić wpływu szkolenia. Nie wiadomo, czy pomiar stresu poprzedzał szkolenie, czy nastąpił po nim. Osoby uczestniczące w szkoleniu mogły różnić się motywacją, doświadczeniem albo miejscem pracy. Brakuje pomiaru wyjściowego i kontroli czynników zakłócających.

Możliwe są trzy korekty. Po pierwsze, można zmienić cel na opisowy: „opisać poziom stresu i częstość udziału w szkoleniach z komunikacji w badanej grupie ratowników”. Po drugie, można zachować cel porównawczy i sformułować go ostrożniej: „zbadać związek między udziałem w szkoleniu a poziomem stresu”. Po trzecie, można zmienić projekt: zaplanować pomiar przed szkoleniem i po szkoleniu, zastosować grupę porównawczą, określić główny wynik oraz zebrać dane o doświadczeniu zawodowym i rodzaju systemu ratownictwa.

Dopiero trzecia wersja tworzy podstawę do ostrożniejszej oceny zmiany związanej ze szkoleniem. Nawet wtedy interpretacja przyczynowa wymaga sprawdzenia jakości przydziału do grup, kompletności pomiarów i innych źródeł zakłóceń.

6. Analiza przypadku: badanie przekrojowe a cel dotyczący zachorowania

Badacz planuje badanie przekrojowe wśród 500 dorosłych osób i chce „określić ryzyko wystąpienia cukrzycy typu 2 w ciągu pięciu lat”. W badaniu zostaną jednocześnie zebrane informacje o wieku, masie ciała, aktywności fizycznej i aktualnym stężeniu glukozy.

Cel jest niewykonalny przy tym projekcie, ponieważ badanie przekrojowe nie obserwuje uczestników przez pięć lat i nie pozwala bezpośrednio ustalić częstości nowych zachorowań w tym okresie. Można natomiast zmienić cel na: „oszacować częstość występowania nieprawidłowej glikemii w badanej populacji” albo „zbadać związek między aktywnością fizyczną a aktualnym stężeniem glukozy”. Jeżeli celem rzeczywiście jest występowanie nowych przypadków, potrzebne jest badanie podłużne z określonym punktem wyjścia i obserwacją.

Ten przykład pokazuje, że problemem nie musi być niewłaściwa statystyka. Nawet najbardziej zaawansowany model nie naprawi braku obserwacji w czasie.

7. Rola badania pilotażowego i badania wykonalności

Badanie pilotażowe może służyć sprawdzeniu, czy procedury przyszłego badania są możliwe do przeprowadzenia: czy rekrutacja przebiega zgodnie z planem, czy uczestnicy kończą pomiary, czy narzędzie jest zrozumiałe, czy personel stosuje interwencję zgodnie z protokołem oraz czy dane można połączyć i analizować. Ramy pojęciowe Eldridge i współpracowników rozróżniają szersze badania wykonalności od pilotażu, który jest próbą przeprowadzenia przyszłego badania w mniejszej skali (Eldridge et al., 2016).

W pilotażu należy z góry określić kryteria decyzji, na przykład: minimalny odsetek rekrutacji, dopuszczalny odsetek braków danych, akceptowalny poziom retencji i czas potrzebny na wykonanie procedury. Wytyczne CONSORT dotyczące randomizowanych badań pilotażowych podkreślają, że każdy cel wykonalności powinien mieć odpowiadający mu pomiar i analizę (Eldridge et al., 2016). Pilotaż nie powinien być przedstawiany jako małe badanie skuteczności, jeżeli jego próba i projekt nie zostały do tego zaplanowane (Thabane et al., 2010).

8. Najczęstsze błędy

• Formułowanie celu szerszego niż populacja badana. Wynik z jednej placówki jest przedstawiany jako wynik dotyczący całego kraju.
• Używanie języka przyczynowego w badaniu obserwacyjnym. Słowa „wpływ”, „skutek” i „powoduje” wymagają szczególnego uzasadnienia projektowego.
• Brak pomiaru odpowiadającego głównemu pojęciu. Cel dotyczy jakości życia, a narzędzie mierzy wyłącznie satysfakcję z wizyty.
• Mylenie braku istotności statystycznej z brakiem efektu. Duży przedział ufności może oznaczać, że badanie było zbyt mało precyzyjne.
• Ustalanie liczebności próby według wygody. Liczba dostępnych uczestników nie jest automatycznie wystarczająca dla planowanego celu.
• Traktowanie pilotażu jako dowodu skuteczności. Dane pilotażowe często służą ocenie procedur, a nie ostatecznemu testowaniu hipotezy.
• Dopasowywanie celu do uzyskanych wyników. Zmiana celu po obejrzeniu danych osłabia przejrzystość i zwiększa ryzyko selektywnej interpretacji.
• Brak kryterium decyzji. Badacz nie określa, jakie wyniki oznaczają, że projekt można kontynuować, zmienić albo zakończyć.

9. Krótka procedura kontroli przed rozpoczęciem badania

1. Zapisz cel w jednym zdaniu, wskazując populację, ekspozycję lub interwencję, wynik i czas.
2. Określ, czy cel jest opisowy, porównawczy, zależnościowy, predykcyjny czy przyczynowy.
3. Wybierz projekt, który rzeczywiście umożliwia taki typ wniosku.
4. Przyporządkuj każdemu elementowi celu konkretną zmienną i sposób pomiaru.
5. Sprawdź, czy uczestnicy, miejsca i czas obserwacji są dostępne.
6. Oceń liczebność próby pod kątem precyzji albo mocy, zależnie od celu.
7. Zapisz główną miarę efektu, przedział niepewności i sposób oceny znaczenia praktycznego.
8. Określ ograniczenia i ustal, czy potrzebny jest pilotaż.
9. Przeprowadź kontrolę zgodności celu, metod, analizy i planowanego wniosku.

W przypadku badań obserwacyjnych pomocna jest checklista STROBE, która porządkuje raportowanie populacji, projektu, zmiennych, źródeł danych, ograniczeń i analiz. Nie zastępuje ona jednak samodzielnego zaplanowania badania ani nie gwarantuje jego poprawności metodologicznej (von Elm et al., 2007).

Co warto zapamiętać?

• Cel badania jest wykonalny wtedy, gdy projekt może dostarczyć danych potrzebnych do uzasadnienia planowanego wniosku.
• Najważniejsza jest zgodność między celem, populacją, projektem, pomiarem, czasem, liczebnością próby i analizą.
• Badanie przekrojowe nie wystarcza do oceny zmian w czasie, a badanie obserwacyjne nie uzasadnia automatycznie wniosków przyczynowych.
• Dobór liczebności próby powinien wynikać z głównego celu: precyzji oszacowania, mocy testu albo oceny wykonalności.
• Badanie pilotażowe służy przede wszystkim sprawdzeniu procedur i zmniejszeniu niepewności przed badaniem głównym.
• Jeżeli projekt nie pozwala osiągnąć celu, poprawnym rozwiązaniem jest zmiana celu, projektu albo zakresu wnioskowania, a nie nadinterpretacja wyników.

\n

Źródła i dalsza lektura

\n

1. Eldridge, Sandra M.; Lancaster, Gillian A.; Campbell, Michael J.; Thabane, Lehana; Hopewell, Sally; Coleman, Claire L.; Bond, Christine M. (2016). Defining Feasibility and Pilot Studies in Preparation for Randomised Controlled Trials: Development of a Conceptual Framework. PLoS ONE, 11(3), e0150205. DOI: 10.1371/journal.pone.0150205.
2. Thabane, Lehana; Ma, Jinhui; Chu, Rong; Cheng, Ji; Ismaila, Afisi; Rios, Lorena P.; Robson, Reid; Thabane, Marroon; Giangregorio, Lora; Goldsmith, Charles H. (2010). A tutorial on pilot studies: the what, why and how. BMC Medical Research Methodology, 10, 1. DOI: 10.1186/1471-2288-10-1.
3. Eldridge, Sandra M.; Chan, Claire L.; Campbell, Michael J.; Bond, Christine M.; Hopewell, Sally; Thabane, Lehana; Lancaster, Gillian A. (2016). CONSORT 2010 statement: extension to randomised pilot and feasibility trials. The BMJ, 355, i5239. DOI: 10.1136/bmj.i5239.
4. von Elm, Erik; Altman, Douglas G.; Egger, Matthias; Pocock, Stuart J.; Gøtzsche, Peter C.; Vandenbroucke, Jan P. (2007). The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) Statement: guidelines for reporting observational studies. PLoS Medicine, 4(10), e296. DOI: 10.1371/journal.pmed.0040296.
5. Lancaster, Gillian A.; Dodd, Susanna; Williamson, Paula R. (2004). Design and analysis of pilot studies: recommendations for good practice. Journal of Evaluation in Clinical Practice, 10(2), 307–312. DOI: 10.1111/j.2002.384.doc.x.
6. Kirkwood, Betty R.; Sterne, Jonathan A. C. (2003). Essential Medical Statistics. 2nd edition. Blackwell Science. Informacja wydawcy / źródło.

\n

Więcej kolejnych lekcji publicznego szkolenia znajdziesz na statystyk.edu.pl.