020. Jak ocenić spójność logiczną projektu badawczego przed zebraniem danych?

Dobry projekt badawczy nie jest jedynie listą celów, zmiennych i testów statystycznych. Powinien tworzyć uporządkowany ciąg rozumowania: od problemu naukowego, przez pytanie badawcze i hipotezy, aż do sposobu pomiaru, doboru uczestników oraz analizy danych. Jeżeli którykolwiek z tych elementów nie pasuje do pozostałych, badanie może dostarczyć wyników trudnych do interpretacji, nawet gdy dane zostaną zebrane starannie.

W tej lekcji pokazano, jak przeprowadzić kontrolę projektu przed rozpoczęciem pomiarów. Jest to praktyczne uzupełnienie tematów omawianych w publicznym szkoleniu na statystyk.edu.pl: zamiast koncentrować się na pojedynczym teście statystycznym, analizujemy cały łańcuch decyzji badawczych.

Czym jest spójność logiczna projektu?

Spójność logiczna oznacza zgodność między odpowiedzią na pytanie „co chcę ustalić?”, „kogo i co będę badać?”, „jak to zmierzę?” oraz „jak wyciągnę wniosek?”. Projekt jest spójny wtedy, gdy jego elementy wzajemnie się wspierają i nie prowadzą do sprzecznych wniosków.

Można przedstawić tę strukturę w uproszczeniu:

problem badawczy → cel → pytanie badawcze → hipoteza → zmienne i pomiar → schemat badania → próba → analiza → wniosek

Strzałki nie oznaczają automatycznie związku przyczynowego. Pokazują kolejność uzasadniania decyzji. Na przykład badanie przekrojowe może sensownie oceniać współwystępowanie objawów i jakości życia, ale sam jego schemat nie uzasadnia wniosku, że jeden czynnik powoduje drugi.

Kontrola projektu krok po kroku

1. Czy problem jest określony dostatecznie precyzyjnie?

Problem badawczy powinien wskazywać lukę w wiedzy, niejasność teoretyczną albo praktyczną potrzebę uzyskania danych. Zdanie „stres jest ważnym problemem” nie jest jeszcze problemem badawczym. Lepsza wersja określa populację, kontekst i interesującą zależność, na przykład: „nie wiadomo, czy natężenie objawów wypalenia zawodowego wiąże się z jakością snu u pielęgniarek pracujących zmianowo”.

Na tym etapie warto zadać trzy pytania:

• Jakiego zjawiska dotyczy projekt?
• W jakiej populacji i sytuacji ma ono znaczenie?
• Jaka niewiedza uzasadnia przeprowadzenie badania?

Problem zbyt szeroki prowadzi zwykle do nadmiernej liczby celów i zmiennych. Problem zbyt wąski może natomiast nie uzasadniać kosztów ani rekrutacji uczestników.

2. Czy cel badania odpowiada problemowi?

Cel powinien być sformułowany za pomocą czasownika opisującego zamierzoną czynność badawczą, na przykład: „ocenić”, „porównać”, „oszacować”, „zbadać zależność” albo „opracować i zwalidować”. Należy unikać celu, którego nie da się osiągnąć za pomocą zaplanowanego projektu.

Jeśli celem jest „ocena skuteczności programu edukacyjnego”, projekt powinien umożliwiać porównanie wyników osób objętych programem z odpowiednią grupą odniesienia, najlepiej w schemacie eksperymentalnym lub quasi-eksperymentalnym. Jednorazowe badanie opinii po zakończeniu programu pozwala opisać ocenę uczestników, ale nie wystarcza do wiarygodnego oszacowania skuteczności.

3. Czy pytanie badawcze określa populację, ekspozycję i wynik?

Dobre pytanie badawcze nie musi być długie, ale powinno identyfikować najważniejsze elementy. W badaniach medycznych i epidemiologicznych pomocna jest struktura PICO:

• P — Population: populacja lub grupa, której dotyczy pytanie;
• I — Intervention lub Exposure: interwencja albo ekspozycja;
• C — Comparison: grupa porównawcza lub alternatywny poziom ekspozycji;
• O — Outcome: wynik, czyli mierzony stan lub zdarzenie.

Przykład: „Czy u dorosłych pacjentów po łagodnym urazie czaszkowo-mózgowym zastosowanie krótkiej interwencji edukacyjnej, w porównaniu ze standardową informacją, zmniejsza nasilenie objawów po 30 dniach?”. Takie pytanie wskazuje populację, interwencję, porównanie, wynik i czas obserwacji.

4. Czy hipoteza jest zgodna z pytaniem i schematem badania?

Hipoteza powinna być empirycznie sprawdzalnym przewidywaniem, a nie ogólną opinią. Musi wskazywać, jakie zmienne są ze sobą powiązane lub czym różnią się grupy. Warto rozdzielić hipotezę główną od hipotez drugorzędowych i eksploracyjnych. Takie rozróżnienie ułatwia późniejszą ocenę, które analizy były zaplanowane, a które pojawiły się dopiero po obejrzeniu danych. Zalecają je także standardy raportowania APA JARS (American Psychological Association, 2018).

Hipoteza „interwencja poprawi zdrowie” jest zbyt ogólna. Hipoteza „średni wynik w skali nasilenia objawów po 30 dniach będzie niższy w grupie interwencji niż w grupie standardowej” jest bardziej użyteczna, ponieważ określa kierunek, wynik i moment pomiaru.

Nie każda hipoteza wymaga przewidywania kierunku. Jeżeli literatura jest niejednoznaczna, można postawić hipotezę niekierunkową: „wyniki obu grup będą się różnić”. Ważne jest jednak, aby nie zmieniać hipotezy na kierunkową dopiero po zobaczeniu wyników.

5. Czy konstrukty zostały prawidłowo zoperacjonalizowane?

Operacjonalizacja polega na przełożeniu pojęć teoretycznych na obserwowalne wskaźniki. „Lęk”, „jakość życia”, „przestrzeganie zaleceń” czy „kompetencje ratownika” nie są bezpośrednio dostępne obserwacji. Badacz musi określić, jak będą mierzone.

Kontrola operacjonalizacji obejmuje cztery pytania:

1. Co dokładnie oznacza konstrukt w tym badaniu?
2. Jaki instrument lub procedura pomiarowa go reprezentuje?
3. Jaki jest poziom pomiaru i zakres możliwych wartości?
4. Czy pomiar odpowiada temu, co opisuje hipoteza?

Jeśli hipoteza dotyczy „zmiany jakości życia”, trzeba mieć co najmniej dwa pomiary albo inną konstrukcję umożliwiającą ocenę zmiany. Sam pomiar po interwencji pozwala porównać poziomy końcowe, ale nie pozwala bezpośrednio ustalić, jak zmieniła się każda osoba względem stanu wyjściowego.

6. Czy schemat badania umożliwia odpowiedź na pytanie?

Schemat powinien wynikać z pytania, a nie z dostępności narzędzia lub wygody rekrutacji. Badanie przekrojowe jest przydatne do oszacowania częstości zjawiska i oceny współwystępowania zmiennych w określonym czasie. Badanie kohortowe pozwala zachować porządek czasowy między ekspozycją a późniejszym wynikiem. Randomizowane badanie kontrolowane daje mocniejsze podstawy do oceny skutków interwencji, ponieważ losowy przydział ogranicza wpływ części czynników zakłócających.

Nie oznacza to, że jeden schemat jest zawsze „najlepszy”. Odpowiedni jest ten, który odpowiada rodzajowi wniosku. Wytyczne STROBE porządkują raportowanie badań obserwacyjnych, takich jak badania kohortowe, kliniczno-kontrolne i przekrojowe (von Elm i in., 2007). CONSORT dotyczy raportowania randomizowanych badań z grupami równoległymi (Schulz i in., 2010), a SPIRIT opisuje elementy, które powinien zawierać protokół badania klinicznego (Chan i in., 2025).

7. Czy populacja, próba i jednostka analizy są zgodne?

W projekcie trzeba odróżnić populację docelową od populacji dostępnej oraz próbę faktycznie badaną. Jeżeli pytanie dotyczy wszystkich ratowników medycznych w kraju, a rekrutacja obejmuje tylko pracowników jednego szpitala, zakres generalizacji jest ograniczony.

Należy również ustalić jednostkę analizy. W badaniu pielęgniarek może nią być pojedyncza osoba, ale w badaniu organizacji pracy jednostką analizy może być oddział. Analizowanie wielu obserwacji pochodzących z tych samych oddziałów tak, jakby były całkowicie niezależne, może zaniżać niepewność oszacowań.

8. Czy plan analizy wynika z rodzaju danych?

Plan analizy powinien być konsekwencją pytania, zmiennych i schematu. Przed zebraniem danych warto zapisać:

• główny wynik badania;
• główną zmienną objaśniającą lub porównywane grupy;
• ważne zmienne zakłócające;
• miarę efektu, na przykład różnicę średnich, iloraz szans, ryzyko względne albo współczynnik regresji;
• sposób postępowania z brakami danych;
• metodę oceny niepewności, zwykle przedział ufności;
• zasady przeprowadzania analiz dodatkowych.

Nie należy wybierać testu wyłącznie na podstawie tego, czy zmienna jest „ilościowa” albo „jakościowa”. Znaczenie mają także schemat obserwacji, niezależność pomiarów, rozkład danych, liczebność próby i cel analizy.

Prosty test spójności: macierz zgodności

Praktycznym narzędziem jest tabela, w której każdy cel łączy się z pytaniem, hipotezą, zmiennymi, pomiarem i analizą.

Cel	Pytanie	Główny wynik	Pomiar	Planowana analiza
Ocenić wpływ programu	Czy program zmienia wynik po 3 miesiącach?	Wynik skali po 3 miesiącach	Skala przed i po programie	Model uwzględniający grupę i wynik wyjściowy
Oszacować częstość zjawiska	Jak często występuje bezsenność?	Odsetek osób z bezsennością	Ustandaryzowany kwestionariusz	Odsetek z przedziałem ufności

Jeżeli którejś komórki nie da się wypełnić, projekt wymaga dopracowania. W szczególności alarmujące jest to, gdy cel mówi o przyczynowości, pomiar jest jednorazowy, a analiza ogranicza się do korelacji.

Przykład praktyczny: program edukacyjny dla pacjentów

Załóżmy, że zespół chce sprawdzić, czy krótka edukacja telefoniczna poprawia przestrzeganie zaleceń u pacjentów z nadciśnieniem.

Pierwsza wersja projektu: „Zbadamy, czy edukacja telefoniczna poprawia przestrzeganie zaleceń. Zrekrutujemy osoby zgłaszające się do jednej poradni, a po miesiącu zapytamy je, czy stosują się do zaleceń. Następnie porównamy średnie wyniki ankiety z wartością 50 punktów”.

Projekt jest niespójny z kilku powodów. Nie ma grupy porównawczej, więc trudno odróżnić efekt edukacji od naturalnych zmian lub selekcji uczestników. Nie wiadomo, czy ankieta mierzy rzeczywiste zachowanie, czy tylko deklarację. Porównanie z arbitralną wartością 50 punktów może nie odpowiadać pytaniu o skuteczność programu. Ponadto brak pomiaru wyjściowego uniemożliwia ocenę zmiany.

Wersja poprawiona: osoby spełniające kryteria włączenia są losowo przydzielane do edukacji telefonicznej albo standardowej opieki. Przestrzeganie zaleceń mierzy się na początku i po 3 miesiącach za pomocą wcześniej określonego narzędzia, a głównym wynikiem jest różnica między grupami w wyniku końcowym po uwzględnieniu pomiaru wyjściowego.

W tym projekcie cel, schemat, pomiar i analiza tworzą logiczną całość. Nadal trzeba rozważyć utratę uczestników, rzetelność narzędzia i możliwość, że osoby z grupy kontrolnej uzyskają podobne informacje poza badaniem. Są to jednak problemy do zaplanowania, a nie sprzeczności uniemożliwiające interpretację.

Drugi przykład: stres i jakość snu u studentów

Badacz chce ocenić związek między stresem akademickim a jakością snu. Planuje badanie przekrojowe, w którym studenci raz wypełnią dwie skale.

Taki projekt może odpowiedzieć na pytanie: „Czy wyższy poziom stresu współwystępuje z gorszą jakością snu w badanej grupie?”. Nie uzasadnia natomiast zdania: „Stres powoduje pogorszenie snu”, ponieważ oba pomiary wykonano w tym samym czasie. Możliwe są także alternatywne wyjaśnienia, na przykład obciążenie pracą, objawy depresyjne, używanie substancji psychoaktywnych lub problemy zdrowotne.

Spójny plan powinien więc obejmować jasno określony wynik, uzasadnione zmienne dodatkowe oraz język wniosków ograniczony do zależności. Jeśli badacz chce badać kierunek czasowy, może zaplanować pomiary podłużne, na przykład stres na początku semestru i jakość snu po kilku tygodniach. Nie eliminuje to wszystkich problemów, ale lepiej odpowiada pytaniu o następstwo czasowe.

Najczęstsze błędy

• Cel niezgodny ze schematem. Deklarowanie oceny skuteczności na podstawie jednorazowego badania opisowego.
• Zmiana głównego wyniku po obejrzeniu danych. Zwiększa ryzyko selektywnego raportowania.
• Mylenie narzędzia z konstruktem. Kwestionariusz nie jest automatycznie pełną definicją zjawiska.
• Wiele celów bez hierarchii. Brak wskazania wyniku głównego utrudnia interpretację i zwiększa liczbę przypadkowych wyników istotnych statystycznie.
• Traktowanie wartości p jako prawdopodobieństwa prawdziwości hipotezy zerowej. Wartość p nie mówi, z jakim prawdopodobieństwem H0 jest prawdziwa. Ocenę należy uzupełniać o wielkość efektu i przedział ufności (Altman i Bland, 1995).
• Nadmierne wnioskowanie. Istotność statystyczna nie oznacza automatycznie znaczenia klinicznego ani praktycznego.
• Ignorowanie braków danych i utraty uczestników. Te kwestie powinny być przewidziane w protokole, a nie dopiero opisane po zakończeniu badania.
• Brak zgodności między poziomem pomiaru a analizą. Na przykład stosowanie modelu dla danych niezależnych, gdy kilka obserwacji pochodzi od tych samych osób.

Jak przeprowadzić końcową kontrolę przed rekrutacją?

Przed rozpoczęciem zbierania danych warto przeprowadzić krótką recenzję wewnętrzną. Jedna osoba przedstawia projekt bez dodatkowych wyjaśnień, a druga próbuje odpowiedzieć na następujące pytania:

1. Jaki jest jeden najważniejszy problem badawczy?
2. Jaki jest główny wynik i kiedy zostanie zmierzony?
3. Jakie porównanie lub zależność jest najważniejsza?
4. Dlaczego wybrano właśnie ten schemat?
5. Do jakiej populacji można uogólnić wyniki?
6. Jaki wynik uznano za praktycznie ważny?
7. Co stanie się, jeśli wynik główny będzie niekompletny albo część osób wycofa się z badania?

Jeśli odpowiedzi są niejasne albo różne u członków zespołu, projekt nie jest jeszcze gotowy. Pomocne może być także użycie właściwej wytycznej raportowania jako listy kontrolnej. Należy jednak pamiętać, że wytyczne raportowania nie zastępują teorii, protokołu ani krytycznej oceny projektu.

Co warto zapamiętać?

• Spójność logiczna oznacza zgodność problemu, celu, pytania, hipotezy, pomiaru, schematu, próby i analizy.
• Najpierw należy określić rodzaj wniosku, który ma powstać, a dopiero potem wybierać schemat i metodę analizy.
• Operacjonalizacja musi rzeczywiście reprezentować konstrukt opisany w pytaniu badawczym.
• Zakres wnioskowania nie może być szerszy niż możliwości zastosowanego schematu i próby.
• Wartość p nie zastępuje informacji o wielkości efektu, jego niepewności i znaczeniu praktycznym.
• Najtańszy moment wykrywania błędów logicznych przypada przed rekrutacją i pomiarem, nie po zakończeniu analizy.

Najlepszym praktycznym narzędziem pozostaje prosta macierz zgodności: każdy cel powinien mieć odpowiadające mu pytanie, hipotezę, wynik, sposób pomiaru i analizę. Jeżeli projekt przechodzi tę kontrolę, rośnie szansa, że zebrane dane będą rzeczywiście odpowiadały na postawione pytanie, a nie tylko dostarczą dużej liczby trudnych do uporządkowania wyników.

\n

Źródła i dalsza lektura

\n

1. Altman, D. G., & Bland, J. M. (1995). Absence of evidence is not evidence of absence. BMJ, 311(7003), 485. DOI: 10.1136/bmj.311.7003.485.
2. Chan, A. W., Boutron, I., Hopewell, S., Moher, D., Schulz, K. F., Collins, G. S., et al. (2025). SPIRIT 2025 statement: updated guideline for protocols of randomised trials. BMJ. BMJ. Źródło.
3. Schulz, K. F., Altman, D. G., Moher, D., & CONSORT Group (2010). CONSORT 2010 statement: updated guidelines for reporting parallel group randomised trials. BMJ, 340, c332. DOI: 10.1136/bmj.c332.
4. von Elm, E., Altman, D. G., Egger, M., Pocock, S. J., Gøtzsche, P. C., Vandenbroucke, J. P., & STROBE Initiative (2007). The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) statement: guidelines for reporting observational studies. PLoS Medicine, 4(10), e296. DOI: 10.1371/journal.pmed.0040296.
5. American Psychological Association (2018). APA Style Journal Article Reporting Standards. American Psychological Association. Źródło.

\n