520. Jak ocenić, czy zaawansowana analiza naprawdę odpowiada pytaniu badawczemu?

Zaawansowana analiza statystyczna nie jest automatycznie lepsza od prostszej. Model mieszany, analiza przeżycia, GEE, regresja wielopoziomowa, modelowanie równań strukturalnych czy metody przyczynowe mogą być bardzo użyteczne, ale tylko wtedy, gdy odpowiadają rzeczywistemu pytaniu badawczemu. Sama złożoność procedury nie naprawi nieprecyzyjnego celu, słabego pomiaru, niewłaściwego projektu ani danych, które nie zawierają informacji potrzebnej do udzielenia odpowiedzi.

W tej lekcji szkolenia na statystyk.edu.pl przechodzimy od pytania „jakiej metody użyć?” do pytania ważniejszego: „jaką wielkość chcę oszacować i czy mój projekt pozwala ją wiarygodnie oszacować?”. To przesunięcie akcentu pomaga uniknąć sytuacji, w której badacz wybiera metodę dlatego, że jest modna, dostępna w programie komputerowym albo daje efekt o atrakcyjnej wartości p.

Od pytania badawczego do analizy

Dobór analizy powinien być końcowym etapem łańcucha decyzji, a nie jego początkiem. Najpierw należy określić problem naukowy, następnie projekt badania, zmienne i populację, a dopiero później sposób estymacji. Przydatna jest sekwencja:

  1. Jakie zjawisko chcę opisać, porównać, przewidzieć lub wyjaśnić?
  2. Jaka jest jednostka obserwacji: osoba, pomiar, placówka, zdarzenie, para lub klaster?
  3. Jaki jest główny wynik i w jakiej skali został zmierzony?
  4. Czy interesuje mnie opis, asocjacja, prognoza czy efekt przyczynowy?
  5. Jakie cechy projektu powodują zależność obserwacji, cenzorowanie, powtarzalność albo zagnieżdżenie?
  6. Jakie założenia musi spełniać wybrana metoda i czy można je sprawdzić?

Ta kolejność jest ważna, ponieważ ta sama zmienna może wymagać różnych analiz w zależności od celu. Wynik leczenia mierzony po 12 tygodniach można porównać między grupami za pomocą różnicy średnich, modelu liniowego lub modelu z korektą o wartość wyjściową. Jeżeli jednak pomiar wykonywano co tydzień, pytanie może dotyczyć całej trajektorii zmian, a nie tylko końcowego punktu. Wtedy zasadne stają się modele dla danych podłużnych, ale ich użycie nie jest uzasadnione wyłącznie dlatego, że pomiarów było wiele.

Najpierw zdefiniuj cel analizy

Opis, wyjaśnienie, predykcja i wnioskowanie przyczynowe

Cztery cele są często mieszane, choć wymagają innych konstrukcji analitycznych.

  • Opis: jaka jest częstość depresji wśród studentów ratownictwa i jak różni się między rocznikami?
  • Asocjacja: czy większe obciążenie pracą wiąże się z gorszą jakością snu po uwzględnieniu wieku i płci?
  • Predykcja: jak dobrze można przewidzieć ponowną hospitalizację na podstawie danych dostępnych przy wypisie?
  • Efekt przyczynowy: jaki byłby średni wpływ programu edukacyjnego na kontrolę ciśnienia, gdyby zaoferowano go całej populacji zamiast standardowej opieki?

Model predykcyjny może dobrze przewidywać ryzyko, ale nie musi wyjaśniać mechanizmu ani identyfikować przyczyn. Z kolei regresja z wieloma zmiennymi nie staje się analizą przyczynową tylko dlatego, że zawiera „ważne czynniki zakłócające”. W badaniu obserwacyjnym konieczne jest rozważenie czasu pomiaru, kierunku zależności, zmiennych pośredniczących, koliderów i niekontrolowanego zakłócenia. Język przyczynowy wymaga projektu i założeń, które uzasadniają takie wnioskowanie.

Estimand, estimator i estimate

Pomocnym pojęciem jest estimand, czyli precyzyjnie określona wielkość, którą badanie ma oszacować. ICH E9(R1) opisuje ją przez populację, warunki leczenia lub ekspozycji, punkt końcowy, miarę podsumowującą oraz sposób postępowania ze zdarzeniami występującymi po rozpoczęciu badania (ICH, 2019; Clark et al., 2024).

Trzeba odróżnić trzy pojęcia:

  • Estimand – pytanie zapisane jako konkretna wielkość naukowa, na przykład różnica średniego wyniku jakości życia po 6 miesiącach.
  • Estimator – reguła lub metoda, która na podstawie danych oblicza tę wielkość, na przykład model liniowy z korektą o wynik wyjściowy.
  • Estimate – otrzymana liczbowo wartość, na przykład różnica wynosząca 4,2 punktu wraz z przedziałem ufności.

W zapisie ogólnym efekt można przedstawić jako:

Estimand = porównanie{Y | interwencja A} − porównanie{Y | interwencja B}

Nie jest to jeden uniwersalny wzór obliczeniowy, lecz schemat definiowania celu. Y oznacza wynik, a „porównanie” może oznaczać różnicę średnich, iloraz ryzyka, iloraz szans, różnicę prawdopodobieństw albo różnicę funkcji przeżycia. Wybór miary zależy od pytania, a nie odwrotnie.

Czy zaawansowana analiza jest rzeczywiście potrzebna?

Analiza staje się uzasadniona wtedy, gdy prostsza metoda nie potrafi odpowiedzieć na pytanie bez istotnego zniekształcenia albo utraty informacji. Warto rozważyć co najmniej pięć powodów użycia bardziej złożonego modelu.

1. Zależność między obserwacjami

Jeśli ta sama osoba ma kilka pomiarów, obserwacje nie są niezależne. Podobnie jest wtedy, gdy pacjenci są leczeni w tych samych oddziałach, uczniowie uczęszczają do tych samych szkół, a mieszkańcy pochodzą z tych samych gmin. Model mieszany lub GEE może uwzględnić korelację, ale trzeba zdecydować, czy interesuje nas efekt populacyjny, czy specyficzny dla klastra.

2. Czas do zdarzenia i cenzorowanie

Jeżeli wynik obejmuje czas do zgonu, nawrotu lub wypisu, zwykłe porównanie średnich może być niewłaściwe. Analiza przeżycia pozwala uwzględnić osoby, u których obserwacja zakończyła się przed wystąpieniem zdarzenia. Jednak wybór modelu Coxa nie jest automatyczny: trzeba rozważyć definicję czasu początkowego, cenzorowanie, konkurencyjne zdarzenia i założenie proporcjonalności hazardów.

3. Złożona skala wyniku

Wynik binarny, licznikowy, porządkowy, wielokrotny albo ograniczony do określonego zakresu może wymagać modelu innego niż klasyczna regresja liniowa. Kluczowe jest jednak pytanie, czy skala i sposób pomiaru uzasadniają daną rodzinę modeli. Nie każdy wynik Likerta wymaga skomplikowanego modelu porządkowego, a traktowanie sumy wielu pozycji jako wyniku ciągłego może być rozsądnym przybliżeniem, jeśli zostanie uzasadnione merytorycznie.

4. Złożona struktura przyczynowa lub problem z zakłóceniem

Jeżeli celem jest efekt przyczynowy w badaniu obserwacyjnym, zwykła regresja może być niewystarczająca. Potrzebne mogą być metody oparte na wynikach skłonności, ważeniu, standaryzacji, zmiennych instrumentalnych albo modelach marginalnych. Ich zastosowanie wymaga jednak silnych założeń. Bardziej zaawansowana metoda nie usuwa automatycznie błędu pomiaru, selekcji do badania ani nieznanych czynników zakłócających.

5. Pytanie dotyczy heterogeniczności efektu

Czasem nie wystarcza odpowiedź, czy interwencja działa średnio. Badacz chce wiedzieć, czy efekt różni się według wieku, ciężkości choroby lub poziomu ryzyka. Interakcja w modelu może być właściwym narzędziem, ale powinna wynikać z hipotezy, mieć odpowiednią liczebność i być interpretowana przez oszacowania warunkowe, a nie przez samo stwierdzenie, że jedna podgrupa ma p<0,05, a druga nie.

Przykład praktyczny: program zapobiegania wypaleniu zawodowemu

Załóżmy, że w 12 szpitalach wdrożono program wsparcia dla pielęgniarek. W każdym szpitalu mierzono wynik wypalenia zawodowego przed wdrożeniem, po 3 miesiącach i po 6 miesiącach. Główne pytanie brzmi: czy program zmienił średni poziom wypalenia po 6 miesiącach w porównaniu ze standardowym postępowaniem?

Na pierwszy rzut oka można użyć testu dla dwóch średnich. Byłby to jednak zły wybór, jeśli uwzględnia się tylko końcowy pomiar i ignoruje klastrowanie oraz wynik wyjściowy. Bardziej adekwatny może być model podłużny z efektem czasu, grupy i interakcji czasu z grupą, z uwzględnieniem powtarzanych obserwacji oraz szpitala.

Możliwy zapis modelu jest następujący:

Yij = β0 + β1Grupai + β2Czasj + β3(Grupai × Czasj) + ui + vszpital + εij

  • Yij – wynik wypalenia osoby i w czasie j;
  • β0 – wartość oczekiwana dla kategorii referencyjnej;
  • β1 – różnica między grupami w czasie referencyjnym;
  • β2 – zmiana związana z czasem;
  • β3 – różnica w zmianie między grupami, często najważniejszy parametr;
  • ui – indywidualny składnik losowy osoby;
  • vszpital – składnik związany z klastrem szpitala;
  • εij – pozostała zmienność.

Nie wolno jednak powiedzieć, że program „spowodował” poprawę, jeśli przydział szpitali nie był losowy, grupy różniły się przed wdrożeniem, a jednocześnie wystąpiły inne zmiany organizacyjne. Model może poprawić estymację różnicy, ale nie zastąpi randomizacji ani odpowiedniego projektu quasi-eksperymentalnego.

Drugi przykład: ryzyko ponownej hospitalizacji

W badaniu kohortowym obserwowano pacjentów z niewydolnością serca od dnia wypisu. Celem było oszacowanie związku między udziałem w poradni monitorowania a czasem do ponownej hospitalizacji. Część pacjentów zmarła przed hospitalizacją, a część zakończyła obserwację bez zdarzenia.

Analiza Kaplana-Meiera i model Coxa mogą być przydatne, jeśli pytanie dotyczy czasu do pierwszej hospitalizacji, a zgon traktuje się jako cenzorowanie. Jeżeli jednak zgon uniemożliwia późniejszą hospitalizację i jest częsty, zwykłe cenzorowanie może prowadzić do trudnej interpretacji. Wtedy należy rozważyć konkurencyjne ryzyko albo zmienić estimand, na przykład na prawdopodobieństwo hospitalizacji w ciągu 90 dni z uwzględnieniem zgonu jako odrębnego wyniku.

Wniosek jest metodologiczny: pytanie „czy pacjenci szybciej trafiali ponownie do szpitala?” nie jest równoważne pytaniu „jaki jest odsetek pacjentów hospitalizowanych w 90 dni?”. Oba pytania dotyczą podobnego problemu klinicznego, ale wymagają innej miary efektu i mogą prowadzić do innych decyzji analitycznych.

Jak oceniać adekwatność modelu?

Przed użyciem analizy warto przygotować krótką kartę decyzyjną.

Pytanie kontrolne Dlaczego jest ważne?
Jaki jest główny wynik? Określa skalę pomiaru i możliwą rodzinę modeli.
Jaka jest jednostka analizy? Zapobiega analizowaniu pomiarów zamiast osób albo osób zamiast klastrów.
Czy obserwacje są zależne? Wskazuje na potrzebę modeli dla danych powtarzanych lub zagnieżdżonych.
Jaki jest horyzont czasowy? Rozstrzyga, czy analizujemy punkt końcowy, trajektorię, częstość czy czas do zdarzenia.
Jak traktowane są braki i zdarzenia po rozpoczęciu badania? Wpływa na populację analityczną i interpretację efektu.
Czy model daje miarę, którą potrafię wyjaśnić klinicznie? Chroni przed formalnie poprawnym, lecz nieużytecznym wynikiem.
Czy założenia są wiarygodne? Wynik modelu zależy od struktury danych i przyjętych założeń.

Wytyczne CONSORT i STROBE pomagają sprawdzić, czy projekt, analiza i raportowanie są przejrzyste, ale nie są automatycznym narzędziem do wyboru modelu ani dowodem jakości badania (Schulz et al., 2010; Vandenbroucke et al., 2007). Dobór analizy powinien być uzasadniony przed analizą wyników, najlepiej w protokole lub planie analizy statystycznej.

Najczęstsze błędy

  • Wybór metody według nazwy projektu lub dostępności w programie. To, że oprogramowanie oferuje GEE, model Coxa albo SEM, nie oznacza, że dana metoda pasuje do pytania.
  • Przekonanie, że bardziej złożony model jest zawsze bardziej naukowy. Złożoność musi wynikać ze struktury danych, a nie z potrzeby podniesienia prestiżu analizy.
  • Używanie regresji jako zamiennika projektu badania. Korekta o wiele zmiennych nie gwarantuje wnioskowania przyczynowego.
  • Automatyczne testowanie wielu modeli. Wybieranie modelu na podstawie najmniejszej wartości p zwiększa ryzyko optymizmu i przypadkowych odkryć. Wartość p nie jest prawdopodobieństwem prawdziwości hipotezy zerowej (Wasserstein i Lazar, 2016; Greenland et al., 2016).
  • Mylenie istotności statystycznej ze znaczeniem praktycznym. Niewielki efekt może być istotny przy dużej próbie, a klinicznie ważny efekt może nie osiągnąć progu konwencjonalnej istotności przy małej próbie.
  • Pomijanie interakcji i nieciągłości interpretacyjnych. W modelu z interakcją główny efekt nie zawsze oznacza ogólny efekt dla całej populacji.
  • Brak analizy wrażliwości. Jeśli wniosek zależy od założenia o brakujących danych, proporcjonalności hazardów albo postępowaniu ze zgonem, trzeba sprawdzić jego odporność.
  • Używanie języka przyczynowego w badaniu przekrojowym. Jednoczesny pomiar ekspozycji i wyniku zwykle nie ustala kolejności czasowej.

Co warto zapamiętać?

  • Zaawansowana analiza jest narzędziem do odpowiedzi na precyzyjne pytanie, a nie celem samym w sobie.
  • Najpierw określ estimand: populację, ekspozycję lub interwencję, wynik, miarę porównania i sposób postępowania ze zdarzeniami po rozpoczęciu badania.
  • Dobór modelu powinien wynikać z projektu, jednostki obserwacji, skali wyniku, zależności między obserwacjami i horyzontu czasowego.
  • Model może uwzględniać część problemów statystycznych, ale nie naprawi słabego pomiaru, błędnej selekcji ani projektu, który nie pozwala na dane wnioskowanie.
  • Interpretuj razem wielkość efektu, przedział niepewności, znaczenie praktyczne, jakość danych i założenia analizy.
  • Jeśli prostsza metoda odpowiada na pytanie równie dobrze i łatwiej ją wyjaśnić, prostota jest zaletą, a nie ograniczeniem.

Najlepszym testem adekwatności analizy jest próba zapisania jednego zdania: „Badanie ma oszacować…”. Jeżeli po tym zdaniu nie wiadomo, jaka populacja, jaki wynik, jaka miara efektu i jaki okres obserwacji są istotne, problem nie leży jeszcze w wyborze modelu. Najpierw trzeba doprecyzować pytanie.

Źródła i dalsza lektura

  1. International Council for Harmonisation of Technical Requirements for Pharmaceuticals for Human Use (2019). E9(R1) Addendum on Estimands and Sensitivity Analysis in Clinical Trials to the Guideline on Statistical Principles for Clinical Trials. ICH. Źródło.
  2. Clark, T. P.; Kahan, B. C.; Phillips, A.; White, I. R.; Carpenter, J. R. (2024). Estimands: bringing clarity and focus to research questions in clinical trials. BMJ Open, 14, e052953. DOI: 10.1136/bmjopen-2021-052953.
  3. Greenland, S.; Senn, S. J.; Rothman, K. J.; Carlin, J. B.; Poole, C.; Goodman, S. N.; Altman, D. G. (2016). Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations. European Journal of Epidemiology, 31(4), 337–350. DOI: 10.1007/s10654-016-0149-3.
  4. Wasserstein, R. L.; Lazar, N. A. (2016). The ASA Statement on p-Values: Context, Process, and Purpose. The American Statistician, 70(2), 129–133. DOI: 10.1080/00031305.2016.1154108.
  5. Schulz, K. F.; Altman, D. G.; Moher, D.; for the CONSORT Group (2010). CONSORT 2010 Statement: updated guidelines for reporting parallel group randomised trials. Trials, 11, 32. DOI: 10.1186/1745-6215-11-32.
  6. Vandenbroucke, J. P.; von Elm, E.; Altman, D. G.; Gøtzsche, P. C.; Mulrow, C. D.; Pocock, S. J.; Poole, C.; Schlesselman, J. J.; Egger, M.; for the STROBE Initiative (2007). Strengthening the Reporting of Observational Studies in Epidemiology (STROBE): explanation and elaboration. PLoS Medicine, 4(10), e297. DOI: 10.1371/journal.pmed.0040297.

Podobne wpisy

4 komentarze

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Wymagane pola są oznaczone *