402. Dlaczego nie należy wykonywać wielu testów t zamiast ANOVA?

Porównując dwie grupy, często sięgamy po test t. Gdy jednak badanie obejmuje trzy lub więcej grup, naturalnym, lecz błędnym odruchem może być wykonanie osobnego testu t dla każdej pary. Taka strategia pozornie dostarcza szczegółowych odpowiedzi, ale zmienia właściwości całej analizy: rośnie ryzyko uzyskania co najmniej jednego fałszywie dodatniego wyniku. Właśnie dlatego w takich sytuacjach pierwszym krokiem jest zwykle jednoczynnikowa analiza wariancji, czyli ANOVA, a dopiero później – jeśli wynik ogólny jest przekonujący i pytanie badawcze tego wymaga – odpowiednio zaplanowane porównania szczegółowe (tzw. post hoc).

W tej lekcji kursu metodologii i statystyki na statystyk.edu.pl wyjaśniamy nie tylko techniczną zasadę, lecz także logikę wnioskowania: jakie pytanie odpowiada test t, jakie pytanie odpowiada ANOVA, czym jest rodzina testów oraz dlaczego istotność statystyczna nie jest synonimem ważności klinicznej.

Dwa testy t odpowiadają jednemu porównaniu

Załóżmy, że badacz porównuje średnie ciśnienie skurczowe w dwóch niezależnych grupach: u osób otrzymujących standardową edukację zdrowotną oraz u osób uczestniczących w rozszerzonym programie edukacyjnym. Hipoteza zerowa może mieć postać:

H₀: μ₁ = μ₂

gdzie μ₁ i μ₂ oznaczają średnie wartości w populacjach. Test t ocenia, czy obserwowana różnica średnich jest dostatecznie duża w stosunku do zmienności wyników, aby odrzucić hipotezę o równości średnich przy przyjętym poziomie alfa, najczęściej 0,05.

Ważne jest jednak, że pojedynczy test t ma kontrolowany poziom błędu I rodzaju tylko dla jednego zaplanowanego porównania. Błąd I rodzaju polega na odrzuceniu prawdziwej hipotezy zerowej. Nie oznacza to, że każda istotna wartość p jest fałszywa. Oznacza natomiast, że procedura testowa, powtarzana wielokrotnie w warunkach prawdziwości hipotez zerowych, będzie czasem prowadziła do błędnego odrzucenia H₀.

Co zmienia się przy trzech lub większej liczbie grup?

Jeżeli istnieją k grup, liczba wszystkich porównań parami wynosi:

m = k(k − 1) / 2

Symbol k oznacza liczbę grup, a m – liczbę możliwych porównań dwóch grup. Dla trzech grup są to trzy porównania: 1–2, 1–3 i 2–3. Dla czterech grup mamy już sześć porównań, a dla pięciu – dziesięć.

Każdy test jest przeprowadzany na poziomie 0,05, ale badacz często interesuje się nie jednym testem, tylko całą „rodziną” porównań. Rodzina może oznaczać wszystkie porównania średnich dotyczące jednego głównego wyniku w jednej analizie. Wtedy istotne staje się prawdopodobieństwo uzyskania przynajmniej jednego fałszywie dodatniego wyniku w całej rodzinie, a nie tylko w pojedynczym teście.

Intuicyjny przykład prawdopodobieństwa

Jeśli testy byłyby niezależne, a wszystkie hipotezy zerowe byłyby prawdziwe, prawdopodobieństwo, że żaden z m testów nie da wyniku fałszywie istotnego, można przybliżyć wzorem:

P(brak fałszywego odrzucenia) = (1 − α)^m

Stąd prawdopodobieństwo co najmniej jednego fałszywego odrzucenia wynosi:

FWER = 1 − (1 − α)^m

FWER to family-wise error rate, czyli rodzinny poziom błędu I rodzaju. Przy trzech niezależnych testach i alfa = 0,05 otrzymujemy:

1 − 0,95³ ≈ 0,143

Oznacza to około 14,3% ryzyka co najmniej jednego fałszywie dodatniego wyniku, a nie 5%. Dla sześciu porównań byłoby to około 26,5%, a dla dziesięciu około 40,1%. W praktyce testy porównujące grupy nie są całkowicie niezależne, dlatego wzór należy traktować jako intuicyjne przybliżenie, nie zaś uniwersalną regułę obliczeniową. Kierunek problemu pozostaje jednak ten sam: wraz z liczbą testów rośnie ryzyko przypadkowego „odkrycia”. Zjawisko to było wielokrotnie omawiane w piśmiennictwie metodologicznym i medycznym (Bland i Altman 1995; Perneger 1998).

Jaką rolę pełni ANOVA?

Jednoczynnikowa ANOVA odpowiada na pytanie ogólne:

H₀: μ₁ = μ₂ = … = μ_k

Hipoteza alternatywna nie mówi od razu, która grupa różni się od której. Stwierdza jedynie, że nie wszystkie średnie populacyjne są równe. To rozróżnienie jest kluczowe. ANOVA nie jest „wieloma testami t wykonanymi naraz”, lecz odrębnym testem globalnym opartym na porównaniu dwóch składników zmienności.

Statystyka F ma postać:

F = MS_między / MS_wewnątrz

gdzie:

• MS_między – średni kwadrat zmienności między średnimi grup;
• MS_wewnątrz – średni kwadrat zmienności wewnątrz grup, czyli zmienności indywidualnych wyników wokół średnich grupowych;
• F – iloraz tych dwóch składników.

Jeśli średnie grupowe różnią się bardziej, niż można oczekiwać na podstawie zmienności osób wewnątrz grup, statystyka F rośnie. Przy prawdziwości hipotezy zerowej i spełnieniu założeń jej rozkład jest opisywany rozkładem F z odpowiednimi stopniami swobody.

ANOVA zachowuje kontrolę poziomu błędu dla testu globalnego. Przy alfa = 0,05 oceniamy jedno główne pytanie: czy istnieją jakiekolwiek różnice między średnimi? Nie oznacza to jeszcze, że ANOVA rozwiązuje wszystkie problemy wielokrotnego testowania. Jeśli test F jest istotny, a badacz chce wskazać konkretne pary grup, potrzebne są porównania post hoc lub kontrasty planowane z właściwą kontrolą błędu.

Przykład 1: trzy programy rehabilitacji

Wyobraźmy sobie badanie pacjentów po udarze mózgu. Uczestnicy zostali przydzieleni do jednej z trzech grup: standardowej rehabilitacji, rehabilitacji intensywnej oraz rehabilitacji intensywnej połączonej z treningiem czynności dnia codziennego. Po 12 tygodniach oceniono wynik w skali funkcjonalnej.

Badacz wykonuje trzy testy t:

• standardowa rehabilitacja vs rehabilitacja intensywna;
• standardowa rehabilitacja vs rehabilitacja intensywna z treningiem czynności dnia codziennego;
• rehabilitacja intensywna vs rehabilitacja intensywna z treningiem czynności dnia codziennego.

Nawet jeśli w populacji wszystkie trzy średnie są równe, jeden z testów może przypadkowo dać p < 0,05. Jeżeli badacz następnie napisze, że „program X był skuteczniejszy”, może opierać wniosek na wyniku wygenerowanym przez wielokrotne poszukiwanie istotności. Nie należy także mówić o przyczynowej skuteczności, jeśli badanie było obserwacyjne lub grupy różniły się systematycznie przed rozpoczęciem rehabilitacji.

Poprawna ścieżka może wyglądać tak: najpierw jednoczynnikowa ANOVA dla wyniku po 12 tygodniach, z oceną założeń i raportowaniem wielkości efektu. Jeśli test F jest istotny i porównania parami są merytorycznie uzasadnione, stosuje się procedurę post hoc, na przykład Tukeya dla wszystkich porównań parami. Należy wtedy podać różnice średnich, przedziały ufności, skorygowane wartości p oraz – przede wszystkim – znaczenie kliniczne różnic.

Przykład 2: poziom lęku w czterech grupach studentów

W badaniu psychologicznym porównuje się poziom lęku u studentów pierwszego roku, studentów ostatniego roku, osób pracujących zawodowo oraz osób studiujących i pracujących jednocześnie. Załóżmy, że średnie wynoszą odpowiednio 48, 45, 43 i 50 punktów.

Różnica między grupą pracującą a grupą studiująco-pracującą może być duża, ale różnice pozostałych par – niewielkie. Wykonanie sześciu testów t bez wcześniejszego planu utrudnia interpretację: nie wiadomo, czy badacz od początku zakładał sześć pytań, czy też wybrał do raportu tylko te pary, które wyglądały interesująco.

ANOVA testuje najpierw ogólną hipotezę o równości czterech średnich. Jeśli wynik jest nieistotny, brak podstaw do twierdzenia, że grupy różnią się ogólnie. Nie wolno jednak interpretować tego jako dowodu, że grupy są identyczne. Nieistotny wynik może wynikać z małej liczebności, dużej zmienności lub małego efektu. Jeśli ANOVA jest istotna, można przejść do porównań szczegółowych, zachowując świadomość, że test globalny nie wskazuje automatycznie konkretnej pary.

ANOVA nie zastępuje myślenia o hipotezach

Wybór ANOVA zamiast wielu testów t nie oznacza, że zawsze należy wykonywać najpierw test F, a dopiero potem dowolne porównania. Projekt analizy powinien wynikać z pytań badawczych.

Porównania planowane

Jeśli hipoteza była sformułowana przed analizą, można zaplanować kontrasty. Przykładowo w badaniu trzech metod leczenia badacz może z góry określić, że najważniejsze jest porównanie każdej metody eksperymentalnej z leczeniem standardowym. Takie porównania są bardziej ukierunkowane niż sprawdzanie wszystkich możliwych par. Nadal jednak, gdy wykonywanych jest kilka kontrastów, trzeba określić rodzinę hipotez i sposób kontroli błędu.

Porównania post hoc

Porównania post hoc służą do dalszego badania różnic po analizie globalnej albo do sytuacji, w której szczegółowy wzorzec różnic nie był wcześniej określony. Do często używanych procedur należą między innymi test Tukeya dla wszystkich porównań parami, korekta Holm oraz inne metody dostosowane do konkretnego planu i założeń. NIST wskazuje, że procedury wielokrotnych porównań są potrzebne do ustalenia, które średnie odpowiadają za odrzucenie hipotezy globalnej, a wybór metody powinien zależeć od celu analizy (NIST/SEMATECH 2003).

Kontrola FWER i FDR

Kontrola FWER ogranicza prawdopodobieństwo wystąpienia choćby jednego fałszywego odrzucenia w określonej rodzinie hipotez. Jest naturalna w analizach potwierdzających, zwłaszcza gdy pojedynczy fałszywy wniosek może mieć duże konsekwencje. Korekta Bonferroniego polega na użyciu poziomu alfa podzielonego przez liczbę testów, ale może zmniejszać moc, szczególnie gdy testów jest dużo.

W analizach eksploracyjnych, na przykład przy dużej liczbie wskaźników psychologicznych lub zmiennych biologicznych, czasem rozważa się kontrolę FDR, czyli oczekiwanego odsetka fałszywych odkryć wśród wszystkich odrzuconych hipotez. Procedura Benjamini–Hochberga została zaproponowana jako alternatywa dla rygorystycznej kontroli FWER w sytuacjach, w których większa liczba odkryć jest ważna, a dopuszczalny jest kontrolowany udział wyników fałszywych (Benjamini i Hochberg 1995). Nie jest to jednak automatyczne rozwiązanie dla każdej ANOVA.

Dlaczego wiele testów t jest problematyczne także praktycznie?

• Rozrost liczby hipotez. Przy większej liczbie grup analiza szybko staje się trudna do przejrzystego opisania.
• Ryzyko selektywnego raportowania. Badacz może nieświadomie skupić się na parach z najmniejszymi wartościami p.
• Utrata mocy po korektach. Próba naprawienia wielu testów bardzo restrykcyjną korektą może zwiększyć ryzyko błędu II rodzaju.
• Ignorowanie wspólnego modelu. Osobne testy t mogą utrudniać ocenę wspólnego składnika błędu i wpływu dodatkowych zmiennych.
• Nadmierne skupienie na wartości p. Sama istotność nie mówi, czy różnica jest duża, precyzyjnie oszacowana ani ważna dla pacjenta.

W analizie należy zatem raportować nie tylko statystykę F i wartość p, lecz także średnie, odchylenia standardowe lub inne miary rozproszenia, przedziały ufności, miarę wielkości efektu oraz wyniki zaplanowanych porównań. W jednoczynnikowej ANOVA można rozważać między innymi eta kwadrat lub omega kwadrat; wybór i interpretacja powinny być zgodne z modelem oraz celem badania.

Założenia i sytuacje wymagające ostrożności

Klasyczna ANOVA zakłada niezależność obserwacji, odpowiedni charakter zmiennej wynikowej, przybliżoną normalność rozkładu reszt oraz homogeniczność wariancji. Najważniejsza jest niezależność, której nie da się naprawić samą zmianą testu. Jeśli pomiary pochodzą od tych samych osób, mamy dane zależne i potrzebujemy innego modelu, na przykład ANOVA dla pomiarów powtarzanych lub modelu mieszanego.

Przy nierównych wariancjach można rozważyć ANOVA Welcha oraz odpowiednie porównania post hoc, na przykład procedurę Gamesa–Howella. Przy silnej skośności, odstających obserwacjach lub danych porządkowych należy rozważyć transformację, model odporny albo metodę nieparametryczną, taką jak test Kruskala–Wallisa. Nie należy jednak mechanicznie zastępować ANOVA testem nieparametrycznym bez sprawdzenia, jakie pytanie ten test faktycznie odpowiada.

Najczęstsze błędy

1. Wykonywanie wszystkich możliwych testów t bez planu. Sama liczba porównań zmienia rodzinny poziom błędu.
2. Traktowanie ANOVA jako dowodu, że wszystkie grupy są różne. Istotny test F mówi tylko, że co najmniej jedna średnia różni się od innej.
3. Wykonywanie testów t tylko dla „interesujących” par. Jeśli wybór nastąpił po obejrzeniu danych, trzeba uwzględnić eksploracyjny charakter analizy.
4. Używanie korekty Bonferroniego bez określenia rodziny hipotez. Liczba testów musi wynikać z jasno opisanej strategii analitycznej.
5. Raportowanie wyłącznie wartości p. Potrzebne są także różnice, przedziały ufności i wielkość efektu.
6. Wnioskowanie przyczynowe z samego porównania średnich. ANOVA jest metodą analizy, a nie substytutem randomizacji, kontroli zakłóceń ani poprawnego projektu badania.
7. Uznawanie nieistotności za dowód braku różnicy. Warto ocenić precyzję oszacowania i zgodność przedziału ufności z różnicą istotną praktycznie.

Przykład praktyczny: analiza wyników trzech oddziałów

Szpital analizuje czas pobytu pacjentów po planowym zabiegu w trzech oddziałach. Średnie wynoszą: 4,8 dnia w oddziale A, 5,1 dnia w oddziale B i 6,0 dnia w oddziale C. Badacz wykonuje trzy testy t i uzyskuje wartości p: 0,62 dla A–B, 0,04 dla A–C oraz 0,08 dla B–C. Ogłasza więc, że oddział A różni się od C.

Takie zdanie jest przedwczesne. Po pierwsze, wykonano trzy porównania, więc niekontrolowane wartości p nie mają już prostego znaczenia przyjętego dla jednego testu. Po drugie, nie znamy odchyleń standardowych, liczebności, rozkładu reszt ani powodów, dla których pacjenci trafiali do poszczególnych oddziałów. Różnica może odzwierciedlać profil kliniczny pacjentów, a nie jakość opieki.

Lepsza analiza obejmuje jednoczynnikową ANOVA lub – przy nierównych wariancjach – ANOVA Welcha, ocenę założeń, raportowanie wielkości efektu oraz porównania szczegółowe z kontrolą błędu. W raporcie można napisać: „Zaobserwowano różnice między średnimi czasami pobytu; po przeprowadzeniu skorygowanych porównań szczegółowych określono, które pary oddziałów różniły się istotnie. Wielkość różnicy oceniono wraz z 95-procentowymi przedziałami ufności”. Taki opis jest bardziej uczciwy niż wskazanie jednej małej wartości p bez kontekstu.

Co warto zapamiętać?

• Dwa testy t są właściwe dla jednego porównania dwóch grup, nie dla dowolnej liczby grup.
• Liczba porównań parami rośnie według wzoru k(k − 1)/2.
• Wiele testów zwiększa ryzyko co najmniej jednego fałszywie dodatniego wyniku w całej rodzinie hipotez.
• ANOVA najpierw testuje globalną hipotezę o równości średnich, wykorzystując stosunek zmienności między grupami do zmienności wewnątrz grup.
• Istotny test F nie wskazuje samodzielnie, które grupy się różnią; do tego służą kontrasty planowane lub procedury post hoc.
• Korekta wielokrotnych porównań powinna wynikać z celu badania, liczby hipotez i charakteru analizy, a nie być mechanicznym dodatkiem.
• Wynik należy interpretować razem z wielkością efektu, przedziałem ufności, założeniami i znaczeniem praktycznym.

Najkrótsza zasada brzmi: jeśli pytanie dotyczy więcej niż dwóch średnich, nie zaczynaj od serii testów t. Najpierw określ hipotezę ogólną, wybierz model odpowiadający projektowi badania, przeprowadź ANOVA lub jej właściwy odpowiednik, a następnie – gdy jest to uzasadnione – wykonaj kontrolowane porównania szczegółowe.

Źródła i dalsza lektura

1. Douglas G. Altman; J. Martin Bland (1996). Statistics Notes: Comparing several groups using analysis of variance. BMJ, 312(7044), 1472. DOI: 10.1136/bmj.312.7044.1472.
2. J. Martin Bland; Douglas G. Altman (1995). Multiple significance tests: the Bonferroni method. BMJ, 310(6973), 170. DOI: 10.1136/bmj.310.6973.170.
3. Thomas V. Perneger (1998). What’s wrong with Bonferroni adjustments. BMJ, 316(7139), 1236–1238. DOI: 10.1136/bmj.316.7139.1236.
4. Yoav Benjamini; Yosef Hochberg (1995). Controlling the False Discovery Rate: A Practical and Powerful Approach to Multiple Testing. Journal of the Royal Statistical Society: Series B (Methodological), 57(1), 289–300. DOI: 10.1111/j.2517-6161.1995.tb02031.x.
5. Douglas C. Montgomery (2020). Design and Analysis of Experiments. 10th edition. John Wiley & Sons, Inc.. Informacja wydawcy / źródło.
6. NIST/SEMATECH (2003). NIST/SEMATECH e-Handbook of Statistical Methods: How can multiple comparisons be made?. National Institute of Standards and Technology. Źródło.