406. Testy post-hoc – po co są potrzebne?

W poprzednich lekcjach kursu omawialiśmy ideę analizy wariancji, statystykę F, założenia jednoczynnikowej ANOVA oraz sytuacje, w których należy rozważyć analizę Welcha. Teraz przechodzimy do pytania, które pojawia się bezpośrednio po uzyskaniu istotnego wyniku ANOVA: które grupy różnią się między sobą?

Odpowiedzią są testy post-hoc, czyli procedury wykonywane po analizie głównej. Ich zadaniem nie jest zastąpienie ANOVA, lecz uporządkowane i odpowiednio zabezpieczone zbadanie wielu szczegółowych porównań. W tej lekcji szkolenia na statystyk.edu.pl wyjaśnimy, dlaczego zwykłe wykonywanie wielu testów t jest problemem, jak wybierać procedurę post-hoc oraz jak raportować wyniki bez nadinterpretacji.

Dlaczego sam wynik ANOVA nie wystarcza?

W jednoczynnikowej ANOVA hipoteza zerowa ma postać:

H₀: μ₁ = μ₂ = … = μ_k

Odrzucenie tej hipotezy oznacza, że dane dostarczają podstaw do stwierdzenia, iż nie wszystkie średnie populacyjne są równe. Nie wynika z tego jednak, że każda grupa różni się od każdej innej. Test F jest testem globalnym: ocenia cały układ średnich jednocześnie.

Przykładowo, jeśli porównujemy trzy metody rehabilitacji i otrzymujemy p = 0,01, wiemy, że występuje jakaś różnica między średnimi wynikami sprawności. Nie wiemy jeszcze, czy różni się metoda A od B, A od C, B od C, czy może tylko jedna metoda odbiega od pozostałych.

Do odpowiedzi na to pytanie potrzebne są porównania szczegółowe. Jeżeli zostały zaplanowane przed analizą, mogą mieć postać kontrastów a priori. Jeżeli są wybierane po obejrzeniu wyniku ANOVA lub danych, mówimy zwykle o analizach post-hoc.

Na czym polega problem wielu porównań?

Dla pojedynczego testu statystycznego przyjmujemy określone ryzyko błędu I rodzaju, najczęściej α = 0,05. Błąd I rodzaju polega na odrzuceniu prawdziwej hipotezy zerowej. Gdy wykonujemy wiele niezależnych testów, rośnie prawdopodobieństwo, że przynajmniej jeden z nich okaże się „istotny” tylko przypadkiem.

Przybliżone prawdopodobieństwo uzyskania co najmniej jednego fałszywie dodatniego wyniku przy m niezależnych testach, gdy każdy test ma poziom α, można zapisać jako:

α_rodzinne = 1 − (1 − α)^m

• α_rodzinne – prawdopodobieństwo co najmniej jednego błędu I rodzaju w całym zestawie porównań;
• α – poziom istotności pojedynczego testu;
• m – liczba wykonywanych testów.

Dla sześciu niezależnych testów przy α = 0,05 wartość ta wynosi około 0,265. Nie oznacza to, że w każdej analizie ryzyko wynosi dokładnie 26,5%, ponieważ porównania mogą być zależne, ale pokazuje kierunek problemu: im więcej prób znalezienia różnicy, tym większa szansa na przypadkowy sygnał.

W przypadku k grup liczba wszystkich porównań parami wynosi:

m = k(k − 1) / 2

Dla czterech grup otrzymujemy sześć porównań, dla pięciu grup – dziesięć, a dla sześciu grup – piętnaście. Testy post-hoc modyfikują procedurę testowania tak, aby kontrolować ryzyko błędu dla całej rodziny porównań.

Co kontrolują testy post-hoc?

Rodzinny błąd I rodzaju

Najczęściej mówi się o kontroli family-wise error rate (FWER), czyli prawdopodobieństwa popełnienia przynajmniej jednego błędu I rodzaju w całej rodzinie analizowanych porównań. Procedury Tukeya, Dunnetta i Scheffégo zostały opracowane właśnie po to, aby w określonych warunkach kontrolować taki błąd na zadanym poziomie.

Niektóre współczesne metody kontrolują zamiast tego odsetek fałszywych odkryć (FDR). FDR bywa użyteczny przy bardzo dużej liczbie hipotez, na przykład w badaniach omicznych, ale w klasycznej analizie kilku średnich najczęściej rozważa się kontrolę FWER.

Istotność statystyczna nie jest wielkością efektu

Korekta wielokrotnych porównań wpływa na wartości p i przedziały ufności, ale nie zmienia sama przez się wielkości różnicy między średnimi. Należy zatem odrębnie oceniać:

• czy wynik jest zgodny z przyjętym kryterium istotności statystycznej;
• jak duża jest różnica lub standaryzowana wielkość efektu;
• czy różnica ma znaczenie kliniczne, psychologiczne albo społeczne;
• jak precyzyjny jest wynik, co pokazuje przedział ufności.

Wartość p nie jest prawdopodobieństwem prawdziwości hipotezy zerowej. Nie mówi też, jakie jest prawdopodobieństwo, że wynik jest „przypadkowy”. Jest miarą zgodności danych z hipotezą zerową i przyjętym modelem, przy założeniu, że hipoteza zerowa jest prawdziwa.

Najważniejsze procedury post-hoc

Test Tukeya lub Tukeya-Kramera

Procedura Tukeya służy przede wszystkim do porównywania wszystkich średnich parami. Klasyczna wersja jest przeznaczona dla równych liczebności, a wariant Tukeya-Kramera pozwala uwzględnić nierówne liczebności grup. Test opiera się na rozkładzie studentyzowanego zakresu i dostarcza skorygowanych wartości p oraz jednoczesnych przedziałów ufności dla różnic średnich (Tukey, 1949).

To częsty wybór, gdy badacz chce odpowiedzieć na pytanie: „które wszystkie pary grup różnią się między sobą?”. Procedura nie jest jednak automatycznie właściwa w każdej sytuacji. Przy silnie nierównych wariancjach i liczebnościach należy rozważyć metody odporne, na przykład analizę Welcha połączoną z procedurą Gamesa-Howella.

Test Dunnetta

Jeżeli wszystkie grupy eksperymentalne mają być porównane tylko z jedną grupą kontrolną, wykonywanie wszystkich porównań parami jest niepotrzebne. Test Dunnetta został zaprojektowany właśnie dla układu „wiele terapii lub dawek versus kontrola” (Dunnett, 1955).

Jest zwykle bardziej wydajny niż procedura przeznaczona do wszystkich par, ponieważ nie płaci się za porównania, które nie odpowiadają pytaniu badawczemu. W badaniu klinicznym, w którym porównujemy trzy dawki leku z placebo, Dunnett jest naturalnym kandydatem.

Test Scheffégo

Metoda Scheffégo jest bardzo ogólna: pozwala kontrolować wnioskowanie dla wszystkich kontrastów liniowych między średnimi, a nie tylko dla porównań parami (Scheffé, 1953). Jest przydatna, gdy badacz chce analizować różne, także nieplanowane kombinacje grup.

Jej szeroki zakres ma cenę: dla prostych porównań parami często jest mniej czuła niż Tukey. Nie należy więc wybierać jej wyłącznie dlatego, że jest „najbardziej bezpieczna”. Dobór procedury powinien wynikać z planu i zakresu hipotez.

Games-Howell

Procedura Gamesa-Howella jest stosowana do porównań parami, gdy liczebności grup i wariancje są nierówne. Jej użycie wiąże się zwykle z wcześniejszym zastosowaniem ANOVA Welcha albo podobnego podejścia odpornego na heterogeniczność wariancji. Badanie symulacyjne Gamesa i Howella wskazywało, że klasyczne procedury mogą niewłaściwie kontrolować błąd przy nierównych liczebnościach i wariancjach, dlatego w takich warunkach potrzebna jest metoda dopasowana do struktury danych (Games i Howell, 1976).

Metody oparte na korekcie Bonferroniego

Najprostsza korekta Bonferroniego zastępuje poziom α dla pojedynczego testu wartością α/m. Jest łatwa do wyjaśnienia i może być stosowana do zaplanowanego zbioru porównań. Bywa jednak konserwatywna, szczególnie gdy porównań jest dużo. Wariant Holm–Bonferroni jest zwykle korzystniejszy: porządkuje wartości p i testuje je sekwencyjnie, zachowując kontrolę FWER.

Przykład praktyczny: trzy programy rehabilitacji

Załóżmy, że w badaniu pacjentów po udarze porównano trzy programy rehabilitacji: A, B i C. Wynikiem jest zmiana punktacji w skali sprawności po ośmiu tygodniach. Jednoczynnikowa ANOVA dała wynik F(2, 87) = 5,42, p = 0,006.

Wniosek z ANOVA brzmi: średnie zmiany nie są wszystkie równe. Nie wolno jednak napisać, że „program A był lepszy od B i C”, dopóki nie przeprowadzimy odpowiednich porównań.

Badacz wykonuje test Tukeya:

Porównanie	Różnica średnich	95% CI	Skorygowane p
A – B	1,2 punktu	−1,0 do 3,4	0,39
A – C	4,8 punktu	1,6 do 8,0	0,002
B – C	3,6 punktu	0,5 do 6,7	0,018

Interpretacja jest następująca: program C różnił się od A i B pod względem średniej zmiany wyniku, natomiast różnica między A i B nie była statystycznie istotna po uwzględnieniu wielokrotnych porównań. Należy jeszcze ocenić, czy różnice 4,8 i 3,6 punktu przekraczają wcześniej określony próg istotności klinicznej. Sama wartość p nie rozstrzyga tej kwestii.

Przykład z grupą kontrolną: badanie dawki leku

W badaniu farmakologicznym porównano placebo oraz trzy dawki leku: 10, 20 i 40 mg. Głównym pytaniem było, czy każda dawka powoduje inną średnią zmianę ciśnienia skurczowego niż placebo. Nie interesowały natomiast bezpośrednie porównania dawki 10 mg z 20 mg ani 20 mg z 40 mg.

W takim układzie test Dunnetta jest lepiej dopasowany do celu niż test Tukeya. Ogranicza rodzinę hipotez do trzech porównań z kontrolą. Raport powinien podawać dla każdej dawki różnicę względem placebo, przedział ufności oraz skorygowaną wartość p. Jeżeli dawka 40 mg daje większy spadek ciśnienia, ale przedział ufności obejmuje zarówno efekt klinicznie mały, jak i duży, wniosek powinien uwzględniać tę niepewność.

Jak wybrać test post-hoc?

1. Określ pytanie badawcze. Czy interesują Cię wszystkie pary grup, czy tylko porównania z kontrolą?
2. Oceń wariancje i liczebności. Przy podobnych wariancjach i klasycznej ANOVA często stosuje się Tukeya. Przy nierównych wariancjach rozważ Welcha i Gamesa-Howella.
3. Nie wybieraj metody po wyniku. Wybór procedury powinien wynikać z planu analizy, a nie z tego, która metoda daje najniższe p.
4. Raportuj zakres porównań. Czy wykonano wszystkie pary, tylko porównania z kontrolą, czy określone kontrasty?
5. Podawaj różnice i przedziały ufności. Lista samych wartości p jest niewystarczająca.

Jeśli hipotezy dotyczą niewielkiej liczby konkretnych porównań, zaplanowane kontrasty mogą być bardziej przejrzyste niż szeroki zestaw post-hoc. Test post-hoc nie powinien być traktowany jako obowiązkowy etap każdej ANOVA. Gdy wynik globalny nie jest istotny, wykonywanie wielu eksploracyjnych porównań może zwiększać ryzyko przypadkowych odkryć i wymaga szczególnego uzasadnienia.

Najczęstsze błędy

• Wykonywanie wielu testów t bez korekty. To ignoruje wzrost rodzinnego błędu I rodzaju.
• Stwierdzenie, że wszystkie grupy się różnią. Istotna ANOVA mówi tylko, że nie wszystkie średnie są równe.
• Użycie Tukeya przy silnie nierównych wariancjach. W takiej sytuacji trzeba rozważyć analizę Welcha i procedurę odporną.
• Wybór testu na podstawie najkorzystniejszego wyniku. Jest to forma analizy zależnej od danych i osłabia wiarygodność wnioskowania.
• Raportowanie wyłącznie gwiazdek. Gwiazdki nie pokazują wielkości różnicy ani jej precyzji.
• Mylenie braku istotności z dowodem równości. Nieistotny wynik może oznaczać także małą moc, dużą zmienność lub zbyt małą próbę.
• Przenoszenie wniosku statystycznego na znaczenie kliniczne. Statystycznie istotna różnica może być praktycznie pomijalna.
• Ignorowanie struktury badania. Jeżeli dane są zależne, powtarzane lub klastrowe, zwykła jednoczynnikowa ANOVA i klasyczne post-hoc mogą być nieadekwatne.

Jak raportować wyniki?

Przykładowy zapis może wyglądać następująco:

Jednoczynnikowa ANOVA wykazała różnice między trzema grupami, F(2, 87) = 5,42, p = 0,006. W analizie post-hoc Tukeya grupa C uzyskała wyższy średni wynik niż grupa A, różnica = 4,8 punktu, 95% CI [1,6; 8,0], skorygowane p = 0,002, oraz niższy wynik niż grupa B, różnica = 3,6 punktu, 95% CI [0,5; 6,7], skorygowane p = 0,018. Różnica między A i B nie była istotna, różnica = 1,2 punktu, 95% CI [−1,0; 3,4], skorygowane p = 0,39.

Taki zapis informuje o teście globalnym, metodzie post-hoc, kierunku różnic, ich wielkości, niepewności i wyniku korekty. W raporcie warto również podać liczebności grup, średnie i odchylenia standardowe lub mediany i miary rozproszenia, a także uzasadnienie wyboru procedury.

Co warto zapamiętać?

• ANOVA odpowiada na pytanie, czy wszystkie średnie są równe; nie wskazuje automatycznie, które grupy się różnią.
• Testy post-hoc służą do kontrolowanego wykonywania wielu porównań po analizie globalnej.
• Najczęściej wybierany test powinien zależeć od pytania: Tukey dla wszystkich par, Dunnett dla porównań z kontrolą, Scheffé dla szerokiego zbioru kontrastów, Games-Howell przy nierównych wariancjach i liczebnościach.
• Skorygowana wartość p nie zastępuje różnicy średnich, przedziału ufności ani oceny znaczenia praktycznego.
• Nieistotny wynik post-hoc nie dowodzi równości grup.
• Procedurę należy określić przed analizą lub jasno oznaczyć analizę eksploracyjną.

Najważniejsza zasada brzmi: najpierw określ, jakie porównania mają sens naukowy, a dopiero potem dobierz procedurę, która kontroluje ryzyko błędu dla tego konkretnego zestawu hipotez. Dzięki temu testy post-hoc stają się narzędziem interpretacji ANOVA, a nie sposobem na poszukiwanie przypadkowej istotności.

Źródła i dalsza lektura

1. Tukey, J. W. (1949). Comparing individual means in the analysis of variance. Biometrics, 5(2), 99–114. DOI: 10.2307/3001913.
2. Scheffé, H. (1953). A method for judging all contrasts in the analysis of variance. Biometrika, 40(1–2), 87–110. DOI: 10.1093/biomet/40.1-2.87.
3. Dunnett, C. W. (1955). A multiple comparison procedure for comparing several treatments with a control. Journal of the American Statistical Association, 50(272), 1096–1121. DOI: 10.1080/01621459.1955.10501294.
4. Games, P. A.; Howell, J. F. (1976). Pairwise multiple comparison procedures with unequal N’s and/or variances: A Monte Carlo study. Journal of Educational Statistics, 1(2), 113–125. DOI: 10.3102/10769986001002113.
5. American Psychological Association (2020). Publication Manual of the American Psychological Association: The Official Guide to APA Style. American Psychological Association. Źródło.

Jeżeli potrzebujesz indywidualnego wsparcia w doborze metod, przygotowaniu bazy lub opracowaniu wyników badań, sprawdź analiza statystyczna.