408. Games–Howell – test post-hoc przy nierównych wariancjach

W poprzednich lekcjach omówiono klasyczną ANOVA, ANOVA Welcha oraz test Tukeya HSD. Kolejny krok to dobór procedury post-hoc odpowiedniej do sytuacji, w której wariancje w grupach nie są równe. Test Gamesa–Howella służy do jednoczesnego porównywania średnich wielu grup, gdy nie chcemy zakładać homogeniczności wariancji, a liczebności grup mogą być różne. Jest więc naturalnym uzupełnieniem ANOVA Welcha, choć jego zastosowanie powinno wynikać z projektu badania, charakteru danych i pytania naukowego, a nie wyłącznie z automatycznego wyniku testu Levene’a.

1. Dlaczego potrzebujemy procedury Gamesa–Howella?

Załóżmy, że badacz porównuje średni czas hospitalizacji w czterech grupach pacjentów leczonych różnymi strategiami. Jeżeli wariancje czasu pobytu są podobne, a liczebności grup nie różnią się drastycznie, można rozważyć klasyczną ANOVA i test Tukeya HSD. Jeżeli jednak jedna grupa jest bardzo zróżnicowana, inna stosunkowo jednorodna, a dodatkowo grupy mają odmienne liczebności, klasyczny test Tukeya może nie zapewniać właściwej kontroli błędu pierwszego rodzaju.

Problem wynika z tego, że klasyczna ANOVA i Tukey HSD opierają się na wspólnym oszacowaniu wariancji we wszystkich grupach. W sytuacji heterogeniczności wariancji wspólna miara może być niewłaściwa: dla jednych porównań błąd standardowy zostanie zawyżony, a dla innych zaniżony. Przy nierównych liczebnościach konsekwencje mogą być szczególnie niekorzystne.

Games i Howell zaproponowali procedurę, która dla każdej pary grup wykorzystuje osobne wariancje i osobne liczebności, a stopnie swobody przybliża za pomocą wzoru Welcha–Satterthwaite’a (Games i Howell, 1976). Ich badanie symulacyjne dotyczyło właśnie porównań średnich przy nierównych liczebnościach i wariancjach. ([journals.sagepub.com])

2. Co test Gamesa–Howella właściwie sprawdza?

Dla każdej pary grup testowana jest hipoteza dotycząca różnicy średnich:

H₀: μ_i − μ_j = 0

H₁: μ_i − μ_j ≠ 0

W praktyce procedura odpowiada na pytanie: czy średnie w dwóch konkretnych grupach różnią się bardziej, niż można byłoby oczekiwać z uwzględnieniem zmienności obserwacji, liczebności grup i faktu wykonywania wielu porównań?

Nie jest to pojedynczy test dla wszystkich średnich. Jeżeli istnieje k grup, liczba porównań parami wynosi:

k(k − 1) / 2

Dla czterech grup otrzymujemy sześć porównań, dla pięciu grup dziesięć, a dla sześciu grup piętnaście. Games–Howell uwzględnia wielokrotność porównań poprzez wykorzystanie rozkładu studentyzowanego zakresu. Dzięki temu nie wykonujemy po prostu wielu niezależnych testów Welcha bez żadnej korekty.

3. Wzór i intuicja obliczeń

Najczęściej przedstawiana statystyka dla porównania grup i oraz j ma postać:

q_ij = |x̄_i − x̄_j| / √[(s_i²/n_i + s_j²/n_j)/2]

Oznaczenia są następujące:

• x̄_i i x̄_j – średnie arytmetyczne w porównywanych grupach;
• s_i² i s_j² – wariancje z próby w tych grupach;
• n_i i n_j – liczebności grup;
• q_ij – statystyka porównania, oparta na bezwzględnej różnicy średnich i jej błędzie standardowym.

W liczniku znajduje się różnica średnich. W mianowniku znajduje się składnik opisujący niepewność tej różnicy. Jeżeli grupy są małe lub bardzo zmienne, mianownik rośnie, a wynik staje się mniej precyzyjny. Jeżeli średnie są odległe w stosunku do zmienności i liczebności grup, statystyka q rośnie.

Stopnie swobody dla konkretnej pary oblicza się zwykle według przybliżenia Welcha–Satterthwaite’a:

ν_ij = (s_i²/n_i + s_j²/n_j)² / [ (s_i²/n_i)²/(n_i − 1) + (s_j²/n_j)²/(n_j − 1) ]

ν_ij oznacza przybliżone stopnie swobody dla porównania grup i i j. W odróżnieniu od klasycznego Tukeya nie ma jednej wspólnej wartości stopni swobody dla całej tabeli. Każda para może mieć inną wartość, ponieważ każda para ma własne wariancje i liczebności.

4. Kiedy stosować Games–Howell?

Procedura jest szczególnie uzasadniona, gdy:

• porównujemy średnie w co najmniej trzech niezależnych grupach;
• wariancje grup są nierówne lub istnieją dobre powody, aby nie zakładać ich równości;
• liczebności grup są różne;
• zmienna zależna jest ilościowa i średnia jest sensowną miarą położenia;
• obserwacje są niezależne, a rozkłady w grupach nie odbiegają skrajnie od założeń wymaganych dla procedur opartych na średnich.

W typowym schemacie analitycznym stosuje się najpierw ANOVA Welcha jako test globalny, a następnie Games–Howell do identyfikacji konkretnych par grup. ANOVA Welcha odpowiada na pytanie, czy istnieją jakiekolwiek różnice między średnimi, natomiast Games–Howell wskazuje, między którymi grupami znajdują się te różnice.

Nie oznacza to jednak, że warunkiem mechanicznym jest zawsze istotny wynik ANOVA Welcha. W analizie potwierdzającej warto z góry określić strategię wnioskowania. Jeżeli interesują nas wszystkie porównania parami, można raportować przedziały ufności i wartości p z Games–Howella, zachowując kontrolę nad rodziną porównań.

5. Przykład medyczny: czas powrotu do sprawności

W badaniu porównano czas, w którym pacjenci po zabiegu ortopedycznym odzyskali samodzielność funkcjonalną. Analizowano trzy grupy: standardową rehabilitację, rehabilitację intensywną oraz program domowy. Grupy liczyły odpowiednio 28, 15 i 42 osoby. Średnie czasy wynosiły 19,4; 14,8 i 21,1 dnia, a odchylenia standardowe 4,1; 8,7 i 3,6 dnia.

Już opis danych wskazuje, że grupa rehabilitacji intensywnej jest nie tylko najmniejsza, lecz także najbardziej zróżnicowana. W takiej sytuacji wspólne oszacowanie wariancji może być problematyczne. Badacz wybiera ANOVA Welcha, a po wyniku globalnym stosuje Games–Howell.

Przykładowy wynik można opisać następująco: różnica między rehabilitacją intensywną a programem domowym wyniosła −6,3 dnia, 95% PU [−10,2; −2,4], p = 0,002. Oznacza to, że średni czas w grupie intensywnej był krótszy, a przedział ufności dla różnicy nie obejmował zera. Nie należy jednak pisać, że wynik p oznacza prawdopodobieństwo prawdziwości hipotezy zerowej. Wartość p jest miarą zgodności danych z hipotezą zerową przy przyjęciu określonego modelu, a nie prawdopodobieństwem, że H₀ jest prawdziwa.

Jeśli różnica między rehabilitacją standardową a programem domowym wyniosła −1,7 dnia, 95% PU [−4,0; 0,6], p = 0,18, poprawny wniosek brzmi: nie uzyskano wystarczających dowodów na różnicę średnich w tej parze. Nie oznacza to, że obie strategie są równoważne ani że ich efekty są identyczne.

6. Przykład psychologiczny: poziom stresu w trzech grupach

Psycholog bada wynik na skali stresu u pracowników ochrony zdrowia po różnych formach szkolenia: szkoleniu jednorazowym, cyklu sześciu spotkań oraz grupie bez szkolenia. Grupy różnią się liczebnością, ponieważ część uczestników wycofała się z cyklu spotkań. Dodatkowo w grupie bez szkolenia pojawia się większe zróżnicowanie wyników.

Wynik ANOVA Welcha jest istotny, ale nie mówi, czy różnica dotyczy wszystkich grup, czy tylko jednej pary. Games–Howell może wykazać, że cykl sześciu spotkań wiąże się z niższym średnim poziomem stresu niż brak szkolenia, natomiast różnica między szkoleniem jednorazowym a cyklem spotkań jest niepewna. Taki rezultat jest całkowicie możliwy: istotność globalna nie musi oznaczać, że każda para średnich różni się istotnie.

W raporcie warto podać średnie, odchylenia standardowe, liczebności, różnice średnich, przedziały ufności oraz skorygowane wartości p. Sama informacja „test Gamesa–Howella wykazał istotne różnice” jest zbyt uboga, aby czytelnik mógł ocenić kierunek i znaczenie efektu.

7. Games–Howell a Tukey HSD

Cecha	Tukey HSD	Games–Howell
Wariancje	Zakłada ich równość	Nie wymaga równości wariancji
Liczebności	Najlepiej podobne; może działać przy równych liczebnościach	Może uwzględniać nierówne liczebności
Wariancja błędu	Wspólna dla porównań	Wyznaczana z wariancji konkretnych grup
Stopnie swobody	Zwykle wspólne dla wszystkich porównań	Mogą być różne dla każdej pary
Typowe zastosowanie	ANOVA przy homogeniczności wariancji	ANOVA Welcha przy heterogeniczności wariancji

Games–Howell nie jest „lepszym Tukeyem” w każdej sytuacji. Jeżeli wariancje są podobne, a projekt jest dobrze zbilansowany, Tukey HSD może być efektywną i prostą procedurą. Games–Howell jest przede wszystkim rozwiązaniem problemu heterogeniczności wariancji oraz nierównych liczebności.

8. Jak wykonać i opisać analizę?

1. Określ zmienną zależną, czynnik grupujący i jednostkę obserwacji.
2. Sprawdź liczebności, średnie, odchylenia standardowe, wykresy oraz wartości odstające.
3. Oceń, czy klasyczna ANOVA jest adekwatna, czy lepiej zastosować ANOVA Welcha.
4. Jeżeli potrzebujesz porównań wszystkich par przy nierównych wariancjach, wybierz Games–Howell.
5. Raportuj wyniki dla konkretnych par, a nie tylko ogólną informację o istotności.
6. Połącz istotność statystyczną z wielkością różnicy i jej znaczeniem praktycznym.

Przykładowa formuła raportu może brzmieć: Ze względu na heterogeniczność wariancji zastosowano jednoczynnikową ANOVA Welcha. W porównaniach post-hoc użyto procedury Gamesa–Howella. Średni wynik w grupie A był niższy niż w grupie C o 5,4 punktu, 95% PU [−8,1; −2,7], p = 0,001. Różnica ta może mieć znaczenie praktyczne, ponieważ przekracza wcześniej przyjęty minimalny istotny klinicznie efekt wynoszący 3 punkty.

9. Najczęstsze błędy

Automatyczne wybieranie testu na podstawie samego Levene’a

Test Levene’a nie powinien być jedynym elementem decyzji. Wynik zależy od liczebności próby, a brak istotności nie dowodzi równości wariancji. Należy uwzględnić także wykresy, stosunek odchyleń standardowych, nierówność liczebności i odporność wybranej procedury.

Łączenie klasycznej ANOVA z Games–Howellem bez wyjaśnienia

Można spotkać raporty, w których zastosowano klasyczną ANOVA, lecz post-hoc Games–Howell. Taka kombinacja wymaga uzasadnienia. Jeżeli nierówność wariancji jest na tyle ważna, że zmieniono procedurę post-hoc, należy rozważyć także odporny test globalny, na przykład ANOVA Welcha.

Wykonywanie wielu testów t zamiast procedury wielokrotnych porównań

Oddzielne testy Welcha dla każdej pary bez korekty zwiększają ryzyko uzyskania co najmniej jednego fałszywie dodatniego wyniku. Games–Howell został skonstruowany jako procedura dla całej rodziny porównań.

Interpretowanie p jako wielkości efektu

Mała wartość p nie mówi, czy różnica jest duża lub ważna klinicznie. Przy dużej próbie bardzo mała różnica może być statystycznie istotna, lecz praktycznie mało znacząca. Przy małej próbie ważna różnica może nie osiągnąć konwencjonalnego poziomu istotności.

Pomijanie kierunku różnicy

Wartość p nie pokazuje, która grupa miała wyższą średnią. Dlatego należy podać średnie i znak różnicy albo jasno wskazać kolejność odejmowania średnich.

10. Ograniczenia procedury

Games–Howell nie rozwiązuje problemu zależności obserwacji, błędów pomiaru ani silnych wartości odstających. Jeżeli pomiary pochodzą od tych samych osób w kilku punktach czasu, zwykłe porównania niezależnych grup są niewłaściwe. Potrzebny może być model dla pomiarów powtarzanych, model mieszany albo inna metoda uwzględniająca korelację.

Przy bardzo małych grupach oszacowania wariancji są niestabilne. Procedura może wtedy mieć małą moc, a wynik powinien być interpretowany ostrożnie. Warto także rozważyć przedziały ufności, analizę wrażliwości i prezentację surowych danych.

Współczesne porównania metod wskazują, że Games–Howell jest jedną z rozsądnych procedur przy normalnych danych, nierównych wariancjach i nierównych liczebnościach, ale nie jest jedyną możliwością. W zależności od celu można rozważyć także Dunnetta T3, Dunnetta C, Tamhane’a T2, model odporny lub analizę nieparametryczną. Wybór powinien być uzasadniony charakterem danych, a nie popularnością procedury (Sauder i DeMars, 2019). ([journals.sagepub.com])

11. Co warto zapamiętać?

• Games–Howell służy do porównań średnich wielu niezależnych grup przy nierównych wariancjach.
• Może być stosowany także wtedy, gdy liczebności grup są różne.
• Dla każdej pary wykorzystuje osobne wariancje, liczebności i stopnie swobody.
• Jest naturalnym uzupełnieniem ANOVA Welcha, gdy trzeba wskazać konkretne różniące się pary.
• Nie zastępuje oceny projektu, rozkładów, wartości odstających i niezależności obserwacji.
• Wynik należy interpretować razem z różnicą średnich, przedziałem ufności i znaczeniem praktycznym.
• Wartość p nie jest prawdopodobieństwem prawdziwości hipotezy zerowej.

W ramach publicznego szkolenia na statystyk.edu.pl test Gamesa–Howella warto traktować jako element większego schematu decyzyjnego: najpierw rozpoznaj projekt i dane, następnie wybierz test globalny, a dopiero potem procedurę porównań szczegółowych. Sama nazwa testu nie zastępuje uzasadnienia metodologicznego.

Źródła i dalsza lektura

1. Games, P. A.; Howell, J. F. (1976). Pairwise Multiple Comparison Procedures with Unequal N’s and/or Variances: A Monte Carlo Study. Journal of Educational Statistics, 1(2), 113–125. DOI: 10.3102/10769986001002113.
2. Howell, J. F.; Games, P. A. (1973). The Robustness of the Analysis of Variance and the Tukey WSD Test under Various Patterns of Heterogeneous Variances. The Journal of Experimental Education, 41(4), 33–37. DOI: 10.1080/00220973.1973.11011424.
3. Welch, B. L. (1951). On the Comparison of Several Mean Values: An Alternative Approach. Biometrika, 38(3–4), 330–336. DOI: 10.1093/biomet/38.3-4.330.
4. Brown, M. B.; Forsythe, A. B. (1974). Robust Tests for the Equality of Variances. Journal of the American Statistical Association, 69(346), 364–367. DOI: 10.1080/01621459.1974.10482955.
5. Sauder, D. C.; DeMars, C. E. (2019). An Updated Recommendation for Multiple Comparisons. Advances in Methods and Practices in Psychological Science, 2(1), 26–44. DOI: 10.1177/2515245918808784.