407. Tukey HSD – porównania wszystkich par

W poprzedniej lekcji omówiliśmy, po co w analizie wariancji stosuje się testy post-hoc. Teraz zajmiemy się jedną z najbardziej klasycznych i najczęściej wykorzystywanych procedur: testem Tukeya HSD. Jego zadaniem jest porównanie każdej pary średnich przy jednoczesnym ograniczeniu ryzyka fałszywie dodatnich wniosków w całym zestawie porównań.

Test Tukeya HSD nie odpowiada na pytanie, czy wszystkie grupy różnią się od siebie. Odpowiada na pytanie bardziej szczegółowe: które konkretne pary grup różnią się istotnie statystycznie, gdy badacz chce rozważyć wszystkie możliwe porównania parami. W praktyce jest to naturalne rozwinięcie jednoczynnikowej ANOVA, ale wymaga właściwego rozumienia zarówno jego celu, jak i ograniczeń.

1. Dlaczego potrzebujemy porównań wszystkich par?

Jednoczynnikowa ANOVA testuje hipotezę globalną:

H₀: μ₁ = μ₂ = … = μ_k

Odrzucenie tej hipotezy oznacza, że nie wszystkie średnie populacyjne są jednakowe. Nie wskazuje jednak, między którymi grupami występują różnice. Jeżeli mamy cztery grupy, na przykład cztery metody rehabilitacji, możliwe są następujące porównania:

• metoda A z metodą B,
• metoda A z metodą C,
• metoda A z metodą D,
• metoda B z metodą C,
• metoda B z metodą D,
• metoda C z metodą D.

Liczbę wszystkich porównań parami można obliczyć ze wzoru:

m = k(k − 1) / 2

gdzie k oznacza liczbę grup, a m liczbę porównań. Dla sześciu grup otrzymujemy już 15 porównań, a dla dziesięciu grup aż 45. Wykonywanie odrębnego testu t dla każdej pary prowadziłoby do narastania skumulowanego ryzyka błędu I rodzaju. Test Tukeya został zaprojektowany właśnie po to, aby kontrolować to ryzyko dla całego zestawu porównań (Tukey, 1949; Hsu, 1996).

2. Czym jest test Tukeya HSD?

Skrót HSD pochodzi od angielskiego określenia Honestly Significant Difference, czyli „uczciwie istotna różnica”. Nazwa wskazuje na ideę procedury: różnica między dwiema średnimi musi być wystarczająco duża, aby uznać ją za istotną po uwzględnieniu faktu, że analizujemy wiele par jednocześnie.

Test Tukeya wykorzystuje rozkład zakresu studentyzowanego, oznaczany zwykle przez q. Zakres oznacza różnicę między największą i najmniejszą wartością, natomiast „studentyzowanie” polega na odniesieniu tej różnicy do oszacowanego błędu standardowego. W ten sposób procedura uwzględnia zarówno wielkość różnicy między średnimi, jak i zmienność obserwacji wewnątrz grup (NIST/SEMATECH, b.d.).

W klasycznym, zbilansowanym przypadku, gdy wszystkie grupy mają taką samą liczebność, minimalna różnica uznawana za istotną może być zapisana jako:

HSD = q_α;k;dferror × √(MS_error / n)

Poszczególne symbole oznaczają:

• HSD – minimalną bezwzględną różnicę między dwiema średnimi, która przy przyjętym poziomie α zostanie uznana za istotną;
• q_α;k;dferror – wartość krytyczną z rozkładu zakresu studentyzowanego;
• α – nominalny poziom istotności, na przykład 0,05;
• k – liczbę porównywanych grup;
• df_error – stopnie swobody dla błędu z tabeli ANOVA;
• MS_error – średni kwadrat błędu, czyli oszacowanie wariancji wewnątrzgrupowej;
• n – liczebność każdej grupy w przypadku równych liczebności.

Dla każdej pary grup porównuje się następnie wartość bezwzględną różnicy średnich z wartością HSD:

|x̄_i − x̄_j| > HSD

Jeżeli nierówność jest spełniona, różnica zostaje uznana za statystycznie istotną przy kontrolowanym poziomie błędu dla całego zestawu porównań.

3. Co dokładnie kontroluje Tukey HSD?

Najważniejszą właściwością testu Tukeya jest kontrola rodzinnego błędu I rodzaju, określanego po angielsku jako family-wise error rate, czyli FWER. Jest to prawdopodobieństwo popełnienia co najmniej jednego błędu I rodzaju w całym zestawie wykonywanych porównań.

Jeżeli wykonujemy pojedynczy test przy α = 0,05, dopuszczamy 5-procentowe ryzyko odrzucenia prawdziwej hipotezy zerowej. Przy wielu niezależnych testach prawdopodobieństwo uzyskania przynajmniej jednego przypadkowo istotnego wyniku może być znacznie większe. Tukey HSD nie traktuje każdej pary jako całkowicie odrębnego problemu, lecz konstruuje procedurę dla całej rodziny porównań.

Nie oznacza to, że każde uzyskane p jest prawdopodobieństwem prawdziwości hipotezy zerowej. Wartość p opisuje zgodność danych z hipotezą zerową przy założeniu, że ta hipoteza jest prawdziwa. Nie informuje bezpośrednio o prawdopodobieństwie, że H₀ jest prawdziwa.

4. Kiedy stosować Tukey HSD?

Test Tukeya jest szczególnie odpowiedni, gdy:

• zmienna zależna jest ilościowa;
• porównujemy średnie kilku niezależnych grup;
• interesują nas wszystkie pary grup, a nie tylko porównania z grupą kontrolną;
• zastosowano klasyczną jednoczynnikową ANOVA lub model liniowy z jednym czynnikiem;
• reszty modelu są w przybliżeniu normalne, a wariancje w grupach są podobne;
• liczebności grup są równe albo metoda obliczeniowa prawidłowo uwzględnia ich nierówność.

W przypadku równych liczebności mówimy o klasycznym Tukey HSD. Przy nierównych liczebnościach często stosuje się wariant nazywany Tukey–Kramer. Rozszerzenie to pozwala uwzględnić różne liczebności grup przez zastosowanie dla każdej pary odpowiedniego błędu standardowego (Kramer, 1956).

Nie należy jednak automatycznie traktować Tukeya jako uniwersalnego rozwiązania. Gdy wariancje są wyraźnie nierówne, zwłaszcza przy jednoczesnych dużych różnicach liczebności, bardziej adekwatna może być ANOVA Welcha oraz procedura Gamesa–Howella lub inna metoda odporna na heteroscedastyczność. Wybór powinien wynikać z projektu badania i właściwości danych, a nie tylko z dostępności opcji w programie statystycznym.

5. Przykład 1: rehabilitacja po udarze

Załóżmy, że porównujemy zmianę wyniku w skali sprawności ruchowej po sześciotygodniowej rehabilitacji prowadzonej trzema metodami: standardową, intensywną i z elementami wirtualnej rzeczywistości. Wyższy wynik oznacza większą poprawę.

Grupa	Średnia poprawa	Liczebność
Standardowa	8,4 punktu	30
Intensywna	12,1 punktu	30
Wirtualna rzeczywistość	14,0 punktu	30

ANOVA wykazała istotne różnice między średnimi, na przykład F(2, 87) = 6,92, p = 0,002. Jest to wynik globalny. Nie wiadomo jeszcze, czy różnica występuje między standardową i intensywną rehabilitacją, między standardową i wirtualną rzeczywistością, czy między wszystkimi parami.

Analiza Tukeya może dać następujące wyniki:

Porównanie	Różnica średnich	Skorygowane p	Wniosek
Intensywna − standardowa	3,7	0,041	istotna różnica
Wirtualna rzeczywistość − standardowa	5,6	0,003	istotna różnica
Wirtualna rzeczywistość − intensywna	1,9	0,462	brak podstaw do odrzucenia H0

Interpretacja nie brzmi: „wirtualna rzeczywistość jest skuteczniejsza od intensywnej rehabilitacji”. Możemy powiedzieć ostrożniej: średnia poprawa w grupie wirtualnej rzeczywistości była większa niż w grupie standardowej, natomiast nie wykazano statystycznie istotnej różnicy między metodą wirtualnej rzeczywistości a rehabilitacją intensywną.

Brak istotności nie dowodzi równości efektów. Może wynikać między innymi z małej liczebności próby, dużego rozrzutu wyników albo rzeczywiście niewielkiej różnicy. Dlatego oprócz wartości p należy raportować oszacowanie różnicy i przedział ufności.

6. Przedziały ufności i wielkość efektu

Wynik testu Tukeya powinien być interpretowany razem z przedziałem ufności dla różnicy średnich. Jeżeli 95-procentowy jednoczesny przedział ufności dla różnicy nie obejmuje zera, odpowiada to istotności statystycznej przy odpowiednim poziomie kontroli błędu.

Przykładowo:

Średnia poprawa była większa w grupie rehabilitacji intensywnej niż w grupie standardowej o 3,7 punktu (95% jednoczesny PU: 0,2–7,2; skorygowane p = 0,041).

Taki zapis informuje o kierunku różnicy, jej wielkości, niepewności i wyniku testu. Nadal trzeba ocenić znaczenie praktyczne. Różnica 3,7 punktu może być klinicznie ważna, mało ważna albo nieistotna – zależnie od tego, jaki jest minimalny istotny klinicznie efekt w użytej skali.

Istotność statystyczna, wielkość efektu i znaczenie praktyczne to trzy różne aspekty wyniku:

• istotność statystyczna – informuje o zgodności danych z hipotezą zerową po uwzględnieniu wielokrotności porównań;
• wielkość efektu – opisuje, jak duża jest różnica, na przykład w punktach skali lub jako standaryzowana różnica średnich;
• znaczenie praktyczne – odpowiada na pytanie, czy różnica ma konsekwencje kliniczne, organizacyjne, społeczne lub ekonomiczne.

7. Przykład 2: obciążenie psychiczne pielęgniarek

W badaniu przekrojowym porównano średni wynik skali wypalenia zawodowego wśród pielęgniarek pracujących na oddziale internistycznym, intensywnej terapii, oddziale ratunkowym i w podstawowej opiece zdrowotnej. Badacz chce porównać wszystkie pary miejsc pracy.

Najpierw należy sprawdzić, czy klasyczna ANOVA jest odpowiednia. Ocenia się między innymi niezależność obserwacji, rozkład reszt, podobieństwo wariancji oraz sposób pomiaru wyniku. Jeżeli założenia są wystarczające, można wykonać ANOVA i – przy istotnym wyniku globalnym – Tukey HSD.

Załóżmy, że wynik wskazuje istotną różnicę między oddziałami, ale analiza Tukeya wykazuje istotne różnice wyłącznie między oddziałem ratunkowym a podstawową opieką zdrowotną. Nie należy na tej podstawie stwierdzać, że wszystkie miejsca pracy różnią się pod względem wypalenia. Wniosek powinien ograniczać się do konkretnych porównań, które zostały poparte danymi.

Ponadto jest to badanie obserwacyjne. Nawet duża różnica średnich nie uprawnia automatycznie do stwierdzenia, że praca w określonym miejscu powoduje wyższy poziom wypalenia. Na wynik mogą wpływać staż pracy, liczba dyżurów, obciążenie pacjentami, wsparcie zespołu czy status zatrudnienia. Test Tukeya porównuje średnie; nie rozwiązuje problemu zakłóceń ani nie tworzy podstaw do wnioskowania przyczynowego.

8. Jak wykonać i raportować analizę?

1. Zdefiniuj zmienną zależną, czynnik i wszystkie grupy.
2. Sprawdź założenia modelu oraz sposób kodowania danych.
3. Wykonaj ANOVA, jeżeli taki jest plan analizy.
4. Jeżeli analiza post-hoc była zaplanowana lub wynik globalny uzasadnia dalsze porównania, zastosuj Tukey HSD albo Tukey–Kramer.
5. Raportuj różnice średnich, przedziały ufności, skorygowane wartości p i – gdy to możliwe – miarę wielkości efektu.
6. Oceń znaczenie praktyczne, a nie tylko kryterium p < 0,05.

Przykładowy zapis w artykule może wyglądać następująco:

Jednoczynnikowa ANOVA wykazała różnice między trzema metodami rehabilitacji, F(2, 87) = 6,92, p = 0,002. W analizie post-hoc Tukeya średnia poprawa była większa po rehabilitacji intensywnej niż standardowej o 3,7 punktu (95% jednoczesny PU: 0,2–7,2; skorygowane p = 0,041). Różnica między rehabilitacją intensywną a metodą z wirtualną rzeczywistością nie była istotna statystycznie.

W raporcie warto również podać liczebności grup, średnie i odchylenia standardowe, sposób postępowania przy brakach danych oraz informację, czy wykorzystano klasyczny wariant Tukeya, czy wariant dla nierównych liczebności.

Najczęstsze błędy

1. Wykonywanie wielu testów t zamiast procedury wielokrotnych porównań

Każda para analizowana osobnym testem t zwiększa skumulowane ryzyko błędu I rodzaju. Sam fakt, że każda para ma osobne p, nie rozwiązuje problemu wielokrotności.

2. Traktowanie istotnej ANOVA jako dowodu, że wszystkie grupy się różnią

Istotny wynik globalny mówi tylko, że co najmniej jedna średnia różni się od innej. Dopiero analiza porównań parami pokazuje, gdzie znajdują się różnice.

3. Użycie Tukeya przy wyraźnie nierównych wariancjach

Klasyczny Tukey HSD opiera się na wspólnym oszacowaniu wariancji błędu. Przy silnej heteroscedastyczności należy rozważyć procedurę odporną, na przykład analizę Welcha i odpowiedni test post-hoc.

4. Ignorowanie nierównych liczebności

Wzór z jednym n dotyczy zbilansowanego układu. Przy różnych liczebnościach nie należy stosować go mechanicznie; program powinien użyć poprawnego wariantu Tukey–Kramer albo innej procedury.

5. Raportowanie wyłącznie wartości p

Samo „p = 0,03” nie informuje, jak duża była różnica ani czy miała znaczenie praktyczne. Należy podać różnicę średnich i przedział ufności.

6. Nadinterpretacja braku istotności

„Nie wykazano istotnej różnicy” nie znaczy „grupy są identyczne”. Wniosek powinien uwzględniać precyzję oszacowania, szerokość przedziału ufności i moc badania.

Co warto zapamiętać?

• Tukey HSD służy do jednoczesnego porównania wszystkich par średnich.
• Procedura kontroluje rodzinny błąd I rodzaju, a nie tylko błąd dla pojedynczego testu.
• Klasyczny wzór HSD zakłada równe liczebności; przy nierównych liczebnościach stosuje się wariant Tukey–Kramer.
• Test Tukeya nie zastępuje oceny założeń ANOVA.
• Wynik należy interpretować przez różnicę średnich, przedział ufności, skorygowane p i znaczenie praktyczne.
• Istotna ANOVA nie wskazuje, które pary grup są różne.
• Brak istotności statystycznej nie jest dowodem pełnej równości grup.
• W badaniach obserwacyjnych porównanie średnich nie uzasadnia samo w sobie wniosków przyczynowych.

W ramach publicznego szkolenia na statystyka.edu.pl warto ćwiczyć interpretację tabel z wynikami Tukeya na równi z samym wykonaniem procedury. Najważniejsza umiejętność nie polega na znalezieniu przycisku „Tukey HSD”, lecz na właściwym określeniu rodziny porównań, ocenie założeń i sformułowaniu wniosku proporcjonalnego do danych.

Źródła i dalsza lektura

1. Tukey, J. W. (1949). Comparing individual means in the analysis of variance. Biometrics, 5(2), 99–114. DOI: 10.2307/3001913.
2. Kramer, C. Y. (1956). Extension of multiple range tests to group means with unequal numbers of replications. Biometrics, 12(3), 307–310. DOI: 10.2307/3001469.
3. Hsu, J. C. (1996). Multiple Comparisons: Theory and Methods. 1st edition. Chapman & Hall. Informacja wydawcy / źródło.
4. Miller, R. G., Jr. (1981). Simultaneous Statistical Inference. 2nd edition. Springer-Verlag. Informacja wydawcy / źródło.
5. National Institute of Standards and Technology; SEMATECH (2012). Tukey’s method. NIST/SEMATECH e-Handbook of Statistical Methods. National Institute of Standards and Technology. Źródło.

Więcej kolejnych lekcji publicznego szkolenia znajdziesz na statystyk.edu.pl.