419. Wielkości efektu w ANOVA

W poprzednich lekcjach kursu omawialiśmy, jak sprawdzać, czy średnie w kilku grupach różnią się między sobą. Sam wynik testu F i odpowiadająca mu wartość p nie mówią jednak jeszcze, jak duża jest ta różnica. Właśnie temu służą wielkości efektu. W tej lekcji 419 z 560, należącej do modułu 21 „ANOVA i porównywanie wielu grup”, uporządkujemy najważniejsze miary efektu stosowane w analizie wariancji i nauczymy się łączyć je z wynikiem testu oraz znaczeniem praktycznym.

Dlaczego w ANOVA potrzebujemy wielkości efektu?

Analiza wariancji odpowiada przede wszystkim na pytanie, czy dane dostarczają podstaw do odrzucenia hipotezy zerowej o równości średnich w porównywanych populacjach. Statystyczna istotność nie jest jednak tym samym co siła efektu. Przy dużej próbie nawet bardzo mała różnica może dać małą wartość p. Przy małej próbie efekt potencjalnie ważny klinicznie lub społecznie może nie osiągnąć konwencjonalnego poziomu istotności.

Wielkość efektu opisuje względną lub bezwzględną skalę różnicy. W ANOVA może informować na przykład, jaka część zmienności wyniku wiąże się z przynależnością do grup. Jest więc uzupełnieniem, a nie zamiennikiem testu F. Dobra interpretacja powinna uwzględniać co najmniej: estymowaną wielkość efektu, przedział ufności, wynik testu, średnie grupowe oraz znaczenie praktyczne obserwowanej różnicy (Wilkinson, 1999; Lakens, 2013).

Podstawowa logika wielkości efektu w ANOVA

W jednoczynnikowej ANOVA zmienność wyników można rozłożyć na dwie części:

• zmienność międzygrupową – wynikającą z różnic między średnimi grup;
• zmienność wewnątrzgrupową – obejmującą zróżnicowanie osób w obrębie grup oraz wpływ czynników losowych i niekontrolowanych.

Jeżeli średnie grup są bardzo podobne, zmienność międzygrupowa będzie mała w stosunku do całkowitej zmienności wyników. Jeżeli średnie wyraźnie się różnią, udział zmienności międzygrupowej będzie większy. Tę intuicję formalizuje między innymi eta kwadrat.

Eta kwadrat

Najprostsza postać miary to:

η² = SSefektu / SScałkowite

gdzie:

• η² – eta kwadrat;
• SSefektu – suma kwadratów przypisana badanemu czynnikowi, na przykład różnicom między trzema metodami leczenia;
• SScałkowite – całkowita suma kwadratów, czyli całkowita zmienność wyników wokół średniej ogólnej.

W jednoczynnikowej ANOVA wartość eta kwadrat można opisać jako odsetek zmienności wyniku związany z podziałem na grupy. Na przykład η² = 0,18 oznacza, że 18% zmienności wyników w analizowanej próbie wiąże się z różnicami między grupami. Nie oznacza to automatycznie, że czynnik „wyjaśnia” 18% zmienności w populacji ani że jest przyczyną różnic, jeśli badanie nie miało schematu eksperymentalnego.

Eta kwadrat jest wygodne obliczeniowo, ale może być obciążone w górę, szczególnie w małych próbach. Wartość uzyskana w próbie może więc przeceniać rzeczywistą wielkość efektu w populacji.

Częściowe eta kwadrat

W analizach wieloczynnikowych, z powtarzanymi pomiarami lub z kowariatem często raportuje się częściowe eta kwadrat:

ηp² = SSefektu / (SSefektu + SSbłędu)

W tym wzorze SSbłędu oznacza sumę kwadratów błędu odpowiadającą danemu efektowi. W mianowniku nie znajduje się cała zmienność badania, lecz efekt i przypisany mu składnik błędu.

W konsekwencji częściowe eta kwadrat może być większe niż zwykłe eta kwadrat. Nie należy bezrefleksyjnie porównywać wartości ηp² pochodzących z różnych badań, jeżeli badania mają odmienne projekty, inne czynniki kontrolne lub różne źródła zmienności. Olejnik i Algina (2003) zwracają uwagę, że sposób zdefiniowania mianownika może istotnie wpływać na porównywalność miary.

Omega kwadrat

Omega kwadrat próbuje skorygować zawyżenie charakterystyczne dla eta kwadrat. Dla prostego efektu międzygrupowego często stosuje się wzór:

ω² = [SSefektu − dfefektu × MSbłędu] / [SScałkowite + MSbłędu]

Oznaczenia są następujące:

• dfefektu – liczba stopni swobody efektu;
• MSbłędu – średni kwadrat błędu, czyli SSbłędu / dfbłędu;
• pozostałe symbole mają znaczenie opisane przy eta kwadrat.

W praktyce omega kwadrat bywa preferowana jako mniej obciążona estymacja udziału zmienności w populacji. Jej obliczenie i interpretacja w złożonych projektach, zwłaszcza mieszanych i z powtarzanymi pomiarami, wymaga jednak ostrożności.

Eta uogólnione i projekty z powtarzanymi pomiarami

W badaniach z pomiarami powtarzanymi ta sama osoba może dostarczać kilku wyników. Zmniejsza to wpływ różnic indywidualnych na błąd, ale jednocześnie zmienia strukturę wariancji. Zwykłe i częściowe eta kwadrat mogą wówczas nie być porównywalne z miarami uzyskanymi w projekcie międzygrupowym.

W takich sytuacjach użyteczne jest eta uogólnione:

ηG²

Jego szczegółowy wzór zależy od projektu: inny wariant stosuje się dla jednoczynnikowej ANOVA międzygrupowej, inny dla pomiarów powtarzanych, a jeszcze inny dla projektu mieszanego. Ogólna idea polega na takim zdefiniowaniu mianownika, aby efekt był bardziej porównywalny między projektami, z uwzględnieniem zmienności osób, ale bez sztucznego zawyżania efektu przez kontrolowane składniki projektu (Olejnik i Algina, 2003; Bakeman, 2005).

W jednoczynnikowej ANOVA wyłącznie międzygrupowej wartości eta uogólnionego i częściowego eta kwadrat mogą być takie same. Nie należy jednak przenosić tego uproszczenia na ANOVA z powtarzanymi pomiarami lub czynnikiem mieszanym.

Jak interpretować wielkość efektu?

Jacob Cohen zaproponował orientacyjne wartości dla niektórych miar, między innymi dla współczynnika f używanego w analizie mocy: około 0,10 jako efekt mały, 0,25 jako średni i 0,40 jako duży (Cohen, 1988). Dla eta kwadrat można spotkać przybliżone progi 0,01, 0,06 i 0,14, ale nie powinny być traktowane jako uniwersalne prawa.

Progi zależą od dziedziny, kosztu błędu, rodzaju wyniku i konsekwencji decyzji. Dla badania przesiewowego niewielki efekt może mieć znaczenie dla zdrowia populacji, jeśli dotyczy milionów osób. Z kolei w praktyce klinicznej nawet umiarkowany efekt może być mało użyteczny, jeżeli nie przekracza minimalnej istotnej różnicy klinicznej.

Dlatego warto łączyć miarę względną z opisem w jednostkach wyniku. Jeżeli ANOVA dotyczy ciśnienia tętniczego, należy pokazać średnie i różnice w mmHg. Jeżeli dotyczy skali depresji, warto podać różnicę punktów skali, przedziały ufności oraz informację o tym, czy zmiana przekracza ustalony próg kliniczny.

Przykład 1: trzy programy rehabilitacji

Załóżmy, że w badaniu porównano trzy programy rehabilitacji po udarze. Po 12 tygodniach oceniono sprawność funkcjonalną w skali od 0 do 100. Jednoczynnikowa ANOVA wykazała F(2, 87) = 6,42, p = 0,002, a η² = 0,13.

Wynik oznacza, że w badanej próbie około 13% całkowitej zmienności wyniku wiązało się z przynależnością do programu rehabilitacji. Nie oznacza to, że jeden program odpowiada za 13% poprawy u każdego pacjenta. ANOVA mówi o różnicach między średnimi, a nie o identycznym efekcie u wszystkich osób.

Po teście ogólnym wykonano porównania post-hoc. Średnia poprawa wyniosła: 8 punktów w programie A, 13 punktów w programie B i 15 punktów w programie C. Jeżeli różnica między B i C nie jest istotna, nie wolno opisywać programu C jako wyraźnie lepszego od B tylko dlatego, że jego średnia była wyższa. Wielkość efektu dla całego czynnika nie zastępuje porównań konkretnych par.

W raporcie warto podać: średnie i odchylenia standardowe w każdej grupie, wynik ANOVA, η² lub ω², zastosowaną procedurę post-hoc oraz przedziały ufności dla różnic.

Przykład 2: stres studentów pielęgniarstwa

Badacz porównał poziom stresu po zajęciach praktycznych w trzech grupach: studenci pracujący na oddziale intensywnej terapii, oddziale internistycznym i w podstawowej opiece zdrowotnej. Otrzymano F(2, 147) = 2,10, p = 0,126, η² = 0,028.

Najwłaściwszy opis nie brzmi: „nie ma żadnych różnic między grupami”. Można powiedzieć, że nie uzyskano wystarczających podstaw do odrzucenia hipotezy o równości średnich przy przyjętym modelu, a oszacowana wielkość efektu była mała. Nadal należy rozważyć niepewność oszacowania, liczebności grup, jakość pomiaru i kliniczne znaczenie różnic średnich.

Wartość p nie jest prawdopodobieństwem prawdziwości hipotezy zerowej. Nie informuje również bezpośrednio o wielkości efektu. Dlatego raport powinien przedstawiać p razem z miarą efektu, a nie zamiast niej.

Przykład praktyczny: jak czytać tabelę ANOVA?

Rozważmy uproszczoną tabelę:

Źródło zmienności	SS	df	MS	F
Grupa	240	2	120	4,80
Błąd	2250	90	25	—
Razem	2490	92	—	—

Eta kwadrat wynosi:

η² = 240 / 2490 = 0,096

Można więc powiedzieć, że około 9,6% zmienności wyniku w próbie wiąże się z różnicami między grupami. Przybliżone omega kwadrat wynosi:

ω² = [240 − 2 × 25] / [2490 + 25] = 190 / 2515 ≈ 0,076

Różnica między wartościami pokazuje, że korekta o błąd zmniejszyła oszacowanie efektu. Nie oznacza to, że jedna miara jest „prawdziwa”, a druga „fałszywa”. Są to różne estymatory, których przydatność zależy od projektu i celu analizy.

Raportowanie wielkości efektu

Przykładowe zdanie może wyglądać następująco:

Średni poziom bólu różnił się między trzema grupami leczenia, F(2, 87) = 6,42, p = 0,002, ω² = 0,11, 95% CI [0,03; 0,20]. Najwyższy średni wynik odnotowano w grupie otrzymującej standardową opiekę; porównania post-hoc wskazały, że różnica dotyczyła przede wszystkim grupy standardowej i programu B.

Jeżeli przedział ufności dla miary efektu jest dostępny, warto go podać. Ułatwia on ocenę precyzji oszacowania. W analizach złożonych należy jednoznacznie wskazać, czy raportowano η², ηp², ω² czy ηG². Sam zapis „eta squared” może być niewystarczający.

Najczęstsze błędy

• Traktowanie wartości p jako miary efektu. Wartość p zależy między innymi od liczebności próby i nie opisuje rozmiaru różnic.
• Wnioskowanie przyczynowe z samej ANOVA. Porównanie grup obserwacyjnych nie dowodzi, że czynnik spowodował różnice.
• Mechaniczne stosowanie progów Cohena. Kategorie „mały”, „średni” i „duży” są orientacyjne, a nie uniwersalne.
• Mieszanie różnych miar. Nie należy porównywać bez komentarza eta kwadrat z częściowym eta kwadrat lub eta uogólnionym.
• Pomijanie jednostek wyniku. Sama wartość η² = 0,08 nie mówi, czy różnica ma znaczenie dla pacjenta, pacjenta, personelu lub populacji.
• Brak informacji o grupach. Wielkość efektu powinna być prezentowana wraz ze średnimi, odchyleniami standardowymi lub innymi odpowiednimi statystykami opisowymi.
• Uznawanie dużej wartości efektu za dowód poprawnego modelu. Duży efekt nie naprawia naruszeń założeń, błędów pomiaru ani obciążenia selekcyjnego.
• Interpretowanie wyniku ogólnego jako różnicy każdej pary grup. ANOVA może wykazać istnienie różnic, ale nie wskazuje automatycznie, które grupy różnią się między sobą.

Co warto zapamiętać?

1. Wielkość efektu opisuje skalę różnic, a wartość p służy do oceny zgodności danych z hipotezą zerową.
2. W jednoczynnikowej ANOVA często stosuje się eta kwadrat, omega kwadrat lub ich odpowiedniki skorygowane.
3. Częściowe eta kwadrat jest zależne od konstrukcji modelu, dlatego wymaga ostrożności przy porównywaniu badań.
4. W projektach z powtarzanymi pomiarami szczególnie przydatne może być eta uogólnione.
5. Interpretacja nie powinna kończyć się na etykiecie „mały” lub „duży”. Trzeba uwzględnić przedziały ufności, jednostki wyniku i znaczenie praktyczne.
6. W raporcie należy podać nazwę miary, jej wartość, a najlepiej także przedział ufności i opis zastosowanego projektu.

W praktyce analiz omawianych w publicznym szkoleniu na statystyk.edu.pl najważniejsza jest nie sama umiejętność odczytania jednej liczby z programu statystycznego, lecz poprawne połączenie projektu badania, modelu ANOVA, wielkości efektu i pytania merytorycznego. Dopiero wtedy wynik statystyczny staje się użyteczną informacją naukową.

Źródła i dalsza lektura

1. Daniël Lakens (2013). Calculating and reporting effect sizes to facilitate cumulative science: a practical primer for t-tests and ANOVAs. Frontiers in Psychology, 4, Article 863. DOI: 10.3389/fpsyg.2013.00863.
2. Stephen Olejnik; James Algina (2003). Generalized eta and omega squared statistics: Measures of effect size for some common research designs. Psychological Methods, 8(4), 434–447. DOI: 10.1037/1082-989X.8.4.434.
3. Roger Bakeman (2005). Recommended effect size statistics for repeated measures designs. Behavior Research Methods, 37(3), 379–384. DOI: 10.3758/BF03192707.
4. Leland Wilkinson; Task Force on Statistical Inference (1999). Statistical methods in psychology journals: Guidelines and explanations. American Psychologist, 54(8), 594–604. DOI: 10.1037/0003-066X.54.8.594.
5. Jacob Cohen (1988). Statistical Power Analysis for the Behavioral Sciences. 2nd edition. Lawrence Erlbaum Associates. Informacja wydawcy / źródło.