394. Wielkość efektu dla dwóch grup

W poprzednich lekcjach modułu analizowaliśmy testy służące do porównywania dwóch grup lub dwóch pomiarów. Sam wynik testu, na przykład wartość p, nie mówi jednak, jak duża jest zaobserwowana różnica. Informuje przede wszystkim o zgodności danych z hipotezą zerową przy przyjętym modelu i założeniach. Dlatego w rzetelnym raporcie należy uzupełniać wynik testu miarą wielkości efektu. To ona pomaga ocenić, czy różnica jest nie tylko statystycznie wykrywalna, lecz także potencjalnie ważna klinicznie, psychologicznie lub społecznie.

W tej lekcji wyjaśnimy, czym jest wielkość efektu dla dwóch grup, jak oblicza się standaryzowaną różnicę średnich oraz kiedy lepiej wykorzystać miarę nieustandaryzowaną. Omówimy także interpretację znaku, znaczenie przedziału ufności i typowe błędy popełniane podczas prezentowania wyników. Zagadnienie jest naturalnym rozwinięciem szkolenia metodologicznego dostępnego na statystyk.edu.pl.

Czym jest wielkość efektu?

Wielkość efektu to ilościowa miara rozmiaru różnicy, związku albo wpływu obserwowanego w badaniu. W przypadku dwóch grup może opisywać między innymi:

• różnicę średnich wyników;
• różnicę median lub położenia rozkładów;
• różnicę odsetków;
• iloraz ryzyka lub iloraz szans;
• standaryzowaną różnicę średnich, na przykład d Cohena lub g Hedgesa.

Wielkość efektu nie jest synonimem istotności statystycznej. Bardzo duża próba może doprowadzić do małej wartości p przy różnicy o niewielkim znaczeniu praktycznym. Z kolei mała próba może dać efekt o potencjalnie dużym znaczeniu, ale bez wystarczającej precyzji, aby wynik był statystycznie przekonujący. Z tego powodu warto równocześnie raportować oszacowanie efektu, jego przedział ufności, wynik testu i informacje o kontekście klinicznym lub praktycznym (Sullivan i Feinn, 2012; Pek i Flora, 2018).

Różnica nieustandaryzowana a różnica standaryzowana

Różnica średnich

Najprostszą miarą jest różnica średnich:

Δ = x̄₁ − x̄₂

gdzie:

• x̄₁ oznacza średnią w grupie pierwszej;
• x̄₂ oznacza średnią w grupie drugiej;
• Δ jest różnicą średnich wyrażoną w jednostkach oryginalnej skali.

Jeżeli pacjenci leczeni standardowo uzyskali średnio 68 punktów w skali bólu, a pacjenci leczeni nową metodą 56 punktów, różnica wynosi 12 punktów. Taka informacja jest często najbardziej użyteczna, ponieważ zachowuje jednostkę pomiaru. Można ją porównać z minimalną klinicznie istotną różnicą, jeśli została wcześniej ustalona dla danej skali.

Różnica średnich ma jednak ograniczenie: jej interpretacja zależy od jednostki. Różnica 5 punktów może być duża w jednej skali, a mała w innej. Nie można też bezpośrednio porównywać różnic wyrażonych w różnych narzędziach pomiarowych.

Cohen d

Standaryzowana różnica średnich usuwa wpływ jednostki pomiaru przez podzielenie różnicy średnich przez miarę zmienności wyników. W klasycznym ujęciu dla dwóch niezależnych grup:

d = (x̄₁ − x̄₂) / sp

gdzie sp jest odchyleniem standardowym połączonym:

sp = √[((n₁ − 1)s₁² + (n₂ − 1)s₂²) / (n₁ + n₂ − 2)]

Oznaczenia są następujące:

• n₁ i n₂ – liczebności obu grup;
• s₁ i s₂ – odchylenia standardowe w grupach;
• s₁² i s₂² – wariancje w grupach;
• sp – odchylenie standardowe połączone, uwzględniające liczebności grup.

Wartość d mówi, o ile połączonych odchyleń standardowych różnią się średnie. Jeżeli d wynosi 0,5, średnie dzieli połowa typowego odchylenia standardowego. Znak wskazuje kierunek różnicy, a wartość bezwzględna – jej rozmiar. Przed interpretacją trzeba zatem jasno określić, która grupa została odjęta od której.

Cohen proponował orientacyjne wartości 0,2, 0,5 i 0,8 jako odpowiednio mały, średni i duży efekt, ale nie są to uniwersalne progi. W badaniu dotyczącym rzadkiego, ciężkiego powikłania nawet mała standaryzowana różnica może mieć znaczenie, natomiast w badaniu edukacyjnym efekt o wartości 0,5 może być bardzo wartościowy lub niewystarczający zależnie od kosztu interwencji i celu badania (Cohen, 1988; Lakens, 2013).

Hedges g

W małych próbach klasyczne d Cohena może być nieznacznie obciążone, ponieważ odchylenie standardowe jest szacowane na podstawie próby. Dlatego często stosuje się skorygowaną miarę g Hedgesa:

g = J · d

gdzie J jest współczynnikiem korekty zależnym od liczby stopni swobody. W przybliżeniu:

J ≈ 1 − 3 / (4df − 1)

a dla dwóch niezależnych grup:

df = n₁ + n₂ − 2

Przy dużych próbach różnica między d i g jest minimalna. Przy małych próbach g może być preferowane, zwłaszcza gdy wynik ma zostać wykorzystany w przeglądzie systematycznym lub metaanalizie. Hedges opisywał te problemy w kontekście estymacji standaryzowanej różnicy i jej obciążenia w małych próbach (Hedges, 1981).

Przykład 1: interwencja przeciwbólowa

Załóżmy, że w randomizowanym badaniu porównano nową metodę leczenia bólu po zabiegu ze standardowym postępowaniem. Im wyższy wynik w skali 0–100, tym silniejszy ból.

Grupa	n	Średnia	Odchylenie standardowe
Nowa metoda	40	42	18
Standard	40	51	17

Różnica średnich, przy odejmowaniu grupy standardowej od nowej metody, wynosi:

Δ = 42 − 51 = −9 punktów

Ujemny znak oznacza mniejszy ból w grupie nowej metody. Do obliczenia d potrzebujemy odchylenia połączonego, które wynosi w przybliżeniu 17,5 punktu. Otrzymujemy:

d = −9 / 17,5 ≈ −0,51

Można więc powiedzieć, że nowa metoda wiązała się ze średnim niższym wynikiem bólu o 9 punktów, co odpowiada około 0,51 odchylenia standardowego. Nie należy jednak automatycznie nazywać tego efektem klinicznie istotnym. Trzeba porównać 9 punktów z wcześniej ustaloną minimalną klinicznie istotną różnicą dla użytej skali. Jeżeli taka granica wynosi 10 punktów, wynik może być statystycznie interesujący, lecz nie osiągać uzgodnionego progu praktycznego.

W publikacji należy podać również przedział ufności dla różnicy średnich i – najlepiej – dla d lub g. Szeroki przedział wskazuje, że oszacowanie jest mało precyzyjne, nawet jeśli punktowe d wygląda przekonująco.

Przykład 2: program redukcji stresu u pielęgniarek

W badaniu obserwacyjnym porównano poziom stresu u pielęgniarek uczestniczących w programie wsparcia psychologicznego z poziomem stresu u pielęgniarek, które nie uczestniczyły w programie. Zaobserwowano następujące wyniki:

Grupa	n	Średnia skali stresu	SD
Uczestniczki programu	25	34	8
Brak udziału	25	39	9

Różnica wynosi −5 punktów. Po standaryzacji otrzymujemy wartość bezwzględną około 0,59. Taki wynik można opisać jako różnicę umiarkowaną według orientacyjnych konwencji, ale nie wolno wyciągać wniosku, że program spowodował obniżenie stresu. Było to badanie obserwacyjne, więc osoby uczestniczące w programie mogły różnić się od pozostałych między innymi motywacją, obciążeniem pracą, wsparciem przełożonych lub wcześniejszym poziomem stresu.

W tym przykładzie wielkość efektu opisuje różnicę między grupami, lecz sama nie rozstrzyga o przyczynowości. Język raportu powinien brzmieć: „uczestniczki programu miały średnio niższy poziom stresu”, a nie: „program obniżył stres”, chyba że projekt i analiza pozwalają na uzasadnienie wniosku przyczynowego.

Jak interpretować wielkość efektu?

Interpretacja powinna przebiegać na kilku poziomach.

1. Kierunek. Ustal, która grupa jest pierwsza we wzorze. Znak minus nie oznacza efektu „gorszego”; oznacza jedynie kierunek różnicy.
2. Rozmiar statystyczny. Oceń wartość bezwzględną d lub g, ale nie traktuj progów 0,2, 0,5 i 0,8 jako praw przyrodniczych.
3. Precyzja. Sprawdź przedział ufności. Efekt punktowy 0,6 z przedziałem od −0,1 do 1,3 jest mniej przekonujący niż efekt 0,4 z wąskim przedziałem od 0,25 do 0,55.
4. Znaczenie dziedzinowe. Porównaj różnicę z normami, progami klinicznymi, kosztem interwencji i możliwymi działaniami niepożądanymi.
5. Projekt badania. Ta sama wartość efektu ma inną interpretację w randomizowanym badaniu klinicznym, badaniu przekrojowym i analizie danych historycznych.

Warto preferować miarę w jednostkach oryginalnych, gdy jest ona zrozumiała dla odbiorcy. Standaryzowana różnica jest szczególnie użyteczna wtedy, gdy trzeba porównać efekty mierzone różnymi narzędziami albo połączyć wyniki wielu badań (Fritz, Morris i Richler, 2012; Lakens, 2013).

Wielkość efektu a test statystyczny

Test t dla dwóch grup i miara d są ze sobą powiązane, ale odpowiadają na różne pytania. Test ocenia, czy dane dostarczają podstaw do odrzucenia hipotezy o braku różnicy średnich w określonym modelu. Miara efektu ocenia rozmiar zaobserwowanej różnicy. Nie należy więc pisać: „efekt był duży, ponieważ p < 0,001”. Mała wartość p nie jest miarą wielkości efektu i nie jest prawdopodobieństwem, że hipoteza zerowa jest prawdziwa.

Przykładowy poprawny zapis może wyglądać następująco: „Średni wynik bólu był niższy w grupie nowej metody o 9 punktów, 95% CI [2; 16], d = 0,51, 95% CI [0,06; 0,96], p = 0,012”. Taki zapis łączy informację o skali różnicy, jej niepewności i wyniku testu.

Najczęstsze błędy

• Raportowanie wyłącznie wartości p. Czytelnik nie wie wtedy, jak duża była różnica.
• Traktowanie progów Cohena jako uniwersalnych. Kontekst kliniczny i praktyczny jest ważniejszy niż mechaniczne przypisanie etykiety „mały”, „średni” lub „duży”.
• Pomijanie jednostek oryginalnych. Samo d nie mówi, czy różnica wynosiła 2 punkty, 10 punktów czy 20 punktów w danej skali.
• Mylenie znaku z jakością efektu. Wartość ujemna opisuje kierunek, a nie „ujemną ważność”.
• Używanie wspólnego odchylenia standardowego bez refleksji. Gdy zmienność grup jest bardzo różna albo jedna grupa jest kontrolą z odmiennym rozrzutem, można rozważyć alternatywę, na przykład miarę Glassa opartą na odchyleniu standardowym grupy kontrolnej.
• Brak przedziału ufności. Punktowe oszacowanie bez informacji o precyzji może być mylące.
• Wnioskowanie przyczynowe z samej wielkości efektu. Miara różnicy nie naprawia ograniczeń schematu badania.
• Zaokrąglanie zbyt wcześnie. Najpierw wykonaj obliczenia z pełną dokładnością, a dopiero potem zaokrąglaj wynik, zwykle do dwóch miejsc po przecinku.

Przykład praktyczny: jak zapisać wynik?

Załóżmy, że badacz porównał czas wykonania zadania ratowniczego przez osoby szkolone metodą symulacyjną i metodą tradycyjną. Grupa symulacyjna uzyskała średnio 74 sekundy, a grupa tradycyjna 81 sekund. Różnica wyniosła −7 sekund, a standaryzowana różnica g = −0,44. Wstępny raport może brzmieć:

Osoby szkolone z wykorzystaniem symulacji wykonywały zadanie średnio o 7 sekund szybciej niż osoby szkolone tradycyjnie. Standaryzowana różnica średnich wyniosła g = −0,44, co wskazuje na efekt o umiarkowanej wielkości w przyjętej konwencji. Interpretację praktyczną należy odnieść do tego, czy siedem sekund ma znaczenie dla bezpieczeństwa i skuteczności działania w rzeczywistych warunkach.

Jeśli badanie było randomizowane, można ostrożnie mówić o różnicy przypisywanej szkoleniu, pod warunkiem że randomizacja, realizacja interwencji i analiza były prawidłowe. Jeśli grupy powstały z wyboru uczestników, należy pozostać przy języku różnic między grupami.

Jak raportować wynik zgodnie z dobrymi praktykami?

Raport powinien zawierać: liczebność każdej grupy, średnią i odchylenie standardowe, różnicę średnich w jednostkach oryginalnych, wybraną standaryzowaną miarę efektu, przedział ufności, wynik testu oraz krótką interpretację dziedzinową. Warto także wyjaśnić, dlaczego wybrano d Cohena, g Hedgesa albo inną miarę.

Standardy raportowania APA podkreślają znaczenie jasnego przedstawiania estymat, ich niepewności i informacji potrzebnych do oceny wyników (American Psychological Association, 2018). Z kolei praktyczne opracowania dotyczące wielkości efektu wskazują, że miara powinna odpowiadać pytaniu badawczemu i być zrozumiała dla odbiorcy, a nie być dodawana wyłącznie jako formalny wymóg (Pek i Flora, 2018).

Co warto zapamiętać?

• Wielkość efektu opisuje rozmiar różnicy, a nie tylko jej statystyczną wykrywalność.
• Dla dwóch grup warto raportować zarówno różnicę średnich w jednostkach oryginalnych, jak i – gdy jest to uzasadnione – standaryzowaną różnicę średnich.
• d Cohena dzieli różnicę średnich przez połączone odchylenie standardowe.
• g Hedgesa jest korektą standaryzowanej różnicy, szczególnie użyteczną w małych próbach.
• Znak efektu wskazuje kierunek, a jego wartość bezwzględna – rozmiar.
• Przedziały ufności są potrzebne do oceny precyzji oszacowania.
• Progi 0,2, 0,5 i 0,8 są orientacyjne; nie zastępują oceny klinicznej ani praktycznej.
• Wielkość efektu nie daje sama z siebie podstaw do wnioskowania przyczynowego.
• Wynik najlepiej przedstawiać razem z opisem grup, statystykami opisowymi, przedziałem ufności i kontekstem badania.

Źródła i dalsza lektura

1. Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences. 2nd ed.. Lawrence Erlbaum Associates. Informacja wydawcy / źródło.
2. Hedges, L. V. (1981). Distribution Theory for Glass’s Estimator of Effect Size and Related Estimators. Journal of Educational Statistics, 6(2), 107–128. DOI: 10.2307/1164588.
3. Sullivan, G. M., & Feinn, R. (2012). Using Effect Size—or Why the P Value Is Not Enough. Journal of Graduate Medical Education, 4(3), 279–282. DOI: 10.4300/JGME-D-12-00156.1.
4. Fritz, C. O., Morris, P. E., & Richler, J. J. (2012). Effect Size Estimates: Current Use, Calculations, and Interpretation. Journal of Experimental Psychology: General, 141(1), 2–18. DOI: 10.1037/a0024338.
5. Lakens, D. (2013). Calculating and Reporting Effect Sizes to Facilitate Cumulative Science: A Practical Primer for t-Tests and ANOVAs. Frontiers in Psychology, 4, Article 863. DOI: 10.3389/fpsyg.2013.00863.
6. Pek, J., & Flora, D. B. (2018). Reporting Effect Sizes in Original Psychological Research: A Discussion and Tutorial. Psychological Methods, 23(2), 208–225. DOI: 10.1037/met0000126.
7. American Psychological Association (2018). Journal Article Reporting Standards (JARS). American Psychological Association. Źródło.