341. Wielkość efektu – dlaczego jest potrzebna obok p-value?

W poprzednich lekcjach kursu na statystyk.edu.pl rozróżnialiśmy istotność statystyczną, moc badania i znaczenie kliniczne. Teraz skupimy się na pojęciu, które łączy te zagadnienia: wielkości efektu. Samo p-value może wskazywać, że dane są mało zgodne z hipotezą zerową, ale nie mówi, jak duża jest zaobserwowana różnica ani czy ma ona znaczenie dla pacjentów, personelu, organizacji pracy lub polityki zdrowotnej.

Wielkość efektu odpowiada więc na pytanie: jak silna, duża albo praktycznie doniosła jest obserwowana różnica lub zależność? Jest potrzebna obok p-value, a często także obok przedziału ufności, ponieważ dopiero te informacje razem tworzą użyteczny opis wyniku.

1. Czym jest wielkość efektu?

Wielkość efektu to liczbowy opis rozmiaru badanego zjawiska. Efektem może być między innymi:

• różnica średnich między dwiema grupami;
• różnica odsetków zdarzeń, na przykład zgonów lub ponownych hospitalizacji;
• siła związku między zmiennymi;
• zmiana wyniku po interwencji;
• iloraz szans, ryzyka lub częstości zdarzeń;
• część zmienności wyjaśniana przez model.

Nie istnieje jedna uniwersalna miara wielkości efektu. Jej wybór zależy od pytania badawczego, rodzaju zmiennych, schematu badania i modelu statystycznego. Dla dwóch średnich można użyć różnicy surowej albo standaryzowanej różnicy średnich. Dla danych binarnych często stosuje się różnicę ryzyka, ryzyko względne lub iloraz szans. Dla zależności między zmiennymi ilościowymi odpowiednią miarą może być współczynnik korelacji.

W praktyce warto odróżnić efekt obserwowany w próbie od parametru populacyjnego. Przykładowo różnica średnich obliczona u 120 pacjentów jest oszacowaniem różnicy istniejącej w populacji, z której tych pacjentów zrekrutowano. Dlatego wielkość efektu należy zwykle prezentować wraz z przedziałem ufności, który pokazuje niepewność oszacowania (Cumming, 2014).

2. Dlaczego p-value nie wystarcza?

Wartość p zależy zarówno od rozmiaru efektu, jak i od liczebności próby oraz zmienności danych. Przy bardzo dużej próbie nawet niewielka różnica może uzyskać p < 0,05. Z kolei w małej próbie względnie duża różnica może nie osiągnąć konwencjonalnego progu istotności.

Załóżmy, że nowy program edukacyjny zmniejsza średni wynik lęku o 1 punkt w skali od 0 do 80. W badaniu obejmującym 10 000 osób taka różnica może być statystycznie istotna, lecz jej znaczenie dla pacjentów może być niewielkie. Odwrotnie: redukcja o 8 punktów w małym badaniu może być klinicznie interesująca, ale wynik może mieć szeroki przedział ufności i p-value większe od 0,05.

Nie należy też interpretować p-value jako prawdopodobieństwa prawdziwości hipotezy zerowej ani jako prawdopodobieństwa, że wynik powstał „przypadkiem”. P-value jest prawdopodobieństwem uzyskania danych co najmniej tak niezgodnych z hipotezą zerową jak dane zaobserwowane, przy założeniu prawdziwości tej hipotezy i poprawności modelu. Nie mierzy wielkości efektu ani jego znaczenia praktycznego (Sullivan i Feinn, 2012).

W tym sensie p-value i wielkość efektu odpowiadają na różne pytania:

Pytanie	Najbardziej związana informacja
Czy dane są zgodne z hipotezą zerową?	p-value, interpretowane w kontekście modelu i założeń
Jak duża jest różnica lub zależność?	wielkość efektu
Jak precyzyjne jest oszacowanie?	przedział ufności
Czy wynik ma znaczenie dla praktyki?	interpretacja kliniczna, społeczna lub organizacyjna

3. Najczęstsze miary wielkości efektu

3.1. Różnica średnich

Najprostsza miara dla zmiennej ilościowej to różnica średnich:

Δ = M1 − M2

gdzie M1 jest średnią w grupie pierwszej, a M2 średnią w grupie drugiej. Jeśli pacjenci leczeni standardowo mieli średnie skurczowe ciśnienie 148 mmHg, a pacjenci korzystający z programu pielęgniarskiego 141 mmHg, różnica wynosi 7 mmHg.

Różnica surowa jest często najbardziej zrozumiała klinicznie, ponieważ pozostaje w jednostkach pomiaru. Jej ograniczeniem jest mniejsza porównywalność między badaniami wykorzystującymi różne skale.

3.2. Standaryzowana różnica średnich

Gdy chcemy porównać efekty mierzone na różnych skalach, można użyć standaryzowanej różnicy średnich. Popularną miarą jest Cohenowskie d:

d = (M1 − M2) / SDpooled

gdzie:

• M1 − M2 oznacza różnicę średnich;
• SDpooled jest wspólnym, połączonym odchyleniem standardowym obu grup;
• d wyraża różnicę w jednostkach odchylenia standardowego.

Przykładowo d = 0,50 oznacza, że średnie grup różnią się o połowę wspólnego odchylenia standardowego. Wartości około 0,2, 0,5 i 0,8 bywają określane odpowiednio jako małe, średnie i duże, ale są to jedynie orientacyjne konwencje, a nie uniwersalne prawa (Cohen, 1988; Lakens, 2013). W badaniach medycznych nawet mały standaryzowany efekt może mieć znaczenie, jeśli dotyczy częstego schorzenia lub taniej i bezpiecznej interwencji.

3.3. Różnica ryzyka i ryzyko względne

Dla wyniku binarnego, na przykład wystąpienia ponownej hospitalizacji, można porównać ryzyko w dwóch grupach.

RD = p1 − p0

gdzie p1 oznacza ryzyko w grupie interwencji, a p0 ryzyko w grupie kontrolnej. Jeśli ponownie hospitalizowano 12% pacjentów objętych opieką koordynowaną i 18% pacjentów otrzymujących zwykłą opiekę, różnica ryzyka wynosi −0,06, czyli 6 punktów procentowych mniej.

Można również obliczyć ryzyko względne:

RR = p1 / p0

W tym przykładzie RR = 0,12 / 0,18 = 0,67. Oznacza to, że ryzyko w grupie interwencji stanowiło około 67% ryzyka w grupie kontrolnej. Względne zmniejszenie ryzyka wynosi około 33%, ale bez ryzyka wyjściowego ten komunikat może być mylący. Dlatego warto podawać jednocześnie ryzyko bezwzględne i względne.

3.4. Korelacja i współczynniki regresji

Współczynnik korelacji r opisuje kierunek i siłę liniowej zależności między dwiema zmiennymi. Wartości bliskie 0 oznaczają słabą zależność liniową, a wartości bliskie −1 lub 1 zależność silną. Sama korelacja nie dowodzi przyczynowości. W badaniu przekrojowym związek między samotnością a objawami depresji nie pozwala ustalić, czy samotność nasila objawy, czy objawy sprzyjają izolacji.

W regresji wielkość efektu może być wyrażana przez współczynnik nachylenia, iloraz szans albo zmianę przewidywanego wyniku przy określonej zmianie predyktora. Interpretacja zawsze wymaga podania jednostek, grupy odniesienia i zmiennych kontrolowanych.

4. Przykład praktyczny: program zapobiegania upadkom

W badaniu pielęgniarskim porównano oddział, na którym wdrożono program zapobiegania upadkom, z oddziałem kontrolnym. W grupie interwencji upadek wystąpił u 8 ze 100 pacjentów, a w grupie kontrolnej u 14 ze 100.

• Ryzyko w grupie interwencji: 8%.
• Ryzyko w grupie kontrolnej: 14%.
• Różnica ryzyka: 8% − 14% = −6 punktów procentowych.
• Ryzyko względne: 0,08 / 0,14 ≈ 0,57.
• Względne zmniejszenie ryzyka: około 43%.

Opis „program był statystycznie istotny, p = 0,04” jest niepełny. Lepszy opis brzmi: „Upadki wystąpiły u 8% pacjentów w grupie interwencji i u 14% w grupie kontrolnej; bezwzględna różnica ryzyka wyniosła 6 punktów procentowych, a ryzyko względne około 0,57. Przedział ufności dla oszacowań oraz metoda analizy powinny zostać podane w pełnym raporcie”.

Znaczenie praktyczne zależy od kosztu programu, jego bezpieczeństwa, obciążenia personelu i tego, czy sześć mniej upadków na 100 pacjentów uzasadnia wdrożenie. Statystyka nie zastępuje tej decyzji, ale dostarcza jej ilościowych podstaw.

5. Wielkość efektu, przedział ufności i znaczenie praktyczne

Wielkość efektu bez informacji o niepewności może być nadmiernie kategoryczna. Dlatego rekomendowany zapis obejmuje trzy elementy: oszacowanie efektu, przedział ufności oraz – jeśli jest stosowane – p-value. Takie podejście jest zgodne z praktyką raportowania opartą na estymacji i wspiera kumulowanie wyników między badaniami (Cumming, 2014; Appelbaum i in., 2018).

Jeżeli różnica średnich wynosi 5 punktów, ale 95-procentowy przedział ufności rozciąga się od −3 do 13 punktów, dane są zgodne zarówno z niewielką szkodą, brakiem różnicy, jak i umiarkowaną korzyścią. Nie należy wtedy pisać, że „interwencja nie działa”. Bardziej precyzyjne jest stwierdzenie, że badanie nie dostarczyło wystarczająco precyzyjnego oszacowania efektu.

Znaczenie praktyczne wymaga porównania wyniku z wcześniej określonym progiem. W medycynie może nim być minimalna klinicznie ważna różnica. W zdrowiu publicznym może chodzić o liczbę unikniętych hospitalizacji w przeliczeniu na 1000 osób. W psychologii znaczenie może zależeć od tego, czy zmiana przekracza błąd pomiaru i jest zauważalna dla pacjenta lub terapeuty.

6. Najczęstsze błędy

• Traktowanie p < 0,05 jako dowodu dużego efektu. Istotność statystyczna nie określa rozmiaru różnicy.
• Uz­nawanie p > 0,05 za dowód braku efektu. Wynik nieistotny może wynikać z małej próby, dużej zmienności albo nieprecyzyjnego pomiaru.
• Podawanie wyłącznie względnego zmniejszenia ryzyka. Należy pokazać także ryzyko bezwzględne i różnicę punktów procentowych.
• Mechaniczne stosowanie progów Cohenowskiego d. „Mały” efekt może być ważny w jednym kontekście, a „duży” nieistotny w innym.
• Mylenie korelacji z przyczynowością. Wielkość związku nie zmienia ograniczeń schematu badania.
• Brak informacji o kierunku efektu. Sama wartość bezwzględna, na przykład |d| = 0,6, nie mówi, która grupa uzyskała wyższy wynik.
• Raportowanie efektu bez jednostek i grupy odniesienia. Czytelnik powinien wiedzieć, czego dotyczy różnica i względem czego ją obliczono.
• Interpretowanie standaryzowanego efektu bez znajomości skali pomiaru. Cohenowskie d ułatwia porównania, ale może być mniej intuicyjne niż różnica w punktach skali.

7. Jak raportować wielkość efektu?

Minimalny, dobry raport powinien zawierać:

1. rodzaj i definicję użytej miary efektu;
2. wartość oszacowania oraz jego kierunek;
3. przedział ufności, najlepiej 95-procentowy, jeśli jest właściwy dla zastosowanej metody;
4. liczebność grup i podstawowe dane opisowe;
5. p-value, jeśli testowanie hipotez było elementem planu analizy;
6. interpretację odnoszącą wynik do kontekstu klinicznego, społecznego lub organizacyjnego.

Przykładowe zdanie: „Interwencja zmniejszyła średni czas oczekiwania o 12 minut w porównaniu ze standardową organizacją pracy; standaryzowana różnica średnich wyniosła d = 0,42, a 95-procentowy przedział ufności obejmował wartości od 0,10 do 0,73”. Jeśli badanie nie było randomizowane, należy unikać sformułowania, że interwencja „spowodowała” zmianę, chyba że projekt i analiza uzasadniają wnioskowanie przyczynowe.

Co warto zapamiętać?

• Wielkość efektu informuje o rozmiarze różnicy lub siły związku, a p-value nie.
• Małe p-value może towarzyszyć bardzo małemu efektowi, szczególnie w dużej próbie.
• Duży efekt w małej próbie może mieć szeroki przedział ufności i nie osiągnąć istotności statystycznej.
• Różnice bezwzględne są często bardziej użyteczne klinicznie niż same miary względne.
• Cohenowskie d, różnica ryzyka, ryzyko względne, iloraz szans i korelacja odpowiadają na różne pytania.
• Nie ma uniwersalnego progu „ważności” efektu; interpretacja zależy od dziedziny, kosztów, ryzyka i konsekwencji decyzji.
• Najpełniejszy opis obejmuje wielkość efektu, przedział ufności, dane opisowe oraz – gdy zaplanowano testowanie – p-value.

Najważniejsza zmiana myślenia polega na odejściu od pytania „czy wynik jest istotny?” na rzecz pytań: „jak duży jest efekt?”, „z jaką precyzją go oszacowano?” oraz „czy ma znaczenie dla ludzi i praktyki?”.

Źródła i dalsza lektura

1. Daniël Lakens (2013). Calculating and reporting effect sizes to facilitate cumulative science: A practical primer for t-tests and ANOVAs. Frontiers in Psychology, 4, 863. DOI: 10.3389/fpsyg.2013.00863.
2. Gail M. Sullivan; Richard Feinn (2012). Using Effect Size—or Why the P Value Is Not Enough. Journal of Graduate Medical Education, 4(3), 279–282. DOI: 10.4300/JGME-D-12-00156.1.
3. Geoff Cumming (2014). The New Statistics: Why and How. Psychological Science, 25(1), 7–29. DOI: 10.1177/0956797613504966.
4. Mark Appelbaum; Harris Cooper; Rex B. Kline; Evan Mayo-Wilson; Arthur M. Nezu; Stephen M. Rao (2018). Journal Article Reporting Standards for Quantitative Research in Psychology: The APA Publications and Communications Board Task Force Report. American Psychologist, 73(1), 3–25. DOI: 10.1037/amp0000191.
5. Jacob Cohen (1988). Statistical Power Analysis for the Behavioral Sciences. 2nd edition. Lawrence Erlbaum Associates. Informacja wydawcy / źródło.
6. American Statistical Association (2016). ASA Statement on Statistical Significance and P-Values. American Statistical Association. Źródło.