356. Standaryzowane i niestandaryzowane efekty – kiedy raportować które?

W poprzednich lekcjach analizowaliśmy różne miary wielkości efektu: od różnicy ryzyka i ilorazu szans po współczynniki zależności i miary stosowane w analizie wariancji. Wspólnym problemem pozostaje jednak nie tylko obliczenie efektu, lecz także decyzja, jaką jego postać najlepiej pokazać. Czy wystarczy podać różnicę średnich w punktach skali? Czy należy dodatkowo obliczyć d Cohena? Czy dla wyniku klinicznego lepsze będzie ryzyko względne, czy bezwzględna różnica ryzyka?

Odpowiedź zależy od celu badania. Efekt niestandaryzowany zachowuje jednostkę pomiaru i zwykle najlepiej odpowiada na pytanie praktyczne. Efekt standaryzowany pozwala porównywać wyniki mierzone różnymi skalami, ale jego interpretacja jest bardziej abstrakcyjna. Dlatego nie należy traktować standaryzacji jako automatycznego ulepszenia wyniku. Często najlepszym rozwiązaniem jest raportowanie obu postaci wraz z przedziałami ufności.

1. Czym jest wielkość efektu?

Wielkość efektu to ilościowy opis rozmiaru różnicy, związku albo zmiany, którą obserwujemy w badaniu. Informuje nie tylko o tym, czy dane są zgodne z hipotezą zerową, lecz przede wszystkim o tym, jak duże jest zjawisko w jednostkach istotnych dla badania. Współczesne standardy raportowania zalecają przedstawianie wielkości efektu wraz z miarą niepewności, najczęściej 95-procentowym przedziałem ufności (Cumming, 2014; Appelbaum i in., 2018). ([journals.sagepub.com])

Warto rozdzielić trzy kwestie:

• istotność statystyczną – stopień zgodności danych z określonym modelem i hipotezą zerową;
• wielkość efektu – rozmiar różnicy lub związku;
• znaczenie praktyczne – to, czy efekt ma konsekwencje kliniczne, psychologiczne, organizacyjne lub społeczne.

Wartość p nie jest prawdopodobieństwem prawdziwości hipotezy zerowej, nie określa wielkości efektu i nie mówi sama przez się, czy wynik jest ważny dla pacjenta lub praktyki zawodowej. Mała wartość p może towarzyszyć bardzo małej różnicy przy dużej próbie, a wynik nieistotny statystycznie może być zgodny z efektem potencjalnie ważnym, lecz oszacowanym z dużą niepewnością. To właśnie dlatego Altman i Bland (1995) podkreślali, że brak istotności statystycznej nie jest dowodem braku efektu. ([pubmed.ncbi.nlm.nih.gov])

2. Efekt niestandaryzowany – wynik w naturalnej skali

Efekt niestandaryzowany jest wyrażony w jednostkach użytej zmiennej. Jeżeli badamy ciśnienie skurczowe, efekt może być podany w mmHg. Jeżeli analizujemy czas oczekiwania na pomoc, będzie wyrażony w minutach. Dla wyniku psychologicznego może to być różnica punktów kwestionariusza, a dla wyniku klinicznego – różnica odsetków, ryzyka albo liczby zdarzeń na określoną liczbę pacjentów.

2.1. Różnica średnich

W najprostszym porównaniu dwóch grup różnicę średnich można zapisać jako:

MD = M1 − M0

• MD – niestandaryzowana różnica średnich;
• M1 – średnia w grupie badanej, na przykład u pacjentów otrzymujących interwencję;
• M0 – średnia w grupie porównawczej;
• znak wyniku wskazuje kierunek różnicy, zależny od kolejności odejmowania.

Jeżeli średnie nasilenie bólu wynosiło 6,4 punktu w grupie kontrolnej i 4,9 punktu w grupie interwencji, to MD = 4,9 − 6,4 = −1,5 punktu. Ujemny znak oznacza mniejsze nasilenie bólu w grupie interwencji, jeśli większa wartość skali oznacza większy ból. Dla odbiorcy klinicznego ważniejsze od samego znaku będzie często sformułowanie: „interwencja wiązała się ze zmniejszeniem bólu średnio o 1,5 punktu”.

W badaniu randomizowanym różnica średnich może być oszacowana jako różnica wyników końcowych albo jako różnica zmian od wartości wyjściowej. Wybór powinien wynikać z planu analizy i konstrukcji badania. Nie należy mieszać tych sposobów bez wyjaśnienia, ponieważ mogą prowadzić do odmiennych interpretacji.

2.2. Efekty niestandaryzowane dla wyników binarnych

Dla zdarzeń typu „wystąpiło/nie wystąpiło” naturalne są miary takie jak:

• różnica ryzyka, na przykład 4 punkty procentowe;
• ryzyko względne, na przykład RR = 0,80;
• iloraz szans, na przykład OR = 0,65;
• liczba potrzebna do leczenia lub liczba potrzebna do uzyskania dodatkowego niekorzystnego zdarzenia.

W praktyce klinicznej i zdrowiu publicznym miary te są często bardziej użyteczne niż standaryzowane wskaźniki, ponieważ pozwalają bezpośrednio ocenić konsekwencje decyzji. Jeżeli hospitalizacja wystąpiła u 12% pacjentów w grupie kontrolnej i u 8% w grupie interwencji, różnica ryzyka wynosi −4 punkty procentowe. Taki wynik można przełożyć na NNT około 25, pod warunkiem że populacja, okres obserwacji i definicja zdarzenia są jasno określone.

3. Efekt standaryzowany – wspólna skala dla różnych pomiarów

Efekt standaryzowany odnosi różnicę lub zależność do miary zmienności, najczęściej odchylenia standardowego. Dzięki temu wynik nie zależy bezpośrednio od jednostki pomiaru. Przykładowo, różnicę 5 punktów w jednym kwestionariuszu można porównać z różnicą 8 punktów w innym, jeśli oba efekty zostaną wyrażone jako odpowiednie wartości standaryzowane.

3.1. Standaryzowana różnica średnich

Najbardziej znany wzór ma postać:

d = (M1 − M0) / SDpooled

gdzie:

• d – standaryzowana różnica średnich, często nazywana d Cohena;
• M1 − M0 – różnica średnich;
• SDpooled – połączone odchylenie standardowe, czyli wspólna miara zmienności obu grup.

Dla dwóch grup o liczebnościach n1 i n0 połączone odchylenie standardowe można zapisać jako:

SDpooled = √[((n1 − 1)SD12 + (n0 − 1)SD02) / (n1 + n0 − 2)]

SD1 i SD0 oznaczają odchylenia standardowe w obu grupach. W małych próbach często stosuje się korektę obciążenia, prowadzącą do miary Hedgesa g. Lakens (2013) omawia różnice między standaryzowanymi miarami dla układów niezależnych i zależnych oraz wskazuje, że sposób obliczania powinien odpowiadać projektowi badania. ([pubmed.ncbi.nlm.nih.gov])

Wartości 0,2, 0,5 i 0,8 bywają przedstawiane jako orientacyjne punkty odniesienia dla małego, średniego i dużego efektu. Nie są to jednak uniwersalne normy. Efekt d = 0,20 może mieć znaczenie dla programu profilaktycznego obejmującego setki tysięcy osób, a d = 0,80 może być niewystarczający, jeśli interwencja jest kosztowna, obciążająca lub obarczona ryzykiem. Progi Cohena powinny być traktowane jako heurystyka, a nie jako definicja znaczenia praktycznego.

3.2. Inne standaryzowane miary

Do efektów standaryzowanych należą również:

• r – współczynnik korelacji, którego znak opisuje kierunek związku, a wartość bezwzględna jego siłę w ramach konkretnego kontekstu;
• β standaryzowane – współczynniki regresji wyrażające zmianę wyniku w odchyleniach standardowych przy zmianie predyktora o jedno odchylenie standardowe;
• f i f² – miary używane między innymi w analizie wariancji i regresji;
• standaryzowane różnice zmian – przydatne w badaniach przed–po, choć ich definicja zależy od tego, czy mianownikiem jest odchylenie standardowe wyników wyjściowych, zmian czy różnic wewnątrzosobniczych.

Nie wszystkie te miary są wzajemnie zamienne. Na przykład standaryzowany współczynnik regresji nie jest po prostu tym samym co d Cohena, a korelacja nie oznacza różnicy między grupami. Miara musi być związana z pytaniem badawczym i modelem analitycznym.

4. Kiedy wybrać efekt niestandaryzowany?

Efekt niestandaryzowany powinien być podstawową miarą wtedy, gdy jednostka wyniku ma bezpośredni sens praktyczny. Dotyczy to szczególnie:

• ciśnienia tętniczego, stężenia glukozy, masy ciała, temperatury lub czasu;
• punktów dobrze znanego narzędzia klinicznego, jeżeli odbiorcy znają zakres i znaczenie skali;
• ryzyka zdarzeń, różnicy ryzyka, RR, OR, NNT i NNH;
• kosztów, długości hospitalizacji, liczby interwencji ratowniczych lub czasu oczekiwania;
• analiz, w których decyzje zależą od konkretnego progu, na przykład obniżenia ciśnienia o co najmniej 5 mmHg.

W badaniu dotyczącym jakości życia pacjentów z przewlekłą chorobą płuc różnica 6 punktów w określonym kwestionariuszu może być łatwiejsza do oceny niż d = 0,42, o ile znana jest minimalna ważna zmiana dla tej skali. Koncepcja minimalnej klinicznie istotnej różnicy służy właśnie do łączenia wyniku liczbowego z oceną znaczenia dla pacjenta (Jaeschke, Singer i Guyatt, 1989). ([pubmed.ncbi.nlm.nih.gov])

5. Kiedy raportować efekt standaryzowany?

Standaryzacja jest szczególnie użyteczna, gdy:

• badacze chcą porównać wyniki uzyskane różnymi narzędziami;
• planowana jest metaanaliza, w której wspólną miarą trzeba połączyć efekty z różnych skal;
• jednostka pomiaru jest arbitralna albo trudna do interpretacji poza konkretnym kwestionariuszem;
• celem jest porównanie względnej siły efektów dla kilku wyników;
• analiza mocy lub planowanie liczebności próby wymaga określonej miary efektu.

Trzeba jednak pamiętać, że standaryzacja może ukryć istotne informacje. Dwa efekty o takim samym d mogą oznaczać bardzo różne konsekwencje kliniczne, jeśli skale mają różne zakresy, różne błędy pomiaru albo różne znaczenie progów diagnostycznych. Dodatkowo odchylenie standardowe zależy od badanej populacji. Ten sam efekt w jednostkach naturalnych może więc otrzymać różne wartości standaryzowane w próbach o odmiennej zmienności.

6. Najlepsza praktyka: raportować oba rodzaje efektu

W wielu badaniach nie trzeba wybierać wyłącznie jednej postaci. Rozwiązaniem jest raportowanie:

1. średnich lub odsetków w każdej grupie;
2. efektu niestandaryzowanego;
3. efektu standaryzowanego, jeśli ułatwia porównanie z innymi badaniami;
4. 95-procentowego przedziału ufności;
5. informacji o sposobie obliczenia, mianowniku i kierunku efektu.

Takie podejście jest zgodne z logiką CONSORT: dla każdego wyniku należy przedstawić dane w grupach, oszacowany efekt i jego precyzję, na przykład 95-procentowy przedział ufności (Schulz, Altman i Moher, 2010). ([bmj.com])

7. Przykład praktyczny: program edukacyjny dla pacjentów z nadciśnieniem

Załóżmy, że w randomizowanym badaniu oceniano program edukacyjny prowadzony przez pielęgniarki. Po trzech miesiącach średnie ciśnienie skurczowe wyniosło 132 mmHg w grupie interwencji i 138 mmHg w grupie kontrolnej. Odchylenie standardowe wynosiło odpowiednio 12 i 13 mmHg.

Niestandaryzowany efekt wynosi:

MD = 132 − 138 = −6 mmHg

Interpretacja: średnie ciśnienie było o 6 mmHg niższe w grupie programu. To zdanie jest bezpośrednio zrozumiałe dla klinicysty i pacjenta. Można dodatkowo obliczyć standaryzowaną różnicę średnich. Jeśli połączone odchylenie standardowe wynosi około 12,5 mmHg, otrzymujemy:

d ≈ −6 / 12,5 = −0,48

Wynik d ≈ −0,48 sugeruje umiarkowaną różnicę w jednostkach odchylenia standardowego, ale nie zastępuje informacji „6 mmHg”. Jeśli badanie ma służyć metaanalizie programów edukacyjnych stosujących różne skale lub wyniki, d będzie użyteczne. Jeśli celem jest decyzja kliniczna, podstawowe znaczenie ma różnica w mmHg, jej przedział ufności oraz ocena, czy mieści się ona w zakresie uznawanym za istotny klinicznie.

8. Przykład z psychologii: dwa narzędzia pomiaru lęku

Wyobraźmy sobie dwa badania terapii lęku. W pierwszym użyto kwestionariusza A o zakresie 0–40 punktów i uzyskano różnicę między grupami równą 4 punkty. W drugim zastosowano kwestionariusz B o zakresie 0–80 punktów i uzyskano różnicę 7 punktów. Same różnice surowe są trudne do porównania, ponieważ skale mają inne zakresy i odmienne odchylenia standardowe.

Jeżeli w badaniu A połączone odchylenie standardowe wynosiło 8, a w badaniu B – 14, standaryzowane efekty wynoszą odpowiednio d = 0,50 i d = 0,50. W tym kontekście standaryzacja pomaga zauważyć podobną względną różnicę. Nie oznacza jednak automatycznie, że oba efekty są identyczne psychologicznie. Należy sprawdzić rzetelność narzędzi, populację, czas obserwacji, sposób prowadzenia terapii i minimalną ważną zmianę.

9. Najczęstsze błędy

• Raportowanie wyłącznie wartości p. Nie pokazuje ona rozmiaru efektu ani jego praktycznej ważności. Wartość p należy traktować jako element wnioskowania, a nie pełne podsumowanie wyniku.
• Używanie progów Cohena jako uniwersalnych norm. „Mały”, „średni” i „duży” efekt zależą od dziedziny, kosztów decyzji, ryzyka i wcześniejszej wiedzy.
• Zastępowanie efektu naturalnego samym d Cohena. d = 0,40 nie mówi, o ile punktów, minut lub mmHg różniły się grupy.
• Pomijanie przedziału ufności. Efekt 0,50 z wąskim przedziałem ufności i efekt 0,50 z bardzo szerokim przedziałem nie dostarczają równie precyzyjnej informacji.
• Mylenie efektu standaryzowanego z klinicznym znaczeniem. Standaryzacja jest operacją matematyczną, a nie dowodem użyteczności klinicznej.
• Niejasny kierunek efektu. Należy wskazać, która grupa została odjęta od której oraz czy większa wartość oznacza poprawę, czy pogorszenie.
• Porównywanie nieporównywalnych mianowników. Dotyczy to zwłaszcza OR, RR, wskaźników częstości i efektów standaryzowanych obliczanych według różnych definicji.
• Wnioskowanie przyczynowe z badania obserwacyjnego. Sama wielkość efektu nie zmienia schematu badania. W badaniu obserwacyjnym należy mówić o związku, a nie automatycznie o wpływie.

10. Jak zapisać wynik w artykule?

Przykładowy zapis może wyglądać następująco:

Po trzech miesiącach średnie ciśnienie skurczowe było niższe w grupie interwencji niż w grupie kontrolnej o 6 mmHg (MD = −6,0 mmHg; 95% CI [−9,5; −2,5]; p = 0,001). Odpowiadało to standaryzowanej różnicy średnich g = −0,48 (95% CI [−0,75; −0,20]).

Taki zapis umożliwia jednocześnie ocenę jednostki naturalnej, względnej wielkości efektu i niepewności oszacowania. W publikacjach warto także wskazać, czy efekt był zaplanowany jako główny, drugorzędowy czy eksploracyjny. Zalecenia APA JARS akcentują przejrzyste przedstawianie metod, wyników, wielkości efektu i ich niepewności (Appelbaum i in., 2018). ([apa.org])

Co warto zapamiętać?

• Efekt niestandaryzowany zachowuje jednostkę pomiaru i zwykle najlepiej odpowiada na pytania kliniczne oraz organizacyjne.
• Efekt standaryzowany odnosi różnicę do zmienności i ułatwia porównywanie wyników pochodzących z różnych skal.
• Nie istnieje jedna miara odpowiednia dla wszystkich projektów, zmiennych i odbiorców.
• Jeśli jednostka wyniku ma sens praktyczny, nie należy jej usuwać na rzecz samej standaryzacji.
• W wielu badaniach warto raportować oba rodzaje efektu, zawsze z 95-procentowym przedziałem ufności.
• Statystyczna istotność, wielkość efektu i znaczenie praktyczne są odrębnymi pojęciami.
• Ostateczna ocena znaczenia wyniku wymaga kontekstu: populacji, kosztów, ryzyka, jakości pomiaru i minimalnej ważnej różnicy.

W ramach publicznego szkolenia na statystyk.edu.pl ta lekcja stanowi pomost między obliczaniem pojedynczych miar efektu a ich świadomym raportowaniem. Dobra analiza nie kończy się na wyborze wzoru. Kończy się dopiero wtedy, gdy odbiorca wie, jak duży jest efekt, jak precyzyjnie go oszacowano i czy ma on znaczenie dla konkretnej decyzji.

Źródła i dalsza lektura

1. Lakens, D. (2013). Calculating and reporting effect sizes to facilitate cumulative science: A practical primer for t-tests and ANOVAs. Frontiers in Psychology, 4, 863. DOI: 10.3389/fpsyg.2013.00863.
2. Sullivan, G. M., & Feinn, R. (2012). Using Effect Size—or Why the P Value Is Not Enough. Journal of Graduate Medical Education, 4(3), 279–282. DOI: 10.4300/JGME-D-12-00156.1.
3. Cumming, G. (2014). The New Statistics: Why and How. Psychological Science, 25(1), 7–29. DOI: 10.1177/0956797613504966.
4. Altman, D. G., & Bland, J. M. (1995). Absence of evidence is not evidence of absence. BMJ, 311(7003), 485. DOI: 10.1136/bmj.311.7003.485.
5. Schulz, K. F., Altman, D. G., & Moher, D.; CONSORT Group (2010). CONSORT 2010 Statement: Updated guidelines for reporting parallel group randomised trials. BMJ, 340, c332. DOI: 10.1136/bmj.c332.
6. Jaeschke, R., Singer, J., & Guyatt, G. H. (1989). Measurement of health status. Ascertaining the minimal clinically important difference. Controlled Clinical Trials, 10(4), 407–415. DOI: 10.1016/0197-2456(89)90005-6.
7. Appelbaum, M., Cooper, H., Kline, R. B., Mayo-Wilson, E., Nezu, A. M., & Rao, S. M.; American Psychological Association Publications and Communications Board Task Force (2018). Journal Article Reporting Standards for Quantitative Research in Psychology: The APA Publications and Communications Board Task Force Report. American Psychologist. American Psychological Association. Źródło.