340. Jak raportować wyniki bez sprowadzania ich do „istotne/nieistotne”?

Wynik badania nie powinien być sprowadzany do jednego słowa: „istotny” albo „nieistotny”. Taka etykieta pomija bowiem najważniejsze informacje: jak duża była zaobserwowana różnica, jak precyzyjne jest jej oszacowanie, czy wynik ma znaczenie kliniczne lub społeczne oraz na ile wiarygodny jest zastosowany schemat badania. Celem tej lekcji jest pokazanie, jak raportować wyniki w sposób bardziej kompletny i użyteczny. Zasady te są zgodne z kierunkiem rozwijanym w szkoleniu na statystyk.edu.pl: statystyka ma wspierać rozumowanie naukowe, a nie zastępować je pojedynczą wartością p.

Dlaczego podział na „istotne” i „nieistotne” jest niewystarczający?

W klasycznym testowaniu hipotez badacz formułuje hipotezę zerową H₀, określa metodę analizy i często przyjmuje poziom istotności α = 0,05. Następnie oblicza statystykę testową oraz wartość p. Jeżeli p jest mniejsze od α, wynik określa się zwykle jako „statystycznie istotny”. Jeżeli p jest większe lub równe α, mówi się o wyniku „nieistotnym”.

Takie postępowanie może być pomocne jako element decyzji proceduralnej, ale nie jest pełnym opisem danych. Wartość p nie jest prawdopodobieństwem prawdziwości hipotezy zerowej, prawdopodobieństwem, że wynik powstał „przez przypadek”, ani miarą wielkości efektu. Jest prawdopodobieństwem uzyskania danych co najmniej tak niezgodnych z założeniami hipotezy zerowej, przy założeniu, że hipoteza zerowa i model statystyczny są prawdziwe.

American Statistical Association podkreśla, że wnioskowanie na podstawie wartości p wymaga uwzględnienia całego kontekstu badania, a sama wartość p nie mierzy ani rozmiaru efektu, ani jego ważności praktycznej (Wasserstein i Lazar, 2016). Dlatego zapis „wynik był istotny” powinien być punktem wyjścia do dalszego opisu, a nie jego zakończeniem.

Co należy raportować zamiast samej etykiety?

Kompletny raport wyników powinien odpowiadać co najmniej na pięć pytań:

1. Jakie były wartości opisowe w porównywanych grupach?
2. Jaka była wielkość i kierunek efektu?
3. Jaka jest niepewność oszacowania?
4. Co mówi wartość p, jeśli została obliczona?
5. Czy efekt ma znaczenie kliniczne, praktyczne lub społeczne?

W zależności od projektu badania efektem może być różnica średnich, różnica median, iloraz szans, ryzyko względne, różnica ryzyka, współczynnik korelacji, współczynnik regresji albo standaryzowana wielkość efektu, na przykład d Cohena. Nie istnieje jedna uniwersalna miara odpowiednia dla wszystkich analiz.

Statystyki opisowe jako pierwszy poziom interpretacji

Przed przedstawieniem testu warto pokazać dane w skali zrozumiałej dla odbiorcy. Dla zmiennej ilościowej mogą to być średnia i odchylenie standardowe, mediana i kwartyle albo średnia geometryczna, jeżeli uzasadnia to rozkład danych. Dla zmiennej jakościowej należy podać liczebności oraz odsetki.

Sam odsetek bez mianownika może być mylący. Informacja, że poprawę odnotowano u 60% pacjentów, jest niepełna, jeżeli nie wiadomo, czy chodziło o 6 z 10, czy o 600 z 1000 osób. Dlatego należy podawać zarówno n, jak i procent.

Wielkość efektu

Wielkość efektu opisuje, jak duża jest różnica, zależność lub zmiana. Przykładowo, w badaniu klinicznym może to być różnica średniego nasilenia bólu między grupami. Jeżeli grupa interwencji uzyskała średnio 4,2 punktu, a grupa kontrolna 5,0 punktu w skali od 0 do 10, surowa różnica wynosi:

Δ = średnia w grupie interwencji − średnia w grupie kontrolnej

Δ = 4,2 − 5,0 = −0,8 punktu

Znak minus oznacza niższe nasilenie bólu w grupie interwencji. Nie należy jednak pozostawiać odbiorcy bez wyjaśnienia kierunku: lepiej napisać, że interwencja wiązała się ze średnim zmniejszeniem bólu o 0,8 punktu.

W psychologii lub naukach społecznych często stosuje się standaryzowaną różnicę średnich:

d = (M₁ − M₂) / SD_pooled

• M₁ i M₂ oznaczają średnie w dwóch grupach;
• SD_pooled oznacza połączone odchylenie standardowe;
• d wyraża różnicę w jednostkach odchylenia standardowego.

Reguły orientacyjne, według których wartości d około 0,2, 0,5 i 0,8 nazywa się odpowiednio małą, umiarkowaną i dużą, nie powinny zastępować wiedzy dziedzinowej. To, co jest małym efektem w badaniu laboratoryjnym, może być ważne dla zdrowia publicznego, jeżeli dotyczy milionów osób.

Przedział ufności

Przedział ufności pokazuje zakres wartości zgodnych z danymi i przyjętą metodą estymacji. Dla 95-procentowego przedziału ufności nie należy mówić, że istnieje 95-procentowe prawdopodobieństwo, iż konkretny, już obliczony parametr populacji znajduje się w tym przedziale. W interpretacji częstościowej poprawne jest stwierdzenie, że procedura konstruowania takich przedziałów obejmowałaby prawdziwy parametr w około 95% powtarzanych próbach, gdyby założenia procedury były spełnione.

W praktyce przedział ufności informuje o precyzji oszacowania. Wąski przedział sugeruje większą precyzję, a szeroki wskazuje na większą niepewność. Przedział jest także pomocny przy ocenie znaczenia praktycznego. Jeśli różnica średnich wynosi 0,8 punktu, ale 95% CI wynosi od −0,1 do 1,7, dane są zgodne zarówno z brakiem efektu, jak i z efektem potencjalnie istotnym klinicznie.

Jak używać wartości p bez nadinterpretacji?

Wartość p można raportować, ale należy traktować ją jako jedną z informacji. Zalecany zapis powinien obejmować nazwę testu, statystykę testową, stopnie swobody, wartość p oraz przede wszystkim miarę efektu i przedział ufności.

Przykładowo:

Średnie nasilenie bólu było niższe w grupie interwencji niż w grupie kontrolnej: różnica średnich −0,8 punktu, 95% CI [−1,4; −0,2], t(118) = −2,45, p = 0,016.

Ten zapis jest znacznie bardziej informacyjny niż zdanie: „Wykazano istotną statystycznie różnicę w nasileniu bólu”. Czytelnik widzi kierunek efektu, jego wielkość, niepewność oraz wynik testu.

Jeżeli program zwraca p < 0,001, nie należy automatycznie pisać p = 0,000. Wartość p nie jest równa zeru; oznacza to, że jest mniejsza niż granica prezentowana przez program. Nie należy też używać sformułowań „wysoce istotny” wyłącznie dlatego, że p jest bardzo małe. Mała wartość p może wynikać z dużej próby i bardzo małego efektu.

Przykład 1: badanie interwencji pielęgniarskiej

Załóżmy, że oceniano program edukacyjny dla pacjentów z nadciśnieniem. Po 12 tygodniach średnie skurczowe ciśnienie tętnicze wynosiło 137 mmHg w grupie programu i 141 mmHg w grupie standardowej opieki. Różnica wyniosła −4 mmHg, a 95% CI dla różnicy: od −7 do −1 mmHg; p = 0,012.

Opis „program był skuteczny, ponieważ wynik był istotny” jest zbyt uproszczony. Lepsza interpretacja brzmi: uczestnicy programu mieli średnio o 4 mmHg niższe skurczowe ciśnienie tętnicze niż osoby objęte standardową opieką; przedział ufności wskazywał, że zgodne z danymi wartości różnicy obejmowały około 1–7 mmHg na korzyść programu. Wynik testu dostarczał przesłanek przeciwko hipotezie o braku różnicy, ale sam nie rozstrzygał, czy redukcja o 4 mmHg jest wystarczająca do zmiany praktyki klinicznej.

W dalszej interpretacji należy uwzględnić wyjściowe wartości ciśnienia, adherencję, liczbę osób, utratę z obserwacji, bezpieczeństwo programu i czas trwania efektu. Jeżeli badanie nie było randomizowane, nie należy pisać, że program „spowodował” spadek ciśnienia bez dodatkowego uzasadnienia projektowego.

Przykład 2: badanie z zakresu psychologii

W badaniu studentów oceniano zmianę nasilenia objawów stresu po krótkiej interwencji internetowej. W grupie interwencji wynik zmniejszył się średnio o 3,1 punktu, a w grupie kontrolnej o 2,4 punktu. Różnica zmian wyniosła 0,7 punktu, 95% CI [−0,2; 1,6], p = 0,13.

Nie wolno automatycznie zapisać: „Interwencja nie działała”. Bardziej ostrożne zdanie brzmi: „Nie uzyskano wystarczających przesłanek do odrzucenia hipotezy zerowej o braku różnicy między grupami”. Przedział ufności obejmuje niewielką różnicę na niekorzyść interwencji, brak różnicy oraz efekt korzystny sięgający 1,6 punktu. Oznacza to, że badanie nie dostarczyło precyzyjnej odpowiedzi na pytanie o skuteczność.

Możliwe wyjaśnienia obejmują zbyt małą próbę, dużą zmienność wyników, niedostateczną intensywność programu albo rzeczywiście mały efekt. „Brak istotności” nie jest dowodem braku efektu, co podkreślali Altman i Bland (1995). Dlatego raport powinien przedstawiać oszacowanie i jego niepewność, zamiast zamykać interpretację w kategorii „nie działa”.

Znaczenie praktyczne, kliniczne i społeczne

Istotność statystyczna odpowiada na pytanie związane z kompatybilnością danych z hipotezą zerową i modelem. Znaczenie praktyczne dotyczy tego, czy wielkość efektu jest wystarczająca, aby wpłynąć na decyzję pacjenta, klinicysty, pielęgniarki, menedżera systemu ochrony zdrowia lub decydenta publicznego.

Przed analizą warto określić minimalną ważną różnicę, czyli najmniejszą zmianę uznawaną za istotną z punktu widzenia praktyki. Jej wartość powinna wynikać z wiedzy klinicznej, opinii pacjentów, kosztów, ryzyka i właściwości zastosowanej skali, a nie z wartości p uzyskanej po analizie.

Możliwe są cztery sytuacje:

• mały przedział ufności wokół efektu ważnego praktycznie — wynik zarówno precyzyjny, jak i użyteczny;
• mały przedział ufności wokół efektu nieistotnego praktycznie — wynik precyzyjny, ale niewielki;
• szeroki przedział obejmujący efekty ważne i nieważne — wynik nieprecyzyjny;
• duży efekt i mała wartość p, ale słaby projekt badania — wynik wymagający ostrożności z powodu ryzyka błędu systematycznego.

Przykład praktyczny: jak poprawić akapit wyników?

Wersja uproszczona:

Pacjenci po zastosowaniu aplikacji mieli istotnie niższy poziom lęku niż grupa kontrolna (p < 0,05). Aplikacja była skuteczna.

Wersja bardziej kompletna:

Po 8 tygodniach średni wynik lęku był niższy w grupie korzystającej z aplikacji niż w grupie kontrolnej: 18,4 wobec 21,0 punktu. Różnica średnich wyniosła −2,6 punktu, 95% CI [−4,8; −0,4], p = 0,021. Oznacza to umiarkowaną różnicę na korzyść aplikacji, której precyzję ogranicza szerokość przedziału ufności. Ocena znaczenia klinicznego wymaga porównania efektu z wcześniej określoną minimalną ważną różnicą oraz uwzględnienia kompletności obserwacji i adherencji uczestników.

Druga wersja nie ukrywa wyniku testu, ale umieszcza go w szerszym kontekście. Takie podejście jest zgodne z zaleceniami dotyczącymi raportowania badań randomizowanych CONSORT oraz badań obserwacyjnych STROBE. Standardy APA JARS również akcentują potrzebę przejrzystego raportowania analiz, wielkości efektu i miar niepewności.

Najczęstsze błędy

• „p < 0,05 oznacza, że hipoteza badawcza jest prawdziwa”. Wartość p nie jest prawdopodobieństwem prawdziwości hipotezy.
• „Nieistotny wynik dowodzi braku efektu”. Taki wniosek wymaga odpowiednio precyzyjnego badania, a w szczególności wąskiego przedziału ufności lub formalnego testu równoważności.
• Raportowanie samego p. Bez efektu i przedziału ufności nie wiadomo, co właściwie zaobserwowano.
• Utożsamianie małego p z dużym efektem. W dużych próbach nawet niewielka różnica może uzyskać małą wartość p.
• Używanie słowa „trend”. Określenia typu „trend w kierunku istotności” często maskują brak jasno określonej interpretacji.
• Zaokrąglanie zbyt agresywne. Zaokrąglenie efektu lub przedziału może zmienić jego interpretację. Należy zachować rozsądną liczbę miejsc dziesiętnych.
• Ignorowanie wielokrotnego testowania. Jeżeli wykonano wiele analiz, należy opisać ich liczbę, plan analityczny i zastosowane korekty lub kontrolę błędu.
• Język przyczynowy w badaniu obserwacyjnym. Związek statystyczny nie jest automatycznie dowodem przyczynowości.

Praktyczny schemat raportowania

Przy redagowaniu wyników można zastosować następującą kolejność:

1. Opisz próbę i liczebności analizowanych grup.
2. Podaj wartości opisowe w każdej grupie.
3. Wskaż kierunek i wielkość efektu w jednostkach zrozumiałych dla odbiorcy.
4. Dodaj 95% przedział ufności albo inną uzasadnioną miarę niepewności.
5. Podaj wartość p wraz ze statystyką testową, jeśli jest to potrzebne.
6. Oceń znaczenie praktyczne, kliniczne lub społeczne.
7. Uwzględnij ograniczenia projektu, brakujące dane i możliwe źródła błędu.

Wynik powinien być opisany tak, aby czytelnik mógł samodzielnie ocenić jego wielkość, precyzję i zastosowanie. To szczególnie ważne w badaniach medycznych, gdzie decyzja dotycząca terapii nie może opierać się wyłącznie na przekroczeniu arbitralnego progu p = 0,05.

Co warto zapamiętać?

• „Istotny” i „nieistotny” to zbyt ubogie kategorie do pełnego raportowania wyników.
• Wartość p nie jest miarą wielkości efektu ani prawdopodobieństwem prawdziwości hipotezy zerowej.
• Najważniejsze elementy raportu to: statystyki opisowe, miara efektu, przedział ufności, wartość p oraz znaczenie praktyczne.
• Brak istotności statystycznej nie dowodzi braku efektu, szczególnie gdy przedział ufności jest szeroki.
• Duży efekt może być nieprecyzyjny, a mały efekt może być statystycznie istotny dzięki dużej próbie.
• Interpretacja musi uwzględniać projekt badania, jakość pomiaru, brakujące dane, wielokrotne testowanie i możliwość błędu systematycznego.
• Dobre raportowanie nie usuwa niepewności, lecz pokazuje ją w sposób pozwalający podejmować lepsze decyzje.

Źródła i dalsza lektura

1. Wasserstein, R. L., & Lazar, N. A. (2016). The ASA’s Statement on p-Values: Context, Process, and Purpose. The American Statistician, 70(2), 129–133. DOI: 10.1080/00031305.2016.1154108.
2. Altman, D. G., & Bland, J. M. (1995). Absence of Evidence Is Not Evidence of Absence. BMJ, 311(7003), 485. DOI: 10.1136/bmj.311.7003.485.
3. Schulz, K. F., Altman, D. G., Moher, D., & CONSORT Group (2010). CONSORT 2010 Statement: Updated Guidelines for Reporting Parallel Group Randomised Trials. BMJ, 340, c332. DOI: 10.1136/bmj.c332.
4. von Elm, E., Altman, D. G., Egger, M., Pocock, S. J., Gøtzsche, P. C., Vandenbroucke, J. P., & STROBE Initiative (2007). The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) Statement: Guidelines for Reporting Observational Studies. PLoS Medicine, 4(10), e296. DOI: 10.1371/journal.pmed.0040296.
5. American Psychological Association Publications and Communications Board Task Force on Journal Article Reporting Standards (2018). Journal Article Reporting Standards for Quantitative Research in Psychology: The APA Publications and Communications Board Task Force Report. American Psychologist. American Psychological Association. Źródło.