315. Precyzja estymacji a istotność statystyczna

Wynik badania można opisać na dwa pozornie podobne, lecz w rzeczywistości różne sposoby. Możemy zapytać, czy dane są wystarczająco niezgodne z hipotezą zerową, aby uznać wynik za statystycznie istotny. Możemy też zapytać, jaki efekt oszacowano i z jaką dokładnością to zrobiono. Pierwsze pytanie prowadzi do wartości p i decyzji testowej, drugie — do estymacji punktowej oraz przedziału ufności.

Rozróżnienie to jest szczególnie ważne w medycynie, zdrowiu publicznym, psychologii i naukach społecznych. Wynik może być statystycznie istotny, ale praktycznie mało ważny. Może też nie osiągnąć konwencjonalnego poziomu istotności, a jednocześnie wskazywać na efekt potencjalnie ważny klinicznie lub społecznie, którego nie oszacowano dostatecznie precyzyjnie. Celem tej lekcji, będącej częścią szkolenia na statystyka.edu.pl, jest uporządkowanie tych trzech wymiarów: wielkości efektu, jego precyzji oraz istotności statystycznej.

Trzy różne pytania o wynik badania

Interpretując rezultat analizy, warto oddzielić trzy pytania:

• Jak duży jest efekt? Odpowiada na to estymacja punktowa, na przykład różnica średnich, ryzyko względne, iloraz szans albo różnica odsetków.
• Jak precyzyjnie oszacowano efekt? Informuje o tym przedział ufności, którego szerokość odzwierciedla niepewność estymacji.
• Jak zgodne są dane z określoną hipotezą zerową? Tego dotyczy wartość p, obliczana w ramach konkretnego modelu statystycznego.

Wartość p nie jest prawdopodobieństwem prawdziwości hipotezy zerowej ani prawdopodobieństwem, że zaobserwowany wynik powstał „przez przypadek”. Jest miarą zgodności danych z modelem zakładającym hipotezę zerową i przyjętymi założeniami. American Statistical Association podkreśla również, że sama wartość p nie mierzy wielkości efektu ani jego znaczenia praktycznego (Wasserstein i Lazar, 2016).

Przedział ufności dostarcza innego rodzaju informacji. Dla ustalonej procedury i powtarzania próbkowania 95-procentowy przedział ufności jest metodą, która w długiej serii analogicznych badań obejmowałaby prawdziwą wartość parametru w około 95% przypadków. Nie oznacza to, że po obliczeniu konkretnego przedziału prawdziwy parametr ma 95-procentowe prawdopodobieństwo znajdowania się między jego granicami.

Czym jest precyzja estymacji?

Precyzja estymacji opisuje, jak wąski jest zakres wartości zgodnych z danymi i zastosowaną metodą. Im węższy przedział ufności, tym mniejsza niepewność estymacji — pod warunkiem że model, sposób pomiaru i plan badania są adekwatne.

Przykładowo, jeśli średnia różnica ciśnienia skurczowego między dwiema grupami wynosi 4 mmHg, a 95% przedział ufności wynosi od 1 do 7 mmHg, oszacowanie jest stosunkowo precyzyjne. Jeśli natomiast ten sam wynik ma przedział od −6 do 14 mmHg, zakres dopuszczalnych wartości jest znacznie szerszy. W drugim przypadku nie można z podobną pewnością wykluczyć zarówno niewielkiego efektu ujemnego, braku efektu, jak i umiarkowanego efektu dodatniego.

Precyzja zależy między innymi od:

• liczebności próby;
• zmienności wyników w populacji;
• rzetelności i dokładności pomiaru;
• schematu badania;
• wyboru estymatora i modelu statystycznego;
• liczby obserwowanych zdarzeń, zwłaszcza w analizie ryzyka lub przeżycia.

Większa próba zwykle zmniejsza błąd losowy i zwęża przedział ufności, lecz nie naprawia błędu systematycznego. Bardzo duże badanie może zatem dawać niezwykle precyzyjne, ale obciążone wyniki, jeśli na przykład próba nie reprezentuje populacji docelowej albo narzędzie pomiarowe systematycznie zawyża wartości.

Wzór na przedział ufności dla estymacji

W uproszczonej, klasycznej postaci przedział ufności można zapisać następująco:

estymator ± wartość krytyczna × błąd standardowy

Dla średniej w dużej próbie często zapisuje się to jako:

x̄ ± z1−α/2 × SE(x̄)

• x̄ — średnia z próby, czyli estymacja punktowa średniej populacyjnej;
• z_1−α/2 — wartość krytyczna rozkładu normalnego, na przykład około 1,96 dla 95% przedziału ufności;
• SE(x̄) — błąd standardowy średniej;
• α — dopełnienie poziomu ufności, więc dla 95% wynosi 0,05.

W praktyce dla małych prób i nieznanego odchylenia standardowego populacji często stosuje się rozkład t Studenta zamiast rozkładu normalnego. Dla ilorazów, takich jak ryzyko względne lub iloraz szans, przedziały zwykle konstruuje się po transformacji logarytmicznej, a następnie przekształca z powrotem do pierwotnej skali. Zasada interpretacyjna pozostaje jednak podobna: przedział pokazuje zakres wartości zgodnych z danymi i procedurą estymacji.

Istotność statystyczna a przedział ufności

W wielu standardowych analizach dwustronny test hipotezy zerowej i 95% przedział ufności są ze sobą powiązane. Jeżeli hipoteza zerowa zakłada brak efektu, to:

• dla różnicy średnich lub różnicy proporcji wartość zerowa oznacza brak różnicy;
• dla ryzyka względnego i ilorazu szans wartością braku efektu jest 1;
• jeżeli 95% przedział ufności nie obejmuje wartości braku efektu, odpowiadająca wartość p w teście dwustronnym jest zwykle mniejsza niż 0,05;
• jeżeli przedział obejmuje wartość braku efektu, wynik nie osiąga konwencjonalnej istotności statystycznej na poziomie 0,05.

Nie oznacza to jednak, że przedział ufności jest tylko „innym sposobem podania wartości p”. Przedział dostarcza informacji o kierunku, wielkości i możliwej praktycznej wadze efektu. Gardner i Altman argumentowali, że raportowanie estymacji wraz z przedziałami ufności jest bardziej informacyjne niż sprowadzanie wyniku do etykiety „istotny” albo „nieistotny” (Gardner i Altman, 1986).

Granica p = 0,05 jest konwencją, a nie naturalnym punktem rozdzielającym prawdę od fałszu. Wynik p = 0,049 nie jest jakościowo zupełnie inny od wyniku p = 0,051. Takie mechaniczne rozstrzyganie może prowadzić do nadmiernej dychotomizacji dowodów, zwłaszcza gdy nie uwzględnia się wielkości efektu, planu badania, liczby analiz i konsekwencji praktycznych.

Przykład 1: duża próba i mały efekt

Załóżmy, że w badaniu obejmującym 12 000 osób oceniono związek między krótką interwencją edukacyjną a wynikiem testu wiedzy zdrowotnej. Średnia różnica wyniosła 0,8 punktu w skali od 0 do 100, a 95% przedział ufności wyniósł od 0,3 do 1,3 punktu. Wartość p była mniejsza niż 0,001.

Wynik jest statystycznie istotny, ponieważ przedział nie obejmuje zera. Jest również precyzyjny: szerokość przedziału wynosi 1 punkt. Nie wynika z tego jednak, że interwencja ma duże znaczenie praktyczne. Jeżeli wcześniej uznano, że poprawa o co najmniej 5 punktów ma znaczenie dla zdrowia publicznego, oszacowany efekt jest wyraźnie mniejszy od tego progu.

Wniosek powinien więc brzmieć: „Interwencja wiązała się ze średnim wzrostem wyniku o 0,8 punktu, a 95% przedział ufności wynosił 0,3–1,3 punktu”. Nie należy pisać po prostu, że interwencja była „skuteczna” bez doprecyzowania, jak duża była poprawa i czy miała znaczenie praktyczne.

Przykład 2: brak istotności i szeroki przedział

W małym badaniu ratowników medycznych porównano częstość błędów podczas symulacji po standardowym szkoleniu i po szkoleniu rozszerzonym. Różnica odsetków wyniosła −6 punktów procentowych, a 95% przedział ufności rozciągał się od −20 do 8 punktów procentowych. Wartość p wyniosła 0,39.

Nie ma podstaw do odrzucenia hipotezy zerowej przy poziomie istotności 0,05. Nie wolno jednak stwierdzić, że szkolenia były równoważne albo że rozszerzone szkolenie nie przynosi żadnej korzyści. Przedział obejmuje zarówno potencjalnie ważne zmniejszenie liczby błędów, jak i niewielki wzrost błędów. Badanie jest zatem mało informacyjne w odniesieniu do praktycznego pytania.

Najtrafniejszy wniosek brzmi: „Zaobserwowano 6-punktową redukcję odsetka błędów, ale oszacowanie było nieprecyzyjne; 95% przedział ufności wynosił od 20-punktowej redukcji do 8-punktowego wzrostu”. Jeżeli celem było wykazanie, że szkolenie nie jest gorsze od standardowego, potrzebny byłby odpowiednio zaplanowany test równoważności lub non-inferiority, a nie samo uznanie nieistotnego wyniku za dowód braku różnicy.

Przykład praktyczny: interpretacja efektu klinicznego

W randomizowanym badaniu porównano nowy program opieki pielęgniarskiej ze standardowym postępowaniem u pacjentów po wypisie ze szpitala. Ponowna hospitalizacja w ciągu 30 dni wystąpiła u 14% pacjentów w grupie standardowej i u 11% pacjentów w grupie programu. Różnica ryzyka wyniosła −3 punkty procentowe, a 95% przedział ufności: od −7 do 1 punktu procentowego. Wartość p wyniosła 0,14.

Wynik nie jest statystycznie istotny na poziomie 0,05, ponieważ przedział obejmuje zero. Czy program „nie działa”? Nie. Dane są zgodne z niewielkim zmniejszeniem ryzyka, brakiem różnicy, a także z niewielkim wzrostem ryzyka. Badanie nie rozstrzyga więc pytania z wysoką precyzją.

W interpretacji należy dodatkowo uwzględnić koszt programu, jego bezpieczeństwo, obciążenie personelu i możliwe korzyści dla pacjentów. Jeśli nawet 3-punktowa redukcja miałaby duże znaczenie organizacyjne przy dużej liczbie pacjentów, wynik może być praktycznie interesujący mimo braku formalnej istotności statystycznej. Z drugiej strony przedział nie wyklucza także braku korzyści, dlatego nie powinno się formułować kategorycznych zaleceń wyłącznie na podstawie tego badania.

Istotność statystyczna, kliniczna i praktyczna

Istotność statystyczna odnosi się do zgodności danych z hipotezą zerową w określonym modelu i przy określonym poziomie alfa. Znaczenie kliniczne dotyczy tego, czy efekt jest ważny dla zdrowia, funkcjonowania lub decyzji pacjenta. Znaczenie praktyczne może obejmować także koszty, organizację pracy, konsekwencje społeczne i wykonalność interwencji.

Te kategorie mogą się rozchodzić. Mały efekt może być statystycznie istotny w ogromnej próbie, lecz nie mieć znaczenia dla pojedynczego pacjenta. Duży efekt może nie osiągnąć istotności w małej próbie, ponieważ przedział ufności jest zbyt szeroki. Dlatego interpretacja powinna obejmować co najmniej: estymację punktową, 95% przedział ufności, wartość p — jeśli jest raportowana — oraz uzasadniony próg praktycznej ważności.

W badaniach planowanych warto przed analizą określić minimalny istotny efekt, czyli najmniejszą różnicę, która miałaby znaczenie dla praktyki. Taki próg pomaga ocenić, czy przedział ufności wyklucza efekty ważne, czy jedynie nie pozwala odrzucić hipotezy zerowej.

Jak raportować wyniki?

Dobre sprawozdanie nie ogranicza się do zdania „wynik był istotny statystycznie”. Zalecany schemat obejmuje:

1. nazwanie estymowanego efektu i jego jednostki;
2. podanie estymacji punktowej;
3. podanie 95% przedziału ufności;
4. opcjonalne podanie wartości p, szczególnie gdy wynika z wcześniej określonej analizy;
5. odniesienie efektu do progu znaczenia praktycznego;
6. ostrożne sformułowanie wniosku zgodne ze schematem badania.

W badaniu obserwacyjnym należy mówić o związku, różnicy lub zależności, a nie automatycznie o wpływie czy skuteczności. Język przyczynowy wymaga odpowiedniego projektu, kontroli zakłóceń i uzasadnionych założeń. Standardy raportowania, takie jak CONSORT dla randomizowanych badań klinicznych i STROBE dla badań obserwacyjnych, akcentują potrzebę przedstawiania oszacowań efektu wraz z miarą niepewności (Schulz, Altman i Moher, 2010; von Elm i in., 2007).

Najczęstsze błędy

• „Nieistotny wynik oznacza brak efektu”. Nie, jeśli przedział ufności jest szeroki i obejmuje wartości praktycznie ważne.
• „Im mniejsze p, tym większy efekt”. Nie. Wartość p zależy także od liczebności próby, zmienności i modelu.
• „Przedział ufności zawiera 95% prawdopodobieństwa dla parametru”. To nie jest klasyczna interpretacja częstościowa konkretnego przedziału.
• „Przekroczenie granicy 0,05 zmienia znaczenie wyniku”. Wyniki należy interpretować na skali ciągłej, a nie jako dwa całkowicie różne stany.
• „Wąski przedział gwarantuje prawdziwość wyniku”. Wąski przedział świadczy o małej niepewności losowej, lecz nie wyklucza błędu systematycznego.
• „Duża istotność statystyczna oznacza ważność kliniczną”. O znaczeniu klinicznym decyduje wielkość efektu, kontekst i konsekwencje dla pacjentów.
• „Wartość p jest prawdopodobieństwem, że hipoteza zerowa jest prawdziwa”. Jest to niepoprawna interpretacja wartości p.
• „Wynik graniczny można nazwać trendem”. Określenie „trend” często maskuje dychotomiczne myślenie i nie zastępuje opisu estymacji oraz przedziału.

Co warto zapamiętać?

• Precyzja estymacji dotyczy niepewności oszacowania, a nie jego ważności praktycznej.
• Przedział ufności należy czytać razem z estymacją punktową i w odpowiedniej jednostce.
• Wartość p nie jest miarą wielkości efektu ani prawdopodobieństwem prawdziwości hipotezy zerowej.
• Statystyczna istotność i znaczenie kliniczne lub społeczne to różne własności wyniku.
• Szeroki przedział obejmujący ważne efekty oznacza niepewność, a nie dowód braku efektu.
• Duża próba może wykryć bardzo mały efekt, natomiast mała próba może nie wykazać efektu istotnego praktycznie.
• Najbardziej informacyjny opis obejmuje efekt, przedział ufności, kontekst praktyczny i ograniczenia projektu.

W kolejnych analizach nie warto zaczynać od pytania: „Czy wynik jest istotny?”. Lepszy punkt wyjścia brzmi: „Jaki efekt oszacowano, z jaką precyzją i czy zakres możliwych wartości ma znaczenie dla badanej populacji?”. Taka kolejność prowadzi do bardziej dojrzałej interpretacji wyników i ogranicza ryzyko automatycznego utożsamiania istotności statystycznej z ważnością naukową.

Źródła i dalsza lektura

1. Gardner, M. J., & Altman, D. G. (1986). Confidence intervals rather than P values: Estimation rather than hypothesis testing. The BMJ, 292(6522), 746. DOI: 10.1136/bmj.292.6522.746.
2. Wasserstein, R. L., & Lazar, N. A. (2016). The ASA Statement on p-Values: Context, Process, and Purpose. The American Statistician, 70(2), 129–133. DOI: 10.1080/00031305.2016.1154108.
3. Altman, D. G., & Bland, J. M. (1995). Absence of evidence is not evidence of absence. The BMJ, 311(7003), 485. DOI: 10.1136/bmj.311.7003.485.
4. Schulz, K. F., Altman, D. G., & Moher, D.; CONSORT Group (2010). CONSORT 2010 Statement: Updated guidelines for reporting parallel group randomised trials. The BMJ, 340, c332. DOI: 10.1136/bmj.c332.
5. von Elm, E., Altman, D. G., Egger, M., Pocock, S. J., Gøtzsche, P. C., & Vandenbroucke, J. P.; STROBE Initiative (2007). The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) statement: Guidelines for reporting observational studies. The Lancet, 370(9596), 1453–1457. DOI: 10.1016/S0140-6736(07)61602-X.
6. Bland, J. M., & Altman, D. G. (2011). How to obtain the confidence interval from a P value. The BMJ, 343, d2090. DOI: 10.1136/bmj.d2090.

Więcej kolejnych lekcji publicznego szkolenia znajdziesz na statystyk.edu.pl.

Jeżeli potrzebujesz indywidualnego wsparcia w doborze metod, przygotowaniu bazy lub opracowaniu wyników badań, sprawdź analiza statystyczna.