324. Najczęstsze mity dotyczące p-value

Wartość p jest jednym z najczęściej raportowanych wyników analiz statystycznych, a jednocześnie jednym z najczęściej błędnie interpretowanych. W poprzednich lekcjach kursu na statystyk.edu.pl omawialiśmy znaczenie samej wartości p, poziomu istotności alfa oraz logikę klasycznego testowania hipotez. Teraz skupimy się na mitach, które prowadzą do zbyt daleko idących wniosków. Celem nie jest odrzucenie testów statystycznych, lecz przywrócenie im właściwego miejsca w rozumowaniu badawczym.

Co właściwie oznacza wartość p?

Wartość p jest prawdopodobieństwem uzyskania wyniku tak samo lub bardziej niezgodnego z hipotezą zerową niż wynik zaobserwowany, przy założeniu określonego modelu statystycznego i prawdziwości hipotezy zerowej. Można to zapisać schematycznie:

p = P(wynik tak samo lub bardziej ekstremalny niż zaobserwowany | H₀ jest prawdziwa, model jest poprawny)

W tym zapisie:

• p oznacza wartość p;
• P(·) oznacza prawdopodobieństwo;
• H₀ jest hipotezą zerową, na przykład hipotezą o braku różnicy średnich lub braku związku między zmiennymi;
• model statystyczny obejmuje między innymi założenia dotyczące rozkładu danych, niezależności obserwacji, sposobu pomiaru oraz procedury analitycznej;
• „bardziej ekstremalny” oznacza wynik co najmniej tak odległy od wartości oczekiwanej pod H₀ jak ten, który zaobserwowano, zgodnie z przyjętą statystyką testową.

Najważniejszy kierunek warunkowania przebiega od hipotezy do danych. Wartość p nie jest prawdopodobieństwem hipotezy zerowej przy danych.

Mit 1: „p = 0,03 oznacza, że H₀ ma tylko 3% szans na bycie prawdziwą”

To jeden z najbardziej rozpowszechnionych błędów. Wartość p nie jest tym samym co:

• P(H₀ jest prawdziwa | dane),
• P(H₁ jest prawdziwa | dane),
• prawdopodobieństwo, że wynik jest przypadkowy,
• prawdopodobieństwo popełnienia błędu po odrzuceniu H₀.

Aby wyznaczać prawdopodobieństwo hipotezy po uwzględnieniu danych, trzeba odwołać się do dodatkowej struktury probabilistycznej, na przykład do rozumowania bayesowskiego. Potrzebne są wtedy między innymi założenia dotyczące prawdopodobieństwa hipotez przed uzyskaniem danych. Nie wynika ono automatycznie z samej wartości p (Goodman, 1999a; Wasserstein i Lazar, 2016).

Jeżeli w badaniu klinicznym uzyskano p = 0,03, poprawne sformułowanie może brzmieć: „Przy założeniu hipotezy zerowej oraz zastosowanego modelu statystycznego uzyskane dane byłyby stosunkowo mało zgodne z H₀; wartość p wyniosła 0,03”. Nie należy pisać: „Prawdopodobieństwo, że leczenie nie działa, wynosi 3%”.

Mit 2: „p < 0,05 dowodzi, że efekt istnieje”

Wartość p poniżej ustalonego progu jest informacją o niezgodności danych z określonym modelem pod H₀. Nie jest bezpośrednim dowodem istnienia efektu w sensie przyczynowym, klinicznym ani praktycznym.

Mała wartość p może wynikać z rzeczywistego efektu, ale także z niedopasowania modelu, naruszenia założeń, selekcji analizy, wielokrotnego testowania lub błędu systematycznego. Ponadto nawet prawidłowo przeprowadzony test może wskazać małą wartość p dla efektu bardzo małego i nieistotnego z punktu widzenia pacjenta.

Wniosek „efekt istnieje” wymaga szerszej oceny: wielkości efektu, przedziału ufności, jakości pomiaru, wiarygodności projektu badania, zgodności z wcześniejszymi dowodami oraz znaczenia klinicznego. Sama wartość p nie zastępuje tych elementów (Greenland i in., 2016).

Mit 3: „p ≥ 0,05 oznacza, że nie ma efektu”

Brak podstaw do odrzucenia H₀ nie jest dowodem jej prawdziwości. Wynik nieistotny statystycznie może oznaczać co najmniej kilka różnych sytuacji:

1. rzeczywisty efekt jest bardzo mały lub równy zeru;
2. efekt istnieje, ale badanie ma zbyt małą moc;
3. pomiar jest obarczony dużą zmiennością;
4. przedział niepewności jest szeroki;
5. zastosowany model nie odpowiada strukturze danych;
6. badana populacja różni się od populacji, dla której formułowano hipotezę.

Zamiast pisać „nie stwierdzono żadnego efektu”, lepiej opisać oszacowanie i jego niepewność. Na przykład: „Różnica wyniosła 2,1 punktu, 95% CI: od −1,4 do 5,6; dane nie dostarczyły wystarczających podstaw do odrzucenia hipotezy o braku różnicy”. Taki opis nie rozstrzyga, czy efekt jest dokładnie zerowy, ale pokazuje, jakie wartości pozostają zgodne z danymi.

Mit 4: „Im mniejsze p, tym większy efekt”

Wartość p zależy od kilku elementów jednocześnie: wielkości efektu, zmienności danych, liczebności próby, konstrukcji testu i założeń modelu. Nie jest miarą efektu.

Przykład z ochrony zdrowia

Załóżmy, że w badaniu 20 000 pacjentów porównano dwa programy profilaktyczne. Średnie ciśnienie skurczowe różniło się o 0,8 mmHg, a wartość p wyniosła < 0,001. Wynik może być statystycznie bardzo przekonujący, ale różnica 0,8 mmHg prawdopodobnie ma niewielkie znaczenie dla decyzji klinicznej, zwłaszcza jeśli wiąże się z kosztami lub obciążeniem pacjentów.

Odwrotna sytuacja także jest możliwa. W małym badaniu pilotażowym różnica 8 mmHg może być klinicznie interesująca, lecz przy dużej niepewności dać p = 0,12. Nie oznacza to, że różnica jest mała. Oznacza, że dane są zbyt mało precyzyjne, aby uznać je za wystarczająco przekonujące w ramach przyjętego testu.

Dlatego raport powinien obejmować co najmniej estymatę efektu, jego przedział niepewności oraz wartość p, jeśli test był uzasadniony. Wielkość efektu i wartość p odpowiadają na różne pytania.

Mit 5: „p = 0,049 oznacza ważne odkrycie, a p = 0,051 – brak odkrycia”

Różnica między p = 0,049 a p = 0,051 jest zwykle zbyt mała, aby uzasadniać jakościowo odmienne wnioski. Dychiotomiczne stosowanie progu 0,05 tworzy sztuczną granicę między wynikami, które mogą być niemal identyczne pod względem danych, precyzji i znaczenia merytorycznego.

Próg alfa, na przykład 0,05, może być użyteczny jako element z góry określonej procedury decyzyjnej. Nie powinien jednak zmieniać interpretacji wyniku z „ważnego” na „nieważny” wyłącznie dlatego, że wartość p przekroczyła granicę o kilka tysięcznych. ASA podkreśla, że decyzje naukowe i praktyczne nie powinny zależeć wyłącznie od tego, czy wartość p przekroczyła konkretny próg (Wasserstein i Lazar, 2016).

Mit 6: „Istotność statystyczna oznacza istotność kliniczną”

Istotność statystyczna dotyczy zgodności danych z hipotezą zerową w ramach określonego modelu i procedury. Istotność kliniczna dotyczy tego, czy wielkość efektu ma znaczenie dla pacjenta, personelu, systemu opieki lub zdrowia populacji.

W badaniu pielęgniarek oceniano czas wykonywania procedury po wdrożeniu nowego formularza. Średni czas skrócił się o 12 sekund, a przy dużej liczebności próby uzyskano p < 0,001. Statystycznie jest to wynik wyraźny, lecz praktyczne znaczenie zależy od liczby procedur, ryzyka błędów, obciążenia personelu i tego, czy zaoszczędzony czas można wykorzystać na bezpośrednią opiekę nad pacjentem.

W praktyce należy wcześniej określić, jaka różnica byłaby uznana za minimalnie istotną klinicznie. Następnie porównać z nią oszacowany efekt i przedział ufności. Można uzyskać wynik statystycznie istotny, ale klinicznie błahy, albo wynik nieistotny statystycznie, lecz potencjalnie ważny i wymagający większego badania.

Mit 7: „Wartość p jest obiektywną miarą siły dowodu niezależną od projektu”

Wartość p jest zależna od modelu statystycznego, sposobu zdefiniowania hipotezy, wybranej statystyki testowej i warunków analizy. Ten sam zbiór danych może prowadzić do różnych wartości p przy różnych, ale uzasadnionych procedurach, na przykład przy teście jednostronnym i dwustronnym, przy analizie surowej i skorygowanej lub przy różnych sposobach traktowania braków danych.

Nie oznacza to, że każda wartość p jest dowolna. Oznacza natomiast, że analiza powinna być zaplanowana przed obejrzeniem wyników, a decyzje analityczne powinny być uzasadnione merytorycznie. Gdy badacz wybiera spośród wielu analiz tę, która daje najmniejszą wartość p, klasyczna interpretacja zostaje osłabiona. Problem dotyczy wtedy nie tylko rachunku, lecz także procesu badawczego.

Mit 8: „Jeśli wykonano wiele testów, wystarczy raportować najmniejsze p”

Wykonywanie wielu testów zwiększa prawdopodobieństwo uzyskania co najmniej jednego małego p nawet wtedy, gdy wszystkie hipotezy zerowe są prawdziwe. Jeżeli badacz testuje wiele punktów końcowych, podgrup, momentów pomiaru i modeli, a następnie wybiera najkorzystniejszy wynik, nominalne p nie opisuje już właściwie całego procesu analitycznego.

Możliwe rozwiązania obejmują wcześniejsze określenie głównego punktu końcowego, korekty dla wielokrotnych porównań, kontrolę odsetka fałszywych odkryć albo wyraźne odróżnienie analiz potwierdzających od eksploracyjnych. Analizy eksploracyjne są wartościowe, ale powinny być przedstawiane jako generujące hipotezy, a nie jako ostateczne potwierdzenie skuteczności.

Przykład praktyczny: program redukcji stresu u ratowników

W badaniu 80 ratowników medycznych oceniono wynik w skali stresu przed i po sześciotygodniowym programie szkoleniowym. Średnia zmiana wyniosła −3,2 punktu, 95% przedział ufności: od −5,8 do −0,6, a test dla zmiany dał p = 0,018.

Niepoprawny wniosek brzmiałby: „Program zmniejsza stres, a prawdopodobieństwo, że nie działa, wynosi 1,8%”. Taka interpretacja traktuje p jako prawdopodobieństwo hipotezy i sugeruje przyczynowość, której nie można automatycznie wywieść z samego wyniku.

Ostrożniejsza interpretacja zależy od projektu. Jeśli było to randomizowane badanie z grupą kontrolną, można rozważać wniosek przyczynowy, o ile randomizacja, realizacja interwencji, kompletność obserwacji i analiza były odpowiednie. Jeśli był to jedynie pomiar przed–po bez grupy kontrolnej, wynik wskazuje na zmianę po wdrożeniu programu, ale nie dowodzi, że to program był jej przyczyną.

Wielkość efektu wyniosła 3,2 punktu. Trzeba teraz zapytać, czy taka zmiana przekracza wcześniej określony próg znaczenia praktycznego, czy skala ma odpowiednią rzetelność i czy przedział ufności jest wystarczająco wąski. Sama wartość p nie odpowiada na te pytania.

Najczęstsze błędy

• Traktowanie p jako prawdopodobieństwa prawdziwości H₀.
• Traktowanie p jako prawdopodobieństwa, że wynik powstał „przez przypadek”.
• Uznawanie p < 0,05 za dowód klinicznej ważności efektu.
• Uznawanie p ≥ 0,05 za dowód braku efektu.
• Porównywanie wartości p między badaniami zamiast porównywania estymat i ich niepewności.
• Wybieranie testu, kierunku hipotezy lub podgrupy dopiero po obejrzeniu danych.
• Raportowanie samego p bez wielkości efektu, przedziału ufności i liczebności próby.
• Formułowanie wniosków przyczynowych na podstawie badania obserwacyjnego bez odpowiednich założeń i kontroli zakłóceń.
• Zaokrąglanie wszystkich wyników do „istotne” i „nieistotne”, bez pokazania wartości p.

Jak raportować wartość p odpowiedzialnie?

Dobre sprawozdanie łączy wynik testu z kontekstem. W praktyce warto:

1. opisać hipotezę i projekt badania;
2. podać oszacowanie efektu w jednostkach zrozumiałych dla odbiorcy;
3. dołączyć przedział ufności lub inny uzasadniony opis niepewności;
4. podać dokładną wartość p, z wyjątkiem sytuacji, w których bardzo małe wartości uzasadniają zapis typu p < 0,001;
5. wyjaśnić, czy analiza była potwierdzająca, czy eksploracyjna;
6. uwzględnić wielokrotne porównania, braki danych i odstępstwa od planu analizy;
7. oddzielić istotność statystyczną od klinicznej, społecznej lub organizacyjnej.

Zamiast zdania „interwencja była skuteczna, p = 0,02”, lepiej napisać: „W grupie interwencji wynik był średnio o 4,1 punktu niższy niż w grupie kontrolnej; 95% CI: od −7,0 do −1,2; p = 0,02. Wielkość efektu przekraczała ustalony przed badaniem próg minimalnej ważnej różnicy”. Taki opis jest informacyjniejszy, ponieważ pokazuje zarówno kierunek, rozmiar, niepewność, jak i kryterium praktyczne.

Co warto zapamiętać?

• Wartość p opisuje zgodność danych z H₀ i modelem, a nie prawdopodobieństwo prawdziwości hipotezy.
• Małe p nie mówi samo w sobie, jak duży ani jak ważny jest efekt.
• Duże p nie dowodzi braku efektu; może wskazywać także na małą moc lub małą precyzję.
• Granica 0,05 nie tworzy naturalnego podziału na odkrycia i brak odkryć.
• Interpretacja wymaga połączenia wartości p z estymatą efektu, przedziałem niepewności, projektem badania i znaczeniem praktycznym.
• Wielokrotne testowanie, selektywne raportowanie i naruszenie założeń mogą zniekształcić znaczenie wartości p.
• Test statystyczny nie zastępuje oceny jakości badania ani rozumowania metodologicznego.

Najbezpieczniejsza zasada brzmi: nie pytaj wyłącznie, czy p jest mniejsze od 0,05; pytaj, jaki jest efekt, jak precyzyjnie go oszacowano, czy projekt uzasadnia dany wniosek i czy wynik ma znaczenie praktyczne. Właśnie takie podejście pozwala używać wartości p jako jednego z elementów argumentacji, a nie jako automatycznego werdyktu o prawdzie hipotezy.

Źródła i dalsza lektura

1. Wasserstein, Ronald L.; Lazar, Nicole A. (2016). The ASA’s Statement on p-Values: Context, Process, and Purpose. The American Statistician, 70(2), 129–133. DOI: 10.1080/00031305.2016.1154108.
2. Greenland, Sander; Senn, Stephen J.; Rothman, Kenneth J.; Carlin, John B.; Poole, Charles; Goodman, Steven N.; Altman, Douglas G. (2016). Statistical Tests, P Values, Confidence Intervals, and Power: A Guide to Misinterpretations. European Journal of Epidemiology, 31(4), 337–350. DOI: 10.1007/s10654-016-0149-3.
3. Goodman, Steven N. (1999). Toward Evidence-Based Medical Statistics. 1: The P Value Fallacy. Annals of Internal Medicine, 130(12), 995–1004. DOI: 10.7326/0003-4819-130-12-199906150-00008.
4. Goodman, Steven N. (1999). Toward Evidence-Based Medical Statistics. 2: The Bayes Factor. Annals of Internal Medicine, 130(12), 1005–1013. DOI: 10.7326/0003-4819-130-12-199906150-00019.
5. Nickerson, Raymond S. (2000). Null Hypothesis Significance Testing: A Review of an Old and Continuing Controversy. Psychological Methods, 5(2), 241–301. DOI: 10.1037/1082-989X.5.2.241.
6. McShane, Blake B.; Gal, David; Gelman, Andrew; Robert, Christian; Tackett, Jennifer L. (2019). Abandon Statistical Significance. The American Statistician, 73(Supplement 1), 235–245. DOI: 10.1080/00031305.2018.1527253.