323. Wartość p – poprawna interpretacja

PrzezMarcin Skrok

Wartość p jest jednym z najczęściej raportowanych wyników analiz statystycznych, a zarazem jednym z najczęściej błędnie interpretowanych. W tej lekcji wyjaśnimy, co dokładnie oznacza, jakie założenia są potrzebne do jej obliczenia oraz dlaczego sama wartość p nie wystarcza do oceny znaczenia wyniku. Poprawna interpretacja wymaga połączenia jej z hipotezą zerową, sposobem zaplanowania analizy, wielkością efektu, przedziałem ufności i kontekstem merytorycznym. Jest to ważne zarówno w badaniach medycznych, jak i psychologicznych, pielęgniarskich oraz społecznych. Zagadnienie wpisuje się bezpośrednio w tematykę szkolenia dostępnego na statystyk.edu.pl.

Najkrótsza poprawna definicja brzmi: wartość p jest prawdopodobieństwem uzyskania wyniku co najmniej tak odległego od wartości zakładanej przez hipotezę zerową, jak wynik zaobserwowany, przy założeniu określonego modelu statystycznego i prawdziwości hipotezy zerowej (Wasserstein i Lazar, 2016; Greenland i in., 2016). Każdy element tego zdania ma znaczenie.

Czym jest wartość p?

W klasycznym teście istotności formułuje się zwykle hipotezę zerową H0 oraz hipotezę alternatywną H1. Hipoteza zerowa opisuje stan odniesienia, na przykład brak różnicy między grupami, brak związku między zmiennymi albo brak efektu interwencji. Hipoteza alternatywna określa możliwość, że taki efekt lub związek istnieje.

Na podstawie danych oblicza się statystykę testową, oznaczaną ogólnie symbolem T. Jej wartość pokazuje, jak bardzo wynik z próby odbiega od tego, czego oczekiwalibyśmy przy założeniu H0. Wartość p jest następnie wyznaczana z rozkładu statystyki testowej przy założeniu, że H0 jest prawdziwa.

Dla testu dwustronnego można zapisać to schematycznie jako:

p = P(|T| ≥ |tobs| | H0, model)

Oznaczenia oznaczają:

  • p – wartość p;
  • P – prawdopodobieństwo obliczane w ramach przyjętego modelu;
  • T – losowa statystyka testowa, której rozkład rozważamy;
  • tobs – wartość statystyki uzyskana w badanej próbie;
  • |T| ≥ |tobs| – wyniki co najmniej tak ekstremalne jak zaobserwowany, w obu kierunkach;
  • H0, model – warunek, że obowiązuje hipoteza zerowa oraz założenia wybranego modelu statystycznego.

W teście jednostronnym „ekstremalność” ocenia się tylko w uprzednio określonym kierunku. Kierunek ten powinien wynikać z pytania badawczego i planu analizy, a nie z późniejszego oglądania danych.

Czego wartość p nie oznacza?

Najważniejsza zasada brzmi: wartość p nie jest prawdopodobieństwem prawdziwości hipotezy zerowej. Jeżeli uzyskano p = 0,03, nie wolno pisać, że istnieje 3-procentowe prawdopodobieństwo, iż H0 jest prawdziwa. Nie można także stwierdzić, że wynik ma 97-procentową wiarygodność ani że istnieje 97-procentowa szansa działania interwencji.

Powodem jest kierunek warunkowania. Wartość p opisuje prawdopodobieństwo danych przy założeniu hipotezy, czyli w uproszczeniu:

P(dane | H0)

Tymczasem pytanie o prawdziwość hipotezy dotyczyłoby prawdopodobieństwa odwrotnego:

P(H0 | dane)

Te dwa wyrażenia nie są sobie równe. Do obliczania prawdopodobieństwa hipotezy po uwzględnieniu danych potrzebne byłyby dodatkowe informacje, między innymi założenia dotyczące prawdopodobieństwa hipotez przed obserwacją danych. Jest to problem odmienny od klasycznego obliczania wartości p i wiąże się z wnioskowaniem bayesowskim (Goodman, 1999a, 1999b).

Wartość p nie jest również prawdopodobieństwem, że wynik powstał „przez przypadek”. Wszystkie wyniki losowe mają określony rozkład prawdopodobieństwa. Wartość p mówi, jak często – w długiej serii hipotetycznych powtórzeń przy prawdziwości H0 i poprawności modelu – otrzymywalibyśmy wynik tak ekstremalny lub bardziej ekstremalny. Nie rozstrzyga natomiast, jakie mechanizmy rzeczywiście wygenerowały konkretne dane.

Jak interpretować małą wartość p?

Mała wartość p oznacza, że zaobserwowane dane byłyby relatywnie nietypowe przy założeniu hipotezy zerowej i przyjętego modelu. Może to stanowić argument przeciwko H0, ale siła tego argumentu zależy od wielu czynników: jakości projektu badania, trafności modelu, wcześniejszego planu analizy, liczby wykonanych testów i jakości pomiaru.

Mała wartość p nie mówi sama przez się, czy efekt jest duży. Przy bardzo dużej próbie nawet niewielka różnica może dać p < 0,001. Z kolei w małym badaniu efekt potencjalnie ważny klinicznie może nie osiągnąć konwencjonalnego progu 0,05.

Amerykańskie Towarzystwo Statystyczne podkreśla, że wnioski naukowe nie powinny opierać się wyłącznie na tym, czy wartość p przekracza arbitralny próg, na przykład 0,05 (Wasserstein i Lazar, 2016). Wartość p powinna być rozpatrywana razem z oszacowaniem efektu, przedziałem ufności, jakością danych oraz konsekwencjami praktycznymi.

Jak interpretować dużą wartość p?

Duża wartość p oznacza, że wynik nie jest szczególnie nietypowy w świetle hipotezy zerowej i przyjętego modelu. Nie oznacza jednak, że hipoteza zerowa została udowodniona ani że efekt na pewno nie istnieje.

W badaniu o małej liczebności próby duża wartość p może wynikać z niskiej mocy testu. Jeżeli przedział ufności jest bardzo szeroki i obejmuje zarówno efekty korzystne, jak i szkodliwe, właściwy wniosek brzmi: dane są niedostatecznie precyzyjne, aby rozstrzygnąć wielkość efektu. Nie należy pisać: „nie wykazano żadnego efektu”. Rozróżnienie to jest szczególnie ważne w badaniach klinicznych i epidemiologicznych (Greenland i in., 2016).

Przykład 1: program kontroli ciśnienia tętniczego

Załóżmy, że w randomizowanym badaniu porównano standardową opiekę z programem pielęgniarskiego monitorowania ciśnienia tętniczego. Po 12 tygodniach średnie skurczowe ciśnienie było niższe w grupie programu o 4,2 mmHg. Test różnicy dał wynik p = 0,04, a 95-procentowy przedział ufności dla różnicy wyniósł od 0,1 do 8,3 mmHg.

Poprawna interpretacja może brzmieć: „W badanej próbie program wiązał się ze średnim obniżeniem skurczowego ciśnienia o 4,2 mmHg w porównaniu ze standardową opieką; 95-procentowy przedział ufności dla różnicy wynosił od 0,1 do 8,3 mmHg, a wynik testu był zgodny z odrzuceniem hipotezy o braku różnicy przy poziomie alfa = 0,05”.

Niepoprawne byłyby natomiast stwierdzenia: „program ma 96-procentową szansę skuteczności”, „prawdopodobieństwo, że nie ma efektu, wynosi 4%” albo „interwencja działa u 96% pacjentów”. Z danych wynika oszacowanie średniej różnicy, nie zaś prawdopodobieństwo prawdziwości hipotezy ani odsetek osób, które odniosą korzyść.

Warto również zapytać, czy obniżenie o 4,2 mmHg jest ważne klinicznie. To pytanie nie jest rozstrzygane przez p. Znaczenie praktyczne zależy od populacji, wyjściowego ryzyka sercowo-naczyniowego, kosztów programu, bezpieczeństwa oraz tego, czy efekt utrzymuje się długoterminowo.

Przykład 2: interwencja psychologiczna a objawy depresyjne

W badaniu porównano krótką interwencję psychologiczną z listą oczekujących. Średni wynik kwestionariusza objawów depresyjnych był niższy w grupie interwencji o 1,8 punktu. Otrzymano p = 0,18, a 95-procentowy przedział ufności dla różnicy wyniósł od −4,5 do 0,9 punktu.

Nie można na tej podstawie stwierdzić, że interwencja „nie działa”. Wynik jest zgodny zarówno z niewielką korzyścią, jak i z większą korzyścią, ale także z brakiem efektu. Przedział obejmuje zero, a jego szerokość wskazuje na ograniczoną precyzję oszacowania. Należałoby ocenić liczebność próby, zmienność wyników, zgodność z minimalną ważną klinicznie różnicą oraz jakość realizacji interwencji.

Jeżeli minimalna ważna różnica wynosiła 3 punkty, przedział od −4,5 do 0,9 jest szczególnie informacyjny: nie wyklucza korzyści potencjalnie istotnej praktycznie, ale nie daje też przekonującego potwierdzenia, że taka korzyść istnieje. Wniosek powinien zatem dotyczyć niepewności, a nie braku efektu.

Wartość p a próg alfa

Próg alfa, omawiany w poprzedniej lekcji, jest ustalanym przed analizą poziomem odniesienia. Jeżeli p < alfa, wynik bywa określany jako statystycznie istotny w ramach przyjętej procedury. Jeżeli p ≥ alfa, nie odrzuca się hipotezy zerowej.

Nie należy jednak traktować tej reguły jak przełącznika „prawda–fałsz”. Wynik p = 0,049 i wynik p = 0,051 nie różnią się jakościowo tak bardzo, jak sugerowałaby etykieta „istotny” versus „nieistotny”. Oba wyniki powinny być oceniane na skali ciągłej, z uwzględnieniem wielkości efektu i niepewności. Dycho- tomizowanie wyników według progu może prowadzić do przesadnych deklaracji i pomijania ważnych, lecz nieprecyzyjnie oszacowanych efektów (Amrhein, Greenland i McShane, 2019).

Dlaczego ta sama wartość p może mieć różne znaczenie?

Znaczenie wartości p zależy między innymi od:

  • hipotezy i modelu – test musi odpowiadać pytaniu badawczemu;
  • jakości projektu – randomizacja, kontrola błędów systematycznych i kompletność obserwacji wpływają na wiarygodność wyniku;
  • liczebności próby – duże próby ułatwiają wykrywanie małych różnic;
  • wielokrotnego testowania – im więcej analiz wykonano, tym większe ryzyko uzyskania małej wartości p przypadkowo;
  • selekcji wyników – raportowanie tylko korzystnych analiz zniekształca interpretację;
  • przestrzegania planu analizy – zmiana hipotezy, testu lub kierunku po obejrzeniu danych zwiększa ryzyko błędnych wniosków.

Jeżeli badacz sprawdzi 20 niezależnych hipotez i każdą oceni przy alfa = 0,05, prawdopodobieństwo pojawienia się co najmniej jednego wyniku istotnego statystycznie może być znacznie większe niż 5%, nawet gdy wszystkie hipotezy zerowe są prawdziwe. Dlatego należy ujawniać zakres wykonanych analiz, rozróżniać analizy zaplanowane od eksploracyjnych oraz stosować odpowiednie metody kontroli wielokrotnych porównań, jeżeli są uzasadnione.

Jak raportować wartość p?

Dobre sprawozdanie powinno zawierać co najmniej:

  1. nazwę zastosowanego testu lub modelu;
  2. oszacowanie efektu, na przykład różnicę średnich, iloraz szans albo ryzyko względne;
  3. przedział ufności;
  4. wartość p, najlepiej dokładną, na przykład p = 0,032;
  5. liczebność próby i – gdy ma to znaczenie – liczbę obserwacji uwzględnionych w analizie;
  6. informację o tym, czy analiza była zaplanowana przed obejrzeniem danych.

Gdy wartość jest bardzo mała, można podać p < 0,001, ale nie należy pisać p = 0. Wartość p nie jest równa zeru w sensie probabilistycznym; może być jedynie mniejsza niż dokładność raportowania lub możliwości obliczeniowe programu.

Najczęstsze błędy

  • „p = 0,03 oznacza 3% szans, że hipoteza zerowa jest prawdziwa”. To odwrócenie warunkowania.
  • „Wynik nieistotny statystycznie dowodzi braku efektu”. Duża wartość p może oznaczać także małą moc lub szeroki przedział ufności.
  • „Im mniejsze p, tym większy efekt”. Wielkość p zależy również od liczebności próby i zmienności danych.
  • „Istotność statystyczna oznacza znaczenie kliniczne”. O znaczeniu praktycznym decyduje skala efektu, jego konsekwencje i kontekst.
  • „p = 0,049 jest ważne, a p = 0,051 nieważne”. Granica 0,05 nie tworzy nagłej zmiany jakościowej.
  • „Wartość p potwierdza przyczynowość”. Test statystyczny nie zastępuje poprawnego projektu badania.
  • „Można wybrać test po obejrzeniu wyników”. Takie postępowanie może zwiększać ryzyko fałszywie dodatnich wniosków.
  • „Wynik istotny statystycznie jest automatycznie wiarygodny”. Niska wartość p nie naprawia błędów pomiaru, obciążenia doboru ani nieadekwatnego modelu.

Przykład praktyczny: jak zbudować pełny wniosek

Załóżmy, że badanie ratowników medycznych oceniało szkolenie z komunikacji z pacjentem. Po szkoleniu średnia ocena jakości komunikacji wzrosła o 2,6 punktu w skali 0–50. Otrzymano p = 0,006, a 95-procentowy przedział ufności wyniósł od 0,8 do 4,4 punktu.

Wniosek statystyczny może brzmieć: „Wyniki wskazują na różnicę zgodną ze wzrostem średniej oceny komunikacji po szkoleniu; oszacowana różnica wyniosła 2,6 punktu, a 95-procentowy przedział ufności obejmował wartości od 0,8 do 4,4 punktu. Przy założeniach zastosowanego modelu uzyskano p = 0,006”.

Wniosek praktyczny wymaga dalszej oceny: czy wzrost o 2,6 punktu przekracza wcześniej ustaloną minimalną ważną różnicę? Czy ocena była obiektywna, czy pochodziła z samooceny? Czy poprawa utrzymała się po kilku miesiącach? Czy szkolenie poprawiło także bezpieczeństwo pacjentów lub skróciło czas przekazywania informacji? Sama wartość p nie odpowiada na te pytania.

Co warto zapamiętać?

  • Wartość p opisuje zgodność danych z hipotezą zerową i modelem, a nie prawdopodobieństwo prawdziwości hipotezy.
  • Mała wartość p może być argumentem przeciwko H0, ale nie określa wielkości ani praktycznej ważności efektu.
  • Duża wartość p nie dowodzi braku efektu; może wskazywać na niedostateczną precyzję.
  • Interpretuj wartość p razem z oszacowaniem efektu i przedziałem ufności.
  • Nie traktuj progu 0,05 jako ostrej granicy między prawdą i fałszem.
  • Uwzględniaj projekt badania, liczebność próby, wielokrotne testowanie i sposób wyboru analiz.
  • Nie przedstawiaj wartości p jako prawdopodobieństwa prawdziwości H0.
  • Najlepszy raport odpowiada jednocześnie na trzy pytania: jak duży jest efekt, jak precyzyjnie go oszacowano i jakie ma znaczenie praktyczne?

Poprawna interpretacja wartości p nie polega na rezygnacji z testów statystycznych, lecz na używaniu ich we właściwej roli. Test dostarcza informacji o zgodności danych z określonym modelem i hipotezą. Ostateczny wniosek naukowy powinien jednak wynikać z całego obrazu: projektu badania, jakości pomiaru, wielkości efektu, niepewności, spójności z wcześniejszą wiedzą oraz konsekwencji praktycznych.

Źródła i dalsza lektura

  1. Ronald L. Wasserstein, Nicole A. Lazar (2016). The ASA Statement on p-Values: Context, Process, and Purpose. The American Statistician, 70(2), 129-133. DOI: 10.1080/00031305.2016.1154108.
  2. Sander Greenland, Stephen J. Senn, Kenneth J. Rothman, John B. Carlin, Charles Poole, Steven N. Goodman, Douglas G. Altman (2016). Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations. European Journal of Epidemiology, 31(4), 337-350. DOI: 10.1007/s10654-016-0149-3.
  3. S. N. Goodman (1999). Toward evidence-based medical statistics. 1: The P value fallacy. Annals of Internal Medicine, 130(12), 995-1004. DOI: 10.7326/0003-4819-130-12-199906150-00008.
  4. S. N. Goodman (1999). Toward evidence-based medical statistics. 2: The Bayes factor. Annals of Internal Medicine, 130(12), 1005-1013. DOI: 10.7326/0003-4819-130-12-199906150-00019.
  5. Regina Nuzzo (2014). Scientific method: statistical errors. Nature, 506(7487), 150-152. DOI: 10.1038/506150a.
  6. Valentin Amrhein, Sander Greenland, Blake McShane (2019). Scientists rise up against statistical significance. Nature, 567, 305-307. DOI: 10.1038/d41586-019-00857-9.

Podobne wpisy