332. Znaczenie kliniczne a istotność statystyczna

Wynik badania może być istotny statystycznie, a zarazem mało ważny dla pacjenta, klinicysty lub organizatora opieki zdrowotnej. Może też wystąpić sytuacja odwrotna: obserwowana różnica wydaje się istotna praktycznie, lecz badanie nie dostarczyło wystarczająco precyzyjnych danych, aby uznać ją za istotną statystycznie. Rozróżnienie tych dwóch wymiarów jest jednym z najważniejszych elementów poprawnej interpretacji wyników badań. W tej lekcji kursu na statystyk.edu.pl przejdziemy od podstawowego znaczenia wartości p do oceny wielkości efektu, przedziału ufności i minimalnej klinicznie ważnej różnicy.

Dwa różne pytania badawcze

Istotność statystyczna odpowiada przede wszystkim na pytanie: czy dane są wystarczająco niezgodne z określoną hipotezą zerową, przy założeniach zastosowanego modelu i przyjętym poziomie alfa? Jeżeli uzyskano p < 0,05, można powiedzieć, że wynik spełnił ustalone kryterium istotności statystycznej. Nie oznacza to jednak, że prawdopodobieństwo prawdziwości hipotezy zerowej wynosi 5% ani że efekt musi być duży lub ważny dla pacjenta.

Znaczenie kliniczne, nazywane także znaczeniem praktycznym, dotyczy konsekwencji zaobserwowanej różnicy. Pytamy tutaj: czy zmiana jest na tyle duża, aby poprawić funkcjonowanie, zmniejszyć objawy, ograniczyć ryzyko powikłań, zmienić decyzję terapeutyczną albo uzasadnić koszty i obciążenia interwencji?

Te pytania są powiązane, lecz nie są tożsame. Istotność statystyczna zależy między innymi od wielkości efektu, zmienności pomiarów i liczebności próby. Znaczenie kliniczne wymaga natomiast wiedzy dziedzinowej: perspektywy pacjenta, klinicysty, płatnika lub zdrowia publicznego.

Dlaczego duża próba może wykazać mało ważny efekt?

W uproszczeniu statystyka testowa porównuje obserwowaną różnicę z jej niepewnością. Dla różnicy średnich można zapisać schematycznie:

statystyka testowa = (obserwowana różnica − różnica zakładana przez H0) / błąd standardowy różnicy

Jeśli liczebność próby rośnie, błąd standardowy często maleje. Wtedy nawet bardzo mała różnica może prowadzić do małej wartości p. Przykładowo, w badaniu obejmującym 20 000 osób średnie obniżenie ciśnienia skurczowego o 0,8 mmHg może być statystycznie istotne, ale z punktu widzenia pojedynczego pacjenta nie musi uzasadniać dodatkowego leczenia, kosztów ani działań niepożądanych.

Nie należy z tego wyciągać wniosku, że duże badania są niepotrzebne. Duża próba może dostarczać bardzo precyzyjnych oszacowań i wykrywać niewielkie, lecz ważne efekty populacyjne. Trzeba jednak odrębnie ocenić, czy wykryta różnica ma sens praktyczny. W zdrowiu publicznym nawet mały efekt jednostkowy może mieć duże znaczenie, jeśli interwencja jest tania, bezpieczna i obejmuje miliony osób.

Dlaczego mała próba może nie wykazać ważnego efektu?

Brak istotności statystycznej nie dowodzi braku efektu ani jego braku znaczenia klinicznego. Małe badanie może mieć szeroki przedział ufności i niewystarczającą moc, aby odróżnić umiarkowany efekt od losowej zmienności. Właściwa interpretacja powinna więc uwzględniać nie tylko wartość p, lecz także oszacowanie efektu i jego niepewność (Altman i Bland, 1995; Sterne i Smith, 2001).

Przykładowo, badanie rehabilitacji po udarze może wykazać poprawę sprawności o 4 punkty w skali funkcjonalnej, ale z 95-procentowym przedziałem ufności od −1 do 9 punktów. Wynik nie spełnia kryterium p < 0,05, jednak nie wyklucza poprawy o 9 punktów, która mogłaby być ważna klinicznie. Rozsądny wniosek brzmi: badanie nie dostarczyło precyzyjnych dowodów na efekt, a zakres zgodnych z danymi wartości obejmuje zarówno brak efektu, jak i potencjalnie istotną poprawę.

Wielkość efektu jako podstawowy element interpretacji

Wielkość efektu opisuje, jak duża była różnica lub zależność. W zależności od projektu i typu zmiennej może to być:

• różnica średnich, na przykład spadek bólu o 1,5 punktu w skali 0–10;
• różnica odsetków, na przykład 12 punktów procentowych;
• ryzyko względne, iloraz szans lub hazard względny;
• różnica standaryzowana, na przykład d Cohena;
• liczba potrzebna do leczenia, czyli NNT;
• zmiana w jakości życia, sprawności, śmiertelności lub innych wynikach ważnych dla pacjenta.

Miary względne bywają atrakcyjne komunikacyjnie, lecz mogą zawyżać wrażenie znaczenia efektu. Redukcja ryzyka względnego o 50% może oznaczać spadek ryzyka z 2% do 1%, czyli bezwzględną redukcję o 1 punkt procentowy. Dlatego w badaniach klinicznych warto podawać zarówno miary względne, jak i bezwzględne, najlepiej wraz z przedziałem ufności.

Minimalna klinicznie ważna różnica

Minimalna klinicznie ważna różnica — MCID, od angielskiego minimal clinically important difference — to z góry określona lub uzasadniona najmniejsza zmiana, którą można uznać za ważną z punktu widzenia pacjenta lub praktyki klinicznej. Pojęcie to zostało rozwinięte między innymi w badaniach jakości życia i pomiaru stanu zdrowia (Jaeschke, Singer i Guyatt, 1989).

MCID nie jest uniwersalną stałą. Może zależeć od:

• charakterystyki pacjentów i ciężkości choroby;
• zastosowanej skali i sposobu jej punktowania;
• tego, czy analizujemy poprawę, pogorszenie czy różnicę między grupami;
• perspektywy pacjenta, lekarza albo systemu ochrony zdrowia;
• kosztów, ryzyka i uciążliwości interwencji.

Warto odróżnić MCID od minimalnej ważnej różnicy na poziomie populacji. Pacjent może uznać niewielką poprawę za ważną, podczas gdy dla decyzji refundacyjnej potrzebna będzie większa i trwalsza korzyść obserwowana w całej populacji.

Jak używać przedziału ufności?

Przedział ufności pokazuje zakres wartości zgodnych z danymi i przyjętym modelem. Nie należy interpretować go jako przedziału, w którym z określonym prawdopodobieństwem znajduje się prawdziwy parametr dla konkretnego już obliczonego przedziału. W praktyce 95-procentowy przedział ufności informuje o precyzji oszacowania w procedurze, która przy wielokrotnym powtarzaniu badań wytwarzałaby przedziały zawierające prawdziwy parametr w około 95% przypadków.

W ocenie znaczenia klinicznego należy porównać przedział ufności z progiem MCID. Rozważmy różnicę w nasileniu bólu:

Wynik	Interpretacja
−1,8 punktu; 95% CI od −2,4 do −1,2	Efekt jest precyzyjnie oszacowany i przekracza ustalony próg 1 punktu; prawdopodobne znaczenie kliniczne.
−0,7 punktu; 95% CI od −1,1 do −0,3	Efekt jest statystycznie różny od zera, ale przedział obejmuje wartości mniejsze od MCID; znaczenie kliniczne pozostaje niepewne.
−1,4 punktu; 95% CI od −3,0 do 0,2	Brak precyzji: dane są zgodne zarówno z brakiem efektu, jak i z dużą klinicznie poprawą.

Przedział ufności nie zastępuje osądu klinicznego. Pomaga jednak zobaczyć, czy problemem jest niewielki efekt, duża niepewność, czy oba te czynniki jednocześnie.

Dwa podstawowe rozbieżne scenariusze

Istotność statystyczna bez znaczenia klinicznego

W badaniu 10 000 osób porównano program przypominania o przyjmowaniu leku z dotychczasową opieką. Odsetek prawidłowego stosowania leczenia wzrósł z 71,0% do 71,8%. Różnica 0,8 punktu procentowego może być statystycznie istotna, ponieważ próba jest duża. Jeżeli jednak wcześniej ustalono, że dla organizacji opieki minimalnie ważna jest poprawa o co najmniej 5 punktów procentowych, wynik nie osiąga tego progu.

Nie oznacza to, że interwencja jest „bez wartości” w każdych warunkach. Jeśli koszt wysłania wiadomości jest bliski zeru, a działanie nie powoduje szkód, mała poprawa populacyjna może nadal być akceptowalna. Ocena znaczenia zależy więc także od zasobów i bezpieczeństwa.

Znaczenie kliniczne bez istotności statystycznej

W pilotażowym badaniu 48 pacjentów z przewlekłym bólem średnia poprawa wyniosła 1,6 punktu w skali 0–10, przy MCID równym 1 punkt. Jednak 95-procentowy przedział ufności wyniósł od −0,2 do 3,4 punktu, a p = 0,08. Wynik może być klinicznie obiecujący, ale badanie jest zbyt małe lub zbyt zmienne, by uznać dowód za rozstrzygający. Wniosek powinien wskazywać na potrzebę większego, lepiej zaplanowanego badania, a nie na potwierdzoną skuteczność.

Przykład praktyczny: rehabilitacja po operacji kolana

Załóżmy, że porównano dwa programy rehabilitacji po operacji kolana. Głównym wynikiem jest funkcjonowanie ocenione skalą 0–100, gdzie wyższy wynik oznacza lepszą sprawność. Przed rozpoczęciem badania uznano, że różnica co najmniej 8 punktów będzie klinicznie ważna. Jest to przykład progu, który powinien być uzasadniony wcześniejszymi badaniami, opinią pacjentów lub metodą opartą na globalnej ocenie zmiany, a nie wybrany dopiero po obejrzeniu wyników.

Otrzymano:

• różnica średnich: 5,2 punktu na korzyść nowego programu;
• 95% CI: od 1,0 do 9,4 punktu;
• p = 0,02.

Można powiedzieć, że różnica jest statystycznie istotna. Nie można jednak automatycznie powiedzieć, że nowy program ma jednoznacznie ważną przewagę kliniczną. Punktowy efekt 5,2 jest mniejszy od MCID 8, natomiast górna część przedziału ufności obejmuje efekt większy od MCID. Najostrożniejszy wniosek brzmi: nowy program poprawił wynik statystycznie istotnie, lecz dane są zgodne zarówno z korzyścią mniejszą od ustalonego progu klinicznego, jak i z korzyścią go przekraczającą.

Gdyby uzyskano różnicę 9,1 punktu i 95% CI od 6,0 do 12,2, interpretacja nadal wymagałaby ostrożności, ponieważ dolna granica pozostawałaby poniżej MCID. Wynik byłby bardziej przekonujący niż w pierwszym wariancie, ale niekoniecznie wystarczający do stwierdzenia, że każdy pacjent odniesie klinicznie ważną korzyść.

Jak projektować i raportować badanie?

Ocena znaczenia klinicznego zaczyna się przed zebraniem danych. W protokole warto określić:

1. główny wynik i jego sposób pomiaru;
2. minimalną ważną różnicę oraz sposób jej uzasadnienia;
3. czy próg odnosi się do różnicy między grupami, czy zmiany w obrębie osoby;
4. plan analizy i sposób postępowania z brakami danych;
5. minimalną liczebność próby zapewniającą odpowiednią precyzję;
6. korzyści, szkody, działania niepożądane i koszty.

W raportach badań randomizowanych należy przedstawiać oszacowanie efektu, miarę niepewności oraz wyniki wszystkich z góry określonych głównych punktów końcowych. Takie podejście jest zgodne z duchem CONSORT, którego celem jest przejrzyste przedstawianie metod, wyników i ograniczeń badania (Schulz, Altman i Moher, 2010; Moher i in., 2010). Sama informacja „wynik był istotny” albo „wynik nie był istotny” jest niewystarczająca.

Najczęstsze błędy

• Traktowanie p jako miary ważności efektu. Wartość p nie mówi, jak duży jest efekt ani czy jest ważny dla pacjenta.
• Uznawanie p > 0,05 za dowód braku efektu. Taki wynik może wynikać z małej mocy, dużej zmienności lub szerokiego przedziału ufności.
• Wybieranie MCID po analizie danych. Próg kliniczny powinien być określony lub uzasadniony niezależnie od wyniku, aby ograniczyć ryzyko dopasowania interpretacji do danych.
• Opieranie wniosku wyłącznie na różnicy względnej. Należy sprawdzić ryzyko wyjściowe i bezwzględną różnicę.
• Mylenie istotności klinicznej z uniwersalną korzyścią dla każdego pacjenta. Średni efekt grupowy może ukrywać zróżnicowanie odpowiedzi.
• Ignorowanie szkód i obciążeń. Mała korzyść może nie uzasadniać interwencji, jeżeli wiąże się ona z poważnymi działaniami niepożądanymi.
• Używanie języka przyczynowego w badaniu obserwacyjnym. Nawet klinicznie ważna korelacja nie dowodzi, że ekspozycja spowodowała wynik.
• Koncentrowanie się na jednym progu 0,05. Wartość graniczna nie tworzy ostrej granicy między wynikami całkowicie różnymi naukowo. Potrzebna jest interpretacja oparta na efekcie, niepewności, projekcie i kontekście.

Co warto zapamiętać?

• Istotność statystyczna i znaczenie kliniczne odpowiadają na różne pytania.
• Mała wartość p nie oznacza automatycznie dużej ani ważnej zmiany.
• Brak istotności statystycznej nie dowodzi braku efektu.
• Najważniejsze elementy interpretacji to wielkość efektu, 95-procentowy przedział ufności, MCID oraz bilans korzyści i szkód.
• Duża próba może wykazać bardzo mały efekt; mała próba może nie wykazać efektu ważnego klinicznie.
• Próg kliniczny należy określać przed analizą albo jasno uzasadnić na podstawie niezależnych danych.
• Wnioski powinny opisywać stopień pewności, a nie tylko etykietę „istotne” lub „nieistotne”.

Najbardziej użyteczna formuła interpretacyjna brzmi: jaki jest efekt, jak precyzyjnie go oszacowano i czy jego zakres obejmuje zmianę ważną dla pacjenta lub praktyki? Dopiero odpowiedź na te trzy pytania pozwala właściwie połączyć testowanie hipotez z rozumowaniem klinicznym.

Źródła i dalsza lektura

1. Altman, D. G., & Bland, J. M. (1995). Statistics notes: Absence of evidence is not evidence of absence. BMJ, 311(7003), 485. DOI: 10.1136/bmj.311.7003.485.
2. Gardner, M. J., & Altman, D. G. (1986). Confidence intervals rather than P values: Estimation rather than hypothesis testing. British Medical Journal (Clinical Research Edition), 292(6522), 746-750. DOI: 10.1136/bmj.292.6522.746.
3. Jaeschke, R., Singer, J., & Guyatt, G. H. (1989). Measurement of health status. Ascertaining the minimal clinically important difference. Controlled Clinical Trials, 10(4), 407-415. DOI: 10.1016/0197-2456(89)90005-6.
4. Sterne, J. A. C., & Smith, G. D. (2001). Sifting the evidence—what’s wrong with significance tests?. BMJ, 322(7280), 226-231. DOI: 10.1136/bmj.322.7280.226.
5. Schulz, K. F., Altman, D. G., & Moher, D.; CONSORT Group (2010). CONSORT 2010 Statement: updated guidelines for reporting parallel group randomised trials. BMJ, 340, c332. DOI: 10.1136/bmj.c332.
6. Moher, D., Hopewell, S., Schulz, K. F., Montori, V., Gøtzsche, P. C., Devereaux, P. J., Elbourne, D., Egger, M., & Altman, D. G. (2010). CONSORT 2010 explanation and elaboration: updated guidelines for reporting parallel group randomised trials. BMJ, 340, c869. DOI: 10.1136/bmj.c869.
7. Pocock, S. J., Hughes, M. D., & Lee, R. J. (1987). Statistical problems in the reporting of clinical trials. New England Journal of Medicine, 317(7), 426-432. DOI: 10.1056/NEJM198708133170706.