182. Moc statystyczna – intuicyjne wyjaśnienie

W poprzedniej lekcji omówiono, dlaczego wielkość próby trzeba zaplanować przed rozpoczęciem badania. Kolejnym pojęciem, które pozwala zrozumieć sens takiego planowania, jest moc statystyczna. Intuicyjnie mówi ona, jak duża jest szansa, że zaplanowana analiza wykryje efekt, który rzeczywiście istnieje i ma określoną wielkość.

Moc nie jest miarą jakości całego badania, prawdopodobieństwem prawdziwości hipotezy ani gwarancją uzyskania istotnego wyniku. Jest własnością określonego testu lub procedury statystycznej w konkretnych warunkach: przy danej wielkości próby, założonym poziomie alfa, zmienności danych i wielkości efektu. Właściwe rozumienie tego pojęcia jest ważne zarówno w badaniach klinicznych, jak i w psychologii, zdrowiu publicznym oraz naukach społecznych.

Czym jest moc statystyczna?

W klasycznym schemacie testowania hipotez formułujemy hipotezę zerową H₀ oraz hipotezę alternatywną H₁. Następnie, na podstawie danych, podejmujemy decyzję o odrzuceniu albo nieodrzuceniu hipotezy zerowej. Taka procedura może prowadzić do dwóch rodzajów błędów:

• Błąd pierwszego rodzaju polega na odrzuceniu prawdziwej hipotezy zerowej. Jego prawdopodobieństwo oznacza się symbolem α, często przyjmując wartość 0,05.
• Błąd drugiego rodzaju polega na nieodrzuceniu hipotezy zerowej mimo istnienia efektu, który był przedmiotem badania. Jego prawdopodobieństwo oznacza się symbolem β.

Moc statystyczna jest definiowana jako:

moc = 1 − β

Jeżeli moc wynosi 0,80, oznacza to, że w hipotetycznie powtarzanych badaniach, w których rzeczywisty efekt ma założoną wielkość, zastosowana procedura statystyczna wykryłaby go jako istotny statystycznie średnio w około 80% przypadków. W pozostałych około 20% przypadków wynik nie osiągnąłby przyjętego poziomu istotności, mimo że efekt faktycznie istnieje.

To zdanie wymaga kilku zastrzeżeń. Nie oznacza ono, że po uzyskaniu konkretnego nieistotnego wyniku istnieje dokładnie 20% prawdopodobieństwa, że efekt został przeoczony. Moc jest parametrem procedury wyznaczanym dla określonego założenia o wielkości efektu, a nie prawdopodobieństwem przypisywanym pojedynczemu wynikowi po zakończeniu badania.

Dlaczego moc można porównać do czułości aparatu?

Pomocna jest analogia do badania diagnostycznego. Czuły test medyczny ma dużą szansę wykryć chorobę u osoby, która rzeczywiście ją ma. Moc statystyczna działa podobnie: opisuje szansę wykrycia określonego rzeczywistego efektu przez daną procedurę badawczą.

Jeżeli efekt jest duży, jego wykrycie jest zwykle łatwiejsze. Jeżeli jest mały, potrzeba większej próby, mniejszej zmienności pomiarów albo bardziej precyzyjnego narzędzia. Tak jak czułość testu diagnostycznego zależy od punktu odcięcia i jakości pomiaru, tak moc zależy między innymi od poziomu α, rodzaju testu, liczby obserwacji oraz rozrzutu wyników.

W praktyce można więc myśleć o mocy jako o odpowiedzi na pytanie: „Czy ten projekt badania będzie wystarczająco czuły, aby zauważyć efekt, który ma dla nas znaczenie?”

Od czego zależy moc statystyczna?

Wielkość próby

Najbardziej intuicyjnym czynnikiem jest liczba badanych osób. Większa próba zwykle zmniejsza przypadkową niepewność oszacowań. Dzięki temu różnica między grupami, związek między zmiennymi albo zmiana w czasie stają się łatwiejsze do odróżnienia od losowego szumu.

Nie oznacza to jednak, że każda bardzo duża próba jest dobrym rozwiązaniem. Ogromne badanie może wykazać istotność statystyczną różnicy, która z punktu widzenia pacjentów jest pomijalna. Wielkość próby powinna wynikać z pytania badawczego, minimalnego ważnego efektu, zmienności danych i ograniczeń organizacyjnych.

Wielkość efektu

Im większy rzeczywisty efekt, tym większa moc przy tej samej liczebności próby. Przykładowo, spadek średniego ciśnienia skurczowego o 15 mmHg łatwiej wykryć niż spadek o 2 mmHg, jeżeli zmienność pomiarów jest podobna.

W obliczeniach mocy nie należy jednak automatycznie przyjmować efektu obserwowanego w małym badaniu pilotażowym. Takie oszacowanie może być niestabilne i zawyżone. Warto oprzeć założenie na wcześniejszych badaniach, wiedzy klinicznej, metaanalizie lub zdefiniowanym minimalnym efekcie istotnym praktycznie. CONSORT zaleca, aby autorzy jasno wskazywali, jaki efekt i jakie parametry wykorzystali w planowaniu liczebności próby (Moher et al., 2010).

Zmienność wyników

Duży rozrzut wyników utrudnia dostrzeżenie różnicy między grupami. Jeżeli pacjenci bardzo różnią się między sobą pod względem wyniku, średnie grupowe są mniej precyzyjne. Wówczas do osiągnięcia tej samej mocy potrzebna jest większa próba.

Zmniejszenie zmienności nie powinno polegać na arbitralnym usuwaniu niewygodnych obserwacji. Można natomiast poprawić jakość pomiaru, stosować wystandaryzowane procedury, ograniczyć niepotrzebne źródła heterogeniczności albo zaplanować analizę z uwzględnieniem ważnych zmiennych prognostycznych.

Poziom istotności alfa

Jeżeli zwiększymy α, łatwiej odrzucić hipotezę zerową, a moc wzrośnie. Ma to jednak cenę: rośnie ryzyko błędu pierwszego rodzaju. Z kolei bardzo rygorystyczny poziom alfa zmniejsza ryzyko fałszywie dodatniego wyniku, ale zwykle obniża moc.

Poziom alfa powinien być ustalony przed analizą, a nie dobierany po obejrzeniu wyników. Jeżeli wykonuje się wiele testów, problem wielokrotnego testowania może dodatkowo zmniejszać efektywną moc po zastosowaniu korekt. Bland i Altman (1995) zwracali uwagę, że masowe wykonywanie testów zwiększa ryzyko przypadkowego uzyskania wyniku istotnego statystycznie.

Test jedno- lub dwustronny

Test jednostronny koncentruje obszar odrzucenia hipotezy zerowej po jednej stronie rozkładu, a dwustronny uwzględnia odchylenia w obu kierunkach. Przy tych samych pozostałych założeniach test jednostronny może mieć większą moc dla efektu zgodnego z wcześniej określonym kierunkiem. Nie wolno jednak wybierać go dopiero po zobaczeniu danych. Test jednostronny jest uzasadniony tylko wtedy, gdy efekt w przeciwnym kierunku nie byłby przedmiotem interpretacji ani decyzji naukowej.

Wzajemna relacja alfa, beta i mocy

W uproszczeniu można przedstawić relację między błędami w następujący sposób:

α = P(odrzucenie H0 | H0 jest prawdziwa)

β = P(nieodrzucenie H0 | istnieje efekt określonej wielkości)

moc = 1 − β

Symbol P oznacza prawdopodobieństwo w ramach określonego modelu i założeń. W drugim wzorze trzeba pamiętać, że β zależy od tego, jaki efekt uznajemy za istniejący. Nie ma jednej uniwersalnej wartości beta dla całej dziedziny ani dla całego badania. Moc 80% dla efektu dużego nie oznacza automatycznie mocy 80% dla efektu małego.

Warto też odróżnić „nieodrzucenie hipotezy zerowej” od jej potwierdzenia. Brak istotności statystycznej nie dowodzi, że efekt wynosi dokładnie zero. Może oznaczać brak efektu, zbyt małą próbę, dużą zmienność, słaby pomiar albo efekt mniejszy niż ten, dla którego badanie zaplanowano.

Przykład 1: badanie interwencji pielęgniarskiej

Załóżmy, że zespół chce ocenić program edukacyjny dla pacjentów z nadciśnieniem. W grupie kontrolnej średnie skurczowe ciśnienie tętnicze po 12 tygodniach wynosi około 150 mmHg. Badacze uznają, że różnica 8 mmHg byłaby klinicznie ważna, ponieważ mogłaby uzasadniać wdrożenie programu w poradniach. Na podstawie wcześniejszych danych zakładają odchylenie standardowe równe 16 mmHg, przyjmują dwustronne α = 0,05 i moc 80%.

W takim planowaniu moc nie odpowiada na pytanie: „Czy program działa?”. Odpowiada na pytanie: „Jeśli program rzeczywiście obniża średnie ciśnienie o około 8 mmHg, czy zaplanowana próba ma dużą szansę wykazać różnicę jako istotną statystycznie?”.

Jeśli badacze zrekrutują zbyt mało osób, wynik może być nieistotny mimo klinicznie ważnej różnicy. Taki rezultat nie pozwala uczciwie stwierdzić, że program jest nieskuteczny. Uzasadniony wniosek mógłby brzmieć: „Nie uzyskano wystarczających dowodów na różnicę; przedział ufności obejmował zarówno brak efektu, jak i efekt potencjalnie ważny klinicznie”.

Jeżeli natomiast próba będzie bardzo duża, nawet różnica 1–2 mmHg może osiągnąć p < 0,05. Dlatego obok wartości p należy przedstawić oszacowanie różnicy, przedział ufności oraz ocenę, czy wynik ma znaczenie dla pacjentów.

Przykład 2: badanie psychologiczne

Psychologowie porównują dwie metody krótkiej interwencji zmniejszającej nasilenie objawów lękowych. Zakładają, że interesuje ich różnica odpowiadająca standaryzowanej wielkości efektu d = 0,30, czyli efektowi małemu do umiarkowanego. Próba licząca po 20 osób w każdej grupie może mieć zbyt małą moc, aby wiarygodnie wykryć taką różnicę. Jeżeli badanie da wynik nieistotny, nie będzie to mocny dowód równoważności metod.

Zwiększenie liczebności do kilkudziesięciu osób w każdej grupie poprawia precyzję. Jednak nadal trzeba uwzględnić wykruszanie uczestników, niepełne kwestionariusze, wielokrotne punkty końcowe i ewentualną korektę wyników o zmienne wyjściowe. Moc obliczona dla prostego testu dwóch średnich może nie odpowiadać rzeczywistej mocy bardziej złożonego modelu.

Przykład praktyczny: interpretacja badania o małej mocy

Ratownicy medyczni testują nowy algorytm triage’u w dwóch zespołach. W badaniu uczestniczy 36 pacjentów. Odsetek prawidłowo zakwalifikowanych przypadków wynosi 78% w grupie z algorytmem i 67% w grupie standardowej. Różnica nie osiąga poziomu istotności statystycznej.

Pierwsza, błędna interpretacja brzmi: „Algorytm nie poprawia trafności kwalifikacji”. Bardziej ostrożny wniosek wymaga sprawdzenia przedziału ufności, założeń, planowanej mocy i minimalnej ważnej różnicy. Jeżeli badanie miało dużą szansę wykryć tylko bardzo duży efekt, wynik nieistotny nie rozstrzyga, czy algorytm poprawia trafność o kilka lub kilkanaście punktów procentowych.

W takim przypadku rozsądne może być potraktowanie badania jako pilotażowego. Dane mogą pomóc oszacować częstość zdarzeń, dopracować procedury i zaplanować większe badanie. Nie należy jednak przedstawiać pilotażu jako ostatecznego dowodu braku efektu.

Moc a istotność statystyczna, wielkość efektu i znaczenie praktyczne

Cztery pojęcia często są mylone:

• Moc opisuje zdolność planowanej procedury do wykrycia efektu o określonej wielkości.
• Istotność statystyczna odnosi się do zgodności danych z hipotezą zerową przy przyjętym modelu i poziomie alfa.
• Wielkość efektu określa, jak duża jest zaobserwowana różnica lub siła związku.
• Znaczenie praktyczne odpowiada na pytanie, czy efekt ma konsekwencje dla pacjentów, organizacji opieki, polityki zdrowotnej lub teorii.

Wysoka moc nie sprawia, że wynik jest automatycznie ważny klinicznie. Duża próba może wykryć bardzo małą różnicę. Z kolei mała próba może nie wykazać istotności mimo efektu potencjalnie ważnego. Dlatego pełny raport powinien obejmować co najmniej oszacowanie efektu, przedział ufności, wartość p oraz uzasadnienie znaczenia praktycznego.

Moc a liczebność próby w praktyce

W planowaniu badania najczęściej ustala się:

1. główny punkt końcowy;
2. minimalny efekt ważny z punktu widzenia klinicznego lub naukowego;
3. oczekiwaną zmienność albo częstość zdarzeń;
4. poziom alfa;
5. docelową moc, często 80% albo 90%;
6. przewidywany odsetek utraty uczestników i braków danych;
7. rodzaj analizy odpowiadający rzeczywistemu projektowi badania.

W badaniach randomizowanych należy opisać, jak wyznaczono liczebność próby, jaki efekt był podstawą obliczeń i jak uwzględniono rezygnacje lub nieprzestrzeganie protokołu. Są to elementy wskazywane w wytycznych CONSORT (Moher et al., 2010).

W badaniach obserwacyjnych moc zależy także od częstości ekspozycji, liczby zdarzeń, korelacji między zmiennymi i złożoności modelu. Proste kalkulatory mocy mogą być niewystarczające, gdy analizujemy dane klastrowe, podłużne, przeżycia albo wiele punktów końcowych.

Najczęstsze błędy

• Traktowanie mocy jako prawdopodobieństwa, że hipoteza jest prawdziwa. Moc dotyczy procedury przy określonym założeniu o efekcie, a nie prawdziwości hipotezy.
• Uznawanie nieistotnego wyniku za dowód braku efektu. Taki wniosek wymaga odpowiedniej precyzji i często analizy równoważności lub niegorszości.
• Obliczanie mocy po zakończeniu badania i nazywanie jej mocą obserwowaną. Po zakończeniu badania ważniejsze są oszacowanie efektu i przedział ufności; post hoc power często dostarcza informacji równoważnej interpretacji wartości p i nie poprawia wnioskowania (Moher et al., 2010).
• Przyjmowanie dowolnej wielkości efektu. Założenie powinno być uzasadnione klinicznie, teoretycznie lub empirycznie.
• Ignorowanie wykruszania uczestników. Liczebność początkowa musi uwzględniać przewidywane straty.
• Mylenie dużej mocy z dobrym projektem. Wysoka moc nie naprawia błędu selekcji, błędnej definicji zmiennych, złego pomiaru ani zakłócenia.
• Wybieranie testu jednostronnego po obejrzeniu danych. Jest to decyzja zwiększająca ryzyko nadużycia analizy.
• Pomijanie wielokrotnego testowania. Wykonywanie wielu analiz zwiększa ryzyko wyników przypadkowo istotnych, a korekty mogą obniżać moc pojedynczych testów (Bland i Altman, 1995).

Co warto zapamiętać?

• Moc statystyczna to prawdopodobieństwo wykrycia efektu o określonej wielkości, jeżeli taki efekt rzeczywiście istnieje.
• Podstawowy wzór brzmi: moc = 1 − β.
• Moc rośnie zwykle wraz z liczebnością próby i wielkością efektu, a maleje wraz ze zmiennością danych.
• Poziom alfa, test jednostronny lub dwustronny oraz liczba analiz również wpływają na moc.
• Moc nie jest prawdopodobieństwem prawdziwości hipotezy zerowej ani alternatywnej.
• Brak istotności statystycznej nie dowodzi braku efektu.
• Wynik należy interpretować łącznie z wielkością efektu, przedziałem ufności i znaczeniem praktycznym.
• Najlepiej planować moc przed badaniem, na podstawie głównego punktu końcowego i minimalnego efektu ważnego naukowo lub klinicznie.

W ramach publicznego szkolenia na statystyk.edu.pl kolejne lekcje będą rozwijać te intuicje, przechodząc od pojęcia mocy do praktycznego planowania liczebności próby dla różnych typów danych i projektów badawczych.

Źródła i dalsza lektura

1. Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences. 2nd ed.. Lawrence Erlbaum Associates. Informacja wydawcy / źródło.
2. Dorey, F. J. (2011). Statistics in brief: Statistical power: what is it and when should it be used?. Clinical Orthopaedics and Related Research, 469(2), 619–620. DOI: 10.1007/s11999-010-1435-0.
3. Moher, D., Hopewell, S., Schulz, K. F., Montori, V., Gøtzsche, P. C., Devereaux, P. J., Elbourne, D., Egger, M., Altman, D. G. (2010). CONSORT 2010 Explanation and Elaboration: updated guidelines for reporting parallel group randomised trials. BMJ, 340, c869. DOI: 10.1136/bmj.c869.
4. Bland, J. M., Altman, D. G. (1995). Multiple significance tests: the Bonferroni method. BMJ, 310(6973), 170. DOI: 10.1136/bmj.310.6973.170.
5. Ioannidis, J. P. A. (2005). Why Most Published Research Findings Are False. PLoS Medicine, 2(8), e124. DOI: 10.1371/journal.pmed.0020124.

Jeżeli potrzebujesz indywidualnego wsparcia w doborze metod, przygotowaniu bazy lub opracowaniu wyników badań, sprawdź analiza statystyczna.