183. Błąd I i II rodzaju a wielkość próby

W poprzednich lekcjach modułu 10 omówiono sens obliczania wielkości próby oraz intuicję mocy statystycznej. Teraz połączymy te pojęcia z dwoma rodzajami błędnych decyzji w testowaniu hipotez. Zrozumienie tej zależności jest ważne, ponieważ wielkość próby nie jest wyłącznie techniczną liczbą wpisywaną do programu statystycznego. Jest konsekwencją decyzji dotyczących ryzyka fałszywego alarmu, ryzyka przeoczenia rzeczywistego efektu, oczekiwanej wielkości różnicy oraz zmienności danych.

W praktyce badacz powinien przed rozpoczęciem badania określić przede wszystkim: hipotezę główną, główny punkt końcowy, minimalny istotny efekt, dopuszczalny poziom błędu I rodzaju, oczekiwaną moc oraz przewidywany odsetek utraty uczestników. Taki sposób planowania jest zgodny z dobrymi praktykami raportowania badań, w tym z zaleceniami CONSORT dotyczącymi przedstawiania uzasadnienia liczebności próby (Schulz, Altman i Moher, 2010).

Dwie błędne decyzje w teście hipotez

Załóżmy, że badacz formułuje hipotezę zerową H₀ i hipotezę alternatywną H₁. Przykładowo:

• H₀: nowy program rehabilitacji nie zmienia średniego wyniku sprawności w porównaniu ze standardową opieką;
• H₁: nowy program rehabilitacji zmienia średni wynik sprawności.

Na podstawie próby badacz podejmuje decyzję: odrzucić H₀ albo nie odrzucać H₀. Nie oznacza to jednak, że decyzja jest zawsze prawdziwa. W populacji może występować efekt, którego próba nie ujawni, albo może go nie być, mimo że wynik próby wygląda przekonująco.

Rzeczywisty stan w populacji	Decyzja badacza	Konsekwencja
H0 jest prawdziwa	Odrzucenie H0	Błąd I rodzaju
H0 jest prawdziwa	Nieodrzucenie H0	Decyzja prawidłowa
H0 jest fałszywa	Odrzucenie H0	Decyzja prawidłowa, wykrycie efektu
H0 jest fałszywa	Nieodrzucenie H0	Błąd II rodzaju

Błąd I rodzaju: fałszywy alarm

Błąd I rodzaju polega na odrzuceniu prawdziwej hipotezy zerowej. Jeżeli H₀ rzeczywiście opisuje populację, badacz stwierdza istnienie różnicy lub związku, którego w populacji nie ma. Prawdopodobieństwo takiej decyzji oznacza się symbolem α, czyli alfa.

W wielu badaniach przyjmuje się α = 0,05. Oznacza to, że procedura testowa jest konstruowana tak, aby przy prawdziwej H₀ odsetek fałszywych odrzuceń nie przekraczał w długiej serii hipotetycznych, podobnie zaplanowanych badań około 5%. Nie oznacza to, że w konkretnym badaniu prawdopodobieństwo prawdziwości H₀ wynosi 95% ani że uzyskana wartość p jest prawdopodobieństwem prawdziwości H₀.

Konsekwencje błędu I rodzaju zależą od dziedziny. W badaniu klinicznym może to oznaczać uznanie nieskutecznego leczenia za skuteczne. W ewaluacji programu zdrowia publicznego może prowadzić do finansowania interwencji, która nie przynosi zakładanej poprawy. W psychologii może skutkować uznaniem pozornego związku między cechami za rzeczywisty.

Błąd II rodzaju: przeoczenie efektu

Błąd II rodzaju polega na nieodrzuceniu H₀, mimo że w populacji istnieje efekt zgodny z H₁. Prawdopodobieństwo tego błędu oznacza się symbolem β, czyli beta.

Jeżeli badanie ma β = 0,20, to jego moc wynosi:

Moc = 1 − β = 1 − 0,20 = 0,80

Moc równa 80% oznacza, że przy założeniu określonego, rzeczywiście istniejącego efektu procedura ma około 80% szans na odrzucenie H₀. Jest to prawdopodobieństwo warunkowe: zależy od wielkości efektu, zmienności danych, poziomu α, rodzaju testu i liczebności próby. Nie jest to ogólna cecha badania niezależna od tych parametrów.

Dlaczego wielkość próby wpływa na oba błędy?

Wielkość próby wpływa przede wszystkim na precyzję oszacowania. Gdy liczba obserwacji rośnie, błąd standardowy wielu estymatorów maleje. Dla średniej arytmetycznej, przy spełnieniu odpowiednich założeń, można zapisać:

SE(średniej) = s / √n

• SE(średniej) oznacza błąd standardowy średniej;
• s oznacza odchylenie standardowe w próbie lub przewidywaną zmienność;
• n oznacza liczebność próby;
• √n oznacza pierwiastek kwadratowy z liczebności próby.

Większa próba zwykle prowadzi do węższych przedziałów ufności i ułatwia odróżnienie efektu od losowej zmienności. Jeżeli efekt istnieje, rośnie szansa jego wykrycia, a więc maleje β i rośnie moc. Nie oznacza to jednak, że można bez ograniczeń zwiększać próbę. Bardzo duża próba może wykazać statystyczną istotność różnicy, która z punktu widzenia pacjenta lub praktyki zawodowej jest znikoma. Altman i Bland podkreślali, że brak istotności statystycznej nie jest dowodem braku efektu, natomiast sama istotność nie przesądza o znaczeniu klinicznym (Altman i Bland, 1995).

W ustalonym modelu zwiększanie n nie powinno samo w sobie zwiększać nominalnego α. Jeżeli jednak badacz wykonuje wiele testów, analizuje wiele punktów końcowych albo wielokrotnie sprawdza dane bez wcześniej określonych reguł, rzeczywiste ryzyko co najmniej jednego fałszywie dodatniego wyniku może wzrosnąć. Problem wielokrotnych testów omawiali Bland i Altman (1995). Dlatego planowanie próby musi być powiązane z planem analiz, a nie ograniczać się do wskazania jednej liczby uczestników.

Jak α, β, efekt i próba działają razem?

W uproszczeniu można powiedzieć, że wielkość próby jest większa, gdy:

• badacz chce obniżyć α, na przykład z 0,05 do 0,01;
• badacz chce zwiększyć moc, na przykład z 80% do 90%;
• oczekiwany do wykrycia efekt jest mały;
• zmienność pomiaru jest duża;
• badanie ma charakter dwustronny zamiast jednostronnego;
• analiza uwzględnia nierówny podział grup, klastrowanie lub planowane podgrupy.

W przypadku porównania dwóch średnich można orientacyjnie odwołać się do zależności:

n_grupa ≈ 2σ²(z_1−α/2 + z_1−β)² / Δ²

• n_grupa oznacza przybliżoną liczbę osób w każdej z dwóch równolicznych grup;
• σ oznacza przewidywane odchylenie standardowe wyniku;
• Δ oznacza różnicę, którą badacz chce wykryć;
• z_1−α/2 jest wartością krytyczną rozkładu normalnego dla testu dwustronnego;
• z_1−β odpowiada za wymaganą moc;
• 2 wynika z porównania dwóch niezależnych, równolicznych grup.

Wzór ma charakter dydaktyczny. W rzeczywistym projekcie należy zastosować procedurę odpowiadającą analizie głównego punktu końcowego: dla proporcji potrzebny będzie model dla danych binarnych, dla czasu do zdarzenia — liczba zdarzeń i założenia dotyczące przeżycia, a dla badań klastrowych — korekta wynikająca z podobieństwa obserwacji w klastrach. Sakpal (2010) oraz Osborn (1991) wskazują, że wynik obliczenia zależy nie tylko od α i mocy, ale także od założeń dotyczących częstości zdarzeń, wariancji i minimalnego ważnego efektu.

Przykład 1: badanie kliniczne ciśnienia tętniczego

Zespół planuje randomizowane badanie nowego programu pielęgnacyjnego dla osób z nadciśnieniem. Głównym wynikiem ma być różnica średniego skurczowego ciśnienia tętniczego po 12 tygodniach między grupą programu i grupą standardowej opieki.

Badacze ustalają:

• test dwustronny i α = 0,05;
• moc 90%, a więc β = 0,10;
• minimalną istotną klinicznie różnicę Δ = 6 mmHg;
• przewidywane odchylenie standardowe σ = 15 mmHg.

Ważne jest, że 6 mmHg nie powinno być wybrane wyłącznie dlatego, że daje wygodną liczebność próby. Musi odpowiadać różnicy, która ma znaczenie dla pacjentów, decyzji klinicznych albo dalszej organizacji opieki. Jeśli badacze założyliby mniejszą różnicę, na przykład 3 mmHg, potrzebna próba wzrosłaby znacznie, ponieważ Δ znajduje się w mianowniku we wzorze w postaci kwadratu.

Następnie zespół przewiduje 15% utraty uczestników. Jeżeli obliczenie wymaga 100 osób na grupę, nie wystarczy zrekrutować dokładnie 200 osób. Należy skorygować liczbę, dzieląc ją przez przewidywany odsetek pozostających w badaniu:

n_skorygowane = n_wymagane / (1 − odsetek utraty)

W tym przypadku:

100 / (1 − 0,15) = 100 / 0,85 ≈ 118 osób na grupę.

To obliczenie nie gwarantuje uzyskania mocy, jeżeli utrata uczestników będzie większa, nierówna między grupami albo związana z wynikiem leczenia. Pokazuje jednak, dlaczego liczebność planowana do rekrutacji może być większa od liczebności analitycznej.

Przykład 2: program przeciwdziałania wypaleniu zawodowemu

W badaniu z zakresu psychologii pracy oceniany jest program redukcji wypalenia zawodowego u ratowników medycznych. Badacze chcą porównać zmianę wyniku kwestionariusza między grupą uczestniczącą w warsztatach a grupą kontrolną.

Jeżeli próba będzie mała, a zmienność wyników duża, różnica między średnimi może nie osiągnąć progu α = 0,05 nawet wtedy, gdy program rzeczywiście poprawia sytuację części uczestników. Wynik „nieistotny statystycznie” nie uzasadnia wtedy automatycznego stwierdzenia, że program nie działa. Może oznaczać mały efekt, nieprecyzyjny pomiar, zbyt dużą zmienność lub zbyt małą próbę.

Załóżmy, że badacze uzyskali wstępnie różnicę standaryzowaną d = 0,30, oczekują mocy 80% i planują test dwustronny. Jest to efekt raczej mały. Próba wymagana do jego wykrycia będzie większa niż w badaniu, w którym oczekuje się d = 0,80. Cohen (1988) opisywał standaryzowaną wielkość efektu jako sposób łączenia różnicy między grupami z rozproszeniem wyników, ale wartości „mały”, „średni” i „duży” nie powinny zastępować uzasadnienia merytorycznego.

W praktyce zespół powinien określić, jaka zmiana wyniku ma znaczenie dla funkcjonowania ratowników, absencji, jakości pracy lub dobrostanu. Dopiero potem należy przekładać ją na efekt statystyczny i liczebność próby. Jeżeli badacze po zakończeniu badania obliczą niską moc post hoc tylko dlatego, że uzyskali nieistotny wynik, nie będzie to pełnowartościowe zastępstwo dla planowania prospektywnego.

Przykład praktyczny: jak interpretować wynik nieistotny?

Wyobraźmy sobie, że badanie dwóch metod edukacji pacjentów z cukrzycą obejmuje 40 osób. Średnia różnica wynosi 2,1 punktu w skali wiedzy, 95% przedział ufności obejmuje wartości od −1,5 do 5,7, a wartość p wynosi 0,24.

Poprawny opis nie powinien brzmieć: „Metody są takie same” ani „Nie ma żadnego efektu”. Można napisać: „W badanej próbie nie uzyskano statystycznie istotnych dowodów różnicy przy przyjętym poziomie α = 0,05; oszacowanie wskazywało na różnicę 2,1 punktu, lecz przedział ufności był szeroki i obejmował zarówno niewielki efekt ujemny, jak i umiarkowany efekt dodatni”.

Jeżeli wcześniej zaplanowana moc dla minimalnej istotnej różnicy wynosiła zaledwie 50%, błąd II rodzaju był relatywnie prawdopodobny. W takiej sytuacji wynik powinien skłaniać do ostrożności, a nie do kategorycznego wniosku o braku działania. Altman i Bland (1995) zwracali uwagę, że „brak dowodu” nie jest automatycznie „dowodem braku”. Konieczne jest spojrzenie na wielkość efektu, przedział ufności, jakość pomiaru i adekwatność próby.

Najczęstsze błędy

1. Traktowanie α = 0,05 jako magicznej granicy. Poziom alfa jest konwencją kontrolującą określony rodzaj błędu, ale nie rozstrzyga samodzielnie o ważności klinicznej wyniku.
2. Uzależnianie wielkości próby od oczekiwanego „ładnego” p. Próbę należy planować dla merytorycznie uzasadnionego efektu, nie dla osiągnięcia z góry wybranej wartości p.
3. Mylenie β z prawdopodobieństwem prawdziwości H₀. β dotyczy nieodrzucenia H₀ w sytuacji, gdy określony efekt rzeczywiście istnieje.
4. Uznawanie braku istotności za dowód równoważności. Do wykazania równoważności potrzebny jest odpowiedni projekt i zdefiniowany przedział równoważności, a nie zwykły test różnicy.
5. Pomijanie utraty uczestników. Liczebność analityczna i liczba osób, które trzeba zrekrutować, nie zawsze są takie same.
6. Nieuwzględnianie wielu analiz. Wiele punktów końcowych, podgrup i testów może zwiększać ryzyko fałszywie dodatnich wniosków.
7. Przyjmowanie nierealistycznej wariancji lub częstości zdarzeń. Jeżeli założenia są błędne, obliczona moc może być pozorna.
8. Wnioskowanie przyczynowe z badania obserwacyjnego. Moc testu nie naprawia błędów doboru próby, pomiaru, pominiętych zmiennych ani braku kontroli nad ekspozycją.

Jak opisać planowanie w protokole i publikacji?

Opis powinien wskazywać, jaki był główny punkt końcowy, jaka analiza była planowana, jaki efekt uznano za istotny, jakie założono α i moc, skąd pochodziły dane o wariancji lub częstości zdarzeń oraz czy uwzględniono utratę uczestników. W badaniach randomizowanych warto podać także, czy test był jedno- czy dwustronny, jak rozdzielano uczestników oraz czy zastosowano korekty związane z wieloma punktami końcowymi.

CONSORT 2010 zaleca, aby autorzy przedstawili sposób ustalenia liczebności próby, w tym zakładany efekt, poziom błędu I rodzaju, moc i przewidywaną utratę danych (Schulz, Altman i Moher, 2010). Takie informacje pozwalają czytelnikowi ocenić, czy nieistotny wynik mógł wynikać z niedostatecznej mocy oraz czy wynik istotny ma znaczenie praktyczne.

W ramach publicznego szkolenia na statystyka.edu.pl warto traktować obliczenie liczebności próby jako element całego łańcucha metodologicznego: od pytania badawczego, przez operacjonalizację zmiennych, po plan analizy i sposób raportowania. Program komputerowy może wykonać rachunek, ale nie zdecyduje, jaka różnica jest ważna dla pacjenta, pracownika lub społeczności.

Co warto zapamiętać?

• Błąd I rodzaju to odrzucenie prawdziwej H₀; jego poziom oznacza się symbolem α.
• Błąd II rodzaju to nieodrzucenie H₀, gdy istnieje określony efekt; jego prawdopodobieństwo oznacza się symbolem β.
• Moc wynosi 1 − β i opisuje szansę wykrycia efektu o wcześniej określonej wielkości.
• Większa próba zwykle zmniejsza błąd standardowy i zwiększa moc, ale nie zastępuje dobrego projektu badania.
• Mały efekt, duża zmienność, niski poziom α i wysoka wymagana moc prowadzą do większej próby.
• Wartość p nie jest prawdopodobieństwem prawdziwości H₀.
• Istotność statystyczną trzeba interpretować łącznie z wielkością efektu, przedziałem ufności i znaczeniem praktycznym.
• Nieistotny wynik nie dowodzi automatycznie braku efektu, zwłaszcza gdy próba była mała lub badanie miało niską moc.

Źródła i dalsza lektura

1. Osborn, J. F. (1991). Minimising errors in clinical studies by proper selection of sample size. Annals of the Academy of Medicine, Singapore, 20(1), 95–100. Pełny opis źródła.
2. Sakpal, T. V. (2010). Sample size estimation in clinical trial. Perspectives in Clinical Research, 1(2), 67–69. Pełny opis źródła.
3. Columb, M. O.; Atkinson, M. S. (2016). Statistical analysis: sample size and power estimations. BJA Education, 16(5), 159–161. DOI: 10.1093/bjaed/mkv034.
4. Altman, D. G.; Bland, J. M. (1995). Absence of evidence is not evidence of absence. BMJ, 311(7003), 485. DOI: 10.1136/bmj.311.7003.485.
5. Bland, J. M.; Altman, D. G. (1995). Multiple significance tests: the Bonferroni method. BMJ, 310(6973), 170. DOI: 10.1136/bmj.310.6973.170.
6. Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences. 2nd ed.. Lawrence Erlbaum Associates. Informacja wydawcy / źródło.
7. Schulz, K. F.; Altman, D. G.; Moher, D.; for the CONSORT Group (2010). CONSORT 2010 Statement: updated guidelines for reporting parallel group randomised trials. BMJ, 340, c332. DOI: 10.1136/bmj.c332.
8. Schulz, K. F.; Altman, D. G.; Moher, D.; for the CONSORT Group (2010). CONSORT 2010 explanation and elaboration: updated guidelines for reporting parallel group randomised trials. BMJ, 340, c869. DOI: 10.1136/bmj.c869.

Więcej kolejnych lekcji publicznego szkolenia znajdziesz na statystyk.edu.pl.