079. Wielokrotne hipotezy a ryzyko błędu I rodzaju

W badaniach naukowych często analizuje się więcej niż jedną hipotezę: kilka punktów końcowych, wiele grup, kilka dawek, różne momenty pomiaru albo liczne podgrupy uczestników. Taka strategia może być merytorycznie uzasadniona, ale powoduje problem metodologiczny: im więcej niezależnych decyzji statystycznych podejmujemy, tym większa staje się szansa, że przynajmniej jedna z nich będzie fałszywie dodatnia. W tej lekcji pokazujemy, czym jest to ryzyko, jak je opisać oraz kiedy stosować odpowiednie procedury korekty.

1. Od pojedynczej hipotezy do rodziny hipotez

W klasycznym teście istotności statystycznej badacz formułuje hipotezę zerową H₀ i alternatywną H₁. Przykładowo:

• H₀: średnie ciśnienie skurczowe w grupie interwencji i w grupie kontrolnej jest takie samo;
• H₁: średnie ciśnienie skurczowe w obu grupach różni się.

Jeżeli poziom istotności wynosi α = 0,05, to procedura testowa jest skonstruowana tak, aby przy prawdziwej hipotezie zerowej prawdopodobieństwo jej odrzucenia nie przekraczało 5%. Jest to ryzyko błędu I rodzaju. Nie oznacza ono prawdopodobieństwa, że hipoteza zerowa jest prawdziwa. Oznacza ryzyko podjęcia decyzji „odrzucamy H₀” w sytuacji, gdy w populacji obowiązuje H₀.

Gdy badacz testuje jedną hipotezę, poziom 0,05 odnosi się do jednej decyzji. Gdy testuje wiele hipotez, powstaje rodzina hipotez, czyli zbiór testów, których wyniki mają być łącznie wykorzystane do sformułowania wniosku dotyczącego jednego badania, problemu badawczego lub twierdzenia naukowego. To właśnie rodzina, a nie pojedynczy test, staje się wtedy właściwą jednostką kontroli błędu.

2. Dlaczego wiele testów zwiększa ryzyko fałszywego odkrycia?

Załóżmy dla uproszczenia, że wykonujemy 20 niezależnych testów, a każda hipoteza zerowa jest prawdziwa. Jeżeli każdy test przeprowadzamy przy α = 0,05, to prawdopodobieństwo, że pojedynczy test nie doprowadzi do fałszywego odrzucenia H₀, wynosi 0,95. Prawdopodobieństwo, że żaden z 20 testów nie będzie fałszywie dodatni, można zapisać jako:

P(brak fałszywego odrzucenia) = (1 − α)m

gdzie:

• α – nominalny poziom istotności pojedynczego testu;
• m – liczba testowanych hipotez;
• P – prawdopodobieństwo zdarzenia.

Zatem prawdopodobieństwo, że przynajmniej jeden test da fałszywie dodatni wynik, wynosi:

P(co najmniej jedno fałszywe odrzucenie) = 1 − (1 − α)m

Dla 20 niezależnych testów przy α = 0,05 otrzymujemy około 64%. Nie znaczy to, że w każdym badaniu pojawi się fałszywie dodatni wynik, lecz że przy wielokrotnym powtarzaniu takiej procedury w około 64% rodzin testów wystąpiłoby przynajmniej jedno fałszywe odrzucenie hipotezy zerowej, gdy wszystkie hipotezy zerowe byłyby prawdziwe.

W praktyce testy często nie są niezależne, ponieważ zmienne kliniczne lub psychologiczne są ze sobą skorelowane. Nie usuwa to jednak problemu. Zależność może zmieniać dokładną wartość ryzyka, ale bez odpowiedniego planu nadal można nadmiernie zwiększyć prawdopodobieństwo przypadkowego „odkrycia”. Problem wielokrotności może powstawać nie tylko przez liczbę hipotez, lecz także przez wielokrotne wybieranie analiz, punktów końcowych, podgrup, modeli, punktów odcięcia lub momentów pomiaru.

3. Rodzinny błąd I rodzaju i inne miary błędu

3.1. FWER

Najczęściej stosowaną miarą w badaniach potwierdzających jest rodzinny błąd I rodzaju, czyli familywise error rate (FWER). Definiuje się go jako prawdopodobieństwo popełnienia co najmniej jednego błędu I rodzaju w całej rodzinie testów:

FWER = P(V ≥ 1)

gdzie V oznacza liczbę fałszywie odrzuconych hipotez zerowych. Kontrola FWER na poziomie 0,05 oznacza, że w długiej serii badań przeprowadzonych w warunkach, w których wszystkie hipotezy zerowe są prawdziwe, odsetek rodzin testów zawierających co najmniej jedno fałszywe odrzucenie nie powinien przekraczać około 5%.

Kontrola FWER jest szczególnie istotna wtedy, gdy choć jeden fałszywie dodatni wynik może prowadzić do ważnej decyzji: uznania leczenia za skuteczne, wprowadzenia produktu na rynek, zmiany rekomendacji klinicznej albo sformułowania silnego twierdzenia teoretycznego.

3.2. FDR

W badaniach eksploracyjnych, zwłaszcza przy bardzo dużej liczbie hipotez, często stosuje się odsetek fałszywych odkryć, czyli false discovery rate (FDR). Jest to oczekiwany odsetek fałszywych odrzuceń wśród wszystkich odrzuconych hipotez:

FDR = E[V / R]

gdzie:

• V – liczba fałszywie odrzuconych hipotez;
• R – liczba wszystkich odrzuconych hipotez;
• E – wartość oczekiwana.

FDR nie gwarantuje, że w każdej konkretnej analizie odsetek fałszywych odkryć będzie mniejszy od ustalonego poziomu. Kontroluje średni odsetek fałszywych odkryć w powtarzanym schemacie badań. Jest to zwykle mniej konserwatywne podejście niż FWER i pozwala zachować większą moc w sytuacji, gdy analizuje się setki lub tysiące hipotez, na przykład w badaniach omicznych, genetycznych lub szerokich badaniach kwestionariuszowych (Benjamini i Hochberg, 1995).

4. Podstawowe sposoby kontroli wielokrotnego testowania

4.1. Korekta Bonferroniego

Najprostszą metodą kontroli FWER jest korekta Bonferroniego. Jeżeli badacz testuje m hipotez i chce zachować ogólny poziom błędu równy α, dla każdego pojedynczego testu przyjmuje poziom:

αjednostkowe = α / m

Równoważnie można pomnożyć każdą wartość p przez liczbę testów:

pskorygowane = min(m × p, 1)

Jeśli wykonano pięć testów i przyjęto rodzinny poziom α = 0,05, każdy test oceniany jest przy poziomie 0,01. Metoda jest prosta i nie wymaga niezależności testów, ale przy dużej liczbie hipotez może być nadmiernie konserwatywna. Oznacza to spadek mocy, czyli większe ryzyko niewykrycia rzeczywistego efektu.

4.2. Procedura Holma

Procedura Holma jest sekwencyjną wersją korekty Bonferroniego. Porządkujemy wartości p rosnąco: p₍₁₎ ≤ p₍₂₎ ≤ … ≤ p_(m). Następnie porównujemy je kolejno z progami:

α / m, α / (m − 1), …, α / 1

Jeżeli pierwsza wartość p jest większa od α/m, procedura zatrzymuje się i nie odrzuca się żadnej hipotezy. Jeżeli pierwsza jest wystarczająco mała, przechodzi się do następnej. Po napotkaniu pierwszej wartości niespełniającej kryterium pozostałe hipotezy nie są odrzucane. Procedura Holma kontroluje FWER, a zazwyczaj zachowuje większą moc niż klasyczny Bonferroni (Holm, 1979).

4.3. Procedura Benjamini–Hochberga

Procedura Benjamini–Hochberga służy do kontroli FDR. Po uporządkowaniu wartości p rosnąco szuka się największego indeksu k, dla którego:

p(k) ≤ (k / m) × q

gdzie:

• k – pozycja danej wartości p po uporządkowaniu;
• m – łączna liczba testowanych hipotez;
• q – docelowy poziom FDR.

Następnie odrzuca się hipotezy o wartościach p nie większych niż p_(k). Procedura jest przydatna, gdy celem jest identyfikacja zbioru obiecujących wyników, a nie ochrona przed każdym pojedynczym fałszywym odkryciem. Nie należy jednak automatycznie stosować jej w badaniu potwierdzającym, w którym wymagane jest kontrolowanie FWER.

5. Przykład medyczny: badanie nowego programu rehabilitacji

Załóżmy, że w randomizowanym badaniu oceniano program rehabilitacji po udarze mózgu. W protokole zapisano trzy główne hipotezy dotyczące:

1. sprawności ruchowej;
2. niezależności w codziennym funkcjonowaniu;
3. jakości życia.

Jeśli każdą hipotezę testuje się niezależnie przy α = 0,05, to uzyskanie istotności dla przynajmniej jednego punktu końcowego może być łatwiejsze niż sugerowałby pojedynczy poziom 5%. Jeżeli wszystkie trzy wyniki mają wspólnie uzasadniać twierdzenie, że program jest skuteczny, badacz powinien z góry określić strategię kontroli wielokrotności.

Możliwe rozwiązania są różne:

• wybrać jeden pierwotny punkt końcowy, a pozostałe oznaczyć jako wtórne;
• zastosować korektę Holma dla trzech hipotez;
• zdefiniować hierarchię, w której najpierw testuje się sprawność ruchową, a dopiero po jej potwierdzeniu analizuje jakość życia;
• zastosować schemat współpierwotnych punktów końcowych, jeżeli skuteczność ma być uznana tylko wtedy, gdy poprawie ulegną wszystkie wymagane obszary.

Każda z tych strategii odpowiada na inne pytanie. Współpierwotne punkty końcowe wymagają spełnienia wszystkich warunków i mogą zmniejszać ryzyko fałszywego twierdzenia o skuteczności, ale jednocześnie obniżają prawdopodobieństwo wykazania efektu. Z kolei reguła „wystarczy jeden z kilku punktów” zwiększa szansę wykrycia efektu, lecz wymaga kontroli wielokrotności. W badaniach klinicznych takie decyzje powinny być zapisane przed analizą danych, najlepiej w protokole i planie analizy statystycznej (ICH, 1998; FDA, 2022).

6. Przykład psychologiczny: wiele skal i wiele podgrup

Badacz ocenia wpływ krótkiej interwencji internetowej na stres u studentów. Po zakończeniu badania analizuje pięć skal psychologicznych, dwa punkty czasowe oraz trzy podgrupy: kobiety, mężczyzn i osoby z wysokim początkowym nasileniem stresu. W praktyce może to oznaczać kilkadziesiąt porównań, choć w raporcie zostanie przedstawionych tylko kilka „najciekawszych”.

Jeżeli wybór wyników nastąpił po obejrzeniu danych, problem dotyczy nie tylko wielokrotnego testowania, ale także selektywnego raportowania i analizy eksploracyjnej przedstawianej jako potwierdzająca. Nie wystarczy wówczas napisać, że wszystkie testy wykonano przy α = 0,05. Należy wskazać:

• ile hipotez należało do rodziny;
• które hipotezy były pierwotne, a które wtórne lub eksploracyjne;
• czy korekta dotyczyła wszystkich analiz, czy tylko określonego zbioru;
• jakie procedury zastosowano;
• czy wyniki podgrup były zaplanowane, czy wygenerowane po analizie.

W analizie eksploracyjnej można rozważyć kontrolę FDR, ale wnioski powinny być odpowiednio ostrożne. Wynik po korekcie może wskazywać na obszar wymagający dalszego badania, nie zaś stanowić samodzielne potwierdzenie skuteczności interwencji.

7. Przykład praktyczny: jak zaplanować analizę?

Przyjmijmy, że zespół badawczy chce sprawdzić, czy program edukacyjny dla pielęgniarek poprawia trzy wyniki: wiedzę, trafność oceny ryzyka odleżyn i deklarowaną pewność siebie. Przed rekrutacją uczestników zespół powinien odpowiedzieć na następujące pytania:

1. Jaki jest główny cel badania?
2. Który wynik ma największe znaczenie kliniczne lub organizacyjne?
3. Czy do uznania programu za skuteczny wystarczy poprawa jednego wyniku, czy wymagane są wszystkie?
4. Czy pozostałe pomiary mają charakter wtórny, czy eksploracyjny?
5. Jaka rodzina hipotez będzie objęta kontrolą błędu?
6. Czy planowana jest korekta Bonferroniego, Holma, hierarchiczny plan testowania czy kontrola FDR?
7. Jak zostaną przedstawione wyniki nieistotne statystycznie i wyniki po korekcie?

Rozsądnym rozwiązaniem może być wskazanie trafności oceny ryzyka odleżyn jako jednego pierwotnego punktu końcowego, a wiedzy i pewności siebie jako wyników wtórnych. Pozwala to ograniczyć liczbę formalnych decyzji dotyczących głównego twierdzenia. Nie oznacza jednak, że pozostałe wyniki można dowolnie analizować i przedstawiać bez informacji o liczbie wykonanych testów.

W raporcie można napisać: „Pierwotną hipotezę dotyczącą trafności oceny ryzyka testowano przy poziomie α = 0,05. Wyniki dotyczące wiedzy i pewności siebie uznano za wtórne; dla tej rodziny zastosowano procedurę Holma”. Taki zapis jest bardziej przejrzysty niż ogólne stwierdzenie, że „przeprowadzono kilka testów t-Studenta”.

8. Istotność statystyczna, wielkość efektu i znaczenie praktyczne

Korekta wielokrotnego testowania dotyczy przede wszystkim kontroli ryzyka błędnej decyzji statystycznej. Nie rozstrzyga jednak, czy efekt jest duży, ważny klinicznie albo użyteczny społecznie. Po uzyskaniu wyniku należy przedstawić co najmniej:

• oszacowanie wielkości efektu;
• przedział ufności;
• wartość p, najlepiej z informacją, czy jest skorygowana;
• uzasadnienie znaczenia praktycznego.

Mały efekt może osiągnąć istotność statystyczną w dużej próbie, a duży efekt może pozostać nieistotny w małej próbie. Z kolei skorygowana wartość p nie mówi, jak duża jest różnica ani czy zmienia postępowanie kliniczne. Wnioski powinny więc łączyć kontrolę błędu, precyzję oszacowania i ocenę konsekwencji praktycznych.

Najczęstsze błędy

• Traktowanie każdego testu jako całkowicie niezależnego problemu. Jeżeli wyniki służą jednemu ogólnemu wnioskowi, należy rozważyć wspólną rodzinę hipotez.
• Używanie poziomu 0,05 bez wskazania, czego dotyczy. Trzeba wyjaśnić, czy jest to poziom dla pojedynczego testu, czy dla całej rodziny.
• Automatyczne stosowanie Bonferroniego w każdej sytuacji. Metoda jest bezpieczna, ale może nadmiernie zmniejszać moc.
• Stosowanie FDR jako zamiennika FWER w badaniu potwierdzającym. Są to różne kryteria i odpowiadają innym celom.
• Ukrywanie liczby wykonanych analiz. Ograniczenie raportu do testów, które okazały się istotne, zniekształca obraz dowodów.
• Interpretowanie skorygowanej wartości p jako miary wielkości efektu. Do tego służą estymaty efektu i przedziały ufności.
• Uznawanie wyniku eksploracyjnego za potwierdzenie hipotezy. Jeżeli hipoteza powstała po analizie danych, należy jasno oznaczyć jej eksploracyjny status.
• Brak planu przed rozpoczęciem badania. Strategię kontroli wielokrotności należy określić przed analizą wyników, a najlepiej przed rozpoczęciem zbierania danych.

Co warto zapamiętać?

• Wielokrotne testowanie zwiększa ryzyko co najmniej jednego fałszywie dodatniego wyniku.
• Błąd I rodzaju dotyczy błędnego odrzucenia prawdziwej hipotezy zerowej; nie jest prawdopodobieństwem prawdziwości H₀.
• FWER kontroluje prawdopodobieństwo co najmniej jednego fałszywego odrzucenia w rodzinie hipotez.
• FDR kontroluje oczekiwany odsetek fałszywych odkryć wśród wszystkich odkryć.
• Bonferroni i Holm są typowymi metodami kontroli FWER, a Benjamini–Hochberg służy do kontroli FDR.
• Najważniejsza decyzja nie polega na wyborze „najlepszej korekty”, lecz na poprawnym zdefiniowaniu celu badania, rodziny hipotez i hierarchii wnioskowania.
• Korekta wartości p nie zastępuje raportowania wielkości efektu, przedziałów ufności i znaczenia praktycznego.
• Wynik eksploracyjny może być cenny, ale powinien prowadzić do dalszego, zaplanowanego badania, a nie być przedstawiany jako wcześniej potwierdzona hipoteza.

W ramach publicznego szkolenia na statystyka.edu.pl warto przećwiczyć na własnych danych utworzenie rodziny hipotez, obliczenie korekty Bonferroniego i Holma oraz porównanie ich z procedurą Benjamini–Hochberga. Najlepszym sprawdzianem jest nie samo uzyskanie skorygowanej wartości p, lecz umiejętność wyjaśnienia, jakie twierdzenie naukowe dana procedura chroni i jakie ograniczenia pozostają po jej zastosowaniu.

\n

Źródła i dalsza lektura

\n

1. Hochberg, Y. (1988). A sharper Bonferroni procedure for multiple tests of significance. Biometrika, 75(4), 800–802. DOI: 10.1093/biomet/75.4.800.
2. Holm, S. (1979). A simple sequentially rejective multiple test procedure. Scandinavian Journal of Statistics, 6(2), 65–70. DOI: 10.2307/4615733.
3. Benjamini, Y.; Hochberg, Y. (1995). Controlling the false discovery rate: A practical and powerful approach to multiple testing. Journal of the Royal Statistical Society: Series B (Methodological), 57(1), 289–300. DOI: 10.1111/j.2517-6161.1995.tb02031.x.
4. Bender, R.; Lange, S. (2001). Adjusting for multiple testing—when and how?. Journal of Clinical Epidemiology, 54(4), 343–349. DOI: 10.1016/S0895-4356(00)00314-0.
5. International Council for Harmonisation of Technical Requirements for Pharmaceuticals for Human Use (1998). E9 Statistical Principles for Clinical Trials. International Council for Harmonisation of Technical Requirements for Pharmaceuticals for Human Use. Źródło.
6. U.S. Food and Drug Administration (2022). Multiple Endpoints in Clinical Trials: Guidance for Industry. U.S. Food and Drug Administration. Źródło.

\n

Więcej kolejnych lekcji publicznego szkolenia znajdziesz na statystyk.edu.pl.