337. Holm i FDR – alternatywy dla prostej korekty Bonferroniego

W poprzedniej lekcji omówiliśmy klasyczną poprawkę Bonferroniego. Jest ona prosta i bezpieczna, ale w wielu sytuacjach może nadmiernie ograniczać moc testu. Jeżeli badacz analizuje kilka lub kilkadziesiąt hipotez, a wszystkie wyniki traktuje tak samo rygorystycznie, rośnie ryzyko przeoczenia rzeczywistych efektów. W tej lekcji poznasz dwie ważne alternatywy: procedurę Holma, która nadal kontroluje rodzinny błąd I rodzaju, oraz procedurę Benjamini–Hochberga, służącą do kontroli odsetka fałszywych odkryć, czyli false discovery rate (FDR).

Obie metody są korektami dla wielokrotnego testowania, ale odpowiadają na nieco inne pytania. Procedura Holma pyta: „Jak ograniczyć prawdopodobieństwo popełnienia choć jednego fałszywego odrzucenia hipotezy zerowej w całym zbiorze testów?”. FDR pyta natomiast: „Jaki odsetek odrzuconych hipotez może przeciętnie stanowić fałszywe odkrycia?”. Wybór metody powinien wynikać z celu badania, kosztu błędów i tego, czy analiza ma charakter potwierdzający, czy eksploracyjny. Jest to praktyczna kontynuacja zagadnień omawianych w publicznym szkoleniu na statystyka.edu.pl.

Dlaczego potrzebujemy alternatyw dla Bonferroniego?

Załóżmy, że testujemy m hipotez i dla każdej z nich przyjmujemy poziom istotności 0,05. Gdyby wszystkie testy były niezależne, prawdopodobieństwo, że nie popełnimy ani jednego błędu I rodzaju, wynosiłoby w przybliżeniu (1 − 0,05)m. Wraz ze wzrostem liczby testów rośnie więc prawdopodobieństwo co najmniej jednego fałszywie dodatniego wyniku.

Bonferroni rozwiązuje ten problem przez zastąpienie poziomu α wartością α/m. Dzięki nierówności Boole’a zapewnia kontrolę rodzinnego błędu I rodzaju, czyli FWER (family-wise error rate), niezależnie od zależności między testami. Ceną jest jednak często mniejsza moc. Przy 20 testach i poziomie rodzinnym 0,05 każdy test oceniamy względem 0,0025. Taki próg może być uzasadniony, gdy nawet jeden fałszywy alarm ma bardzo poważne konsekwencje, lecz bywa zbyt surowy w badaniach przesiewowych, genetycznych lub eksploracyjnych.

Ważne jest, aby nie utożsamiać „mniej konserwatywnej” procedury z procedurą gorszą. Holm i FDR nie są uniwersalnymi zamiennikami Bonferroniego. Zmieniają kontrolowany rodzaj błędu albo wykorzystują dodatkową informację o uporządkowaniu wartości p. Dlatego przed wyborem korekty trzeba określić rodzinę hipotez, główny cel analizy oraz konsekwencje błędów.

Procedura Holma: krok po kroku

Idea procedury krokowej

Procedura Holma, zaproponowana przez Sture’a Holma, jest sekwencyjną, odrzucającą procedurą Bonferroniego (step-down). Kontroluje FWER na poziomie α, a przy tym jest co najmniej tak mocna jak prosta poprawka Bonferroniego (Holm, 1979). W praktyce oznacza to, że zamiast dzielić α przez tę samą liczbę testów na każdym etapie, zaczynamy od najbardziej przekonującej wartości p, a następnie stopniowo zwiększamy dopuszczalny próg.

Niech p(1) ≤ p(2) ≤ ... ≤ p(m) oznaczają uporządkowane rosnąco wartości p. Dla wartości znajdującej się na pozycji i porównujemy ją z progiem:

αi = α / (m − i + 1)

• α — założony rodzinny poziom istotności, np. 0,05;
• m — liczba testowanych hipotez w rodzinie;
• i — pozycja uporządkowanej wartości p;
• p(i) — i-ta wartość p po uporządkowaniu.

Procedura działa następująco:

1. Uporządkuj wartości p od najmniejszej do największej.
2. Porównaj najmniejszą wartość p(1) z α/m.
3. Jeśli p(1) > α/m, nie odrzucaj żadnej hipotezy w rodzinie.
4. Jeśli p(1) ≤ α/m, odrzuć pierwszą hipotezę i przejdź do drugiej.
5. Porównuj kolejno p(2) z α/(m−1), p(3) z α/(m−2) itd.
6. Po napotkaniu pierwszej wartości, która nie spełnia kryterium, zatrzymaj procedurę. Wszystkie dalsze hipotezy pozostają nieodrzucone.

Kluczowa jest zasada zatrzymania. Nie wolno po prostu odrzucać kolejnych hipotez niezależnie od wcześniejszego niepowodzenia. Procedura Holma jest sekwencyjna: jeśli wartość na wcześniejszym etapie nie przekroczyła wymaganego rygoru, późniejsze hipotezy również nie mogą zostać odrzucone w ramach tej reguły.

Przykład obliczeniowy procedury Holma

Załóżmy, że w badaniu pielęgniarek porównano pięć wskaźników bezpieczeństwa pacjentów między oddziałem szkolonym a oddziałem kontrolnym. Otrzymano wartości p: 0,001; 0,012; 0,018; 0,041 i 0,20. Przyjmujemy α = 0,05.

Pozycja	Wartość p	Próg Holma	Decyzja
1	0,001	0,05/5 = 0,010	odrzucamy H0
2	0,012	0,05/4 = 0,0125	odrzucamy H0
3	0,018	0,05/3 ≈ 0,0167	nie odrzucamy H0
4	0,041	0,05/2 = 0,025	nie oceniamy dalej
5	0,20	0,05	nie oceniamy dalej

Wynik końcowy: odrzucamy dwie pierwsze hipotezy, odpowiadające wartościom 0,001 i 0,012. Trzecia wartość, 0,018, jest nieco większa od progu 0,0167, dlatego nie odrzucamy jej hipotezy zerowej. Nie oznacza to, że efekt jest na pewno nieobecny. Oznacza jedynie, że po uwzględnieniu wielokrotnego testowania dane nie dostarczają wystarczających podstaw do odrzucenia tej hipotezy przy założonym poziomie FWER.

FDR: kontrola odsetka fałszywych odkryć

FDR, czyli false discovery rate, jest oczekiwanym odsetkiem fałszywych odrzuceń wśród wszystkich odrzuconych hipotez. Jeśli oznaczymy przez V liczbę fałszywie odrzuconych hipotez, a przez R całkowitą liczbę odrzuceń, to intuicyjnie:

FDR = E[V/R]

Przyjmuje się, że gdy R = 0, iloraz definiuje się jako 0. Symbol E oznacza wartość oczekiwaną, czyli średnią w długiej serii hipotetycznych powtórzeń badania. FDR nie mówi więc, że w konkretnym zestawie wyników dokładnie 5% odkryć jest fałszywych. Przy poziomie FDR równym 0,05 procedura kontroluje przeciętny odsetek fałszywych odkryć w powtarzalnym schemacie analiz.

Procedura Benjamini–Hochberga (BH) została przedstawiona jako alternatywne podejście do kontroli FWER, szczególnie przy większej liczbie testów. W sytuacji, w której część hipotez rzeczywiście jest fałszywa, FDR może zapewnić większą moc niż metody kontrolujące prawdopodobieństwo choćby jednego błędu (Benjamini i Hochberg, 1995).

Procedura Benjamini–Hochberga

Niech uporządkowane wartości p będą oznaczone przez p(1) ≤ ... ≤ p(m). Wybieramy największą pozycję k, dla której zachodzi:

p(k) ≤ (k/m) · q

• m — liczba hipotez;
• k — największy numer pozycji spełniającej nierówność;
• q — docelowy poziom FDR, np. 0,05;
• p(k) — wartość p na pozycji k.

Następnie odrzuca się wszystkie hipotezy odpowiadające wartościom p od p(1) do p(k). W przeciwieństwie do procedury Holma jest to procedura step-up: szukamy największej pozycji spełniającej warunek, a potem uznajemy za istotne wszystkie wcześniejsze wartości.

Przykład praktyczny: badanie przesiewowe w zdrowiu publicznym

Załóżmy, że zespół zdrowia publicznego ocenił, czy kampania edukacyjna wiąże się ze zmianą dziesięciu wskaźników zachowań zdrowotnych: palenia, spożycia alkoholu, aktywności fizycznej, długości snu, spożycia warzyw, zgłaszalności na badania przesiewowe i kilku innych zmiennych. Dla uproszczenia przedstawmy uporządkowane wartości p:

0,001; 0,004; 0,009; 0,013; 0,021; 0,034; 0,049; 0,12; 0,31; 0,60

Przyjmijmy q = 0,05. Dla kolejnych pozycji wartości progowe BH wynoszą: 0,005; 0,010; 0,015; 0,020; 0,025; 0,030; 0,035; 0,040; 0,045 i 0,050.

Porównujemy wartości:

• 0,001 ≤ 0,005 — spełnia warunek;
• 0,004 ≤ 0,010 — spełnia warunek;
• 0,009 ≤ 0,015 — spełnia warunek;
• 0,013 ≤ 0,020 — spełnia warunek;
• 0,021 ≤ 0,025 — spełnia warunek;
• 0,034 > 0,030 — nie spełnia warunku;
• 0,049 > 0,035 — nie spełnia warunku.

Największą pozycją spełniającą nierówność jest k = 5. W procedurze BH odrzucamy zatem pięć pierwszych hipotez. Warto zauważyć, że szósta wartość, 0,034, nie spełnia własnego progu, ale nie oznacza to automatycznie, że wszystkie późniejsze hipotezy muszą być oceniane niezależnie. Decyzję wyznacza największa pozycja spełniająca warunek.

Ten wynik należy interpretować ostrożnie: przy przyjętym schemacie kontroli FDR 0,05 zbiór pięciu odrzuconych hipotez ma kontrolowany oczekiwany odsetek fałszywych odkryć. Nie można powiedzieć, że każda z pięciu hipotez ma 95-procentowe prawdopodobieństwo bycia prawdziwym odkryciem. Nie można też stwierdzić, że dokładnie jedna z nich jest fałszywa. FDR jest własnością procedury stosowanej do całego zbioru, a nie indywidualnym prawdopodobieństwem dla pojedynczego wyniku.

Holm a FDR — najważniejsze różnice

Cecha	Procedura Holma	Benjamini–Hochberg FDR
Kontrolowany błąd	FWER	FDR
Znaczenie	Ogranicza ryzyko choćby jednego fałszywego odrzucenia	Ogranicza oczekiwany odsetek fałszywych odkryć wśród odrzuceń
Typ procedury	Step-down	Step-up
Typowa moc	Większa niż Bonferroni, często mniejsza niż FDR	Często większa przy wielu rzeczywistych efektach
Typowe zastosowanie	Badania potwierdzające, kliniczne i regulacyjne	Analizy eksploracyjne, wysokowymiarowe i przesiewowe

Jeżeli badanie ma jeden lub kilka z góry określonych głównych punktów końcowych, a fałszywe odkrycie może prowadzić do niewłaściwej decyzji klinicznej, procedura Holma jest zwykle łatwiejsza do obrony metodologicznej. Jeżeli natomiast badacz analizuje setki markerów biologicznych lub wiele potencjalnych zależności, a celem jest wyłonienie obiecujących sygnałów do dalszych badań, kontrola FDR może być bardziej adekwatna.

W przypadku zależności między testami procedura BH ma klasyczne gwarancje w warunkach niezależności lub określonych rodzajów dodatniej zależności. Przy arbitralnej zależności można rozważyć procedurę Benjamini–Yekutieliego, która jest bardziej konserwatywna (Benjamini i Yekutieli, 2001). Nie należy jednak automatycznie zakładać, że każda korelacja między testami unieważnia BH. Trzeba opisać strukturę danych, sposób tworzenia rodziny hipotez i uzasadnienie wybranej procedury.

Jak raportować wyniki?

Raport powinien zawierać co najmniej: liczbę testowanych hipotez, definicję rodziny testów, wybraną metodę korekty, nominalny poziom α albo q, surowe wartości p oraz wartości skorygowane lub decyzje po korekcie. Warto podać również estymatę efektu i przedział ufności. Sama informacja „wynik był istotny po korekcie FDR” nie opisuje siły ani znaczenia praktycznego efektu.

W analizie medycznej należy dodatkowo wskazać, czy wszystkie testy były zaplanowane przed obejrzeniem danych. Jeżeli część analiz miała charakter eksploracyjny, trzeba to jasno zaznaczyć. Procedura FDR nie zamienia analizy eksploracyjnej w potwierdzający dowód skuteczności leczenia. Odkrycia wymagają replikacji, a w badaniach klinicznych także oceny bezpieczeństwa, wielkości efektu i zgodności z wcześniej określonym planem analizy.

Najczęstsze błędy

• Traktowanie Holm i FDR jako synonimów. Holm kontroluje FWER, natomiast BH kontroluje FDR. Są to różne kryteria błędu.
• Używanie FDR w każdej sytuacji. W badaniu potwierdzającym, z niewielką liczbą kluczowych hipotez, kontrola odsetka fałszywych odkryć może być niewystarczająca.
• Interpretowanie FDR jako prawdopodobieństwa dla pojedynczej hipotezy. Poziom FDR 0,05 nie oznacza, że każda odrzucona hipoteza ma 5-procentowe ryzyko bycia fałszywym odkryciem.
• Kontynuowanie procedury Holma po pierwszym niepowodzeniu. W procedurze step-down pierwsze niespełnienie warunku zatrzymuje odrzucanie kolejnych hipotez.
• Zmiana metody po obejrzeniu wyników. Wybór korekty powinien wynikać z planu analizy, a nie z chęci uzyskania większej liczby wyników istotnych.
• Pomijanie definicji rodziny hipotez. Nie jest obojętne, czy korektę stosujemy do trzech głównych punktów końcowych, czy do wszystkich analiz wykonanych w projekcie.
• Mylenie istotności z ważnością kliniczną. Korekta wpływa na decyzję statystyczną, ale nie nadaje efektowi znaczenia praktycznego.
• Uzależnianie wniosku wyłącznie od wartości p. Należy analizować także wielkość efektu, przedział ufności, jakość pomiaru i konsekwencje decyzji.

Co warto zapamiętać?

• Procedura Holma jest sekwencyjną wersją poprawki Bonferroniego i kontroluje FWER.
• Holm jest zwykle co najmniej tak mocny jak klasyczny Bonferroni, zachowując jego rygor dotyczący choćby jednego błędu I rodzaju.
• Procedura Benjamini–Hochberga kontroluje oczekiwany odsetek fałszywych odkryć wśród odrzuconych hipotez.
• FWER i FDR opisują różne rodzaje ochrony statystycznej; wybór między nimi zależy od celu badania.
• FDR jest szczególnie użyteczny w analizach wielowymiarowych i eksploracyjnych, lecz nie gwarantuje, że konkretne odkrycie jest prawdziwe.
• Przy zależności między testami trzeba sprawdzić, czy założenia wybranej procedury są uzasadnione; w razie potrzeby można rozważyć bardziej konserwatywne rozwiązania.
• Każdy wynik po korekcie powinien być interpretowany razem z wielkością efektu, przedziałem ufności i znaczeniem praktycznym.

Najważniejsza zasada brzmi: nie wybieraj korekty dlatego, że daje więcej wyników istotnych. Wybierz ją dlatego, że kontrolowany przez nią błąd odpowiada pytaniu badawczemu i konsekwencjom decyzji. Holm jest rozsądnym wyborem, gdy chcesz zachować ochronę przed choćby jednym fałszywym odkryciem, ale zmniejszyć konserwatywność Bonferroniego. FDR jest właściwsza wtedy, gdy akceptujesz kontrolowany, niewielki odsetek fałszywych sygnałów w zamian za większą zdolność wykrywania potencjalnie ważnych efektów.

Źródła i dalsza lektura

1. Holm, S. (1979). A simple sequentially rejective multiple test procedure. Scandinavian Journal of Statistics, 6(2), 65–70. DOI: 10.2307/4615733.
2. Benjamini, Y.; Hochberg, Y. (1995). Controlling the false discovery rate: A practical and powerful approach to multiple testing. Journal of the Royal Statistical Society: Series B (Methodological), 57(1), 289–300. DOI: 10.1111/j.2517-6161.1995.tb02031.x.
3. Benjamini, Y.; Yekutieli, D. (2001). The control of the false discovery rate in multiple testing under dependency. The Annals of Statistics, 29(4), 1165–1188. DOI: 10.1214/aos/1013699998.
4. Shaffer, J. P. (1995). Multiple hypothesis testing. Annual Review of Psychology, 46, 561–584. DOI: 10.1146/annurev.ps.46.020195.003021.
5. Storey, J. D. (2002). A direct approach to false discovery rates. Journal of the Royal Statistical Society: Series B (Statistical Methodology), 64(3), 479–498. DOI: 10.1111/1467-9868.00346.

Więcej kolejnych lekcji publicznego szkolenia znajdziesz na statystyk.edu.pl.