071. Jedna hipoteza czy kilka – jak planować hierarchię testów?

W badaniu naukowym rzadko analizuje się tylko jedną zmienną i jeden wynik. Badacz może interesować się skutecznością interwencji, bezpieczeństwem, jakością życia, różnicami między podgrupami i kilkoma punktami pomiaru. Sam fakt sformułowania wielu pytań nie jest błędem. Problem pojawia się wtedy, gdy każde pytanie traktuje się tak, jakby było jedynym pytaniem w badaniu, a następnie wybiera się najbardziej atrakcyjny wynik. Celem tej lekcji jest pokazanie, jak zaplanować hierarchię hipotez i testów jeszcze przed analizą danych. Jest to element spójności między pytaniem badawczym, projektem badania, analizą statystyczną i interpretacją wyników, o której uczymy także w publicznym szkoleniu na statystyka.edu.pl.

Dlaczego wiele hipotez zmienia problem statystyczny?

Załóżmy, że dla pojedynczego testu przyjmujemy poziom istotności α = 0,05. Oznacza to, że procedura testowa jest skonstruowana tak, aby przy prawdziwej hipotezie zerowej prawdopodobieństwo odrzucenia jej nie przekraczało 5% — przy spełnieniu założeń danego testu. Nie oznacza to, że wartość p = 0,05 jest prawdopodobieństwem prawdziwości hipotezy zerowej.

Jeżeli wykonujemy kilka testów, rośnie prawdopodobieństwo, że przynajmniej jeden z nich okaże się „istotny” wyłącznie wskutek losowej zmienności. Dla uproszczenia, przy niezależnych testach i tej samej wartości α, prawdopodobieństwo uzyskania co najmniej jednego fałszywie dodatniego wyniku można zapisać jako:

FWER = 1 − (1 − α)m

• FWER oznacza family-wise error rate, czyli prawdopodobieństwo popełnienia co najmniej jednego błędu I rodzaju w rozpatrywanej rodzinie hipotez;
• α to poziom istotności pojedynczego testu;
• m to liczba testowanych hipotez;
• wzór jest ilustracją dla niezależności testów; zależności między wynikami zmieniają dokładną wartość, ale nie znoszą problemu wielokrotności.

Dla dziesięciu niezależnych testów przy α = 0,05 wartość ta wynosi około 40%. Nie znaczy to, że każde badanie z dziesięcioma analizami jest nieważne. Znaczy natomiast, że trzeba z góry określić, które hipotezy tworzą wspólną rodzinę wnioskowania i jaki rodzaj błędu ma być kontrolowany.

Jedna hipoteza, wiele hipotez i wiele analiz

Jedna hipoteza główna jest sensowna wtedy, gdy badanie ma jedno nadrzędne pytanie, jeden główny punkt końcowy i jedną zasadniczą procedurę wnioskowania. Nie oznacza to, że nie wolno opisywać innych wyników. Oznacza tylko, że pozostałe analizy powinny mieć jasno określony status.

Wiele hipotez potwierdzających występuje wtedy, gdy badanie ma kilka teoretycznie lub klinicznie ważnych celów, a wyniki mają stanowić podstawę formalnych wniosków. Przykładem może być badanie, w którym interwencja ma jednocześnie zmniejszać ciśnienie skurczowe i ryzyko hospitalizacji. Jeżeli oba cele są konieczne do uznania interwencji za skuteczną, można określić je jako hipotezy współgłówne. Jeżeli wystarczy potwierdzenie któregokolwiek z nich, jest to inna logika decyzyjna i wymaga innego planu kontroli błędu.

Wiele analiz jednej hipotezy pojawia się wtedy, gdy tę samą hipotezę sprawdza się wieloma metodami, w różnych podgrupach, w kilku punktach czasowych albo po różnych sposobach postępowania z brakami danych. Takie analizy również mogą zwiększać ryzyko wybiórczego raportowania. Nie zawsze należy mechanicznie sumować wszystkie analizy, ale trzeba jasno opisać, które były główne, które wrażliwościowe, a które eksploracyjne.

Hierarchia hipotez: od pytania najważniejszego do pomocniczego

Hierarchia testów to z góry ustalona kolejność lub struktura podejmowania decyzji statystycznych. Najczęściej obejmuje:

1. hipotezę główną — odnoszącą się do najważniejszego celu badania;
2. hipotezy współgłówne — kilka warunków, które muszą być spełnione łącznie;
3. hipotezy drugorzędne — ważne, lecz podporządkowane celowi głównemu;
4. hipotezy eksploracyjne — służące generowaniu nowych pytań, a nie formalnemu potwierdzeniu zaplanowanej tezy.

Hierarchia nie jest wyłącznie porządkiem redakcyjnym. Może określać, czy test drugorzędny zostanie wykonany formalnie dopiero po odrzuceniu hipotezy głównej. Takie podejście nazywa się często strategią sekwencyjną lub gatekeeping. W procedurze „bramkującej” wynik wcześniejszego testu decyduje o przejściu do kolejnego zbioru hipotez. Literatura dotycząca badań potwierdzających opisuje takie strategie jako sposób uwzględniania hierarchicznego układu celów przy zachowaniu kontroli błędu I rodzaju (Dmitrienko, Millen, Brechenmacher i Paux, 2011).

Co właściwie należy kontrolować?

Family-wise error rate

FWER jest właściwym celem wtedy, gdy badacz chce ograniczyć prawdopodobieństwo choćby jednego fałszywego odrzucenia hipotezy zerowej w określonej rodzinie testów. Jest to typowe dla badań potwierdzających, zwłaszcza gdy wynik ma wspierać decyzję kliniczną, regulacyjną lub organizacyjną.

Najprostszą metodą jest korekta Bonferroniego. Jeżeli mamy m hipotez, każdą testujemy przy poziomie:

αi = α / m

Można także skorygować wartości p, mnożąc je przez liczbę testów. Procedura Holma jest sekwencyjną wersją podejścia Bonferroniego i zwykle ma większą moc niż proste dzielenie poziomu alfa, przy zachowaniu kontroli FWER.

False discovery rate

W badaniach wielowymiarowych, na przykład w analizie ekspresji genów, neuroobrazowaniu lub dużych badaniach przesiewowych, często testuje się setki albo tysiące hipotez. W takich sytuacjach stosuje się czasem kontrolę FDR, czyli oczekiwanego odsetka fałszywych odkryć wśród hipotez odrzuconych. Procedura Benjamini–Hochberga może być bardziej wydajna niż procedury kontrolujące FWER, ale odpowiada na inne pytanie i nie powinna być automatycznie używana w miejsce kontroli FWER w badaniu potwierdzającym (Benjamini i Hochberg, 1995).

Decyzja między FWER a FDR wynika z celu badania. W badaniu klinicznym, w którym każde „pozytywne” rozstrzygnięcie może prowadzić do twierdzenia o skuteczności leczenia, zwykle ważniejsza jest ochrona przed choćby jednym fałszywym wnioskiem. W badaniu eksploracyjnym, którego celem jest wyszukanie obiecujących sygnałów do dalszych badań, kontrola FDR może być uzasadniona.

Najważniejsze strategie planowania testów

Strategia 1: jeden główny punkt końcowy

Najprostsze rozwiązanie polega na wskazaniu jednego głównego wyniku, jednej głównej hipotezy i określeniu pozostałych zmiennych jako drugorzędnych lub eksploracyjnych. To rozwiązanie zwiększa przejrzystość, lecz wymaga, aby główny punkt końcowy rzeczywiście reprezentował najważniejszy efekt praktyczny.

Strategia 2: hipotezy współgłówne

W tym schemacie sukces wymaga spełnienia kilku warunków. Przykładowo, leczenie może być uznane za skuteczne tylko wtedy, gdy poprawia zarówno wynik kliniczny, jak i funkcjonowanie pacjenta. Jeśli wszystkie hipotezy muszą być prawdziwe, testowanie ich przy pełnym poziomie alfa może być uzasadnione, ale konsekwencją jest mniejsza moc dla decyzji wymagającej spełnienia wszystkich warunków. Planowanie liczebności próby powinno uwzględniać ten wymóg.

Strategia 3: testowanie sekwencyjne

Hipotezy porządkuje się według znaczenia. Najpierw testuje się hipotezę główną, następnie — tylko przy spełnieniu ustalonego warunku — hipotezę drugorzędną. Można przydzielać pełny poziom alfa kolejnej hipotezie po sukcesie poprzedniej albo stosować bardziej złożone procedury przekazywania alfa. Wymaga to jednoznacznego protokołu i planu analizy.

Strategia 4: podział alfa

Jeżeli kilka hipotez ma podobne znaczenie, poziom alfa można podzielić, na przykład 0,03 dla hipotezy głównej i 0,02 dla rodziny hipotez drugorzędnych. Podział nie powinien być ustalany po obejrzeniu danych. Należy także uzasadnić, dlaczego dana hipoteza otrzymała określoną część „budżetu” alfa.

Strategia 5: osobne rodziny hipotez

Nie wszystkie analizy muszą należeć do jednej rodziny. Można zdefiniować osobno rodzinę głównych punktów końcowych, rodzinę porównań między grupami i rodzinę analiz podgrup. Takie rozdzielenie musi jednak wynikać z sensu naukowego, a nie z chęci uniknięcia korekty. Problem wielokrotności dotyczy nie tylko liczby kolumn w tabeli, lecz także liczby decyzji i twierdzeń, które badacz zamierza sformułować.

Przykład 1: badanie interwencji pielęgniarskiej

Załóżmy, że zespół ocenia program edukacyjny dla pacjentów z niewydolnością serca. Główne pytanie brzmi: czy po 12 tygodniach program zmniejsza liczbę ponownych hospitalizacji? Drugorzędne pytania dotyczą jakości życia, przestrzegania zaleceń i poziomu wiedzy pacjentów.

Poprawny plan może wyglądać następująco:

• hipoteza główna: program zmniejsza ryzyko ponownej hospitalizacji w ciągu 12 tygodni;
• hipotezy drugorzędne: program poprawia wynik skali jakości życia i wynik testu wiedzy;
• analizy eksploracyjne: różnice w zależności od wieku, płci i liczby wcześniejszych hospitalizacji.

Jeżeli badanie ma charakter potwierdzający, główna hipoteza powinna być testowana przy ustalonym poziomie alfa, a hipotezy drugorzędne — zgodnie z wcześniej opisanym mechanizmem kontroli wielokrotności. Analizy podgrup należy interpretować ostrożnie, zwłaszcza gdy nie były wcześniej zaplanowane i nie zapewniono dla nich odpowiedniej liczebności próby. Wynik „istotny” w jednej podgrupie i nieistotny w drugiej nie dowodzi jeszcze, że podgrupy różnią się między sobą; potrzebny jest bezpośredni test interakcji.

Przykład 2: badanie zdrowia psychicznego studentów

Badacz analizuje, czy sześciotygodniowy program mindfulness zmniejsza objawy lęku i depresji oraz poprawia jakość snu. Jeśli wszystkie trzy wyniki są traktowane jako równorzędne, nie należy po prostu wykonać trzech testów przy p < 0,05 i ogłosić sukcesu na podstawie jednego z nich. Możliwe są co najmniej trzy rozwiązania.

1. Wybranie jednego głównego wyniku, na przykład objawów lęku, oraz oznaczenie dwóch pozostałych jako drugorzędnych.
2. Zdefiniowanie trzech hipotez współgłównych, jeśli teoria zakłada konieczność poprawy wszystkich trzech obszarów.
3. Zastosowanie ustalonej procedury kontroli FWER dla trzech wyników, jeśli sukces może być ogłoszony na podstawie dowolnego z nich.

W każdym wariancie należy raportować estymowany efekt, przedział ufności, wartość p oraz znaczenie praktyczne. Na przykład spadek wyniku lęku o 1 punkt może być statystycznie istotny, ale klinicznie mało odczuwalny. Odwrotnie, umiarkowany efekt o szerokim przedziale ufności może być praktycznie ważny, lecz wymagać większej próby do precyzyjnego oszacowania.

Jak zapisać hierarchię w protokole i planie analizy?

Dobry plan powinien odpowiadać na kilka pytań:

1. Jaki jest nadrzędny cel badania?
2. Która hipoteza jest główna i jaki dokładnie wynik ją operacjonalizuje?
3. Które hipotezy są współgłówne, drugorzędne, a które eksploracyjne?
4. Jak zdefiniowano rodzinę hipotez?
5. Czy kontrolowany będzie FWER, FDR, czy inna miara błędu?
6. Jaka procedura zostanie zastosowana i w jakiej kolejności?
7. Co stanie się, jeśli hipoteza główna nie zostanie odrzucona?
8. Jak będą raportowane wyniki nieistotne statystycznie?

Plan powinien powstać przed odblokowaniem danych i przed wyborem najbardziej korzystnej analizy. ICH E9 podkreśla znaczenie wcześniejszego określenia celów, metod statystycznych i sposobu interpretacji wyników, a wytyczne FDA dotyczące wielu punktów końcowych wskazują na potrzebę grupowania i porządkowania celów oraz kontroli ryzyka błędnych wniosków (ICH, 1998; FDA, 2022).

W raporcie z badania trzeba wyraźnie odróżnić analizę zaplanowaną od dodatkowej. Standardy raportowania badań randomizowanych wymagają przejrzystego przedstawienia wyników dla punktów końcowych, a rozszerzenie CONSORT dotyczące wyników zwraca szczególną uwagę na kompletność i jednoznaczność ich definiowania (Schulz i in., 2010; Butcher i in., 2022).

Najczęstsze błędy

• Traktowanie każdego testu jako niezależnego badania. Wykonanie wielu testów przy tym samym alfa bez określenia rodziny hipotez może zwiększać ryzyko fałszywych odkryć.
• Uczynienie hipotezy głównej z wyniku, który okazał się najciekawszy. To forma retrospektywnego dopasowywania planu do danych.
• Mechaniczne używanie korekty Bonferroniego. Korekta jest narzędziem, a nie substytutem rozumowania o strukturze pytań.
• Nazywanie wszystkich analiz „potwierdzającymi”. Analiza eksploracyjna może być wartościowa, ale wymaga innego języka i często późniejszego potwierdzenia.
• Mylenie braku istotności z brakiem efektu. Nieodrzucenie hipotezy zerowej nie dowodzi jej prawdziwości. Trzeba ocenić wielkość efektu i precyzję oszacowania.
• Pomijanie korelacji między punktami końcowymi. Zależność wyników może wpływać na moc i efektywność procedury, ale nie uzasadnia dowolnego pomijania problemu wielokrotności.
• Nadmierne eksponowanie analiz podgrup. Wiele podgrup zwiększa liczbę testów, a nieplanowane różnice mogą być przypadkowe.
• Brak informacji o hierarchii w publikacji. Czytelnik powinien wiedzieć, który wynik był główny i jakie reguły decydowały o formalnych wnioskach.

Przykład praktyczny: prosta mapa decyzji

Badanie porównuje lek A z placebo. Punkt końcowy główny to zmiana wyniku bólu po 8 tygodniach. Drugorzędne punkty końcowe to funkcjonowanie fizyczne i jakość snu. Badacz ustala następujący plan:

1. Najpierw testuje hipotezę główną przy alfa = 0,05.
2. Jeżeli wynik główny jest zgodny z zaplanowanym kryterium, testuje rodzinę dwóch punktów drugorzędnych procedurą Holma przy zachowaniu FWER = 0,05.
3. Jeżeli wynik główny nie spełnia kryterium, wyniki drugorzędne przedstawia jako estymacje i analizy wspierające, bez formułowania potwierdzających twierdzeń o skuteczności.
4. Analizy płci, wieku i czasu trwania choroby opisuje jako eksploracyjne, wraz z interakcjami i przedziałami ufności.

Tak zaplanowana hierarchia nie „ukrywa” wyników drugorzędnych. Przeciwnie — umożliwia ich uczciwe przedstawienie, ale zapobiega temu, aby przypadkowy wynik z wielu analiz został przedstawiony jako główny dowód skuteczności.

Co warto zapamiętać?

• Wiele hipotez jest dopuszczalne, ale wymaga jawnej hierarchii i planu analizy.
• Hipoteza główna powinna wynikać z celu badania, a nie z tego, który wynik okazał się najbardziej atrakcyjny.
• FWER kontroluje ryzyko co najmniej jednego fałszywego odrzucenia w rodzinie hipotez; FDR kontroluje oczekiwany odsetek fałszywych odkryć wśród odrzuconych hipotez.
• Strategie sekwencyjne i gatekeeping pozwalają odzwierciedlić hierarchię celów, ale muszą być określone przed analizą.
• Istotność statystyczna nie zastępuje oceny wielkości efektu, przedziału ufności i znaczenia praktycznego.
• Wynik eksploracyjny może być naukowo wartościowy, lecz powinien być opisany jako eksploracyjny i wymagać potwierdzenia w kolejnym badaniu.
• Najlepsza hierarchia testów to taka, która jest zgodna z teorią, projektem badania, klinicznym znaczeniem wyników i możliwościami próby.

\n

Źródła i dalsza lektura

\n

1. Food and Drug Administration (2022). Multiple Endpoints in Clinical Trials: Guidance for Industry. U.S. Food and Drug Administration. Źródło.
2. International Council for Harmonisation of Technical Requirements for Pharmaceuticals for Human Use (1998). E9 Statistical Principles for Clinical Trials. ICH. Źródło.
3. Benjamini, Yoav; Hochberg, Yosef (1995). Controlling the False Discovery Rate: A Practical and Powerful Approach to Multiple Testing. Journal of the Royal Statistical Society: Series B (Methodological), 57(1), 289–300. DOI: 10.1111/j.2517-6161.1995.tb02031.x.
4. Shaffer, Juliet P. (1995). Multiple Hypothesis Testing. Annual Review of Psychology, 46, 561–584. DOI: 10.1146/annurev.ps.46.020195.003021.
5. Dmitrienko, Alex; Millen, Brian A.; Brechenmacher, Thomas; Paux, Gautier (2011). Development of gatekeeping strategies in confirmatory clinical trials. Biometrical Journal, 53(6), 875–893. DOI: 10.1002/bimj.201100036.
6. Schulz, Kenneth F.; Altman, Douglas G.; Moher, David; CONSORT Group (2010). CONSORT 2010 Statement: updated guidelines for reporting parallel group randomised trials. BMJ, 340, c332. DOI: 10.1136/bmj.c332.
7. Butcher, Nancy J.; Monsour, Aiysha; Mew, Emma J.; Chan, Alvin W.; Moher, David; Mayo-Wilson, Evan; Terwee, Caroline B.; Chee-Aloy, Emily; Baba, Amina; Gavin, Fiona; Grimshaw, Jeremy M.; et al. (2022). Guidelines for Reporting Outcomes in Trial Reports: The CONSORT-Outcomes 2022 Extension. JAMA, 328(22), 2252–2264. DOI: 10.1001/jama.2022.21022.

\n

Więcej kolejnych lekcji publicznego szkolenia znajdziesz na statystyk.edu.pl.