457. Wielokrotne korelacje i problem wielokrotnego testowania

W analizach empirycznych rzadko oblicza się tylko jedną korelację. Badacz może zestawić poziom stresu z tętnem, ciśnieniem skurczowym, jakością snu, liczbą godzin pracy i wynikiem kwestionariusza depresji. Jeżeli każdą zależność oceni osobnym testem przy poziomie α = 0,05, rośnie prawdopodobieństwo, że przynajmniej jeden wynik okaże się „istotny” wyłącznie wskutek losowej zmienności. To właśnie problem wielokrotnego testowania.

W tej lekcji wyjaśnimy, czym różni się pojedynczy test od rodziny testów, dlaczego liczba korelacji ma znaczenie, jakie błędy kontrolują poszczególne procedury oraz jak raportować wyniki zgodnie z dobrymi praktykami metodologii badań. Temat stanowi naturalne rozwinięcie wcześniejszych lekcji kursu na statystyka.edu.pl poświęconych macierzy korelacji, korelacji cząstkowej i interpretacji wartości p.

1. Od pojedynczej korelacji do rodziny testów

Załóżmy, że badacz oblicza korelację Pearsona między poziomem hemoglobiny glikowanej a każdą z sześciu zmiennych: wiekiem, BMI, aktywnością fizyczną, czasem snu, ciśnieniem skurczowym i wynikiem skali stresu. Powstaje sześć hipotez zerowych:

• H_0,1: korelacja z wiekiem jest równa zero;
• H_0,2: korelacja z BMI jest równa zero;
• H_0,3: korelacja z aktywnością fizyczną jest równa zero;
• i analogicznie dla pozostałych zmiennych.

Każda hipoteza może być rozsądna sama w sobie. Problem pojawia się wtedy, gdy wnioski z całego zestawu testów traktujemy jako jedną analizę, ale nadal używamy poziomu 0,05 dla każdego testu bez żadnej refleksji nad łącznym ryzykiem błędu.

Warto odróżnić pojedynczy poziom błędu I rodzaju od rodzinnego poziomu błędu I rodzaju. Pojedynczy poziom α = 0,05 odnosi się do jednego testu: przy założeniu prawdziwości hipotezy zerowej ryzyko odrzucenia jej wskutek losowego wyniku wynosi najwyżej 5%, jeśli procedura i jej założenia są prawidłowe. Nie oznacza to prawdopodobieństwa, że hipoteza zerowa jest prawdziwa.

Rodzinny poziom błędu I rodzaju (FWER, family-wise error rate) to prawdopodobieństwo popełnienia co najmniej jednego błędu I rodzaju w całej rodzinie testów. Rodzina może obejmować na przykład wszystkie korelacje przewidziane w jednym celu badawczym, wszystkie korelacje między jednym biomarkerem a zestawem wyników klinicznych albo wszystkie testy uznane w protokole za podstawę jednego wniosku.

2. Dlaczego wiele testów zwiększa ryzyko fałszywego odkrycia?

Jeżeli wykonujemy m niezależnych testów, a każda hipoteza zerowa jest prawdziwa, prawdopodobieństwo, że żaden test nie da przypadkowo wyniku istotnego, wynosi:

P(żaden wynik nie będzie istotny) = (1 − α)m

Zatem prawdopodobieństwo uzyskania co najmniej jednego pozornie istotnego wyniku wynosi:

FWER = 1 − (1 − α)m

gdzie:

• α – poziom istotności pojedynczego testu, na przykład 0,05;
• m – liczba testów w rozpatrywanej rodzinie;
• FWER – prawdopodobieństwo co najmniej jednego fałszywego odrzucenia hipotezy zerowej.

Dla 20 niezależnych testów przy α = 0,05 otrzymujemy około 0,642. Oznacza to, że nawet przy całkowitym braku rzeczywistych zależności prawdopodobieństwo uzyskania przynajmniej jednego wyniku p < 0,05 może wynosić około 64%. Współczynniki korelacji w praktyce często nie są niezależne, zwłaszcza gdy zmienne są ze sobą powiązane. Nie można więc bezrefleksyjnie stosować powyższego wzoru jako dokładnego opisu każdej macierzy korelacji. Intuicja pozostaje jednak ważna: im więcej prób poszukiwania „istotności”, tym większe ryzyko przypadkowego trafienia.

3. Wielokrotne korelacje a eksploracyjny charakter analizy

Nie każda macierz korelacji wymaga automatycznego zastosowania tej samej korekty. Najpierw trzeba ustalić, jaki wniosek ma być wyciągnięty z analizy.

Analiza potwierdzająca

W badaniu potwierdzającym z góry określa się główną hipotezę, najważniejszą zmienną wynikową i sposób analizy. Jeżeli decyzja o skuteczności interwencji lub istnieniu związku ma opierać się na kilku korelacjach jednocześnie, należy wcześniej zaplanować sposób kontroli błędu. Dotyczy to szczególnie badań klinicznych, badań z wieloma punktami końcowymi i analiz, w których wynik ma prowadzić do konkretnej decyzji.

Analiza eksploracyjna

W analizie eksploracyjnej badacz może badać wzorce zależności i generować hipotezy do kolejnych badań. Korekta nie powinna służyć do ukrywania liczby wykonanych analiz. Trzeba jasno opisać, ile korelacji obliczono, które były zaplanowane, a które wynikały z przeglądu danych. Wynik eksploracyjny nie powinien być przedstawiany jako ostateczne potwierdzenie hipotezy. W takim przypadku ważne są replikacja, przedziały ufności, wielkość korelacji i ostrożny język wnioskowania.

Wytyczne CONSORT zwracają uwagę, że wiele punktów końcowych i analiz utrudnia interpretację wyników, a główne wyniki powinny być wyraźnie zdefiniowane przed analizą (Moher et al., 2010). Podobnie w badaniach obserwacyjnych należy przejrzyście opisać wszystkie analizowane zmienne i strategie analityczne, co jest zgodne z duchem STROBE (von Elm et al., 2007).

4. Najważniejsze procedury korekty

Korekta Bonferroniego

Najprostsza procedura polega na zastąpieniu poziomu α poziomem:

αBonf = α / m

Jeżeli wykonano 10 testów i zaplanowano kontrolę FWER na poziomie 0,05, pojedynczy wynik uznaje się za istotny dopiero przy p ≤ 0,005. Równoważnie można pomnożyć każdą wartość p przez liczbę testów:

pskorygowane = min(m × p, 1)

Bonferroni jest łatwy do wyjaśnienia i działa także wtedy, gdy testy są zależne. Jego wadą może być nadmierna konserwatywność, zwłaszcza przy dużej liczbie silnie powiązanych korelacji. Wzrasta wtedy ryzyko błędu II rodzaju, czyli przeoczenia rzeczywistej zależności. Nie oznacza to jednak, że Bonferroni jest „błędem”; procedura odpowiada na określone pytanie: jak ograniczyć prawdopodobieństwo choćby jednego fałszywego odkrycia w rodzinie testów.

Procedura Holma

Procedura Holma jest sekwencyjną wersją korekty Bonferroniego i również kontroluje FWER. Najpierw porządkujemy wartości p rosnąco: p₍₁₎ ≤ p₍₂₎ ≤ … ≤ p_(m). Następnie porównujemy je kolejno z:

α/(m − i + 1)

dla i = 1, 2, …, m. Procedura zatrzymuje się przy pierwszym niespełnionym kryterium; późniejszych hipotez nie odrzuca się. W praktyce Holma jest zazwyczaj co najmniej tak samo czuła jak klasyczny Bonferroni, a zachowuje kontrolę FWER. Z tego powodu jest często dobrym wyborem dla niewielkiej lub umiarkowanej liczby zaplanowanych korelacji.

Kontrola FDR

W analizach o dużej liczbie hipotez, na przykład w badaniach omicznych, neuroobrazowaniu lub szerokich analizach kwestionariuszowych, interesujące może być kontrolowanie odsetka fałszywych odkryć (FDR, false discovery rate), a nie prawdopodobieństwa wystąpienia choćby jednego błędu.

Procedura Benjamini–Hochberga porządkuje wartości p i poszukuje największego indeksu k, dla którego:

p(k) ≤ (k/m) × q

gdzie:

• m – liczba testów;
• k – pozycja uporządkowanej wartości p;
• q – założony poziom FDR, na przykład 0,05.

Odrzuca się hipotezy odpowiadające wartościom od p₍₁₎ do p_(k). FDR nie oznacza, że prawdopodobieństwo każdego pojedynczego wyniku fałszywie dodatniego wynosi 5%. Oznacza kontrolę oczekiwanego odsetka fałszywych odkryć wśród wszystkich odrzuconych hipotez, przy założeniach danej procedury. Metoda jest często bardziej czuła niż Bonferroni, ale jej interpretacja wymaga większej ostrożności (Benjamini i Hochberg, 1995).

5. Przykład medyczny: korelacje w badaniu pacjentów z cukrzycą

W badaniu przekrojowym analizowano 120 osób z cukrzycą typu 2. Badacze chcieli sprawdzić, czy poziom HbA1c koreluje z pięcioma zmiennymi: BMI, czasem trwania choroby, aktywnością fizyczną, jakością snu i wynikiem stresu. Otrzymano następujące wartości:

Zmienna	r	p niekorygowane
BMI	0,24	0,008
Czas trwania choroby	0,18	0,049
Aktywność fizyczna	−0,21	0,021
Jakość snu	−0,12	0,190
Stres	0,16	0,080

Przy zwykłym progu 0,05 trzy korelacje zostałyby uznane za istotne. Jeśli jednak pięć korelacji tworzy jedną rodzinę, próg Bonferroniego wynosi 0,01. Po tej korekcie pozostaje istotna tylko korelacja HbA1c z BMI. Procedura Holma może dać podobny, choć nieco mniej konserwatywny wynik.

Wniosek nie powinien brzmieć: „aktywność fizyczna nie ma związku z HbA1c”. Bardziej poprawne będzie: „w analizowanej rodzinie pięciu korelacji związek HbA1c z BMI pozostał istotny po korekcie Holma; pozostałe oszacowania nie dostarczyły wystarczających dowodów przy przyjętej procedurze kontroli FWER”. Brak istotności po korekcie nie dowodzi braku zależności. Należy uwzględnić przedziały ufności, moc badania, wielkość próby i wielkości efektów.

6. Przykład psychologiczny: macierz korelacji i FDR

Psycholog analizuje 30 pozycji kwestionariusza dobrostanu oraz 10 wskaźników zdrowia psychicznego. Łącznie może powstać 300 korelacji. Jeśli każdą oceni przy p < 0,05, uzyskanie kilku małych wartości p może być przypadkowe. W takiej sytuacji klasyczny Bonferroni może być bardzo restrykcyjny, zwłaszcza gdy pozycje kwestionariusza są silnie skorelowane.

Jeżeli celem jest wyszukanie obiecujących wzorców do dalszego badania, badacz może zastosować FDR, na przykład na poziomie 5%, i przedstawić wartości p skorygowane metodą Benjamini–Hochberga. Powinien jednocześnie zaznaczyć, że analiza ma charakter eksploracyjny, podać pełną liczbę testów oraz zaprezentować macierz lub tabelę wszystkich wyników, a nie tylko korelacje spełniające próg.

7. Co powinno znaleźć się w raporcie?

1. liczba wykonanych korelacji i sposób zdefiniowania rodziny testów;
2. informacja, które hipotezy były pierwotnie zaplanowane;
3. wybrana procedura korekty i uzasadnienie jej zastosowania;
4. wartości r, przedziały ufności oraz wartości p – najlepiej surowe i skorygowane;
5. opis brakujących danych, obserwacji odstających i sposobu obliczenia korelacji;
6. rozróżnienie analiz potwierdzających i eksploracyjnych;
7. ostrożny język, bez sugerowania przyczynowości w badaniu obserwacyjnym.

Warto raportować wielkość efektu, ponieważ sama wartość p nie mówi, czy zależność jest silna ani ważna klinicznie. Korelacja r = 0,12 może być statystycznie istotna w bardzo dużej próbie, lecz mieć małe znaczenie praktyczne. Z kolei korelacja r = 0,35 w małej próbie może nie osiągnąć istotności, mimo że może być warta dalszego badania.

Najczęstsze błędy

• Raportowanie tylko istotnych korelacji. To ukrywa zakres analizy i zwiększa ryzyko selektywnego przedstawiania wyników.
• Automatyczne stosowanie Bonferroniego do każdej tabeli. Najpierw należy ustalić, jakie testy tworzą jedną rodzinę i jaki błąd chcemy kontrolować.
• Traktowanie wartości p jako prawdopodobieństwa prawdziwości hipotezy zerowej. Wartość p opisuje zgodność danych z hipotezą zerową przy założeniach modelu, a nie prawdopodobieństwo, że H₀ jest prawdziwa.
• Mylenie FWER z FDR. FWER kontroluje ryzyko choćby jednego fałszywego odrzucenia, natomiast FDR odnosi się do oczekiwanego odsetka fałszywych odkryć wśród wyników uznanych za istotne.
• Wnioskowanie o braku związku na podstawie nieistotnego p. Potrzebne są przedziały ufności i ocena precyzji oszacowania.
• Ignorowanie korelacji między testami. Zależność testów wpływa na efektywność procedur, choć nie usuwa problemu wielokrotnego testowania.
• Zmiana procedury po obejrzeniu wyników bez wyjaśnienia. Strategię analizy należy planować wcześniej albo jasno oznaczyć ją jako post hoc.

Analiza przypadku

Badacz analizuje 12 korelacji między trzema wymiarami wypalenia zawodowego a czterema wskaźnikami zdrowia pielęgniarek. W protokole wskazał, że główną hipotezą jest związek wyczerpania emocjonalnego z jakością snu. Pozostałe korelacje mają charakter pomocniczy.

Najlepszym rozwiązaniem nie jest mechaniczne traktowanie wszystkich 12 wyników jako równoważnych. Główną korelację można analizować zgodnie z wcześniej określonym planem, natomiast pozostałe wyniki należy opisać jako wtórne i rozważyć korektę Holma albo FDR, zależnie od celu. Jeżeli autor chce wyciągnąć jeden ogólny wniosek na podstawie całego zestawu, powinien kontrolować odpowiedni rodzinny błąd. Jeżeli celem jest generowanie hipotez, można zastosować FDR, ale konieczne jest wyraźne oznaczenie eksploracyjnego charakteru wyników.

W badaniu przekrojowym można mówić o współwystępowaniu lub statystycznym związku. Nie należy pisać, że wypalenie „powoduje” zaburzenia snu, ponieważ sam projekt przekrojowy nie ustala kolejności czasowej ani nie eliminuje wpływu czynników zakłócających.

Co warto zapamiętać?

• Wielokrotne korelacje tworzą problem wielokrotnego testowania, ponieważ wiele prób zwiększa ryzyko przypadkowego wyniku istotnego.
• Najpierw trzeba określić rodzinę testów i cel analizy, a dopiero potem wybrać procedurę.
• Bonferroni i Holm kontrolują FWER; Holm jest zwykle bardziej efektywny od prostego Bonferroniego.
• Benjamini–Hochberg kontroluje FDR i bywa użyteczny przy dużej liczbie hipotez eksploracyjnych.
• Korekta nie zastępuje raportowania wielkości efektu, przedziałów ufności i znaczenia praktycznego.
• Wartość p nie jest prawdopodobieństwem prawdziwości H₀.
• Pełny raport powinien ujawniać liczbę testów, sposób korekty oraz wszystkie istotne decyzje analityczne.

Najważniejsza zasada brzmi: nie pytaj wyłącznie, czy pojedyncza korelacja jest istotna. Zapytaj także, ile korelacji obliczono, jaki zbiór hipotez tworzą, jaki błąd ma być kontrolowany i czy rozmiar zaobserwowanej zależności ma znaczenie dla problemu badawczego.

Źródła i dalsza lektura

1. Benjamini, Y., Hochberg, Y. (1995). Controlling the False Discovery Rate: A Practical and Powerful Approach to Multiple Testing. Journal of the Royal Statistical Society: Series B (Methodological), 57(1), 289–300. DOI: 10.1111/j.2517-6161.1995.tb02031.x.
2. Perneger, T. V. (1998). What’s wrong with Bonferroni adjustments. BMJ, 316(7139), 1236. DOI: 10.1136/bmj.316.7139.1236.
3. Bender, R., Lange, S. (2001). Adjusting for multiple testing—when and how?. Journal of Clinical Epidemiology, 54(4), 343–349. DOI: 10.1016/S0895-4356(00)00314-0.
4. Dmitrienko, A., D’Agostino, R. B., Sr. (2013). Traditional multiplicity adjustment methods in clinical trials. Statistics in Medicine, 32(29), 5172–5218. DOI: 10.1002/sim.5990.
5. Schulz, K. F., Grimes, D. A. (2005). Multiplicity in randomised trials I: endpoints and treatments. The Lancet, 365(9470), 1591–1595. DOI: 10.1016/S0140-6736(05)66461-6.
6. Moher, D., Hopewell, S., Schulz, K. F., Montori, V., Gøtzsche, P. C., Devereaux, P. J., Elbourne, D., Egger, M., Altman, D. G. (2010). CONSORT 2010 Explanation and Elaboration: updated guidelines for reporting parallel group randomised trials. BMJ, 340, c869. DOI: 10.1136/bmj.c869.
7. von Elm, E., Altman, D. G., Egger, M., Pocock, S. J., Gøtzsche, P. C., Vandenbroucke, J. P., for the STROBE Initiative (2007). The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) Statement: Guidelines for Reporting Observational Studies. PLoS Medicine, 4(10), e296. DOI: 10.1371/journal.pmed.0040296.

Więcej kolejnych lekcji publicznego szkolenia znajdziesz na statystyk.edu.pl.