317. Bootstrapowe przedziały ufności – kiedy są przydatne?

W poprzedniej lekcji poznaliśmy intuicję bootstrapu jako metody wielokrotnego odtwarzania próby z wykorzystaniem danych, które już zebrano. Teraz przechodzimy do najważniejszego zastosowania tej procedury: konstrukcji przedziałów ufności. Pytanie brzmi nie tylko, jak je obliczyć, lecz przede wszystkim: kiedy bootstrapowe przedziały ufności rzeczywiście są przydatne, a kiedy mogą dawać złudne poczucie precyzji?

Bootstrap jest szczególnie atrakcyjny wtedy, gdy rozkład estymatora jest trudny do wyprowadzenia analitycznie albo gdy klasyczne wzory opierają się na założeniach słabo zgodnych z danymi. Nie oznacza to jednak, że jest metodą automatycznie poprawną. Resampling nie naprawi niereprezentatywnej próby, zależności obserwacji, błędów pomiaru ani niewłaściwie zdefiniowanego estymatora.

1. Czym jest bootstrapowy przedział ufności?

Załóżmy, że dysponujemy próbą obserwacji:

x1, x2, ..., xn

oraz interesuje nas parametr populacji θ, na przykład:

• średnie skurczowe ciśnienie tętnicze;
• mediana czasu oczekiwania na pomoc ratowniczą;
• różnica odsetków pacjentów, u których wystąpiło zdarzenie niepożądane;
• współczynnik korelacji między nasileniem lęku a jakością snu;
• iloraz szans lub ryzyko względne.

Na podstawie próby obliczamy estymator θ̂. Sam estymator punktowy nie mówi jednak, jak bardzo wynik mógłby się zmienić, gdybyśmy pobrali inną próbę z tej samej populacji. Przedział ufności ma opisać niepewność związaną z estymacją.

W bootstrapie tworzymy wiele prób resamplowanych poprzez losowanie ze zwracaniem z próby pierwotnej. Każda próba bootstrapowa ma zazwyczaj taką samą liczebność jak próba wyjściowa. Dla każdej z nich obliczamy interesującą nas statystykę:

θ̂*1, θ̂*2, ..., θ̂*B

gdzie:

• B oznacza liczbę replikacji bootstrapowych;
• θ̂*b jest wartością estymatora w b-tej próbie bootstrapowej;
• gwiazdka * wskazuje, że wynik pochodzi z próby resamplowanej, a nie z próby pierwotnej.

Zbiór wartości θ̂* przybliża empiryczny rozkład próbkowania estymatora. Na jego podstawie możemy wyznaczyć granice przedziału ufności, często przez odpowiednie kwantyle tego rozkładu.

2. Dlaczego bootstrap może być użyteczny?

2.1. Gdy rozkład estymatora jest asymetryczny

Wiele klasycznych przedziałów ufności ma postać:

estymator ± wartość krytyczna × błąd standardowy

Takie rozwiązanie jest naturalne, gdy rozkład estymatora jest w przybliżeniu symetryczny i można go dobrze opisać rozkładem normalnym lub t-Studenta. Problem pojawia się wtedy, gdy rozkład jest skośny. Dotyczy to między innymi czasu przeżycia, czasu hospitalizacji, kosztów leczenia, czasu oczekiwania lub poziomów biomarkerów.

Bootstrap może odtworzyć asymetrię widoczną w danych. Przedział bootstrapowy nie musi być symetrycznie położony wokół estymatora punktowego. Jest to zaleta, jeśli asymetria odzwierciedla rzeczywistą strukturę zmienności, a nie przypadkowy artefakt małej próby.

2.2. Gdy interesuje nas statystyka trudna do analitycznej oceny

Łatwo jest wyznaczyć klasyczny przedział dla średniej, zwłaszcza przy dużej próbie. Znacznie trudniej może być uzyskać wzór dla mediany, różnicy median, współczynnika korelacji rangowej, pola pod krzywą ROC, miary predykcyjnej albo złożonej funkcji parametrów modelu.

W takich sytuacjach bootstrap pozwala zastosować jednolity schemat: w każdej próbie bootstrapowej ponownie obliczamy tę samą statystykę. Nie musimy za każdym razem wyprowadzać jej rozkładu od podstaw. Jest to szczególnie wygodne w analizie klinicznej i epidemiologicznej, gdzie wynik może być funkcją kilku etapów obliczeń.

2.3. Gdy standardowy błąd nie ma prostej postaci

W niektórych analizach standardowy błąd estymatora zależy od wielu parametrów, a jego wzór jest skomplikowany lub wymaga silnych założeń. Bootstrap pozwala oszacować zmienność estymatora na podstawie rozrzutu wartości uzyskanych w próbach resamplowanych.

Nie oznacza to jednak, że bootstrap usuwa potrzebę myślenia o modelu. W analizie danych zależnych, warstwowych, klastrowych lub podłużnych zwykłe losowanie pojedynczych obserwacji może być nieprawidłowe. Schemat resamplingu musi odzwierciedlać schemat badania.

3. Najważniejsze rodzaje bootstrapowych przedziałów ufności

3.1. Przedział percentylowy

Najprostszy przedział percentylowy wykorzystuje kwantyle bootstrapowego rozkładu estymatora. Dla dwustronnego przedziału 95% przyjmujemy zwykle 2,5. i 97,5. percentyl:

CI95% = [q0,025(θ̂*), q0,975(θ̂*)]

gdzie:

• CI95% oznacza bootstrapowy przedział ufności;
• q0,025 i q0,975 są odpowiednimi kwantylami;
• θ̂* oznacza rozkład wartości estymatora w próbach bootstrapowych.

Interpretacyjnie jest to intuicyjne: odrzucamy 2,5% najmniejszych i 2,5% największych wartości bootstrapowych. Metoda może być jednak niedokładna, gdy rozkład jest silnie obciążony lub gdy estymator wykazuje istotny bias.

3.2. Przedział basic bootstrap

W metodzie basic bootstrap wykorzystuje się odchylenie wartości bootstrapowych od estymatora z próby pierwotnej. W uproszczonej postaci granice otrzymuje się jako:

[2θ̂ − q0,975(θ̂*), 2θ̂ − q0,025(θ̂*)]

Ten wariant można rozumieć jako odbicie kwantyli bootstrapowych względem estymatora punktowego. Jego właściwości zależą od statystyki i warunków badania.

3.3. Przedział BCa

Przedział bias-corrected and accelerated, czyli BCa, uwzględnia dwa elementy: skorygowanie przesunięcia oraz przyspieszenie związane ze zmianą wariancji estymatora w różnych częściach próby. Metoda wymaga dodatkowych obliczeń, często opartych na jackknife, ale może lepiej radzić sobie z asymetrią i biasem niż prosty przedział percentylowy (Efron, 1987).

W praktyce BCa bywa rozsądnym wyborem dla wielu skalarowych statystyk, ale nie powinien być traktowany jako uniwersalnie najlepszy. Przy bardzo małych próbach, silnych obserwacjach wpływowych lub danych zależnych również może działać słabo.

3.4. Bootstrap-t, czyli przedział studentyzowany

W metodzie bootstrap-t resamplujemy nie tylko sam estymator, ale także jego odpowiednio standaryzowaną wersję:

T* = (θ̂* − θ̂) / SE(θ̂*)

gdzie:

• T* jest bootstrapową statystyką studentyzowaną;
• θ̂* jest estymatorem z próby bootstrapowej;
• θ̂ jest estymatorem z próby pierwotnej;
• SE(θ̂*) jest błędem standardowym estymatora w próbie bootstrapowej.

Metoda może mieć dobre własności teoretyczne, ale jest obliczeniowo bardziej wymagająca. Dla każdej próby bootstrapowej trzeba bowiem oszacować dodatkowy błąd standardowy.

4. Przykład 1: mediana czasu oczekiwania na pomoc ratowniczą

Załóżmy, że w badaniu jakości działania systemu ratownictwa przeanalizowano 80 zgłoszeń. Mediana czasu od przyjęcia zgłoszenia do przybycia zespołu wyniosła 11,4 minuty. Rozkład czasu był prawostronnie skośny: większość interwencji realizowano szybko, ale kilka przypadków trwało znacznie dłużej.

Klasyczny przedział oparty na przybliżeniu normalnym może być niewygodny, ponieważ mediana nie ma tak prostego rozkładu jak średnia. Badacz może więc:

1. losować ze zwracaniem 80 obserwacji z próby pierwotnej;
2. obliczyć medianę w każdej próbie;
3. powtórzyć procedurę, na przykład 10 000 razy;
4. wyznaczyć przedział percentylowy lub BCa.

Jeżeli 2,5. i 97,5. percentyl rozkładu bootstrapowego wyniosły odpowiednio 10,1 i 13,2 minuty, raport można sformułować następująco: „Mediana czasu oczekiwania wyniosła 11,4 minuty; bootstrapowy 95% przedział ufności wyniósł 10,1–13,2 minuty”.

Nie należy pisać, że istnieje 95% prawdopodobieństwo, iż prawdziwa mediana znajduje się w tym konkretnym przedziale. W klasycznej interpretacji częstościowej procedura tworzenia przedziałów ma w długiej serii powtórzeń pokrywać prawdziwy parametr z częstością bliską 95%, przy założeniu poprawności schematu i modelu.

5. Przykład 2: różnica odsetków działań niepożądanych

W randomizowanym badaniu porównano dwie metody leczenia bólu pooperacyjnego. W grupie standardowej działanie niepożądane wystąpiło u 18 z 120 pacjentów, a w grupie eksperymentalnej u 10 z 120 pacjentów. Estymowana różnica ryzyka wyniosła:

18/120 − 10/120 = 0,150 − 0,083 = 0,067

Oznacza to różnicę około 6,7 punktu procentowego. Można wyznaczyć przedział dla różnicy proporcji metodą klasyczną, ale bootstrap jest atrakcyjny wtedy, gdy badacz chce ocenić rozkład różnicy bez polegania na prostym przybliżeniu symetrycznym.

Ważne jest jednak, aby resampling wykonywać zgodnie z projektem badania. Jeśli grupy były niezależne, należy resamplować osobno w każdej grupie. Nie należy mieszać wszystkich 240 pacjentów do jednej puli, ponieważ zniszczyłoby to strukturę porównania.

Jeżeli bootstrapowy 95% przedział dla różnicy wynosi 0,001–0,134, wynik sugeruje dodatnią różnicę w obserwowanym kierunku. Nie wolno jednak ograniczać interpretacji do tego, czy przedział obejmuje zero. Trzeba również ocenić szerokość przedziału, jakość pomiaru, możliwe czynniki zakłócające i kliniczne znaczenie różnicy.

6. Przykład praktyczny: bootstrap dla współczynnika korelacji

W poradni psychologicznej zbadano 60 osób. Oceniono nasilenie lęku oraz jakość snu. Współczynnik korelacji Spearmana wyniósł ρ = −0,42. Ponieważ korelacja rangowa może mieć niestandardowy rozkład, szczególnie w małych próbach lub przy obecności obserwacji odstających, badacz zastosował bootstrap.

W każdej z 10 000 prób bootstrapowych losowano pary wyników, zachowując fakt, że wynik lęku i wynik jakości snu należą do tej samej osoby. Następnie obliczano współczynnik Spearmana. Przedział BCa wyniósł −0,61 do −0,18.

Najostrożniejszy wniosek brzmi: w badanej populacji, przy przyjętym modelu wnioskowania, dane są zgodne z ujemną zależnością o zakresie od słabej do umiarkowanie silnej. Sam przedział nie dowodzi, że lęk powoduje pogorszenie snu. Badanie obserwacyjne nie zapewnia bowiem podstaw do takiego wniosku przyczynowego.

7. Jak wybrać liczbę replikacji bootstrapowych?

Liczba replikacji B wpływa na stabilność granic przedziału. Zbyt mała liczba replikacji może powodować, że kwantyle będą zależeć od przypadkowych wahań generatora liczb losowych. W praktycznych analizach często stosuje się co najmniej kilka tysięcy replikacji, na przykład 5000 lub 10 000, choć właściwa liczba zależy od statystyki, metody i wymaganej dokładności.

Trzeba odróżnić dwie kwestie:

• niepewność statystyczną danych — opisywaną przez przedział ufności;
• błąd Monte Carlo procedury bootstrapowej — wynikający z ograniczonej liczby replikacji.

Zwiększenie liczby replikacji zmniejsza drugi rodzaj niepewności, ale nie naprawia problemów z pierwszym. Nie zastąpi również większej lub lepiej zaprojektowanej próby.

8. Kiedy bootstrap nie jest dobrym rozwiązaniem?

Bootstrap może być niewiarygodny, gdy próba jest bardzo mała i nie zawiera wystarczającej informacji o populacji. Jeśli w próbie występuje tylko kilka zdarzeń, resampling będzie wielokrotnie powielał te same obserwacje, a rozkład bootstrapowy może nie odzwierciedlać rzeczywistej zmienności.

Problem występuje również wtedy, gdy obserwacje nie są niezależne. W badaniu podłużnym nie należy bezrefleksyjnie losować pojedynczych pomiarów, ponieważ pomiary tej samej osoby są powiązane. W badaniu klastrowym właściwszy może być bootstrap klastrowy, w którym losuje się całe klastry. W badaniu złożonym można potrzebować bootstrapu warstwowego, blokowego albo innej procedury zgodnej z planem próbkowania.

Bootstrap może także zawodzić dla statystyk na granicy przestrzeni parametrów, na przykład gdy liczba obserwowanych zdarzeń wynosi zero, oraz dla estymatorów bardzo niestabilnych lub silnie zależnych od pojedynczych obserwacji.

Najczęstsze błędy

• Traktowanie bootstrapu jako gwarancji poprawności. Bootstrap jest metodą przybliżenia, a nie dowodem, że analiza jest trafna.
• Losowanie z niewłaściwej jednostki. W danych klastrowych lub podłużnych należy zachować strukturę zależności.
• Używanie małej liczby replikacji. Kilkaset replikacji może być niewystarczające do stabilnego wyznaczenia ogonów rozkładu.
• Automatyczne wybieranie BCa. BCa jest użytecznym wariantem, ale jego zastosowanie wymaga sprawdzenia, czy statystyka i próba pozwalają na sensowne obliczenia.
• Mylenie przedziału bootstrapowego z przedziałem predykcji. Przedział ufności opisuje niepewność parametru, a nie zakres przyszłych indywidualnych obserwacji.
• Interpretowanie p jako prawdopodobieństwa prawdziwości hipotezy zerowej. Bootstrapowy przedział nie zmienia częstościowej interpretacji p.
• Skupienie wyłącznie na tym, czy przedział obejmuje zero. Należy analizować także szerokość przedziału, wielkość efektu i znaczenie praktyczne.
• Wnioskowanie przyczynowe z badania obserwacyjnego. Sposób obliczenia przedziału nie zastępuje odpowiedniego projektu badania.

Co warto zapamiętać?

• Bootstrapowe przedziały ufności są przydatne, gdy rozkład estymatora jest trudny do wyprowadzenia albo wyraźnie asymetryczny.
• Procedura opiera się na wielokrotnym losowaniu ze zwracaniem z próby pierwotnej i ponownym obliczaniu estymatora.
• Przedział percentylowy jest prosty, natomiast BCa i bootstrap-t mogą lepiej uwzględniać bias, asymetrię lub studentyzację.
• Resampling musi odzwierciedlać strukturę badania: grupy, klastry, warstwy i powtarzane pomiary.
• Duża liczba replikacji zwiększa stabilność obliczeń, ale nie naprawia niereprezentatywnej próby ani błędnego projektu.
• Przedział ufności należy interpretować razem z estymatorem punktowym, szerokością przedziału, istotnością statystyczną i znaczeniem praktycznym.

W publicznym szkoleniu na statystyk.edu.pl bootstrap warto traktować jako narzędzie wspierające rozumowanie o niepewności, a nie jako przycisk automatycznie produkujący „lepszy” wynik. Dobra analiza zaczyna się od pytania, jaki parametr chcemy oszacować, jak zebrano dane i czy zastosowany schemat resamplingu zachowuje najważniejsze cechy badania.

Źródła i dalsza lektura

1. Efron, B. (1987). Better Bootstrap Confidence Intervals. Journal of the American Statistical Association, 82(397), 171–185. DOI: 10.1080/01621459.1987.10478410.
2. Carpenter, J.; Bithell, J. (2000). Bootstrap confidence intervals: when, which, what? A practical guide for medical statisticians. Statistics in Medicine, 19(9), 1141–1164. DOI: 10.1002/(SICI)1097-0258(20000515)19:9<1141::AID-SIM479>3.0.CO;2-F.
3. DiCiccio, T. J.; Efron, B. (1996). Bootstrap Confidence Intervals. Statistical Science, 11(3), 189–228. DOI: 10.1214/ss/1032280214.
4. Efron, B.; Tibshirani, R. J. (1993). An Introduction to the Bootstrap. 1st edition. Chapman & Hall. Informacja wydawcy / źródło.
5. Davison, A. C.; Hinkley, D. V. (1997). Bootstrap Methods and Their Application. 1st edition. Cambridge University Press. Informacja wydawcy / źródło.
6. Koehler, E.; Brown, E.; Haneuse, S. J.-P. (2009). On the Assessment of Monte Carlo Error in Simulation-Based Statistical Analyses. The American Statistician, 63(2), 155–162. DOI: 10.1198/tast.2009.0030.