304. Przedział ufności 95% – poprawna interpretacja

W poprzednich lekcjach omówiliśmy estymację punktową, estymację przedziałową oraz błąd standardowy. Teraz skupimy się na jednym z najczęściej raportowanych wyników analiz: 95% przedziale ufności. Jest on bardzo użyteczny, ale tylko wtedy, gdy interpretujemy go zgodnie z logiką wnioskowania statystycznego. Najczęstszy błąd polega na stwierdzeniu, że „istnieje 95% prawdopodobieństwa, iż prawdziwa wartość parametru znajduje się w otrzymanym przedziale”. W klasycznym, częstościowym ujęciu nie jest to poprawna interpretacja.

Celem tej lekcji jest wyjaśnienie, co rzeczywiście oznacza przedział ufności 95%, jak oblicza się go w podstawowych sytuacjach oraz jak łączyć jego interpretację z wielkością efektu, precyzją oszacowania i znaczeniem praktycznym. Temat jest kluczowy zarówno w badaniach medycznych, jak i psychologicznych, pielęgniarskich, epidemiologicznych oraz społecznych. W szkoleniu na statystyk.edu.pl warto traktować tę lekcję jako pomost między mechanicznym odczytywaniem tabel a dojrzałą interpretacją wyników.

Czym jest przedział ufności?

Przedział ufności jest zakresem wartości wyznaczonym na podstawie danych z próby. Ma on informować o niepewności związanej z estymacją nieznanego parametru populacji, na przykład średniej, odsetka, różnicy średnich, ilorazu szans albo ryzyka względnego.

Załóżmy, że interesuje nas średnie ciśnienie skurczowe w określonej populacji. Nie badamy wszystkich jej członków, lecz pobieramy próbę i obliczamy średnią arytmetyczną. Otrzymana średnia jest estymatorem punktowym. Nie wiemy jednak, jak bardzo może różnić się od rzeczywistej średniej populacyjnej. Przedział ufności pokazuje zakres wyników zgodnych z procedurą estymacji i przyjętymi założeniami modelu.

W klasycznym ujęciu częstościowym parametr populacji jest traktowany jako stały, choć nieznany. Losowy jest przedział, ponieważ zależy on od losowej próby. Gdybyśmy wielokrotnie pobierali próby w ten sam sposób i dla każdej z nich obliczali przedział 95%, to w długiej serii powtórzeń około 95% tak skonstruowanych przedziałów obejmowałoby prawdziwą wartość parametru. Około 5% przedziałów nie obejmowałoby jej, mimo że zostały skonstruowane zgodnie z tą samą procedurą.

To właśnie jest ścisłe znaczenie poziomu ufności. Nie oznacza on prawdopodobieństwa przypisanego już obliczonemu, konkretnemu przedziałowi. Po uzyskaniu danych i wyznaczeniu przedziału parametr nadal ma jedną stałą wartość; nie „losuje się” ona wraz z obliczaniem przedziału.

Wzór dla średniej

W podstawowej sytuacji, gdy estymujemy średnią populacyjną na podstawie próby, przedział ufności można zapisać w postaci:

przedział ufności = średnia z próby ± wartość krytyczna × błąd standardowy średniej

Dla dużej próby i przybliżenia normalnego często zapisuje się go jako:

CI95% = x̄ ± 1,96 × SE(x̄)

Oznaczenia mają następujące znaczenie:

• x̄ – średnia arytmetyczna w próbie;
• SE(x̄) – błąd standardowy średniej, czyli miara zmienności średniej między hipotetycznymi próbami;
• 1,96 – przybliżona wartość krytyczna rozkładu normalnego dla centralnego obszaru 95%;
• CI_95% – otrzymany przedział ufności dla średniej populacyjnej.

Jeżeli próba jest mała, a odchylenie standardowe populacji nie jest znane, zwykle stosuje się rozkład t-Studenta i odpowiednią wartość krytyczną t. Wtedy wzór ma postać:

CI95% = x̄ ± t0,975; df × s/√n

W tym wzorze s oznacza odchylenie standardowe w próbie, n – liczebność próby, a df – liczbę stopni swobody, najczęściej równą n − 1. Dobór wzoru nie jest jednak jedynym problemem. Równie ważne są: sposób pobrania próby, niezależność obserwacji, jakość pomiaru, poprawność modelu oraz adekwatność metody dla danego typu danych.

Jak poprawnie interpretować przedział 95%?

Interpretacja częstościowa

Poprawne sformułowanie powinno odnosić się do procedury, a nie do prawdopodobieństwa konkretnego przedziału. Możemy powiedzieć:

„Na podstawie zastosowanej procedury estymacji otrzymano 95% przedział ufności od 118 do 124 mmHg. Procedura ta, powtarzana wielokrotnie w takich samych warunkach, konstruowałaby przedziały obejmujące prawdziwą średnią populacyjną w około 95% przypadków.”

W praktycznych publikacjach dopuszcza się krótsze sformułowania, na przykład: „średnie ciśnienie wynosiło 121 mmHg, 95% CI [118; 124]”. Taka forma jest standardowa i wystarczająca, jeżeli czytelnik zna znaczenie przedziału. Nie należy jednak dopisywać, że „prawdopodobieństwo, iż prawdziwa średnia leży między 118 a 124 mmHg, wynosi 95%”, jeśli posługujemy się klasyczną interpretacją częstościową.

Interpretacja jako informacji o precyzji

Szerokość przedziału informuje o precyzji oszacowania. Wąski przedział sugeruje mniejszą niepewność estymacji, natomiast szeroki – większą. Na szerokość wpływają przede wszystkim liczebność próby, zmienność pomiarów oraz zastosowana metoda estymacji. Większa próba zwykle zmniejsza błąd standardowy, ale nie naprawia błędu systematycznego wynikającego na przykład z niereprezentatywnego doboru uczestników.

Warto odróżnić precyzję od trafności. Możemy uzyskać bardzo wąski przedział wokół wartości obciążonej błędem systematycznym. Przykładowo, jeśli urządzenie pomiarowe systematycznie zaniża ciśnienie o 5 mmHg, duża liczba pomiarów może dać bardzo precyzyjne, lecz nieprawidłowe oszacowanie.

Przykład 1: średnie natężenie bólu po zabiegu

W badaniu pielęgniarskim oceniono natężenie bólu u 100 pacjentów sześć godzin po zabiegu, używając skali od 0 do 10. Średnia wyniosła 5,2 punktu, a 95% przedział ufności wyniósł [4,8; 5,6].

Poprawna interpretacja brzmi: średnie natężenie bólu w próbie wynosiło 5,2 punktu, a przedział [4,8; 5,6] przedstawia niepewność estymacji średniego natężenia bólu w populacji, przy założeniach przyjętej metody.

Możemy także powiedzieć, że oszacowanie jest dość precyzyjne, ponieważ przedział ma szerokość 0,8 punktu. Nie wolno jednak automatycznie uznać, że wynik jest klinicznie istotny. O znaczeniu praktycznym decyduje kontekst: na przykład minimalna ważna klinicznie różnica może wynosić 1 punkt. Jeśli celem badania było sprawdzenie, czy ból przekracza średnią 4 punkty, cały przedział znajduje się powyżej tej wartości. Jeśli natomiast chciano ustalić, czy średni ból jest niższy niż 5 punktów, przedział obejmuje zarówno wartości poniżej, jak i powyżej 5. Wniosek zależy więc od pytania badawczego oraz wcześniej określonego progu interpretacyjnego.

Przykład 2: odsetek szczepień w społeczności

W badaniu zdrowia publicznego spośród 400 dorosłych mieszkańców 292 zadeklarowało aktualne szczepienie przeciw grypie. Odsetek w próbie wyniósł 73%. Załóżmy, że poprawnie obliczony 95% przedział ufności dla odsetka wynosi [68,4%; 77,2%].

Nie oznacza to, że prawdopodobieństwo, iż prawdziwy odsetek zaszczepionych wynosi między 68,4% a 77,2%, jest równe 95%. Poprawna interpretacja częstościowa mówi, że procedura zastosowana do takich prób daje przedziały obejmujące prawdziwy odsetek populacyjny w około 95% powtórzeń.

Wniosek praktyczny może być następujący: dane wskazują na poziom wyszczepienia około 73%, a niepewność oszacowania jest umiarkowana. Jeżeli lokalny program zdrowotny przyjął cel 20%, uzyskany przedział leży znacznie powyżej tej wartości, co przemawia za tym, że w badanej populacji poziom wyszczepienia jest prawdopodobnie wyższy od proponowanego celu. Nadal trzeba uwzględnić możliwość błędu deklaracji, brak odpowiedzi, sposób doboru próby oraz to, czy próba rzeczywiście reprezentuje mieszkańców.

Przedział ufności a istotność statystyczna

W wielu analizach 95% przedział ufności jest powiązany z dwustronnym testem hipotezy przy poziomie istotności α = 0,05. Jeżeli przedział dla różnicy obejmuje wartość 0, wynik może być zgodny z brakiem różnicy w sensie klasycznego testu. Jeżeli przedział dla ilorazu ryzyka, ilorazu szans lub ilorazu częstości obejmuje wartość 1, wynik może być zgodny z brakiem względnego efektu.

Nie należy jednak sprowadzać przedziału ufności wyłącznie do testu „istotne–nieistotne”. Przedział pokazuje zakres wartości efektu zgodnych z procedurą, a więc pozwala ocenić zarówno kierunek, jak i możliwą wielkość efektu. Wynik może być statystycznie istotny, ale praktycznie mały. Odwrotnie, efekt może być praktycznie ważny, lecz przedział szeroki i obejmujący wartość zerową z powodu małej próby. Takie badanie nie dowodzi braku efektu; wskazuje raczej na niewystarczającą precyzję do rozstrzygnięcia problemu.

W interpretacji należy więc zadać trzy osobne pytania:

1. Jaki jest oszacowany efekt?
2. Jak szeroki jest przedział, czyli jak precyzyjne jest oszacowanie?
3. Czy wartości zawarte w przedziale są ważne z punktu widzenia praktyki klinicznej, psychologicznej, społecznej lub organizacyjnej?

Czego przedział ufności nie mówi?

Przedział ufności nie jest przedziałem zawierającym 95% pojedynczych obserwacji. Do tego celu służy przedział predykcji albo opis rozkładu danych. Nie informuje też bezpośrednio o tym, gdzie znajduje się 95% osób w populacji. Jeśli oszacowano średnią masę ciała, przedział ufności dotyczy średniej, a nie masy ciała poszczególnych osób.

Przedział ufności nie jest również prawdopodobieństwem prawdziwości hipotezy zerowej. Nie można powiedzieć, że przedział obejmujący zero oznacza 95% szans na brak efektu. Nie wolno także interpretować wartości p jako prawdopodobieństwa prawdziwości hipotezy zerowej. Zarówno p-value, jak i przedział ufności zależą od modelu, danych i założeń analizy (Greenland i in., 2016; Wasserstein i Lazar, 2016).

Wreszcie, przedział ufności nie rozwiązuje problemu przyczynowości. W badaniu obserwacyjnym wąski przedział dla związku między paleniem a objawami oddechowymi nie wystarcza do stwierdzenia, że zaobserwowany związek ma charakter przyczynowy. O tym decydują przede wszystkim projekt badania, kontrola czynników zakłócających i wiarygodność rozumowania przyczynowego.

Najczęstsze błędy

• Błąd 1: „Jest 95% prawdopodobieństwa, że parametr znajduje się w przedziale”. To sformułowanie miesza interpretację częstościową z bayesowską. W klasycznym przedziale parametr jest stały, a losowa jest procedura tworzenia przedziału.
• Błąd 2: „Przedział obejmuje zero, więc nie ma efektu”. Taki przedział oznacza, że dane są zgodne także z zerowym efektem, ale mogą być również zgodne z efektami istotnymi praktycznie. Często wskazuje to na małą precyzję.
• Błąd 3: „Wąski przedział gwarantuje prawdziwy wynik”. Precyzja nie eliminuje błędu systematycznego, błędu pomiaru ani problemu niereprezentatywnej próby.
• Błąd 4: „Brak istotności oznacza równoważność”. Nieistotny wynik nie dowodzi, że grupy są takie same. Do wykazania równoważności potrzebny jest odpowiednio zaplanowany test równoważności i określenie granic akceptowalnej różnicy.
• Błąd 5: porównywanie przedziałów dla dwóch średnich zamiast analizowania przedziału dla różnicy. W badaniach porównawczych najważniejszy jest przedział dla właściwego kontrastu, na przykład różnicy średnich, ilorazu ryzyka albo różnicy odsetków.
• Błąd 6: pomijanie metody obliczeń. Przedziały dla odsetków, ilorazów, współczynników regresji i danych zależnych wymagają odpowiednich metod. Prosty wzór normalny nie zawsze jest adekwatny.

Przykład praktyczny: porównanie dwóch metod edukacji

W badaniu quasi-eksperymentalnym porównano wynik testu wiedzy z zakresu pierwszej pomocy u osób szkolonych metodą tradycyjną i metodą symulacyjną. Średnia różnica wyniku, obliczona jako wynik grupy symulacyjnej minus wynik grupy tradycyjnej, wyniosła 6,4 punktu. 95% przedział ufności dla różnicy wyniósł [1,1; 11,7] punktu.

Najpierw opisujemy kierunek i wielkość efektu: średni wynik był o 6,4 punktu wyższy w grupie szkolonej z użyciem symulacji. Następnie oceniamy precyzję: przedział jest dość szeroki, ponieważ dopuszcza zarówno niewielką różnicę 1,1 punktu, jak i większą różnicę 11,7 punktu. Wreszcie odnosimy wynik do znaczenia praktycznego. Jeżeli za minimalnie ważną różnicę uznano 5 punktów, przedział obejmuje wartości poniżej tego progu, więc badanie nie daje całkowicie jednoznacznej odpowiedzi o praktycznej doniosłości efektu, mimo że przedział nie obejmuje zera.

Wniosek „symulacja powoduje poprawę wyników” byłby ponadto zbyt mocny, jeśli grupy nie zostały losowo przydzielone, a uczestnicy różnili się wcześniejszym doświadczeniem. Bez odpowiedniego schematu badania należy mówić o różnicy wyników związanej z metodą szkolenia, a nie o pewnym efekcie przyczynowym. Taki sposób raportowania łączy informację o efekcie, precyzji i ograniczeniach projektu.

Jak raportować przedział ufności?

W raporcie należy podać estymatę punktową, poziom ufności, granice przedziału, jednostkę miary oraz – gdy ma to znaczenie – metodę obliczeń. Przykładowo:

„Średnia liczba godzin snu wynosiła 6,8 godziny; 95% CI [6,4; 7,2]. Przedział wskazuje na umiarkowanie precyzyjne oszacowanie średniego czasu snu w populacji objętej badaniem.”

W przypadku efektów względnych trzeba wyraźnie zaznaczyć, że wartości neutralne są inne niż zero. Dla różnicy średnich i różnicy odsetków wartością neutralną jest 0. Dla ilorazu szans, ryzyka względnego i ilorazu częstości jest nią 1. Sam zapis przedziału powinien być uzupełniony interpretacją rzeczową, a nie tylko oceną, czy przekracza umowny próg 0,05.

Co warto zapamiętać?

• 95% przedział ufności opisuje niepewność estymacji, a nie 95% zakres obserwacji.
• W klasycznym ujęciu częstościowym 95% odnosi się do długookresowego działania procedury, nie do prawdopodobieństwa konkretnego już obliczonego przedziału.
• Wąski przedział oznacza większą precyzję, ale nie gwarantuje braku błędu systematycznego.
• Przedział należy interpretować razem z estymatą punktową, jednostką miary i kontekstem badania.
• Istotność statystyczna, wielkość efektu i znaczenie praktyczne to trzy różne kwestie.
• Przedział obejmujący wartość neutralną nie dowodzi braku efektu; może wskazywać na nieprecyzyjne dane.
• W badaniach porównawczych analizujemy przedział dla różnicy lub innego kontrastu, a nie tylko osobne przedziały dla każdej grupy.
• Poprawna interpretacja wymaga uwzględnienia projektu badania, jakości danych i założeń użytej metody.

Najbardziej dojrzały sposób czytania wyniku „95% CI” można streścić następująco: jaki efekt oszacowano, jak precyzyjnie go oszacowano i czy zakres możliwych wartości ma znaczenie praktyczne? Dopiero odpowiedź na wszystkie trzy pytania pozwala przejść od samego wyniku liczbowego do rzetelnego wniosku naukowego.

Źródła i dalsza lektura

1. Greenland, S.; Senn, S. J.; Rothman, K. J.; Carlin, J. B.; Poole, C.; Goodman, S. N.; Altman, D. G. (2016). Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations. European Journal of Epidemiology, 31, 337–350. DOI: 10.1007/s10654-016-0149-3.
2. Morey, R. D.; Hoekstra, R.; Rouder, J. N.; Lee, M. D.; Wagenmakers, E.-J. (2016). The fallacy of placing confidence in confidence intervals. Psychonomic Bulletin & Review, 23(1), 103–123. DOI: 10.3758/s13423-015-0947-8.
3. Cumming, G.; Finch, S. (2005). Inference by eye: confidence intervals and how to read pictures of data. American Psychologist, 60(2), 170–180. DOI: 10.1037/0003-066X.60.2.170.
4. Guyatt, G.; Jaeschke, R.; Heddle, N.; Cook, D.; Shannon, H.; Walter, S. (1995). Basic statistics for clinicians: 2. Interpreting study results: confidence intervals. CMAJ, 152(2), 169–173. Pełny opis źródła.
5. Altman, D. G.; Bland, J. M. (1995). Absence of evidence is not evidence of absence. BMJ, 311(7003), 485. DOI: 10.1136/bmj.311.7003.485.
6. Wasserstein, R. L.; Lazar, N. A. (2016). The ASA’s statement on p-values: context, process, and purpose. The American Statistician, 70(2), 129–133. DOI: 10.1080/00031305.2016.1154108.