302. Estymator – jakie cechy powinien mieć?

W poprzedniej lekcji rozróżniliśmy estymację punktową i przedziałową. Teraz przechodzimy do pytania bardziej podstawowego, ale zarazem bardziej technicznego: kiedy estymator można uznać za dobry? Sama możliwość obliczenia liczby na podstawie próby nie wystarcza. Estymator powinien dostarczać wyników możliwie trafnych, stabilnych i użytecznych dla celu badania. W praktyce trzeba także ocenić, jak zachowuje się przy powtarzaniu losowania próby, jak reaguje na obserwacje odstające oraz czy jego własności wynikają z realistycznych założeń.

Temat ten jest ważny zarówno w teorii statystyki, jak i w analizie danych medycznych, psychologicznych czy społecznych. W szkoleniu na statystyk.edu.pl estymatory pojawiają się jako ogniwo łączące rozkłady z próbkowania z przedziałami ufności i wnioskowaniem o populacji.

Estymator i estymata – dwa podobne, lecz różne pojęcia

Załóżmy, że interesuje nas nieznany parametr populacji, oznaczony przez θ. Może to być na przykład średnie skurczowe ciśnienie tętnicze w populacji pacjentów, odsetek osób palących w województwie albo przeciętna wartość wyniku kwestionariusza depresji.

Estymator jest regułą obliczania wartości parametru na podstawie danych z próby. Formalnie zapisuje się go jako funkcję zmiennych losowych:

θ̂ = T(X₁, X₂, ..., Xₙ)

gdzie:

• θ̂ – estymator nieznanego parametru θ;
• T – określona reguła lub funkcja;
• X₁, ..., Xₙ – obserwacje losowe w próbie;
• n – liczebność próby.

Przykładem estymatora średniej populacyjnej μ jest średnia arytmetyczna:

X̄ = (X₁ + X₂ + ... + Xₙ) / n

Przed zaobserwowaniem danych X̄ jest zmienną losową, ponieważ zależy od tego, jakie osoby lub przypadki trafią do próby. Po zebraniu danych otrzymujemy konkretną liczbę, na przykład x̄ = 137,4 mmHg. Ta konkretna liczba to estymata. Krótko mówiąc: estymator jest procedurą, a estymata – jej wynikiem w konkretnej próbie.

Najważniejsze cechy dobrego estymatora

Nie istnieje jedna uniwersalna lista własności, która w każdej sytuacji rozstrzyga, który estymator jest najlepszy. Klasyczna teoria estymacji analizuje jednak kilka cech szczególnie często: nieobciążoność, zgodność, efektywność, mały błąd średniokwadratowy oraz odporność. Współczesna praktyka dodaje do tego stabilność obliczeniową, interpretowalność i adekwatność do projektu badania.

Nieobciążoność

Estymator θ̂ jest nieobciążony dla parametru θ, jeżeli jego wartość oczekiwana jest równa rzeczywistemu parametrowi:

E(θ̂) = θ

Wartość oczekiwana oznacza średni wynik, jaki otrzymalibyśmy w bardzo dużej liczbie hipotetycznych powtórzeń badania, przy takim samym sposobie losowania próby. Jeżeli:

E(θ̂) − θ = 0

to obciążenie estymatora wynosi zero. Jeżeli różnica jest różna od zera, mówimy o estymatorze obciążonym.

Intuicyjnie nieobciążoność oznacza, że estymator nie przesuwa się systematycznie w jedną stronę. Nie oznacza jednak, że każda pojedyncza estymata będzie bliska parametrowi. Estymator nieobciążony może mieć dużą zmienność, a więc w konkretnej próbie dawać wynik znacznie odbiegający od wartości populacyjnej.

Przykładem jest średnia arytmetyczna jako estymator średniej populacyjnej. Przy standardowych założeniach dotyczących losowania próby spełnia ona warunek E(X̄) = μ. Natomiast wariancja z mianownikiem n − 1 jest nieobciążonym estymatorem wariancji populacyjnej, podczas gdy wariancja z mianownikiem n ma w skończonych próbach obciążenie. Nie oznacza to automatycznie, że wariant z mianownikiem n − 1 będzie zawsze praktycznie najlepszy; wybór zależy od celu i modelu.

Zgodność

Zgodność oznacza, że wraz ze wzrostem liczebności próby estymator zbliża się do prawdziwego parametru. Najczęściej chodzi o zgodność według prawdopodobieństwa:

θ̂ₙ → θ w prawdopodobieństwie, gdy n → ∞.

W zapisie definicyjnym dla każdego ε > 0 zachodzi:

P(|θ̂ₙ − θ| > ε) → 0

Oznacza to, że prawdopodobieństwo popełnienia błędu większego niż dowolnie ustalona tolerancja ε maleje do zera wraz ze zwiększaniem próby. Zgodność jest własnością asymptotyczną. Nie mówi więc sama przez się, jak dobrze estymator działa przy n = 20 albo n = 80.

Nieobciążoność i zgodność to różne cechy. Estymator może być nieobciążony, lecz bardzo zmienny, albo obciążony w małym stopniu, ale zgodny, jeżeli obciążenie zanika wraz z liczebnością próby. W praktyce niewielkie obciążenie może być akceptowalne, jeżeli w zamian uzyskujemy znacznie mniejszą wariancję.

Efektywność

Jeżeli dwa estymatory są nieobciążone dla tego samego parametru, naturalne jest pytanie, który z nich jest bardziej precyzyjny. Klasycznym kryterium jest wariancja:

Var(θ̂)

Estymator o mniejszej wariancji jest – w tym sensie – bardziej efektywny. Ma mniejszy rozrzut wyników w hipotetycznych powtórzeniach badania.

W prostym modelu normalnym średnia arytmetyczna może być bardzo efektywnym estymatorem średniej populacyjnej. Jeżeli jednak rozkład danych ma ciężkie ogony lub występują wartości odstające, mediana może mieć korzystniejsze zachowanie praktyczne, mimo że w idealnym modelu normalnym jej wariancja bywa większa. Efektywność nie jest zatem absolutną etykietą: zawsze odnosi się do konkretnego modelu, klasy estymatorów i kryterium oceny.

W teorii można porównywać wariancję estymatora z dolnymi granicami, na przykład wynikającymi z informacji Fishera. Takie porównania wymagają jednak poprawnie określonego modelu prawdopodobieństwa, regularności oraz właściwego rozumienia parametru (Fisher, 1922; Lehmann i Casella, 1998).

Błąd średniokwadratowy

Sama wariancja nie wystarcza, gdy estymator jest obciążony. Wtedy przydatny jest błąd średniokwadratowy (MSE, mean squared error):

MSE(θ̂) = E[(θ̂ − θ)²]

Można go rozłożyć na wariancję i kwadrat obciążenia:

MSE(θ̂) = Var(θ̂) + [Bias(θ̂)]²

gdzie:

• Var(θ̂) – zmienność estymatora między próbami;
• Bias(θ̂) = E(θ̂) − θ – obciążenie estymatora;
• [Bias(θ̂)]² – kwadrat obciążenia.

Rozkład ten pokazuje ważny kompromis. Estymator z niewielkim obciążeniem może mieć dużo mniejszą wariancję niż estymator nieobciążony. Wówczas jego MSE może być mniejszy. W zastosowaniach medycznych oznacza to, że procedura lekko upraszczająca wynik może być korzystniejsza niż procedura formalnie nieobciążona, jeśli daje znacznie stabilniejsze oszacowania.

Odporność

Odporność opisuje, jak estymator reaguje na naruszenie założeń, obserwacje odstające lub niewielkie zanieczyszczenie danych. Średnia arytmetyczna może silnie zmienić się pod wpływem pojedynczej bardzo dużej obserwacji. Mediana zwykle reaguje na taką obserwację słabiej.

Nie oznacza to, że mediana jest zawsze lepsza. Jeżeli ekstremalne wartości są prawdziwymi obserwacjami i niosą ważną informację kliniczną, ich automatyczne „odporne” osłabianie może być niepożądane. Odporność jest więc cechą pożądaną wtedy, gdy źródłem problemu są błędy pomiaru, przypadki nietypowe albo realistyczne odstępstwa od modelu, a nie wtedy, gdy badacz chce ukryć niewygodne wyniki. Rozwój estymatorów odpornych wiąże się między innymi z pracą Hubera (1964).

Dwa przykłady porównania estymatorów

Przykład 1: ciśnienie tętnicze

W badaniu pilotażowym zmierzono skurczowe ciśnienie tętnicze u 10 osób. Dziewięć wyników mieściło się między 118 a 146 mmHg, ale u jednej osoby zapisano 260 mmHg. Mogło to być prawdziwe ciężkie nadciśnienie, błąd urządzenia albo błąd wpisania danych.

Średnia arytmetyczna zostanie silnie podwyższona przez wartość 260 mmHg. Mediana będzie znacznie mniej wrażliwa. Jeżeli celem jest opis typowego uczestnika, mediana może być rozsądnym estymatorem położenia. Jeżeli natomiast badanie dotyczy częstości skrajnie wysokich pomiarów lub ryzyka klinicznego, usunięcie tej obserwacji tylko dlatego, że wpływa na średnią byłoby nieuzasadnione.

Dobry wybór estymatora wymaga zatem sprawdzenia: czy obserwacja jest wiarygodna, jaki parametr ma być oszacowany, czy dane są reprezentatywne oraz czy planowana analiza była określona przed obejrzeniem wyników.

Przykład 2: odsetek szczepień

Załóżmy, że w losowej próbie 400 dorosłych mieszkańców 312 zadeklarowało przyjęcie określonej szczepionki. Estymatorem proporcji populacyjnej p jest:

p̂ = X / n = 312 / 400 = 0,78

Estymata wynosi więc 0,78, czyli 78%. W standardowym modelu losowania prostego proporcja z próby jest naturalnym estymatorem odsetka w populacji. Jej jakość zależy jednak nie tylko od wzoru, lecz także od sposobu doboru uczestników, jakości pytania, braków danych oraz tego, czy osoby nieuczestniczące w badaniu różnią się od uczestników.

Estymator może być formalnie poprawny w modelu losowania prostego, a mimo to prowadzić do nietrafnych wniosków, gdy próba jest obciążona selekcyjnie. Właściwości estymatora zawsze odnoszą się do określonego mechanizmu generowania danych.

Estymator a przedział ufności

Estymator punktowy podaje pojedynczą wartość, ale nie pokazuje bezpośrednio jej niepewności. Do tego służy przedział ufności. Jego szerokość zależy między innymi od zmienności estymatora i liczebności próby. Estymator o mniejszej wariancji zwykle prowadzi do węższego przedziału, przy pozostałych warunkach takich samych.

Nie należy jednak utożsamiać wąskiego przedziału z automatycznie dobrym oszacowaniem. Przedział może być wąski, ponieważ próba jest duża, lecz przesunięty z powodu błędu systematycznego, niereprezentatywnego doboru lub błędnego modelu. Precyzja nie jest tym samym co trafność.

Warto też pamiętać, że 95-procentowy przedział ufności nie oznacza, że po obliczeniu konkretnego przedziału prawdopodobieństwo zawarcia parametru wynosi 95%. W interpretacji częstościowej 95% odnosi się do procedury: przy wielokrotnym powtarzaniu losowania i konstruowania przedziałów około 95% takich przedziałów pokrywałoby prawdziwy parametr, jeśli model i założenia są poprawne.

Jak oceniać estymator w praktyce?

1. Zdefiniuj parametr. Ustal, czy interesuje Cię średnia, mediana, proporcja, iloraz szans, różnica średnich czy inna wielkość.
2. Określ populację i mechanizm doboru próby. Estymator ocenia się względem populacji, do której ma odnosić się wniosek.
3. Sprawdź skalę pomiaru i jakość danych. Inaczej postępuje się z wynikiem ciągłym, binarnym, porządkowym i z czasem do zdarzenia.
4. Porównaj obciążenie i wariancję. Nie pytaj wyłącznie, czy estymator jest nieobciążony.
5. Zbadaj odporność. Oceń wpływ wartości odstających, braków danych i naruszeń założeń.
6. Uwzględnij liczebność próby. Własności asymptotyczne mogą nie być wiarygodnym opisem małej próby.
7. Raportuj niepewność. Podawaj błąd standardowy, przedział ufności lub inną adekwatną miarę niepewności.

W wielu zastosowaniach warto rozważyć metody bootstrapowe. Bootstrap polega na wielokrotnym tworzeniu prób wtórnych z danych i pozwala przybliżać rozkład estymatora, zwłaszcza gdy klasyczne wzory są trudne do zastosowania (Efron, 1979). Nie jest jednak magicznym rozwiązaniem: nie naprawia niereprezentatywnej próby, błędów pomiaru ani zależności nieuwzględnionych w schemacie resamplingu.

Najczęstsze błędy

• Traktowanie estymatora i estymaty jako synonimów. Estymator jest regułą, a estymata wynikiem zastosowania tej reguły do danych.
• Uznawanie nieobciążoności za gwarancję dobrego wyniku. Estymator nieobciążony może być bardzo nieprecyzyjny.
• Mylenie precyzji z trafnością. Wąski przedział nie eliminuje błędu systematycznego.
• Zakładanie, że większa próba rozwiązuje każdy problem. Duża próba nie usuwa błędu selekcji ani błędnej definicji zmiennej.
• Automatyczne usuwanie wartości odstających. Najpierw należy ustalić, czy są błędem, czy ważną częścią populacji.
• Ocenianie estymatora bez wskazania parametru. Estymator dobry dla średniej może być nieodpowiedni dla mediany lub proporcji.
• Interpretowanie wartości p jako miary jakości estymatora. Wartość p nie mówi, jak blisko estymata znajduje się prawdziwego parametru ani jakie jest prawdopodobieństwo prawdziwości hipotezy zerowej.
• Używanie metod odpornych bez uzasadnienia. Odporność powinna odpowiadać problemowi danych, a nie być sposobem na uzyskanie „ładniejszego” wyniku.

Przykład praktyczny: średni czas oczekiwania na pomoc

Zespół ratownictwa analizuje czas od zgłoszenia do przybycia na miejsce w 250 interwencjach. Rozkład czasów jest prawostronnie skośny: większość zespołów dociera w ciągu kilkunastu minut, ale kilka interwencji trwało bardzo długo z powodu warunków drogowych i odległości.

Jeżeli pytanie brzmi: „Jaki jest przeciętny czas oczekiwania z perspektywy wszystkich interwencji?”, średnia może być naturalnym estymatorem, ponieważ długie czasy są częścią realnego obciążenia systemu. Jeżeli pytanie brzmi: „Jaki czas doświadcza typowa interwencja?”, mediana może lepiej opisywać centralny przypadek. Można także podać oba wyniki, kwantyle oraz przedział ufności, jasno opisując ich znaczenie.

W tym przykładzie nie ma jednego estymatora „najlepszego” niezależnie od celu. Średnia jest wrażliwa na czasy skrajne, ale właśnie ta wrażliwość może być informacyjna dla planowania zasobów. Mediana jest bardziej odporna, lecz może ukrywać problem bardzo długich oczekiwań. Ocena jakości estymatora musi więc łączyć własności matematyczne z pytaniem badawczym i konsekwencjami decyzji.

Co warto zapamiętać?

• Estymator to reguła obliczania przybliżenia nieznanego parametru populacji na podstawie próby.
• Estymata to konkretna wartość otrzymana po zastosowaniu estymatora do danych.
• Ważne cechy estymatora to nieobciążoność, zgodność, efektywność, mały błąd średniokwadratowy i odporność.
• Nieobciążoność nie gwarantuje małej zmienności, a zgodność nie opisuje automatycznie zachowania w małej próbie.
• Wariant obciążony może być użyteczny, jeżeli znacząco zmniejsza wariancję i daje mniejszy błąd średniokwadratowy.
• Przedział ufności opisuje niepewność procedury, ale nie naprawia błędu systematycznego ani niereprezentatywnego doboru próby.
• Najlepszy estymator zależy od parametru, modelu, jakości danych, liczebności próby i celu badania.
• W raporcie należy oddzielać istotność statystyczną, precyzję estymacji, wielkość efektu i znaczenie praktyczne.

Dobry estymator nie jest po prostu wzorem, który daje jedną liczbę. Jest elementem całej procedury wnioskowania, której jakość zależy od danych, założeń, celu badania i sposobu interpretacji.

Źródła i dalsza lektura

1. E. L. Lehmann, George Casella (1998). Theory of Point Estimation. 2nd edition. Springer New York. Informacja wydawcy / źródło.
2. A. W. van der Vaart (1998). Asymptotic Statistics. Cambridge University Press. Informacja wydawcy / źródło.
3. R. A. Fisher (1922). On the Mathematical Foundations of Theoretical Statistics. Philosophical Transactions of the Royal Society of London. Series A, Containing Papers of a Mathematical or Physical Character, 222(594–604), 309–368. DOI: 10.1098/rsta.1922.0009.
4. P. J. Huber (1964). Robust Estimation of a Location Parameter. The Annals of Mathematical Statistics, 35(1), 73–101. DOI: 10.1214/aoms/1177703732.
5. B. Efron (1979). Bootstrap Methods: Another Look at the Jackknife. The Annals of Statistics, 7(1), 1–26. DOI: 10.1214/aos/1176344552.