373. Obserwacje wpływowe – dystans leverage i Cooka

PrzezMarcin Skrok

W poprzedniej lekcji omówiliśmy wartości odstające, czyli obserwacje nietypowe przede wszystkim ze względu na wartość zmiennej zależnej lub wielkość reszty. W tej lekcji przechodzimy do problemu pokrewnego, ale nieidentycznego: obserwacji wpływowych. Są to takie przypadki, których obecność może wyraźnie zmieniać oszacowania parametrów modelu, wartości dopasowane, przedziały ufności albo wnioski merytoryczne. W ramach szkolenia na statystyk.edu.pl warto zapamiętać podstawową zasadę: obserwacja wpływowa nie jest automatycznie obserwacją błędną.

1. Czym jest obserwacja wpływowa?

Załóżmy, że analizujemy model regresji liniowej, w którym wynik zdrowotny zależy od wieku, ciśnienia tętniczego i wskaźnika masy ciała. Każdy pacjent wnosi do analizy dwie informacje: wartości predyktorów oraz wartość zmiennej zależnej. Niektóre osoby mogą być nietypowe pod względem wyniku, inne mogą mieć nietypową kombinację predyktorów, a jeszcze inne mogą jednocześnie spełniać oba warunki.

Wpływ obserwacji oznacza zmianę wyników analizy po jej usunięciu lub odpowiednim zaburzeniu jej udziału w dopasowaniu modelu. W praktyce pytamy między innymi:

  • czy po usunięciu przypadku współczynniki regresji pozostają podobne?
  • czy zmienia się znak lub znaczenie praktyczne efektu?
  • czy istotnie zmieniają się wartości dopasowane albo predykcje?
  • czy zmieniają się błędy standardowe i przedziały ufności?

Obserwacja wpływowa może być poprawnym, rzadkim przypadkiem. Przykładowo pacjent z wyjątkowo wysokim stężeniem biomarkera może rzeczywiście należeć do grupy ciężko chorych. Usunięcie go tylko dlatego, że silnie wpływa na model, byłoby błędem metodologicznym. Diagnostyka ma pomóc zrozumieć wpływ przypadku, a nie dostarczyć automatycznej procedury selekcji danych (Cook, 1977; Cook i Weisberg, 1982).

2. Dwa źródła wpływu: nietypowe predyktory i duża reszta

2.1. Leverage, czyli dźwignia obserwacji

Leverage, w języku polskim określane także jako dźwignia lub potencjał wpływu wynikający z położenia w przestrzeni predyktorów, opisuje, jak nietypowe są wartości zmiennych objaśniających dla danej obserwacji. Obserwacja ma wysokie leverage, gdy znajduje się daleko od środka układu predyktorów.

W regresji liniowej wykorzystuje się macierz kapeluszową:

H = X(XTX)-1XT

Jej elementy diagonalne, oznaczane jako hii, są wartościami leverage dla poszczególnych obserwacji. W tym zapisie:

  • X jest macierzą projektu, zawierającą wartości predyktorów oraz zwykle kolumnę jedynek odpowiadającą wyrazowi wolnemu;
  • XT oznacza transpozycję macierzy X;
  • (XTX)-1 jest macierzą odwrotną, o ile można ją obliczyć;
  • H przekształca obserwowane wartości y w wartości dopasowane: ŷ = Hy;
  • hii jest diagonalnym elementem macierzy H dotyczącym obserwacji i.

Leverage nie mówi bezpośrednio, czy obserwacja ma duży błąd predykcji. Może mieć wysoką dźwignię i leżeć blisko przewidywanej przez model wartości. Wtedy jest potencjalnie wpływowa, ale niekoniecznie faktycznie zmienia wynik analizy.

2.2. Duża reszta

Drugim składnikiem wpływu jest różnica między wartością zaobserwowaną a wartością przewidywaną przez model:

ei = yi - ŷi

gdzie ei oznacza resztę, yi — zaobserwowaną wartość zmiennej zależnej, a ŷi — wartość dopasowaną. Duża reszta może oznaczać, że model słabo opisuje daną obserwację. Jeśli jednak obserwacja ma jednocześnie wysokie leverage, jej wpływ na współczynniki regresji może być szczególnie silny.

Najbardziej problematyczne są zatem przypadki łączące:

  • nietypowe wartości predyktorów;
  • dużą resztę;
  • znaczną zmianę parametrów modelu po usunięciu obserwacji.

3. Jak interpretować leverage?

Wartość leverage mieści się w zakresie od 0 do 1. Średnia wartość diagonalnych elementów macierzy kapeluszowej wynosi:

średnie leverage = p / n

gdzie p oznacza liczbę parametrów estymowanych w modelu, wliczając wyraz wolny, a n — liczbę obserwacji.

Nie istnieje jedna uniwersalna granica, po której przekroczeniu obserwację należy uznać za wpływową. Jako reguły orientacyjne spotyka się porównanie hii z 2p/n lub 3p/n. Są to jednak sygnały do dalszej oceny, a nie formalne testy i nie powinny być stosowane mechanicznie. Przy małej próbie lub dużej liczbie predyktorów przeciętne leverage może być stosunkowo wysokie, ponieważ każdy przypadek ma większy udział w określaniu geometrii modelu (Belsley, Kuh i Welsch, 1980).

Leverage zależy wyłącznie od predyktorów i konstrukcji modelu. Zmiana zmiennej zależnej, przy niezmienionych predyktorach, nie zmieni wartości hii. To ważne rozróżnienie: leverage opisuje położenie obserwacji w przestrzeni zmiennych objaśniających, a nie nietypowość wyniku.

4. Odległość Cooka

Odległość Cooka, oznaczana jako Di, jest syntetyczną miarą wpływu obserwacji na cały model regresji. Intuicyjnie mierzy, jak bardzo zmieniłyby się wartości dopasowane lub oszacowania modelu po usunięciu obserwacji i. W klasycznej regresji liniowej często zapisuje się ją w postaci:

Di = [ei2 / (p · MSE)] · [hii / (1 - hii)2]

Wzór zawiera następujące elementy:

  • ei — resztę obserwacji i;
  • ei2 — kwadrat reszty, który zwiększa wpływ dużych odchyleń;
  • p — liczbę parametrów modelu wraz z wyrazem wolnym;
  • MSE — średni kwadrat błędu, czyli oszacowanie wariancji składnika losowego;
  • hii — leverage obserwacji;
  • (1 - hii)2 — składnik, przez który wpływ rośnie przy wysokiej dźwigni.

Odległość Cooka łączy zatem informację o wielkości reszty i położeniu obserwacji w przestrzeni predyktorów. Wysoka wartość może wynikać z dużej reszty, wysokiego leverage albo obu tych cech jednocześnie.

Często stosuje się orientacyjną zasadę, że wartości Di większe od 1 zasługują na szczególną uwagę. Nie jest to jednak uniwersalny próg decyzyjny. W dużej próbie nawet niewielkie zmiany mogą być wykrywane jako istotne numerycznie, natomiast w małej próbie umiarkowana wartość może mieć duże znaczenie dla interpretacji. Cook’s distance należy traktować jako narzędzie przesiewowe, a nie test hipotezy.

5. Przykład 1: pacjenci w poradni kardiologicznej

Załóżmy, że badacz analizuje zależność między wiekiem, skurczowym ciśnieniem tętniczym i aktywnością fizyczną a poziomem cholesterolu LDL. W próbie znajduje się 180 pacjentów. Jeden z nich ma 92 lata, bardzo wysokie ciśnienie i wyjątkowo niski poziom aktywności. Taka kombinacja predyktorów może dawać wysokie leverage.

Jeżeli jego poziom LDL jest zgodny z przewidywaniem modelu, reszta może być niewielka, a odległość Cooka umiarkowana. Wtedy pacjent jest nietypowy pod względem predyktorów, lecz niekoniecznie wpływowy. Jeżeli natomiast LDL jest znacznie niższy lub wyższy niż przewidywany, zarówno leverage, jak i reszta mogą zwiększać Di.

Badacz powinien sprawdzić dokumentację, jakość pomiaru, możliwe leczenie statyną i to, czy pacjent należy do populacji, do której model ma być stosowany. Nie powinien usuwać go wyłącznie dlatego, że zwiększa lub zmniejsza współczynnik przy wieku. Należy przedstawić analizę główną oraz analizę wrażliwości po wyłączeniu obserwacji, jasno wskazując, jak zmieniły się oszacowania i wnioski.

6. Przykład 2: stres zawodowy w badaniu pielęgniarek

W badaniu przekrojowym analizuje się związek liczby nocnych dyżurów z wynikiem skali wypalenia zawodowego, kontrolując staż pracy, wiek i wymiar etatu. Większość uczestniczek ma od 2 do 8 dyżurów nocnych miesięcznie, ale jedna osoba pracuje w systemie obejmującym 18 dyżurów. Jej liczba dyżurów jest daleko od typowego zakresu, więc może mieć wysokie leverage.

Jeżeli wynik wypalenia jest zbliżony do przewidywanego, obserwacja nie musi silnie zmieniać nachylenia regresji. Jeśli jednak wynik jest wyjątkowo niski, na przykład z powodu specyficznej sytuacji organizacyjnej lub błędu w kodowaniu, obserwacja może mieć dużą odległość Cooka i zmieniać ocenę związku między dyżurami a wypaleniem.

W tym przykładzie diagnostyka statystyczna powinna zostać połączona z kontrolą merytoryczną. Trzeba sprawdzić, czy „18 dyżurów” oznacza liczbę miesięczną, kwartalną czy sumę z innego okresu. Wpływowa obserwacja może ujawnić nie błąd uczestniczki, lecz błąd w formularzu, niejednoznaczną definicję zmiennej albo szczególny model organizacji pracy.

7. Procedura diagnostyczna krok po kroku

  1. Dopasuj model zgodny z pytaniem badawczym. Diagnostyka obserwacji wpływowych ma sens dopiero po poprawnym określeniu zmiennej zależnej, predyktorów, skali pomiaru i struktury danych.
  2. Oblicz leverage. Obejrzyj rozkład wartości hii i porównaj je z wartością średnią p/n. Zaznacz przypadki nietypowe, ale nie podejmuj jeszcze decyzji o ich usunięciu.
  3. Sprawdź reszty. Wykorzystaj reszty standaryzowane lub studentyzowane oraz wykres reszt względem wartości dopasowanych i predyktorów.
  4. Oblicz odległość Cooka. Poszukaj obserwacji, które jednocześnie mają wysokie leverage i dużą resztę.
  5. Zweryfikuj dane źródłowe. Sprawdź jednostki, zakresy, kodowanie, pomiary i zgodność z dokumentacją.
  6. Wykonaj analizę wrażliwości. Porównaj model pełny z modelem bez wskazanej obserwacji lub grupy obserwacji. Zestaw współczynniki, błędy standardowe, przedziały ufności i miary dopasowania.
  7. Opisz decyzję transparentnie. Jeżeli przypadek pozostaje w analizie, wyjaśnij, że był wpływowy, ale merytorycznie poprawny. Jeżeli został wyłączony, podaj konkretną podstawę: błąd pomiaru, naruszenie kryteriów włączenia albo problem z jakością danych.

8. Leverage i Cook’s distance w innych modelach

Klasyczne wzory powyżej dotyczą przede wszystkim regresji liniowej estymowanej metodą najmniejszych kwadratów. W regresji logistycznej, modelach Poissona, modelach przeżycia i innych modelach uogólnionych również stosuje się diagnostykę wpływu, ale definicje są odpowiednio modyfikowane. Można analizować wpływ na współczynniki, wartości dopasowane, przewidywane prawdopodobieństwa albo funkcję wiarygodności.

Nie należy więc bezrefleksyjnie przenosić progów z regresji liniowej do regresji logistycznej. W modelach z małą liczbą zdarzeń, separacją lub silną współliniowością pojedyncze przypadki mogą wywierać bardzo duży wpływ na estymację. W takich sytuacjach wskazana jest szersza analiza stabilności modelu, zgodnie z zasadami budowy i raportowania modeli regresyjnych (Harrell, 2015; Fox i Weisberg, 2019).

Najczęstsze błędy

  • Usuwanie każdej obserwacji z wysokim leverage. Wysokie leverage oznacza nietypowe położenie w przestrzeni predyktorów, ale nie dowodzi błędu.
  • Traktowanie odległości Cooka jako testu istotności. Cook’s distance nie dostarcza wartości p, która rozstrzygałaby, czy obserwację trzeba usunąć.
  • Stosowanie jednego sztywnego progu. Reguły typu Di > 1 lub hii > 2p/n są wskazówkami, a nie prawami statystycznymi.
  • Mylenie obserwacji wpływowej z wartością odstającą. Obserwacja może mieć dużą resztę, ale niski wpływ, jeśli nie znajduje się w szczególnym miejscu przestrzeni predyktorów. Może też mieć wysokie leverage i małą resztę.
  • Ocenianie wpływu wyłącznie na podstawie wartości p. Najważniejsze może być to, czy zmienił się rozmiar efektu, jego kierunek albo przedział ufności.
  • Przemilczanie analizy wrażliwości. Jeśli wynik zależy od jednego przypadku, czytelnik powinien o tym wiedzieć.
  • Używanie języka przyczynowego w badaniu obserwacyjnym. Duża odległość Cooka nie wzmacnia argumentu przyczynowego. Mówi jedynie o wrażliwości dopasowanego modelu na konkretną obserwację.

Przykład praktyczny: jak raportować wynik

Załóżmy, że w modelu regresji liniowej oceniano zależność między czasem oczekiwania na pomoc a satysfakcją pacjenta. Jedna obserwacja miała hii = 0,21, przy średnim leverage równym p/n = 0,04, a jej odległość Cooka wynosiła 0,86. Po ponownym dopasowaniu modelu bez tej obserwacji współczynnik przy czasie oczekiwania zmienił się z -0,42 do -0,35, a 95-procentowy przedział ufności częściowo się przesunął, lecz wniosek o ujemnym związku pozostał taki sam.

Poprawny opis mógłby brzmieć: „Diagnostyka wskazała jedną obserwację o wysokim leverage i relatywnie dużej odległości Cooka. Weryfikacja danych nie ujawniła błędu pomiaru ani naruszenia kryteriów włączenia, dlatego obserwację pozostawiono w analizie. Analiza wrażliwości bez tego przypadku zmieniła wartość współczynnika z -0,42 do -0,35, ale nie zmieniła kierunku ani zasadniczej interpretacji związku.”

Taki raport jest znacznie lepszy niż zdanie „usunięto obserwację odstającą”, ponieważ rozdziela diagnozę, kontrolę jakości danych, decyzję analityczną i ocenę stabilności wniosku.

Co warto zapamiętać?

  • Leverage opisuje nietypowość obserwacji w przestrzeni predyktorów.
  • Reszta opisuje różnicę między wynikiem zaobserwowanym a przewidywanym.
  • Odległość Cooka łączy informację o leverage i reszcie, oceniając wpływ obserwacji na dopasowanie modelu.
  • Wysokie leverage nie oznacza automatycznie błędu ani konieczności usunięcia przypadku.
  • Nie istnieje jeden uniwersalny próg, który samodzielnie rozstrzyga o losie obserwacji.
  • Najlepszą praktyką jest weryfikacja merytoryczna, analiza wrażliwości i transparentne raportowanie.
  • Obserwacja wpływowa może być cenna, ponieważ ujawnia ograniczenia modelu, nietypową podgrupę lub problem z jakością danych.

W następnych analizach traktuj leverage i odległość Cooka nie jako „wykrywacze winnych obserwacji”, lecz jako narzędzia badania stabilności wniosków. Dobrej diagnostyce nie chodzi o to, aby model wyglądał idealnie po usunięciu trudnych przypadków, lecz aby badacz rozumiał, na jakich danych i założeniach opiera się jego wniosek.

Źródła i dalsza lektura

  1. Cook, R. D. (1977). Detection of influential observation in linear regression. Technometrics, 19(1), 15–18. DOI: 10.1080/00401706.1977.10489493.
  2. Cook, R. Dennis; Weisberg, Sanford (1982). Residuals and Influence in Regression. Chapman and Hall.
  3. Belsley, David A.; Kuh, Edwin; Welsch, Roy E. (1980). Regression Diagnostics: Identifying Influential Data and Sources of Collinearity. John Wiley & Sons. Informacja wydawcy / źródło.
  4. Hoaglin, David C.; Welsch, Roy E. (1978). The Hat Matrix in Regression and ANOVA. The American Statistician, 32(1), 17–22. DOI: 10.1080/00031305.1978.10479237.
  5. Harrell, Frank E., Jr. (2015). Regression Modeling Strategies: With Applications to Linear Models, Logistic and Ordinal Regression, and Survival Analysis. 2nd edition. Springer. Informacja wydawcy / źródło.
  6. Fox, John; Weisberg, Sanford (2019). An R Companion to Applied Regression. 3rd edition. SAGE Publications, Inc.. Informacja wydawcy / źródło.

Podobne wpisy

Jeden komentarz

  1. Pingback: Transformacja logarytmiczna: kiedy pomaga w analizie?

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Wymagane pola są oznaczone *