468. Diagnostyka reszt w regresji
Lekcja 468 z 560. Moduł 24: Regresja i modelowanie. Diagnostyka reszt jest etapem, który pozwala sprawdzić, czy model regresji nie tylko daje interesujące współczynniki, lecz także adekwatnie opisuje strukturę danych. Współczynnik determinacji, wartości p i przedziały ufności nie zastępują tej oceny. Model może mieć pozornie dobre dopasowanie, a jednocześnie naruszać liniowość, stałość wariancji, niezależność obserwacji albo być nadmiernie zależny od pojedynczych przypadków. W tej lekcji uporządkujemy, czym są reszty, jakie wykresy należy oglądać i jak reagować na wykryte problemy. Zagadnienie rozwija checklistę założeń omawianą w poprzedniej lekcji oraz przygotowuje do świadomego raportowania analiz w podręczniku do szkolenia na statystyka.edu.pl.
Czym są reszty?
W regresji liniowej model opisuje oczekiwaną wartość zmiennej zależnej na podstawie jednego lub większej liczby predyktorów. Dla obserwacji i zapisujemy go jako:
yi = β0 + β1x1i + β2x2i + ... + βpxpi + εi
Po oszacowaniu modelu otrzymujemy wartość przewidywaną:
ŷi = b0 + b1x1i + b2x2i + ... + bpxpi
Surowa reszta jest różnicą między wartością zaobserwowaną a wartością przewidywaną:
ei = yi − ŷi
- yi oznacza rzeczywistą wartość wyniku dla obserwacji i,
- ŷi oznacza wartość przewidywaną przez model,
- ei oznacza resztę, czyli błąd dopasowania modelu dla konkretnej obserwacji,
- b0, b1, …, bp są oszacowanymi współczynnikami regresji,
- p oznacza liczbę predyktorów.
Reszta dodatnia oznacza, że wynik zaobserwowany jest większy od przewidywanego, a reszta ujemna — że jest mniejszy. Reszta nie jest tym samym co przypadkowy składnik błędu ε w populacyjnym modelu. Błąd jest wielkością teoretyczną, natomiast reszta jest jego oszacowaniem na podstawie danych. W praktyce analizuje się także reszty standaryzowane i studentyzowane, czyli reszty odniesione do ich oszacowanego odchylenia standardowego. Ułatwia to porównywanie obserwacji o różnej precyzji dopasowania (Hickey et al., 2019).
Po co wykonuje się diagnostykę reszt?
Klasyczny model regresji liniowej opiera się na kilku założeniach dotyczących składników błędu. W uproszczeniu oczekujemy, że reszty:
- mają średnią równą zero przy określonych wartościach predyktorów;
- nie wykazują systematycznej zależności od wartości przewidywanych ani od predyktorów;
- mają podobną wariancję w całym zakresie wartości przewidywanych;
- są niezależne, jeżeli niezależność jest wymagana przez schemat badania;
- w analizach opartych na klasycznych testach i przedziałach ufności są w przybliżeniu normalne, szczególnie przy małych próbach.
Nie oznacza to, że każda drobna różnica od idealnego obrazu unieważnia model. Diagnostyka nie jest polowaniem na perfekcyjnie losową chmurę punktów. Jej celem jest wykrycie takich odstępstw, które mogą zmieniać interpretację współczynników, błędów standardowych, przedziałów ufności, wartości p lub prognoz. Barker i Shaw (2015) podkreślają, że niezależność, normalność i stałość wariancji reszt mają znaczenie dla poprawności klasycznych wniosków w regresji najmniejszych kwadratów. Nie należy jednak traktować pojedynczego testu jako automatycznego arbitra jakości modelu.
Podstawowe wykresy diagnostyczne
Reszty względem wartości przewidywanych
Najważniejszym wykresem jest wykres reszt względem wartości przewidywanych. Na osi poziomej umieszcza się ŷ, a na osi pionowej reszty, najlepiej standaryzowane. Pożądany obraz to nieregularna chmura punktów skupiona wokół poziomej linii zero. Nie powinno być wyraźnego trendu, łuku ani systematycznego rozszerzania się chmury.
Jeżeli punkty tworzą łuk lub kształt litery U, może to oznaczać, że zależność nie jest liniowa. Wtedy można rozważyć dodanie składnika kwadratowego, transformację predyktora, funkcję odcinkową albo splajn. Samo stwierdzenie, że „reszty są duże”, nie wystarcza. Ważniejszy jest wzorzec ich rozmieszczenia.
Jeżeli chmura przypomina lejek — jest wąska przy małych wartościach przewidywanych, a szeroka przy dużych — sugeruje to heteroscedastyczność, czyli zmienną wariancję reszt. Może ona zniekształcać błędy standardowe i w konsekwencji wpływać na przedziały ufności oraz testy współczynników. Hickey et al. (2019) wskazują, że wykresy reszt względem wartości dopasowanych są podstawowym narzędziem oceny liniowości i stałości wariancji.
Reszty względem każdego predyktora
W modelu wielorakim warto wykonać wykres reszt względem każdego ważnego predyktora. Brak wzorca jest argumentem na rzecz adekwatności postaci funkcyjnej, ale nie dowodzi jej prawdziwości. Systematyczna krzywizna może wskazywać na pominięcie nieliniowości. Z kolei dwa skupiska punktów mogą sygnalizować zmienną grupującą, na przykład różne oddziały, poziomy ciężkości choroby albo dwa sposoby pomiaru.
Wykres normalności reszt
Histogram reszt oraz wykres kwantyl–kwantyl, czyli Q–Q plot, służą do oceny przybliżonej normalności. Na wykresie Q–Q punkty powinny układać się w przybliżeniu wzdłuż linii prostej. Odchylenia na końcach wskazują na cięższe lub lżejsze ogony rozkładu, a wyraźna asymetria może sugerować skośność.
Normalność reszt nie jest założeniem o rozkładzie predyktorów ani zmiennej zależnej. Jest także mniej krytyczna w dużych próbach, gdy korzystamy z przybliżeń asymptotycznych, ale nie należy całkowicie ignorować bardzo silnej asymetrii, kilku skrajnych obserwacji lub małej liczebności. Test Shapiro–Wilka może być pomocniczy, lecz przy dużych próbach wykrywa minimalne, praktycznie nieistotne odchylenia, a przy małych próbach ma ograniczoną moc. Wykres i wiedza o danych powinny mieć pierwszeństwo przed mechaniczną decyzją opartą na jednej wartości p.
Reszty w kolejności obserwacji lub czasie
Jeżeli dane mają naturalną kolejność, należy sprawdzić reszty względem czasu, numeru pomiaru lub kolejności rekrutacji. Trend, cykle albo długie serie reszt dodatnich i ujemnych mogą świadczyć o autokorelacji. W badaniu pacjentów z wielokrotnymi pomiarami zwykła regresja może być niewłaściwa, ponieważ obserwacje tej samej osoby nie są niezależne. Wtedy trzeba rozważyć model mieszany, uogólnione równania estymujące albo analizę szeregów czasowych, zależnie od pytania badawczego.
Obserwacje odstające, dźwignia i wpływ
Trzy pojęcia bywają mylone, chociaż opisują różne właściwości.
- Obserwacja odstająca ma nietypową wartość wyniku w stosunku do predyktorów. Jej reszta jest duża.
- Obserwacja o dużej dźwigni ma nietypową kombinację wartości predyktorów. Leży daleko od centrum przestrzeni predyktorów.
- Obserwacja wpływowa wyraźnie zmienia oszacowania modelu po jej usunięciu lub odpowiednim zmniejszeniu jej wpływu.
Duża reszta nie musi oznaczać dużego wpływu, a duża dźwignia nie zawsze prowadzi do problemu. Najbardziej niebezpieczna jest kombinacja nietypowej konfiguracji predyktorów i dużej reszty. Do diagnostyki wykorzystuje się między innymi wartości dźwigni, reszty studentyzowane, DFBETAS oraz odległość Cooka. Odległość Cooka łączy informacje o wielkości reszty i położeniu obserwacji w przestrzeni predyktorów (Cook, 1977).
Popularna reguła orientacyjna mówi, że wartości odległości Cooka większe od 1 wymagają dokładnego sprawdzenia. Nie jest to jednak uniwersalny próg decyzyjny. Należy patrzeć na względną wielkość statystyki, liczebność próby, liczbę predyktorów i zmianę wniosków po analizie wrażliwości. Diagnostyka nie usprawiedliwia automatycznego usuwania obserwacji.
Przykład 1: ciśnienie tętnicze i wiek
Załóżmy, że badacz analizuje zależność skurczowego ciśnienia tętniczego od wieku, wskaźnika masy ciała, palenia tytoniu i aktywności fizycznej u 240 dorosłych osób. Model liniowy daje istotny współczynnik dla wieku. Na wykresie reszt względem wartości przewidywanych pojawia się jednak wyraźny łuk: reszty są dodatnie dla osób w średnim wieku, a ujemne na obu końcach zakresu.
Taki obraz sugeruje, że wpływ wieku może być nieliniowy. Badacz dopasowuje model z członem wiek2 albo stosuje splajn. Po zmianie modelu łuk znika, a interpretacja współczynnika dla samego wieku staje się mniej bezpośrednia. Nie należy wtedy mówić, że „każdy dodatkowy rok zwiększa ciśnienie o stałą liczbę jednostek”, ponieważ model zakłada zmienną krzywiznę zależności.
Na wykresie reszt pojawia się ponadto lejek: wariancja wyników jest większa przy wyższym przewidywanym ciśnieniu. Możliwe rozwiązania obejmują transformację zmiennej zależnej, zastosowanie odpornych błędów standardowych albo modelowanie wariancji. Wybór zależy od celu analizy. Jeżeli głównym celem jest wnioskowanie o średniej zależności, odporne błędy standardowe mogą być wystarczające. Jeżeli celem jest precyzyjna prognoza dla jednostek, trzeba dokładniej modelować strukturę wariancji.
Przykład 2: wypalenie zawodowe pielęgniarek
W badaniu przekrojowym analizuje się wynik skali wypalenia zawodowego na podstawie liczby dyżurów nocnych, stażu pracy, obciążenia pacjentami i wsparcia zespołu. Jedna pielęgniarka ma bardzo wysoką liczbę dyżurów i nietypowo niski wynik wypalenia. Jej obserwacja ma dużą resztę, ale niekoniecznie dużą dźwignię.
Inna osoba pracuje w wyjątkowo małym oddziale, ma bardzo nietypową kombinację predyktorów i wynik bliski przewidywanemu. Jej reszta może być niewielka, lecz dźwignia duża. Po usunięciu tej osoby współczynnik dla liczby dyżurów nocnych zmienia się znacznie. To przykład obserwacji potencjalnie wpływowej, mimo że nie wygląda na klasycznego odstającego punktu na wykresie wyniku.
Właściwa reakcja obejmuje sprawdzenie poprawności wpisu, kryteriów włączenia, sposobu pomiaru oraz sensu klinicznego obserwacji. Jeżeli dane są prawidłowe, należy zachować obserwację i wykonać analizę wrażliwości: porównać wyniki modelu pełnego, modelu bez tej osoby oraz ewentualnie modelu odpornego. Nie należy usuwać przypadku tylko dlatego, że zmienia on wynik w pożądanym lub niepożądanym kierunku.
Co zrobić po wykryciu problemu?
Diagnostyka powinna prowadzić do decyzji metodologicznej, a nie do automatycznego „czyszczenia” danych. Możliwe działania to:
- sprawdzenie błędów w kodowaniu, jednostkach i wprowadzaniu danych;
- ocena, czy zmienna powinna być transformowana;
- dodanie uzasadnionego składnika nieliniowego lub interakcji;
- zastosowanie odpornych błędów standardowych przy heteroscedastyczności;
- wybór modelu uwzględniającego zależność obserwacji;
- zastosowanie regresji odpornej albo analizy wrażliwości;
- jawne opisanie decyzji i ich konsekwencji w raporcie.
Zmiana modelu powinna wynikać z wiedzy dziedzinowej, schematu badania i diagnostyki, a nie wyłącznie z dążenia do uzyskania istotności statystycznej. W badaniu obserwacyjnym korekta modelu nie usuwa automatycznie błędu selekcji, błędu pomiaru ani niekontrolowanego zakłócenia. STROBE zaleca przejrzyste raportowanie uzasadnienia doboru zmiennych, analiz dodatkowych i analiz wrażliwości, a także ostrożną interpretację wyników modeli wielozmiennowych (von Elm et al., 2007; Vandenbroucke et al., 2007).
Jak raportować diagnostykę reszt?
W artykule nie trzeba zamieszczać każdego wykresu, ale czytelnik powinien wiedzieć, czy diagnostykę wykonano i jakie miała konsekwencje. Przykładowe sformułowanie może brzmieć: „Oceniono wykresy reszt względem wartości przewidywanych i predyktorów, wykres Q–Q oraz statystyki dźwigni i odległości Cooka. Nie stwierdzono wyraźnej nieliniowości ani obserwacji, której usunięcie zmieniało wnioski dotyczące głównego predyktora. Z powodu heteroscedastyczności zastosowano odporne błędy standardowe”.
Jeżeli wykryto konkretny problem, warto podać jego rozmiar i sposób rozwiązania. Samo zdanie „założenia zostały spełnione” jest zbyt ogólne. Należy także odróżniać diagnostykę modelu od testowania hipotezy naukowej. Dobry wykres reszt nie dowodzi prawdziwości modelu, podobnie jak jego niedoskonałość nie oznacza automatycznie, że wszystkie wyniki są bezwartościowe.
Najczęstsze błędy
- Ocenianie modelu wyłącznie na podstawie R2. Wysokie R2 nie gwarantuje liniowości ani stałości wariancji.
- Traktowanie wartości p testu normalności jako ostatecznego werdyktu. Test należy interpretować razem z wykresami, liczebnością próby i celem analizy.
- Mylenie reszt z błędami pomiaru. Reszta jest różnicą między obserwacją a dopasowaniem modelu, nie pełną miarą jakości pomiaru.
- Automatyczne usuwanie obserwacji odstających. Najpierw trzeba sprawdzić poprawność danych i wykonać analizę wrażliwości.
- Używanie jednego progu dla odległości Cooka. Progi orientacyjne nie zastępują oceny kontekstu i zmiany wniosków.
- Ignorowanie kolejności pomiarów. W danych podłużnych reszty mogą ujawniać zależność czasową.
- Wyciąganie wniosków przyczynowych z samej diagnostyki. Poprawne reszty nie zmieniają obserwacyjnego charakteru badania.
- Transformowanie zmiennej bez wyjaśnienia interpretacji. Każda transformacja zmienia skalę, w której należy rozumieć współczynniki i prognozy.
Przykład praktyczny: krótka procedura analityczna
Rozważmy model przewidujący długość pobytu pacjenta w szpitalu na podstawie wieku, liczby chorób przewlekłych, wyniku oceny stanu przy przyjęciu i trybu przyjęcia. Analityk może zastosować następującą sekwencję:
- Dopasować model zgodnie z wcześniejszym planem analizy.
- Utworzyć wartości przewidywane oraz reszty surowe, standaryzowane i studentyzowane.
- Obejrzeć reszty względem wartości przewidywanych i każdego kluczowego predyktora.
- Sprawdzić Q–Q plot oraz reszty w kolejności przyjęcia.
- Obliczyć dźwignię i odległość Cooka.
- Zweryfikować potencjalne przypadki w dokumentacji źródłowej.
- Porównać analizę główną z analizą wrażliwości.
- Jeżeli zmienna wynikowa jest silnie skośna i ograniczona od dołu przez zero, rozważyć, czy regresja liniowa jest właściwym modelem, zamiast ograniczać się do transformowania reszt.
Ostatni punkt jest szczególnie ważny. Diagnostyka reszt może ujawnić nie tylko naruszenie założenia, ale także niedopasowanie całej klasy modelu do charakteru wyniku. Dla czasu pobytu, liczby zdarzeń lub prawdopodobieństwa zdarzenia alternatywny model może być bardziej naturalny niż regresja liniowa.
Co warto zapamiętać?
- Reszta to różnica między wartością obserwowaną a przewidywaną przez model.
- Najważniejszym narzędziem jest oglądanie wzorców na wykresach, nie samo sprawdzanie pojedynczych testów.
- Łuk może wskazywać nieliniowość, lejek — heteroscedastyczność, a serie reszt — zależność obserwacji.
- Obserwacja odstająca, obserwacja o dużej dźwigni i obserwacja wpływowa to różne pojęcia.
- Odległość Cooka pomaga wykrywać obserwacje wpływowe, ale nie powinna być mechanicznym kryterium usuwania danych.
- Po wykryciu problemu trzeba rozważyć kontrolę danych, zmianę postaci modelu, odporne błędy standardowe, model zależności albo analizę wrażliwości.
- Diagnostyka reszt zwiększa wiarygodność modelu, lecz nie zastępuje poprawnego projektu badania i ostrożnej interpretacji.
- Wyniki diagnostyki i decyzje analityczne należy raportować przejrzyście, zwłaszcza w badaniach medycznych i obserwacyjnych.
Najkrótsza checklista: wykres reszt względem wartości przewidywanych, wykresy względem predyktorów, Q–Q plot, kontrola zależności w czasie, reszty studentyzowane, dźwignia, odległość Cooka oraz analiza wrażliwości.
Źródła i dalsza lektura
- Hickey, G. L., Kontopantelis, E., Takkenberg, J. J. M., & Beyersdorf, F. (2019). Statistical primer: checking model assumptions with regression diagnostics. Interactive CardioVascular and Thoracic Surgery, 28(1), 1–8. DOI: 10.1093/icvts/ivy207.
- Barker, L. E., & Shaw, K. M. (2015). Best (but oft-forgotten) practices: checking assumptions concerning regression residuals. The American Journal of Clinical Nutrition, 102(3), 533–539. DOI: 10.3945/ajcn.115.113498.
- Cook, R. D. (1977). Detection of Influential Observation in Linear Regression. Technometrics, 19(1), 15–18. DOI: 10.1080/00401706.1977.10489493.
- Cook, R. D., & Weisberg, S. (1993). Residual plots in up to four dimensions. Journal of Statistical Planning and Inference, 36(2–3), 141–149. DOI: 10.1016/0378-3758(93)90119-Q.
- Zhang, Z. (2016). Residuals and regression diagnostics: focusing on logistic regression. Annals of Translational Medicine, 4(10), 195. DOI: 10.21037/atm.2016.03.36.
- von Elm, E., Altman, D. G., Egger, M., Pocock, S. J., Gøtzsche, P. C., Vandenbroucke, J. P., & STROBE Initiative (2007). The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) Statement: Guidelines for Reporting Observational Studies. PLoS Medicine, 4(10), e296. DOI: 10.1371/journal.pmed.0040296.
- Vandenbroucke, J. P., von Elm, E., Altman, D. G., Gøtzsche, P. C., Mulrow, C. D., Pocock, S. J., Poole, C., Schlesselman, J. J., & Egger, M. (2007). Strengthening the Reporting of Observational Studies in Epidemiology (STROBE): Explanation and Elaboration. PLoS Medicine, 4(10), e297. DOI: 10.1371/journal.pmed.0040297.
Więcej kolejnych lekcji publicznego szkolenia znajdziesz na statystyk.edu.pl.