467. Założenia regresji liniowej – kompletna checklista

Regresja liniowa jest jednym z podstawowych narzędzi modelowania zależności między zmienną wynikową a jednym lub wieloma predyktorami. Samo uzyskanie tabeli współczynników, wartości p i współczynnika R² nie wystarcza jednak do oceny, czy model jest wiarygodny. Przed interpretacją wyników trzeba sprawdzić, czy dane i sposób ich zebrania odpowiadają założeniom regresji liniowej. W tej lekcji podręcznika do kursu na statystyk.edu.pl uporządkujemy te założenia w formie praktycznej checklisty.

1. Co właściwie oznaczają założenia regresji?

Założenia regresji liniowej nie są zbiorem formalności wykonywanych po analizie. Opisują warunki, w których estymatory współczynników, błędy standardowe, przedziały ufności i testy hipotez mają uzasadnioną interpretację. W praktyce część założeń dotyczy konstrukcji badania, część pomiaru zmiennych, a część zachowania reszt po dopasowaniu modelu.

Dla regresji wielorakiej można zapisać model w postaci:

Yi = β0 + β1X1i + β2X2i + … + βkXki + εi

  • Yi – wartość zmiennej wynikowej dla osoby lub jednostki i;
  • β0 – wyraz wolny, czyli oczekiwana wartość Y, gdy wszystkie predyktory mają wartość równą zero;
  • β1, …, βk – współczynniki regresji określające zmianę oczekiwanej wartości Y przy zmianie danego predyktora o jedną jednostkę, przy stałych pozostałych predyktorach;
  • X1i, …, Xki – wartości predyktorów;
  • εi – składnik losowy, czyli część wyniku niewyjaśniona przez model.

W diagnostyce najważniejsze są często nie same obserwacje Y, lecz reszty, czyli różnice między wartościami zaobserwowanymi a wartościami przewidywanymi przez model:

ei = Yi − Ŷi

Jeśli model jest odpowiednio określony, reszty powinny zachowywać się w sposób zgodny z założeniami. Nie oznacza to, że każda reszta musi być idealnie normalna lub identyczna. Diagnostyka ma ocenić, czy ewentualne odstępstwa są na tyle duże, aby zmieniały wnioski.

2. Checklista przed dopasowaniem modelu

2.1. Czy zmienna wynikowa jest ilościowa?

Klasyczna regresja liniowa zakłada ilościową zmienną wynikową, dla której sensowne jest modelowanie średniej warunkowej. Może to być na przykład ciśnienie skurczowe, poziom hemoglobiny, wynik skali depresji lub czas oczekiwania na pomoc medyczną.

Jeżeli wynik jest binarny, na przykład zgon: tak/nie, zwykle należy rozważyć regresję logistyczną. Jeżeli jest to liczba zdarzeń, na przykład liczba hospitalizacji, odpowiedni może być model Poissona lub model ujemno-dwumianowy. Wybór modelu powinien wynikać z natury wyniku, a nie z tego, jaki test jest dostępny w programie statystycznym.

2.2. Czy jednostka analizy jest właściwa?

Każdy wiersz danych powinien odpowiadać jasno określonej jednostce analizy. Szczególną ostrożność trzeba zachować przy pomiarach powtarzanych. Jeśli jednego pacjenta mierzono pięć razy, pięć wierszy nie jest równoznacznych z pięcioma niezależnymi pacjentami. Zwykła regresja liniowa może wtedy zaniżać błędy standardowe, ponieważ nie uwzględnia korelacji pomiarów w obrębie osoby (Bland i Altman, 1994).

W takiej sytuacji można rozważyć model mieszany, uogólnione równania estymacyjne albo analizę podsumowującą, o ile jest ona zgodna z pytaniem badawczym.

2.3. Czy dane mają odpowiednią jakość?

Przed modelowaniem należy sprawdzić zakresy wartości, jednostki, kodowanie braków danych i ewentualne błędy wprowadzania. Warto potwierdzić, czy na przykład wartość 999 oznacza rzeczywisty wynik, czy brak pomiaru. Należy także odnotować, ilu uczestników weszło do modelu i ilu wyłączono z powodu braków danych.

Braki danych nie są automatycznie dowodem, że analiza jest nieważna, ale sposób ich obsługi powinien być uzasadniony. Analiza kompletnych przypadków może prowadzić do utraty mocy i potencjalnego błędu, jeśli osoby z brakami różnią się od pozostałych. W raportowaniu należy opisać zarówno skalę braków, jak i zastosowaną metodę postępowania (von Elm i in., 2007).

3. Główne założenia regresji liniowej

3.1. Liniowość zależności

Regresja liniowa zakłada liniową zależność między wartością oczekiwaną zmiennej wynikowej a predyktorami. Nie oznacza to, że każda para surowych zmiennych musi tworzyć idealnie prostą chmurę punktów. W regresji wielorakiej chodzi o liniowość po uwzględnieniu pozostałych predyktorów.

Najważniejszym narzędziem jest wykres reszt względem wartości przewidywanych oraz względem poszczególnych predyktorów. Losowo rozrzucona chmura wokół poziomu zero wspiera założenie liniowości. Uporządkowany łuk, fala lub wyraźny trend sugerują, że model nie opisuje właściwie kształtu zależności.

Możliwe rozwiązania obejmują dodanie składnika kwadratowego, zastosowanie transformacji, użycie splajnów lub wybór modelu nieliniowego. Nie należy jednak dodawać wielomianów wyłącznie po to, aby poprawić R². Zmiana postaci modelu musi wynikać z teorii, projektu badania i diagnostyki.

3.2. Niezależność obserwacji i reszt

Niezależność oznacza, że wynik jednej jednostki nie dostarcza dodatkowej informacji o błędzie innej jednostki, poza tym, co uwzględniono w modelu. Założenie to może być naruszone w badaniach podłużnych, danych klastrowych, badaniach wieloośrodkowych i szeregach czasowych.

Przykładowo, pacjenci leczeni na tym samym oddziale mogą być do siebie podobni z powodu wspólnego personelu, procedur i organizacji opieki. Uczniowie z tej samej szkoły mogą mieć podobne wyniki nie tylko z powodu indywidualnych cech, lecz również środowiska szkolnego.

Niezależność ocenia się przede wszystkim na podstawie projektu badania i sposobu zbierania danych, a nie wyłącznie za pomocą testu statystycznego. W szeregu czasowym można dodatkowo analizować autokorelację reszt, na przykład za pomocą wykresu reszt w czasie lub funkcji autokorelacji. Przy zależności wewnątrz klastrów potrzebne mogą być modele wielopoziomowe lub odporne błędy standardowe.

3.3. Stałość wariancji, czyli homoscedastyczność

Homoscedastyczność oznacza, że wariancja składnika losowego jest w przybliżeniu podobna w całym zakresie wartości przewidywanych i predyktorów. Jeśli rozrzut reszt rośnie wraz z wartością przewidywaną, mamy do czynienia z heteroscedastycznością.

Na wykresie reszt może ona przyjmować kształt lejka: reszty są ciasno skupione przy małych wartościach, a bardziej rozproszone przy dużych. Taki problem wpływa szczególnie na błędy standardowe i przedziały ufności. Same współczynniki mogą nadal opisywać średnią zależność, ale wnioskowanie może być niewiarygodne.

Pomocne są wykresy reszt oraz testy formalne, na przykład test Breuscha-Pagana. Test nie powinien jednak zastępować oceny graficznej. Przy dużych próbach nawet małe, praktycznie nieistotne odstępstwa mogą dawać bardzo małe wartości p.

Możliwe sposoby postępowania obejmują transformację zmiennej wynikowej, użycie odpornych błędów standardowych albo regresję ważoną. Wybór powinien zależeć od mechanizmu powodującego nierówność wariancji.

3.4. Normalność reszt

W klasycznej regresji normalność dotyczy przede wszystkim rozkładu reszt, a niekoniecznie rozkładu każdego predyktora i niekoniecznie rozkładu samej zmiennej wynikowej. Założenie to jest najważniejsze przy małych próbach i przy konstrukcji przedziałów ufności oraz testów opartych na rozkładach teoretycznych.

Normalność reszt można oceniać za pomocą histogramu, wykresu kwantyl-kwantyl oraz statystyk opisowych. Test Shapiro-Wilka może być pomocniczy, ale nie należy interpretować go mechanicznie. W małej próbie test może nie wykryć istotnego odstępstwa, a w bardzo dużej próbie może wykazać odstępstwo, które nie ma istotnego znaczenia dla wnioskowania.

Łagodna asymetria przy dużej próbie nie musi dyskwalifikować modelu. Poważne problemy mogą natomiast wynikać z pojedynczych skrajnych obserwacji, ciężkich ogonów rozkładu lub systematycznego wzorca reszt. Wtedy należy sprawdzić dane, rozważyć transformację, metody odporne albo bootstrap.

3.5. Brak nadmiernej współliniowości

Współliniowość występuje wtedy, gdy predyktory są silnie ze sobą powiązane. Model może wtedy dobrze przewidywać wynik, ale poszczególne współczynniki stają się niestabilne i trudne do interpretacji.

Przykładem jest jednoczesne wprowadzenie do modelu masy ciała, wskaźnika masy ciała i obwodu talii. Zmienne te opisują częściowo podobny aspekt stanu odżywienia. Nie oznacza to, że nie wolno ich użyć, lecz trzeba świadomie ocenić ich rolę.

Do diagnostyki stosuje się między innymi macierz korelacji, współczynnik tolerancji oraz VIF, czyli współczynnik inflacji wariancji. Nie należy traktować jednej granicy VIF jako uniwersalnego prawa. Wartości około 5 lub 10 bywają używane jako sygnał ostrzegawczy, ale znaczenie zależy od celu analizy, liczby predyktorów, wielkości próby i teorii.

3.6. Brak obserwacji nadmiernie wpływowych

Obserwacja odstająca ma nietypową wartość wyniku lub predyktorów. Obserwacja o wysokiej dźwigni leży daleko od typowego układu wartości predyktorów. Obserwacja wpływowa istotnie zmienia współczynniki lub wnioski po jej usunięciu.

W praktyce należy analizować reszty standaryzowane, wartości dźwigni oraz odległość Cooka. Nie są to automatyczne procedury usuwania przypadków. Nietypowa obserwacja może być błędem pomiaru, ale może też przedstawiać ważny podtyp pacjentów lub rzeczywisty rzadki przypadek. Decyzję o wyłączeniu należy opierać na dokumentacji, kryteriach ustalonych przed analizą oraz analizie wrażliwości (Hoaglin, 1991).

4. Praktyczna checklista diagnostyczna

  1. Określ zmienną wynikową i uzasadnij wybór regresji liniowej.
  2. Sprawdź, czy jednostka analizy jest właściwa i czy obserwacje są niezależne.
  3. Zweryfikuj kodowanie, zakresy wartości, jednostki oraz braki danych.
  4. Obejrzyj wykresy rozrzutu zmiennej wynikowej względem predyktorów.
  5. Dopasuj model zgodny z pytaniem badawczym, a nie wyłącznie z procedurą selekcji automatycznej.
  6. Obejrzyj wykres reszt względem wartości przewidywanych i predyktorów.
  7. Oceń homoscedastyczność oraz ewentualną autokorelację.
  8. Sprawdź rozkład reszt za pomocą wykresu Q-Q i, pomocniczo, testu formalnego.
  9. Oceń współliniowość predyktorów.
  10. Zidentyfikuj obserwacje o dużej dźwigni, nietypowych resztach i dużym wpływie.
  11. Wykonaj analizę wrażliwości, jeśli diagnostyka wskazuje na problem.
  12. Opisz w publikacji zastosowane procedury, problemy i sposób ich rozwiązania.

5. Przykład praktyczny: przewidywanie ciśnienia skurczowego

Załóżmy, że badacz chce oszacować związek wieku, aktywności fizycznej i wskaźnika masy ciała z ciśnieniem skurczowym u 320 dorosłych osób. Zmienną wynikową jest ciśnienie skurczowe w mmHg. Ponieważ jest to zmienna ilościowa, regresja liniowa może być uzasadnionym wyborem.

Najpierw należy sprawdzić, czy każda osoba występuje w bazie tylko raz. Następnie warto obejrzeć wykresy rozrzutu. Jeśli zależność wieku z ciśnieniem jest zakrzywiona, można rozważyć składnik kwadratowy wieku. Jeżeli wariancja reszt zwiększa się przy wyższych wartościach ciśnienia, należy rozważyć odporne błędy standardowe lub inną specyfikację modelu.

Załóżmy, że wiek i BMI są silnie skorelowane, a VIF dla BMI wynosi 6,2. Nie jest to automatyczny powód do usunięcia zmiennej. Trzeba rozważyć, czy oba predyktory są potrzebne z punktu widzenia pytania. Jeśli celem jest oszacowanie niezależnego związku wieku i BMI, pozostawienie obu może być merytorycznie uzasadnione, ale należy poinformować o większej niepewności współczynników.

Jeżeli jedna osoba ma wyjątkowo wysokie ciśnienie i nietypową kombinację wieku oraz BMI, należy sprawdzić dokumentację. Wyniku nie należy usuwać tylko dlatego, że pogarsza p-wartość. Warto porównać model z tą obserwacją i bez niej oraz ocenić, czy wniosek o kierunku i wielkości efektu pozostaje podobny.

6. Drugi przykład: wynik skali lęku w psychologii

W badaniu studentów przewidywany jest wynik skali lęku na podstawie liczby godzin snu, obciążenia nauką i wsparcia społecznego. Wynik skali jest liczbowy, ale badacz powinien upewnić się, że jej zakres i właściwości pomiarowe uzasadniają traktowanie go jako zmiennej ilościowej.

Jeśli osoby pochodzą z kilku kierunków studiów, obserwacje mogą być zgrupowane. Studenci tego samego kierunku mogą doświadczać podobnego obciążenia i podobnych warunków. Wtedy zwykła regresja może nie być wystarczająca; należy rozważyć uwzględnienie kierunku jako predyktora, efektu losowego lub zastosowanie odpornych błędów klastrowych.

W tym przykładzie ważna jest także liniowość. Związek snu z lękiem może nie być prostą linią: bardzo krótki sen może wiązać się z wysokim lękiem, natomiast dalsze zwiększanie snu powyżej pewnego poziomu może nie zmieniać wyniku. Zależność krzywoliniowa powinna zostać opisana odpowiednim składnikiem modelu, a nie ukryta pod pozornie prostym współczynnikiem.

7. Najczęstsze błędy

  • Sprawdzanie wyłącznie normalności zmiennych. W regresji szczególne znaczenie ma rozkład i struktura reszt, a nie wymóg, aby każdy predyktor był normalny.
  • Traktowanie testu Shapiro-Wilka jako ostatecznego arbitra. Diagnostyka powinna łączyć wykresy, wiedzę o projekcie i ocenę praktycznego znaczenia odstępstw.
  • Usuwanie obserwacji odstających bez uzasadnienia. Przypadek nietypowy nie musi być błędny. Należy najpierw zweryfikować dane i wykonać analizę wrażliwości.
  • Mylenie braku istotności z dowodem spełnienia założenia. Nieistotny test nie dowodzi, że założenie jest idealnie spełnione.
  • Ignorowanie zależności między obserwacjami. Wielokrotne pomiary i dane klastrowe wymagają metod uwzględniających tę strukturę.
  • Używanie regresji liniowej dla nieodpowiedniego wyniku. Wynik binarny, liczniki i czasy do zdarzenia często wymagają innych modeli.
  • Automatyczne usuwanie predyktorów przy wysokim VIF. Współliniowość trzeba interpretować w kontekście teorii, celu analizy i stabilności oszacowań.
  • Raportowanie tylko wartości p. Należy podawać także współczynniki, przedziały ufności, wielkości efektu, diagnostykę i ograniczenia modelu. Standardy JARS APA podkreślają potrzebę przejrzystego opisu problemów z założeniami i procedur analitycznych (American Psychological Association, 2018).

8. Jak raportować sprawdzenie założeń?

Dobry opis nie musi zawierać kilkudziesięciu stron wykresów, ale powinien umożliwić ocenę wiarygodności analizy. Można napisać na przykład: „Liniowość i homoscedastyczność oceniono na podstawie wykresów reszt względem wartości przewidywanych. Rozkład reszt oceniono za pomocą wykresu Q-Q. Nie stwierdzono obserwacji o dużym wpływie, a wartości VIF nie wskazywały na nadmierną współliniowość”.

Jeśli wykryto problem, należy go nazwać i opisać rozwiązanie. Przykładowo: „Z powodu heteroscedastyczności przedstawiono odporne błędy standardowe. Analiza wrażliwości po wyłączeniu obserwacji o dużej odległości Cooka nie zmieniła kierunku głównego związku”. Taki zapis jest bardziej informacyjny niż zdanie „założenia zostały spełnione”.

Co warto zapamiętać?

  • Założenia regresji dotyczą zarówno danych i projektu, jak i reszt po dopasowaniu modelu.
  • Najważniejsze elementy checklisty to: właściwa zmienna wynikowa, niezależność obserwacji, liniowość, stałość wariancji, odpowiedni rozkład reszt, brak nadmiernej współliniowości oraz kontrola obserwacji wpływowych.
  • Diagnostyka powinna opierać się na połączeniu wiedzy merytorycznej, wykresów, miar diagnostycznych i analizy wrażliwości.
  • Naruszenie założenia nie zawsze oznacza konieczność rezygnacji z regresji. Często możliwa jest zmiana specyfikacji modelu, transformacja, zastosowanie odpornych błędów standardowych lub modelu uwzględniającego zależność obserwacji.
  • Nie należy mechanicznie usuwać przypadków ani wybierać modelu na podstawie samego p. Wnioski powinny uwzględniać wielkość efektu, jego precyzję i znaczenie praktyczne.
  • Sprawdzenie założeń jest częścią analizy, a nie dodatkiem wykonywanym dopiero po napisaniu wyników.

Źródła i dalsza lektura

  1. Kirkwood, B. R., & Sterne, J. A. C. (2003). Essential Medical Statistics. 2nd edition. Blackwell Publishing. Informacja wydawcy / źródło.
  2. Montgomery, D. C., Peck, E. A., & Vining, G. G. (2012). Introduction to Linear Regression Analysis. 5th edition. John Wiley & Sons. Informacja wydawcy / źródło.
  3. Bland, J. M., & Altman, D. G. (1994). Correlation, regression, and repeated data. BMJ, 308(6933), 896. DOI: 10.1136/bmj.308.6933.896.
  4. Hoaglin, D. C. (1991). A brief introduction to influence diagnostics in regression. International Journal of Technology Assessment in Health Care, 7(2), 227–234. DOI: 10.1017/S0266462300005122.
  5. von Elm, E., Altman, D. G., Egger, M., Pocock, S. J., Gøtzsche, P. C., & Vandenbroucke, J. P. (2007). The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) statement: guidelines for reporting observational studies. The Lancet, 370(9596), 1453–1457. DOI: 10.1016/S0140-6736(07)61602-X.
  6. American Psychological Association (2018). Journal Article Reporting Standards for Quantitative Research in Psychology: The APA Publications and Communications Board Task Force Report. American Psychological Association. Źródło.
  7. Bland, J. M., & Altman, D. G. (1994). Regression towards the mean. BMJ, 308(6942), 1499. DOI: 10.1136/bmj.308.6942.1499.

Podobne wpisy

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Wymagane pola są oznaczone *