464. Regresja wieloraka – po co uwzględniać wiele predyktorów?

Lekcja 464 z 560

W poprzednich lekcjach poznaliśmy regresję liniową prostą, w której wynik przewiduje się na podstawie jednej zmiennej objaśniającej. W praktycznych badaniach zdrowotnych, psychologicznych i społecznych pojedynczy predyktor rzadko wystarcza. Ciśnienie tętnicze zależy nie tylko od wieku, lecz także między innymi od masy ciała, płci, palenia tytoniu i aktywności fizycznej. Wynik testu psychologicznego może wiązać się zarówno ze stresem, jak i ze snem, sytuacją ekonomiczną czy wcześniejszym leczeniem.

Regresja wieloraka służy do modelowania jednego wyniku ilościowego przy jednoczesnym uwzględnieniu co najmniej dwóch predyktorów. Jej podstawowa wartość polega na tym, że pozwala opisać związek każdej zmiennej z wynikiem przy stałych wartościach pozostałych predyktorów. Nie oznacza to automatycznie uzyskania dowodu przyczynowości. Oznacza natomiast bardziej szczegółowy opis zależności niż w analizie jednoczynnikowej.

1. Czym jest regresja wieloraka?

Załóżmy, że chcemy przewidywać skurczowe ciśnienie tętnicze na podstawie wieku, wskaźnika masy ciała oraz liczby godzin aktywności fizycznej w tygodniu. W regresji prostej analizowalibyśmy każdą zmienną osobno. W regresji wielorakiej umieszczamy je w jednym modelu.

Model można zapisać następująco:

Y = b0 + b1X1 + b2X2 + ... + bkXk + e

  • Y – zmienna zależna, czyli wynik, który chcemy wyjaśniać lub przewidywać;
  • b0 – wyraz wolny, czyli przewidywana wartość Y, gdy wszystkie predyktory mają wartość równą zero;
  • X1, X2, …, Xk – predyktory, czyli zmienne objaśniające;
  • b1, b2, …, bk – współczynniki regresji, opisujące zmianę przewidywanego Y związane z jednostkową zmianą danego predyktora przy stałości pozostałych;
  • e – składnik resztowy, czyli część zmienności wyniku niewyjaśniona przez model.

Współczynnik b1 nie opisuje już po prostu związku między X1 i Y. Opisuje związek X1 z Y po uwzględnieniu pozostałych zmiennych zawartych w modelu. Dlatego współczynniki z regresji wielorakiej nazywa się często współczynnikami częściowymi albo skorygowanymi.

2. Po co uwzględniać wiele predyktorów?

2.1. Aby lepiej przewidywać wynik

Jeżeli kilka zmiennych dostarcza niezależnych informacji o wyniku, model wieloraki może przewidywać go dokładniej niż model oparty na jednym predyktorze. Przykładowo, przewidywanie czasu pobytu pacjenta w szpitalu może być trafniejsze, gdy uwzględnimy wiek, ciężkość stanu klinicznego, liczbę chorób współistniejących i rodzaj przyjęcia do szpitala, zamiast korzystać wyłącznie z wieku.

Wzrost dopasowania modelu nie powinien jednak być jedynym celem. Dodanie dowolnej zmiennej może nieznacznie zwiększyć surowy współczynnik R2, nawet gdy predyktor nie ma rzeczywistej wartości naukowej. Dlatego warto rozważać również skorygowane R2, przedziały ufności, walidację modelu oraz sens kliniczny i teoretyczny zmiennych. Harrell podkreśla, że budowanie modeli wielozmiennowych powinno być elementem strategii analitycznej, a nie mechanicznym dobieraniem zmiennych według kryterium istotności statystycznej (Harrell, 2015).

2.2. Aby kontrolować potencjalne czynniki zakłócające

Czynnik zakłócający to zmienna powiązana zarówno z ekspozycją lub predyktorem, jak i z wynikiem, która może zniekształcać obserwowany związek. Włączenie takiej zmiennej do modelu może pomóc oddzielić związek interesującego nas predyktora od części związanej z innymi czynnikami.

Przykładowo, w badaniu obserwacyjnym analizujemy związek liczby godzin pracy siedzącej z nasileniem bólu kręgosłupa. Wiek może być związany zarówno z długością pracy siedzącej, jak i z bólem. Jeżeli nie uwzględnimy wieku, obserwowany związek może częściowo odzwierciedlać różnice wieku między badanymi.

Trzeba jednak zachować ostrożność. Wynik „skorygowany” nie jest automatycznie wynikiem wolnym od błędu. STROBE zaleca jasne wskazanie, które czynniki uwzględniono, z jakiego powodu oraz jak zmieniły się oszacowania względem analizy nieskorygowanej. Sama regresja nie usuwa błędów pomiaru, selekcji uczestników, brakujących danych ani nieznanych czynników zakłócających (Vandenbroucke i in., 2007; von Elm i in., 2007). ([doi.org])

2.3. Aby rozdzielić nakładające się związki

Predyktory często są ze sobą powiązane. Masa ciała koreluje z obwodem talii, ciśnieniem tętniczym i aktywnością fizyczną. Jeśli każdy predyktor analizujemy osobno, jego związek z wynikiem może obejmować także informację dostarczaną przez pozostałe zmienne.

Regresja wieloraka pozwala odpowiedzieć na pytanie: czy dany predyktor wnosi dodatkową informację, której nie wyjaśniają już pozostałe predyktory? To jest sens interpretacji „przy stałych wartościach pozostałych zmiennych”.

3. Przykład medyczny: ciśnienie tętnicze

Załóżmy, że w badaniu 300 osób modelujemy skurczowe ciśnienie tętnicze na podstawie wieku, BMI i aktywności fizycznej. Otrzymano następujący model:

SBP = 92,0 + 0,62 × wiek + 0,85 × BMI − 0,40 × aktywność

Jeżeli aktywność mierzono w godzinach tygodniowo, interpretacja współczynnika przy wieku brzmi: przy tej samej wartości BMI i takiej samej aktywności fizycznej wzrost wieku o jeden rok wiąże się średnio ze wzrostem przewidywanego SBP o 0,62 mm Hg. To nie znaczy, że u każdej osoby ciśnienie wzrośnie dokładnie o tę wartość ani że starzenie się samo w sobie jest jedyną przyczyną zmiany.

Współczynnik przy BMI oznacza, że przy stałym wieku i poziomie aktywności wzrost BMI o jedną jednostkę wiąże się średnio ze wzrostem przewidywanego SBP o 0,85 mm Hg. Współczynnik ujemny przy aktywności wskazuje na odwrotny kierunek związku: przy tym samym wieku i BMI większa liczba godzin aktywności wiąże się z niższym przewidywanym ciśnieniem.

Warto zwrócić uwagę, że opis dotyczy wartości oczekiwanej i zależności modelowej. Nie wolno na tej podstawie twierdzić, że zwiększenie aktywności na pewno obniży ciśnienie, jeśli badanie było przekrojowe lub obserwacyjne. Do wniosków przyczynowych potrzebny jest odpowiedni schemat badania, właściwa kontrola zakłóceń i uzasadnienie założeń.

4. Przykład z psychologii: wynik depresji

W badaniu studentów analizujemy wynik kwestionariusza objawów depresyjnych. Predyktorami są: liczba godzin snu, poziom stresu akademickiego i wsparcie społeczne. Można zapisać model:

BDI = b0 + b1sen + b2stres + b3wsparcie + e

Załóżmy, że współczynnik przy śnie wynosi −0,8. Oznacza to, że przy tym samym poziomie stresu i wsparcia społecznego dodatkowa godzina snu wiąże się średnio z wynikiem niższym o 0,8 punktu. Taka interpretacja jest bardziej informacyjna niż prosta korelacja snu z wynikiem, jeśli sen jest jednocześnie powiązany ze stresem.

Nie należy jednak „kontrolować wszystkiego”. Jeśli wsparcie społeczne jest częścią mechanizmu, przez który sen wiąże się z dobrostanem, jego włączenie może zmienić pytanie badawcze. Wybór predyktorów powinien wynikać z celu badania, wiedzy dziedzinowej i modelu teoretycznego, a nie wyłącznie z tego, które zmienne okazały się istotne w próbie.

5. Regresja wieloraka a regresja prosta

Cecha Regresja prosta Regresja wieloraka
Liczba predyktorów Jeden Co najmniej dwa
Interpretacja współczynnika Związek predyktora z wynikiem Związek predyktora z wynikiem przy stałości pozostałych
Kontrola zakłóceń Ograniczona Możliwa dla zmiennych zawartych w modelu
Ryzyko techniczne Prostszy model Większe ryzyko współliniowości i przeuczenia

Regresja wieloraka nie jest po prostu „lepszą” regresją prostą. Jest właściwsza wtedy, gdy pytanie badawcze dotyczy jednoczesnego udziału kilku zmiennych albo gdy chcemy uwzględnić uzasadnione czynniki zakłócające. Jeżeli pytanie dotyczy wyłącznie nieskorygowanego związku dwóch zmiennych, prostsza analiza może być wystarczająca.

6. Co oznacza „kontrolowanie” predyktora?

Kontrolowanie predyktora jest skrótem myślowym. W praktyce model porównuje osoby lub obserwacje o różnych wartościach interesującego predyktora, ale podobnych pod względem pozostałych zmiennych w modelu. Jeśli model zawiera wiek, płeć i BMI, współczynnik przy aktywności opisuje zależność aktywności z wynikiem w warunkach matematycznej kontroli wieku, płci i BMI.

Nie jest to jednak zawsze dosłowne porównanie dwóch identycznych osób. Jeżeli predyktory są silnie skorelowane, zakres takich porównań może być bardzo ograniczony. Współczynnik staje się wtedy niestabilny i trudniejszy do interpretacji.

7. Współliniowość i nadmiar predyktorów

Współliniowość występuje wtedy, gdy predyktory są silnie powiązane. Nie musi ona uniemożliwiać predykcji, ale może utrudniać ocenę indywidualnego wkładu zmiennych. Typowe konsekwencje to duże błędy standardowe, szerokie przedziały ufności, zmiany znaku współczynników oraz pozornie nieistotne predyktory mimo istotnego dopasowania całego modelu.

Przykładowo, masa ciała i BMI mogą dostarczać podobnej informacji. Jeżeli oba predyktory włączymy bez uzasadnienia, model może mieć trudność z rozdzieleniem ich indywidualnego wpływu. Pomocne są macierz korelacji, współczynniki VIF, analiza tolerancji oraz przede wszystkim rozumowanie merytoryczne. Nie istnieje jedna uniwersalna granica VIF, która zastępowałaby ocenę kontekstu.

Drugim problemem jest przeuczenie. Model przeuczony zbyt dobrze dopasowuje się do specyfiki jednej próby, ale słabo działa w nowych danych. Ryzyko rośnie wraz z liczbą predyktorów, interakcji i składników nieliniowych, zwłaszcza przy małej próbie. Babyak wskazywał, że automatyczny dobór zmiennych i wielokrotne testowanie kandydatów może prowadzić do pozornie przekonujących, lecz niestabilnych wyników (Babyak, 2004). ([pubmed.ncbi.nlm.nih.gov])

8. Jak budować model wieloraki?

  1. Zdefiniuj pytanie badawcze. Ustal, czy celem jest opis związku, kontrola zakłóceń, predykcja czy ocena dodatkowej wartości predyktora.
  2. Określ wynik i skalę pomiaru. Regresja liniowa wieloraka dotyczy wyniku ilościowego, dla którego założenia tego modelu są rozsądne.
  3. Wybierz predyktory przed analizą, korzystając z wiedzy dziedzinowej, wcześniejszych badań i modelu przyczynowego.
  4. Sprawdź dane. Oceń braki danych, wartości odstające, zakresy pomiarów i poprawność kodowania zmiennych kategorialnych.
  5. Oceń założenia modelu. Należą do nich między innymi liniowość, niezależność obserwacji, stałość wariancji reszt i brak nadmiernie wpływowych obserwacji.
  6. Raportuj oszacowania i niepewność. Podawaj współczynniki, błędy standardowe lub 95-procentowe przedziały ufności, wartości p, liczebność analizowanej próby oraz miary dopasowania.
  7. Rozważ walidację. Przy modelach predykcyjnych ważna jest ocena działania modelu w danych nowych, na przykład przez walidację krzyżową lub próbę zewnętrzną.

9. Przykład praktyczny: analiza przypadku

Badacze chcą ocenić, jakie czynniki wiążą się z czasem powrotu do samodzielnego chodzenia po zabiegu ortopedycznym. Wynikiem jest liczba dni od operacji do osiągnięcia zdefiniowanego kryterium. Potencjalnymi predyktorami są wiek, przedoperacyjna sprawność, choroby współistniejące i poziom bólu pooperacyjnego.

Model wieloraki może pomóc odpowiedzieć na pytanie, czy wiek pozostaje związany z czasem powrotu do chodzenia po uwzględnieniu sprawności początkowej i chorób współistniejących. Jest to bardziej precyzyjne niż stwierdzenie, że „starsi pacjenci chodzili później”, ponieważ różnica może wynikać z gorszej sprawności już przed operacją.

Jednocześnie ból pooperacyjny może być zmienną pośredniczącą między przebiegiem leczenia a powrotem do chodzenia. Jeśli celem jest oszacowanie całkowitego związku wieku z wynikiem, kontrolowanie bólu może usunąć część interesującej informacji. Jeśli celem jest ocena związku wieku niezależnego od aktualnego bólu, jego włączenie może być uzasadnione. To pokazuje, że wybór predyktorów jest decyzją naukową, nie tylko techniczną.

Najczęstsze błędy

  • Interpretowanie współczynnika jak w regresji prostej. W regresji wielorakiej współczynnik dotyczy związku przy stałości pozostałych predyktorów.
  • Traktowanie korekty jako dowodu przyczynowości. Model skorygowany nie eliminuje wszystkich źródeł błędu.
  • Dodawanie zmiennych wyłącznie dlatego, że są dostępne. Każdy predyktor powinien mieć uzasadnienie badawcze.
  • Automatyczny wybór krokowy jako główna strategia. Może zwiększać niestabilność i prowadzić do wyników zależnych od konkretnej próby.
  • Ignorowanie współliniowości. Silnie powiązane predyktory utrudniają interpretację współczynników.
  • Porównywanie samych wartości p. Należy analizować także wielkość efektu, przedział ufności, znaczenie praktyczne i dopasowanie modelu.
  • Wnioskowanie poza zakresem danych. Model może być użyteczny w obserwowanym zakresie predyktorów, ale nie musi poprawnie przewidywać wartości znacznie większych lub mniejszych.
  • Ukrywanie analizy nieskorygowanej. W badaniach obserwacyjnych warto często pokazać zarówno wyniki surowe, jak i skorygowane oraz wyjaśnić różnice między nimi, zgodnie z zaleceniami STROBE (von Elm i in., 2007).

Co warto zapamiętać?

  • Regresja wieloraka analizuje jeden wynik przy jednoczesnym uwzględnieniu wielu predyktorów.
  • Jej współczynnik opisuje zmianę przewidywanego wyniku przy jednostkowej zmianie danego predyktora i stałości pozostałych.
  • Wiele predyktorów może poprawić predykcję oraz pomóc kontrolować uzasadnione czynniki zakłócające.
  • Kontrolowanie zmiennych nie gwarantuje poprawności przyczynowej ani nie usuwa błędów pomiaru, selekcji i brakujących danych.
  • Należy rozróżniać istotność statystyczną, wielkość efektu, precyzję oszacowania i znaczenie praktyczne.
  • Współliniowość i przeuczenie mogą sprawić, że model będzie trudny do interpretacji lub słabo uogólni się na nowe dane.
  • Dobór predyktorów powinien wynikać z pytania badawczego i wiedzy merytorycznej, a nie wyłącznie z automatycznej selekcji.

W ramach publicznego szkolenia na statystyk.edu.pl regresję wieloraką warto traktować jako przejście od pytania „czy dwie zmienne są związane?” do pytania „jak wiele zmiennych wspólnie wiąże się z wynikiem i jaka jest dodatkowa informacja każdej z nich?”. To przejście wymaga nie tylko znajomości wzoru, lecz także świadomego określenia celu analizy, struktury danych i ograniczeń wnioskowania.

Źródła i dalsza lektura

  1. Babyak, Michael A. (2004). What You See May Not Be What You Get: A Brief, Nontechnical Introduction to Overfitting in Regression-Type Models. Psychosomatic Medicine, 66(3), 411–421. DOI: 10.1097/01.psy.0000127692.23278.a9.
  2. Harrell, Frank E., Jr. (2015). Regression Modeling Strategies: With Applications to Linear Models, Logistic and Ordinal Regression, and Survival Analysis. 2nd edition. Springer International Publishing. Informacja wydawcy / źródło.
  3. von Elm, Erik; Altman, Douglas G.; Egger, Matthias; Pocock, Stuart J.; Gøtzsche, Peter C.; Vandenbroucke, Jan P.; for the STROBE Initiative (2007). The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) Statement: Guidelines for Reporting Observational Studies. The Lancet, 370(9596), 1453–1457. DOI: 10.1016/S0140-6736(07)61602-X.
  4. Vandenbroucke, Jan P.; von Elm, Erik; Altman, Douglas G.; Gøtzsche, Peter C.; Mulrow, Cynthia D.; Pocock, Stuart J.; Poole, Charles; Schlesselman, James J.; Egger, Matthias (2007). Strengthening the Reporting of Observational Studies in Epidemiology (STROBE): Explanation and Elaboration. PLoS Medicine, 4(10), e297. DOI: 10.1371/journal.pmed.0040297.
  5. Vandenbroucke, Jan P.; von Elm, Erik; Altman, Douglas G.; Gøtzsche, Peter C.; Mulrow, Cynthia D.; Pocock, Stuart J.; Poole, Charles; Schlesselman, James J.; Egger, Matthias (2007). Strengthening the Reporting of Observational Studies in Epidemiology (STROBE): Explanation and Elaboration. Annals of Internal Medicine, 147(W-163), W163. DOI: 10.7326/0003-4819-147-8-200710160-00010-w1.
  6. STROBE Initiative (2024). STROBE: Strengthening the Reporting of Observational Studies in Epidemiology. STROBE Initiative. Źródło.

Podobne wpisy

Jeden komentarz

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Wymagane pola są oznaczone *