374. Współliniowość – VIF i tolerancja

W modelu regresji kilka zmiennych objaśniających może opisywać bardzo podobny aspekt badanego zjawiska. Przykładowo: masa ciała i wskaźnik BMI, skurczowe i rozkurczowe ciśnienie tętnicze albo liczba godzin nauki i liczba przeczytanych stron mogą być ze sobą silnie powiązane. Taka sytuacja nie musi oznaczać błędu w danych, ale może utrudniać interpretację pojedynczych współczynników regresji. W tej lekcji kursu na statystyk.edu.pl omówimy współliniowość oraz dwa klasyczne wskaźniki diagnostyczne: VIF i tolerancję.

Czym jest współliniowość?

Współliniowość oznacza, że jeden predyktor można w znacznym stopniu przewidywać na podstawie pozostałych predyktorów znajdujących się w modelu. Współliniowość doskonała występuje wtedy, gdy jedna zmienna jest dokładną kombinacją liniową innych, na przykład gdy do modelu jednocześnie wprowadzimy temperaturę w stopniach Celsjusza i temperaturę w stopniach Fahrenheita. W takim przypadku macierz modelu jest osobliwa i klasyczne współczynniki regresji nie mogą zostać jednoznacznie oszacowane.

Znacznie częściej występuje jednak współliniowość przybliżona. Predyktory nie są identyczne, ale zawierają podobną informację. Model może wtedy nadal zostać dopasowany, lecz oszacowania współczynników stają się mniej precyzyjne i bardziej podatne na zmiany w próbie. Belsley, Kuh i Welsch (1980) podkreślali, że diagnostyka współliniowości powinna dotyczyć nie tylko prostych korelacji między parami zmiennych, lecz także ich wspólnego układu w całym modelu.

Współliniowość dotyczy przede wszystkim identyfikacji niezależnego wkładu predyktora. Jeżeli dwa predyktory mają podobne wartości w badanych osobach, modelowi trudno rozdzielić, która część zmienności zmiennej zależnej jest związana z pierwszym, a która z drugim. Nie oznacza to automatycznie, że model źle przewiduje. Model może mieć dobre dopasowanie i trafne predykcje, a jednocześnie bardzo niestabilne współczynniki poszczególnych zmiennych.

Dlaczego współliniowość jest problemem?

W regresji liniowej współczynnik przy predyktorze interpretuje się jako oczekiwaną zmianę zmiennej zależnej przy zmianie tego predyktora o jedną jednostkę, przy stałych pozostałych predyktorach. Gdy predyktory są silnie powiązane, warunek „przy stałych pozostałych predyktorach” może odpowiadać sytuacji rzadko lub w ogóle niewystępującej w danych. W efekcie interpretacja staje się empirycznie słabo podparta.

• rośnie wariancja i błąd standardowy oszacowań współczynników;
• przedziały ufności dla współczynników stają się szersze;
• testy dotyczące pojedynczych współczynników mają mniejszą moc;
• współczynniki mogą zmieniać znak albo znacząco zmieniać wartość po dodaniu lub usunięciu predyktora;
• może pojawić się pozorna sprzeczność między silną zależnością łączną a nieistotnymi współczynnikami cząstkowymi.

Współliniowość nie zwiększa systematycznego obciążenia estymatora najmniejszych kwadratów w klasycznym modelu, lecz zwiększa jego niepewność. Dlatego nie należy utożsamiać jej z błędem pomiaru, obciążeniem selekcyjnym ani naruszeniem niezależności obserwacji.

Współczynnik VIF

Definicja i wzór

Dla predyktora X_j definiuje się pomocniczy model regresji, w którym X_j jest zmienną zależną, a wszystkie pozostałe predyktory są zmiennymi objaśniającymi. Niech R²_j oznacza współczynnik determinacji z tego pomocniczego modelu. Wówczas:

VIF_j = 1 / (1 − R²_j)

Oznaczenia mają następujące znaczenie:

• VIF_j – współczynnik inflacji wariancji dla predyktora X_j;
• R²_j – część zmienności predyktora X_j, którą można wyjaśnić za pomocą pozostałych predyktorów;
• 1 − R²_j – część zmienności X_j, której nie wyjaśniają pozostałe predyktory.

Jeśli predyktor nie jest powiązany z pozostałymi zmiennymi, R²_j jest bliskie zeru, a VIF jest bliski 1. Jeżeli pozostałe predyktory niemal dokładnie przewidują X_j, wtedy R²_j zbliża się do 1, a VIF gwałtownie rośnie.

W sensie technicznym VIF informuje, ile razy wariancja oszacowania współczynnika jest większa niż w hipotetycznej sytuacji, w której dany predyktor byłby liniowo niezależny od pozostałych predyktorów, przy zachowaniu pozostałych elementów modelu.

Przykład obliczenia VIF

Załóżmy, że w pomocniczej regresji dla predyktora „wiek” otrzymano R² = 0,75. Oznacza to, że 75% zróżnicowania wieku w analizowanej próbie można przewidzieć na podstawie pozostałych zmiennych, na przykład stażu choroby, liczby przyjmowanych leków i poziomu ryzyka sercowo-naczyniowego.

Wtedy:

VIF = 1 / (1 − 0,75) = 1 / 0,25 = 4

Wariancja oszacowania współczynnika przy wieku jest więc czterokrotnie większa niż w sytuacji braku liniowego powiązania wieku z pozostałymi predyktorami. Nie oznacza to, że współczynnik jest „czterokrotnie błędny” ani że należy automatycznie usunąć wiek z modelu.

Tolerancja

Tolerancja jest odwrotnością VIF:

Tolerancja_j = 1 / VIF_j = 1 − R²_j

W poprzednim przykładzie tolerancja wynosi:

1 − 0,75 = 0,25

Można ją interpretować jako tę część zmienności danego predyktora, której nie można wyjaśnić za pomocą pozostałych predyktorów. Im niższa tolerancja, tym silniejsza współliniowość. VIF i tolerancja przekazują tę samą informację w dwóch skalach: wysoki VIF odpowiada niskiej tolerancji.

VIF	Tolerancja	Wstępna interpretacja
1	1,00	brak liniowego powiązania z pozostałymi predyktorami
2	0,50	umiarkowane powiązanie
5	0,20	wyraźna współliniowość, wymagająca oceny kontekstu
10	0,10	potencjalnie poważny problem, ale nie automatyczny wyrok

W literaturze spotyka się reguły orientacyjne, takie jak VIF większy od 5 lub 10 albo tolerancja mniejsza od 0,20 lub 0,10. Nie są to uniwersalne prawa natury. O’Brien (2007) wykazał, że mechaniczne stosowanie progów może prowadzić zarówno do nadmiernego usuwania zmiennych, jak i do przeoczenia rzeczywistych problemów. Wartości graniczne należy interpretować razem z liczebnością próby, celem analizy, precyzją oszacowań, strukturą danych i znaczeniem merytorycznym predyktorów.

Przykład medyczny: model czasu hospitalizacji

Badacz analizuje czas hospitalizacji pacjentów po operacji. W modelu uwzględnia wiek, liczbę chorób przewlekłych, wynik skali ryzyka operacyjnego, czas trwania zabiegu i całkowitą liczbę leków przyjmowanych przed przyjęciem.

Okazuje się, że:

• VIF dla wieku wynosi 2,1;
• VIF dla liczby chorób przewlekłych wynosi 4,8;
• VIF dla wyniku skali ryzyka wynosi 6,2;
• VIF dla czasu zabiegu wynosi 1,4;
• VIF dla liczby leków wynosi 5,5.

Nie należy od razu usuwać skali ryzyka, liczby chorób przewlekłych ani liczby leków. Możliwe, że te zmienne są celowo w modelu, ponieważ reprezentują różne konstrukty kliniczne, mimo częściowego nakładania się informacji. Należy sprawdzić przedziały ufności, korelacje, zależności merytoryczne, sposób skonstruowania skali oraz to, czy celem jest wyjaśnienie niezależnych efektów, czy raczej trafna predykcja czasu hospitalizacji.

Jeżeli skala ryzyka jest sumą elementów obejmujących między innymi choroby przewlekłe i liczbę leków, współliniowość może wynikać z konstrukcji narzędzia. Rozwiązaniem może być wybór jednej, wcześniej uzasadnionej reprezentacji ryzyka albo zastosowanie złożonego indeksu. Decyzja powinna wynikać z pytania badawczego, a nie wyłącznie z faktu, że jeden VIF przekroczył ustalony próg.

Przykład psychologiczny: predyktory dobrostanu

W badaniu dobrostanu studentów uwzględniono stres, objawy lękowe, objawy depresyjne, jakość snu i wsparcie społeczne. Wynik VIF dla stresu wynosi 3,0, dla lęku 7,1, a dla depresji 8,4. Wysokie VIF mogą wskazywać, że objawy lękowe i depresyjne są ze sobą silnie powiązane w tej konkretnej próbie.

Jeśli głównym celem jest oszacowanie łącznego związku obciążenia psychicznego z dobrostanem, można rozważyć wcześniej zdefiniowany wynik ogólny albo model wielowymiarowy. Jeśli natomiast celem jest rozróżnienie unikalnego wkładu lęku i depresji, usunięcie jednego predyktora tylko dlatego, że ma wysoki VIF może zniszczyć sens pytania badawczego. W takim przypadku należy uczciwie opisać niepewność współczynników i ostrożnie interpretować efekty cząstkowe.

Jak przeprowadzić diagnostykę?

1. Określ cel modelu: wyjaśnianie, predykcja czy ocena związku określonych zmiennych z wynikiem.
2. Sprawdź, czy predyktory nie są matematycznie zduplikowane lub błędnie zakodowane.
3. Oblicz VIF i tolerancję dla wszystkich predyktorów, zwykle po dopasowaniu modelu podstawowego.
4. Oceń także korelacje, macierz korelacji predyktorów, przedziały ufności i stabilność współczynników.
5. Sprawdź, czy współliniowość dotyczy całego modelu, czy tylko określonej grupy zmiennych.
6. Rozważ rozwiązania oparte na wiedzy merytorycznej, a nie automatycznej selekcji.
7. W raporcie podaj zastosowane kryterium, uzyskane wartości i sposób postępowania.

W przypadku modeli z interakcjami lub składnikami wielomianowymi VIF może wzrosnąć, ponieważ predyktory i ich iloczyny są zależne konstrukcyjnie. Centrowanie zmiennych ciągłych może poprawić interpretację wyrazu wolnego i ograniczyć niektóre zależności między składnikiem głównym a interakcją, ale nie usuwa zasadniczej współliniowości między odrębnymi konstruktami (O’Brien, 2007).

Co można zrobić ze współliniowością?

Nie istnieje jedno uniwersalne lekarstwo. Możliwe strategie obejmują:

• usunięcie jednego z podobnych predyktorów – tylko wtedy, gdy decyzję uzasadnia teoria, projekt badania lub jakość pomiaru;
• połączenie zmiennych – na przykład utworzenie indeksu, gdy predyktory mierzą wspólny konstrukt;
• zastosowanie redukcji wymiaru – na przykład analizy głównych składowych, gdy celem jest predykcja lub opis wymiarów danych;
• regresję grzbietową lub inne metody regularyzacji – szczególnie w zadaniach predykcyjnych;
• zwiększenie liczebności próby lub poprawę zakresu pomiaru – jeśli współliniowość wynika z małej zmienności predyktorów;
• pozostawienie zmiennych w modelu – jeżeli są ważnymi zmiennymi kontrolnymi lub elementami zaplanowanego modelu.

Usunięcie predyktora może zmniejszyć błąd standardowy pozostałych współczynników, ale może też wprowadzić pominięcie istotnej zmiennej, zmienić interpretację modelu albo zwiększyć obciążenie estymacji. Dormann i współpracownicy (2013) zwracają uwagę, że sposób postępowania powinien zależeć od celu analizy i charakteru zmiennych, a nie od samej obecności korelacji.

Najczęstsze błędy

• Traktowanie VIF = 5 lub VIF = 10 jako bezwzględnego zakazu. Progi są orientacyjne i wymagają kontekstu.
• Sprawdzanie wyłącznie korelacji parami. Współliniowość może wynikać z kombinacji kilku predyktorów, nawet jeśli pojedyncze korelacje nie wyglądają dramatycznie.
• Usuwanie zmiennej wyłącznie na podstawie VIF. Decyzja powinna uwzględniać teorię, projekt badania i cel modelu.
• Uznawanie nieistotnego p za dowód braku związku. Współliniowość może zwiększać niepewność, ale p-value nie jest miarą ważności klinicznej ani prawdopodobieństwem prawdziwości hipotezy zerowej.
• Mylenie współliniowości z przyczynowością. VIF opisuje zależności między predyktorami; nie rozstrzyga, która zmienna powoduje wynik.
• Raportowanie tylko najwyższego VIF. Należy przedstawić wartości dla wszystkich predyktorów albo jasno opisać pełną diagnostykę.
• Ignorowanie konstrukcji skal i indeksów. Wysoki VIF może być przewidywalną konsekwencją tego, że jedna zmienna jest zbudowana z innych.

Przykład praktyczny: jak opisać wynik?

Załóżmy, że w analizie regresji logistycznej dotyczącej ponownego przyjęcia do szpitala uzyskano VIF od 1,3 do 4,6, a tolerancję od 0,22 do 0,77. Poprawny opis może brzmieć:

„Współliniowość oceniono za pomocą współczynników VIF i tolerancji. Wartości VIF mieściły się w zakresie 1,3–4,6, a tolerancji w zakresie 0,22–0,77. Wyniki wskazywały na umiarkowane nakładanie się informacji między niektórymi predyktorami, lecz nie uzasadniały automatycznego usunięcia zmiennych. Interpretację współczynników oparto na przedziałach ufności i znaczeniu klinicznym, a nie wyłącznie na progach diagnostycznych.”

Taki raport jest bardziej informacyjny niż zdanie „nie stwierdzono multikolinearności, ponieważ VIF był mniejszy niż 10”. Czytelnik poznaje zakres wyników, zastosowaną metodę i ostrożność interpretacyjną.

VIF a predykcja i wyjaśnianie

Znaczenie współliniowości zależy od zadania. W modelu nastawionym na predykcję częściowo redundantne predyktory mogą być użyteczne, ponieważ wspólnie poprawiają przewidywanie wyniku. Problemem może być wtedy raczej niestabilność predykcji poza zakresem danych lub nadmierne dopasowanie.

W modelu nastawionym na interpretację współczynników współliniowość jest zwykle bardziej kłopotliwa. Trudniej odpowiedzieć, jaki jest niezależny związek konkretnego predyktora z wynikiem, gdy predyktor ten dzieli informację z innymi zmiennymi. Dlatego ten sam VIF może być akceptowalny w jednym projekcie, a problematyczny w innym.

Co warto zapamiętać?

• Współliniowość oznacza, że predyktory zawierają częściowo tę samą informację.
• VIF oblicza się jako 1 / (1 − R²), gdzie R² pochodzi z pomocniczej regresji danego predyktora na pozostałe predyktory.
• Tolerancja jest odwrotnością VIF i wynosi 1 − R².
• Wysoki VIF przede wszystkim zwiększa niepewność oszacowań, a nie dowodzi, że model jest bezużyteczny.
• Progi 5 i 10 są regułami orientacyjnymi, nie uniwersalnymi kryteriami decyzji.
• Decyzje o usuwaniu, łączeniu lub pozostawieniu zmiennych powinny wynikać z pytania badawczego i wiedzy merytorycznej.
• VIF nie ocenia przyczynowości, normalności reszt, homoskedastyczności ani niezależności obserwacji.
• Wyniki diagnostyki należy raportować razem z przedziałami ufności, celem analizy i znaczeniem praktycznym efektów.

VIF i tolerancja są użytecznymi elementami diagnostyki, ale nie zastępują rozumowania metodologicznego. Najlepsza praktyka polega na połączeniu wskaźników liczbowych z analizą konstrukcji zmiennych, projektem badania i pytaniem, na które model ma odpowiedzieć.

Źródła i dalsza lektura

1. David A. Belsley, Edwin Kuh, Roy E. Welsch (1980). Regression Diagnostics: Identifying Influential Data and Sources of Collinearity. John Wiley & Sons. Informacja wydawcy / źródło.
2. Robert M. O’Brien (2007). A Caution Regarding Rules of Thumb for Variance Inflation Factors. Quality & Quantity, 41, 673–690. DOI: 10.1007/s11135-006-9018-6.
3. Carsten F. Dormann, Jane Elith, Sven Bacher, Carsten Buchmann, Gudrun Carl, Gabriel Carré, Jaime R. García Marquéz, Bernd Gruber, Bruno Lafourcade, Pedro J. Leitão, Tamara Münkemüller, Colin McClean, Patrick E. Osborne, Björn Reineking, Boris Schröder, Andrew K. Skidmore, Damaris Zurell, Sven Lautenbach (2013). Collinearity: a review of methods to deal with it and a simulation study evaluating their performance. Ecography, 36(1), 27–46. DOI: 10.1111/j.1600-0587.2012.07348.x.
4. Eric Vittinghoff, David V. Glidden, Stephen C. Shiboski, Charles E. McCulloch (2012). Regression Methods in Biostatistics: Linear, Logistic, Survival, and Repeated Measures Models. Second Edition. Springer. Informacja wydawcy / źródło.
5. John Fox, Sanford Weisberg (2019). An R Companion to Applied Regression. Third Edition. SAGE Publications, Inc.. Informacja wydawcy / źródło.