475. Ocena dopasowania modelu logistycznego
W poprzednich lekcjach kursu na statystyk.edu.pl omawialiśmy konstrukcję regresji logistycznej, zmienne objaśniające oraz interpretację ilorazów szans. Samo oszacowanie współczynników nie odpowiada jednak na ważne pytanie: czy model dobrze opisuje dane i czy jego przewidywania są użyteczne? Ocena dopasowania modelu logistycznego wymaga spojrzenia z kilku perspektyw. Należy sprawdzić między innymi, czy model odróżnia osoby z wynikiem 1 od osób z wynikiem 0, czy przewidywane prawdopodobieństwa są zgodne z częstościami obserwowanymi oraz czy model nie jest nadmiernie dopasowany do próby uczącej.
Nie istnieje jedna uniwersalna liczba, która w pełni opisuje jakość modelu. Dobry model powinien być oceniany w odniesieniu do celu analizy: wyjaśniania zależności, predykcji indywidualnego ryzyka, klasyfikacji albo wspierania decyzji klinicznej. W tej lekcji uporządkujemy najważniejsze pojęcia i pokażemy, jak łączyć je w spójną ocenę.
1. Czym jest dopasowanie modelu logistycznego?
W regresji logistycznej zmienna zależna ma zwykle dwie wartości, na przykład: choroba wystąpiła lub nie wystąpiła, readmisja nastąpiła lub nie nastąpiła, pacjent przeżył lub zmarł. Model opisuje prawdopodobieństwo wystąpienia zdarzenia:
p_i = P(Y_i = 1 | X_i)
gdzie p_i oznacza przewidywane prawdopodobieństwo zdarzenia dla osoby i, Y_i jest obserwowanym wynikiem, a X_i oznacza zestaw wartości predyktorów tej osoby.
Model logistyczny zapisuje się najczęściej w postaci:
logit(p_i) = ln[p_i/(1 − p_i)] = β0 + β1X1i + β2X2i + ... + βkXki
logit(p_i)to logit, czyli logarytm ilorazu szans wystąpienia zdarzenia;β0to wyraz wolny;βjto współczynnik przyj-tym predyktorze;Xjito wartośćj-tego predyktora u osobyi;koznacza liczbę predyktorów.
Dopasowanie można rozumieć jako zgodność między tym, co model przewiduje, a tym, co rzeczywiście obserwujemy. Jeżeli model przewiduje ryzyko 0,80 dla grupy pacjentów, to w dobrze skalibrowanym modelu zdarzenie powinno występować u około 80% takich pacjentów. Jest to inny aspekt jakości niż sama zdolność uporządkowania osób od najmniejszego do największego ryzyka.
2. Trzy główne wymiary oceny modelu
2.1. Kalibracja
Kalibracja oznacza zgodność przewidywanych prawdopodobieństw z częstościami obserwowanymi. Model może mieć bardzo dobrą kalibrację, nawet jeśli nie rozdziela idealnie osób z wynikiem 0 i 1. Może też dobrze różnicować osoby pod względem ryzyka, ale systematycznie zawyżać lub zaniżać prawdopodobieństwa.
Kalibrację ocenia się między innymi za pomocą:
- wykresu kalibracyjnego, na którym porównuje się ryzyko przewidywane z obserwowanym;
- kalibracji w punkcie, czyli porównania średniego przewidywanego ryzyka z częstością zdarzeń;
- kalibracji w dużej mierze, na przykład kalibracji-interceptu i kalibracji-slope;
- błędu kalibracji, takiego jak średni bezwzględny błąd kalibracji;
- statystyk opartych na logarytmicznej funkcji wiarygodności, przede wszystkim log-loss lub średnim wyniku Brier’a.
Kalibracja-intercept wynoszący około 0 sugeruje brak systematycznego przesunięcia prognoz. Kalibracja-slope wynosząca około 1 wskazuje, że skala przewidywanego ryzyka jest odpowiednia. Slope mniejszy od 1 może sugerować nadmierne dopasowanie: model przewiduje zbyt skrajne prawdopodobieństwa. Nie należy jednak interpretować tych wartości bez uwzględnienia niepewności, na przykład przedziałów ufności.
Jak podkreślają Van Calster i współpracownicy (2019), kalibracja jest szczególnie ważna w modelach prognostycznych, ponieważ nawet wysoka zdolność dyskryminacji nie gwarantuje wiarygodnych prawdopodobieństw indywidualnych.
2.2. Dyskryminacja
Dyskryminacja opisuje zdolność modelu do nadawania wyższych przewidywanych prawdopodobieństw osobom, u których zdarzenie rzeczywiście wystąpiło, niż osobom bez zdarzenia. Najczęściej stosowaną miarą jest pole pod krzywą ROC, czyli ROC-AUC.
Interpretacyjnie ROC-AUC można rozumieć jako prawdopodobieństwo, że losowo wybrana osoba z wynikiem 1 otrzyma od modelu wyższe przewidywane ryzyko niż losowo wybrana osoba z wynikiem 0. Wartość 0,5 odpowiada poziomowi zbliżonemu do losowego porządkowania, natomiast wartość 1 oznacza idealną dyskryminację. Są to jednak wartości opisowe, a nie uniwersalne progi jakości.
ROC-AUC nie mówi, czy przewidywane prawdopodobieństwa są dobrze skalibrowane. Model może mieć wysokie AUC, ale przewidywać ryzyko dwukrotnie wyższe niż rzeczywiste. Z tego powodu AUC nie powinno być jedynym wynikiem raportowanym w badaniu predykcyjnym.
2.3. Ogólna zgodność modelu z danymi
Ogólną zgodność modelu z danymi można oceniać przez funkcję wiarygodności, kryteria informacyjne oraz porównanie modeli. Często wykorzystywane są:
- dewiancja, oparta na różnicy między dopasowaniem rozważanego modelu a modelu nasyconego;
- test ilorazu wiarygodności, gdy porównujemy modele zagnieżdżone;
- AIC, czyli kryterium informacyjne Akaikego;
- BIC, które silniej karze za liczbę parametrów;
- pseudo-R2, między innymi miary Coxa-Snella, Nagelkerkego lub Tjura.
Pseudo-R2 nie jest odpowiednikiem R2 z regresji liniowej w ścisłym sensie. Nie należy więc stwierdzać, że na przykład „model wyjaśnia 40% zmienności” wyłącznie na podstawie dowolnego pseudo-R2. Miara Tjura, nazywana także współczynnikiem dyskryminacji, jest różnicą między średnim przewidywanym prawdopodobieństwem w grupie z wynikiem 1 a średnim przewidywanym prawdopodobieństwem w grupie z wynikiem 0 (Tjur, 2009). Jest intuicyjna, ale także wymaga ostrożnej interpretacji.
3. Test Hosmera-Lemeshowa – zastosowanie i ograniczenia
Test Hosmera-Lemeshowa porównuje liczby zdarzeń obserwowanych i oczekiwanych w grupach utworzonych na podstawie przewidywanego ryzyka. Często tworzy się dziesięć grup, na przykład według decyli przewidywanego prawdopodobieństwa. W każdej grupie porównuje się:
- liczbę osób, u których zdarzenie wystąpiło;
- sumę przewidywanych prawdopodobieństw, która jest oczekiwaną liczbą zdarzeń;
- liczbę osób bez zdarzenia;
- sumę wartości
1 − p_idla osób z danej grupy.
Hipoteza zerowa testu zakłada zgodność obserwowanych i oczekiwanych częstości w określonym sensie. Duża wartość p nie dowodzi, że model jest prawdziwy ani że jest „dobry”. Oznacza jedynie, że na podstawie tego testu i tej próby nie uzyskano wystarczających podstaw do odrzucenia hipotezy o braku wykrytej niezgodności. Z kolei mała wartość p może wskazywać na problem z dopasowaniem, ale nie określa jego wielkości ani znaczenia klinicznego.
Test ma ważne ograniczenia. Wynik zależy od liczebności próby, liczby grup i sposobu ich utworzenia. W małych próbach test może mieć małą moc i nie wykrywać rzeczywistych problemów. W bardzo dużych próbach nawet drobna, praktycznie nieistotna rozbieżność może dać małą wartość p. Hosmer, Hosmer, le Cessie i Lemeshow (1997) wykazali ponadto, że różne procedury grupowania mogą prowadzić do odmiennych wniosków.
Dlatego test Hosmera-Lemeshowa powinien być dodatkiem do wykresu kalibracyjnego i innych miar, a nie jedynym kryterium oceny.
4. Reszty, obserwacje wpływowe i specyfikacja modelu
Ocena dopasowania obejmuje również analizę tego, czy pojedyncze obserwacje nadmiernie wpływają na wyniki. W regresji logistycznej analizuje się między innymi reszty Pearsona, reszty dewiancji, odległość Cooka oraz wartości dźwigni. Obserwacja wpływowa nie musi być błędem. Może reprezentować rzeczywisty, lecz nietypowy przypadek. Jej usunięcie powinno być uzasadnione merytorycznie, a nie wyłącznie tym, że poprawia statystyki modelu.
Warto także sprawdzić specyfikację zależności. Założenie, że predyktor ciągły jest liniowo związany z logitem prawdopodobieństwa, może być niewłaściwe. Przykładowo wiek może silniej wiązać się z ryzykiem powikłania w późniejszym okresie życia, a wpływ dawki leku może być nieliniowy. W takich sytuacjach przydatne są wielomiany, splajny lub kategoryzacja poparta wiedzą dziedzinową. Sama dobra wartość AUC nie wykryje wszystkich błędów specyfikacji.
5. Przykład 1: ryzyko ponownej hospitalizacji
Załóżmy, że zespół analizuje ryzyko ponownej hospitalizacji w ciągu 30 dni po wypisie. Predyktorami są: wiek, liczba wcześniejszych hospitalizacji, obecność niewydolności serca, poziom hemoglobiny i wynik oceny funkcjonalnej.
Model uzyskał ROC-AUC równy 0,78. Na pierwszy rzut oka jest to wynik wskazujący na umiarkowanie dobrą dyskryminację. Wykres kalibracyjny pokazuje jednak, że dla pacjentów, którym model przypisał ryzyko około 0,40, rzeczywista częstość readmisji wyniosła około 0,25. Model zawyża więc ryzyko w tym zakresie.
Test Hosmera-Lemeshowa daje p = 0,03. Nie należy zapisać: „istnieje prawdopodobieństwo 3%, że hipoteza zerowa jest prawdziwa”. Taki zapis byłby błędną interpretacją wartości p. Poprawniej: „wynik testu wskazuje na rozbieżność między częstościami obserwowanymi i oczekiwanymi, przy założeniach tego testu”. Ponieważ wykres kalibracyjny wskazuje kierunek błędu, zespół może rozważyć ponowną kalibrację modelu lub sprawdzić, czy model został zastosowany w populacji różniącej się od populacji, w której go budowano.
Wniosek nie brzmi zatem: „model jest bezużyteczny”. Model może nadal dobrze porządkować pacjentów według ryzyka, ale jego prawdopodobieństwa nie powinny być bezpośrednio traktowane jako wiarygodne oszacowania indywidualnego ryzyka bez dalszej kalibracji.
6. Przykład 2: model przesiewowy w zdrowiu psychicznym
Wyobraźmy sobie model przewidujący dodatni wynik przesiewowego badania depresji wśród studentów. Zmiennymi są: liczba godzin snu, poziom stresu, izolacja społeczna i wcześniejsze korzystanie z pomocy psychologicznej.
Model ma AUC = 0,72, ale jego kalibracja jest dobra: osoby z przewidywanym ryzykiem około 0,10 mają obserwowaną częstość wyniku dodatniego zbliżoną do 10%, a osoby z ryzykiem około 0,50 – częstość zbliżoną do 50%. W tym przypadku model nie jest idealnym klasyfikatorem, lecz może dostarczać użytecznych prawdopodobieństw do planowania zasobów poradni.
Przy ustalaniu punktu odcięcia, na przykład 0,30, trzeba uwzględnić konsekwencje błędów. Fałszywie ujemny wynik może oznaczać pominięcie osoby potrzebującej dalszej oceny, natomiast fałszywie dodatni wynik może zwiększać obciążenie poradni. Punkt odcięcia nie wynika automatycznie z wartości 0,50. Jego wybór zależy od celu i kosztów decyzji.
7. Przykład praktyczny: kompletna ocena modelu
Rozważmy badanie modelu przewidującego ciężki przebieg infekcji u pacjentów przyjmowanych na oddział ratunkowy. Analizę można zaplanować w następujących krokach:
- Ocena danych. Sprawdź liczbę zdarzeń, braki danych, zakresy predyktorów i sposób kodowania wyniku.
- Ocena dopasowania w próbie. Raportuj log-likelihood lub dewiancję, AIC oraz wybrane pseudo-R2, ale wyjaśnij ich znaczenie.
- Ocena dyskryminacji. Podaj ROC-AUC wraz z przedziałem ufności. Jeśli to uzasadnione, przedstaw także czułość i swoistość dla określonego punktu odcięcia.
- Ocena kalibracji. Pokaż wykres kalibracyjny, kalibrację-intercept i kalibrację-slope. Sam test Hosmera-Lemeshowa nie wystarczy.
- Diagnostyka. Zbadaj obserwacje wpływowe, reszty i ewentualną nieliniowość predyktorów ciągłych.
- Walidacja. Oszacuj optymizm wyników za pomocą walidacji krzyżowej lub bootstrapu. W modelach klinicznych rozważ także walidację zewnętrzną w innej populacji lub ośrodku.
- Ocena użyteczności. Jeżeli model ma wspierać decyzje, rozważ konsekwencje kliniczne, próg decyzji i analizę użyteczności, a nie tylko statystyki dopasowania.
Takie podejście jest zgodne z ideą przejrzystego raportowania modeli predykcyjnych zawartą w zaleceniach TRIPOD (Collins i in., 2015). Należy jasno opisać populację, definicję wyniku, predyktory, sposób budowy modelu, metody walidacji oraz wszystkie miary wydajności.
8. Najczęstsze błędy
- Traktowanie wartości p jako miary jakości modelu. Wartość p nie jest prawdopodobieństwem prawdziwości hipotezy zerowej i nie zastępuje oceny wielkości błędu.
- Uznawanie p > 0,05 w teście Hosmera-Lemeshowa za dowód dobrego dopasowania. Brak odrzucenia hipotezy zerowej nie dowodzi, że model jest dobrze skalibrowany.
- Raportowanie wyłącznie ROC-AUC. AUC ocenia dyskryminację, ale nie kalibrację.
- Interpretowanie pseudo-R2 tak jak R2 w regresji liniowej. Różne pseudo-R2 mają różne definicje i nie są bezpośrednio wymienne.
- Ocenianie modelu wyłącznie w próbie, na której go zbudowano. Wyniki mogą być zbyt optymistyczne wskutek dopasowania do losowych cech próby.
- Ignorowanie nieliniowości. Wprowadzenie predyktora ciągłego jako pojedynczego terminu liniowego może być zbyt uproszczone.
- Automatyczne usuwanie obserwacji odstających. Przypadek nietypowy nie jest automatycznie błędem pomiaru.
- Używanie języka przyczynowego. Model predykcyjny może przewidywać ryzyko bez wykazywania, że predyktory powodują zdarzenie.
9. Jak raportować ocenę dopasowania?
Przejrzysty raport powinien zawierać co najmniej: liczbę analizowanych osób, liczbę zdarzeń, sposób kodowania wyniku, listę predyktorów, metodę estymacji, informację o brakach danych, ROC-AUC z przedziałem ufności, wyniki oceny kalibracji oraz metodę walidacji.
Przykładowe sformułowanie może wyglądać następująco: „Model wykazywał umiarkowaną dyskryminację, AUC = 0,78, 95% CI [0,74; 0,82]. Wykres kalibracyjny wskazywał na systematyczne zawyżanie ryzyka w zakresie prawdopodobieństw od 0,30 do 0,60. Kalibracja-slope wyniosła 0,84, co może sugerować optymizm predykcji w próbie rozwojowej. Wyniki poddano walidacji bootstrapowej”. Taki opis jest bardziej informacyjny niż zdanie: „model był istotny statystycznie”.
Co warto zapamiętać?
- Dopasowanie modelu logistycznego nie jest jednowymiarowe.
- Kalibracja mówi, czy przewidywane prawdopodobieństwa odpowiadają częstościom obserwowanym.
- Dyskryminacja, najczęściej oceniana przez ROC-AUC, mówi o porządkowaniu osób według ryzyka.
- Test Hosmera-Lemeshowa ma ograniczenia i nie powinien być jedynym narzędziem oceny.
- Pseudo-R2 są miarami pomocniczymi, a nie prostymi odpowiednikami R2 z regresji liniowej.
- Należy analizować nieliniowość, obserwacje wpływowe i możliwość nadmiernego dopasowania.
- Model oceniany w próbie rozwojowej może wyglądać lepiej, niż działa w nowych danych.
- W zastosowaniach medycznych ważna jest nie tylko dokładność statystyczna, lecz także użyteczność decyzji i zgodność z populacją docelową.
Najlepsza praktyka polega na połączeniu kilku źródeł informacji: wykresu kalibracyjnego, miary dyskryminacji, diagnostyki modelu, walidacji oraz oceny konsekwencji praktycznych. Dopiero taki zestaw pozwala odpowiedzialnie odpowiedzieć na pytanie, czy model logistyczny jest wystarczająco wiarygodny do zamierzonego zastosowania.
Źródła i dalsza lektura
- David W. Hosmer; Stanley Lemeshow (2000). Applied Logistic Regression. 2nd edition. John Wiley & Sons. Informacja wydawcy / źródło.
- Stanley Lemeshow; David W. Hosmer (1982). A Review of Goodness of Fit Statistics for Use in the Development of Logistic Regression Models. American Journal of Epidemiology, 115(1), 92–106. DOI: 10.1093/oxfordjournals.aje.a113284.
- David W. Hosmer; Timothy Hosmer; Sander le Cessie; Stanley Lemeshow (1997). A Comparison of Goodness-of-Fit Tests for the Logistic Regression Model. Statistics in Medicine, 16(9), 965–980. DOI: 10.1002/(SICI)1097-0258(19970515)16:9<965::AID-SIM509>3.0.CO;2-O.
- Tue Tjur (2009). Coefficients of Determination in Logistic Regression Models: A New Proposal: The Coefficient of Discrimination. The American Statistician, 63(4), 366–372. DOI: 10.1198/tast.2009.08210.
- Ben Van Calster; David J. McLernon; Maarten van Smeden; Laura Wynants; Ewout W. Steyerberg; on behalf of Topic Group ‘Evaluating Diagnostic Tests and Prediction Models’ of the STRATOS initiative (2019). Calibration: The Achilles Heel of Predictive Analytics. BMC Medicine, 17, 230. DOI: 10.1186/s12916-019-1466-7.
- Gary S. Collins; Johannes B. Reitsma; Douglas G. Altman; Karel G. M. Moons (2015). Transparent Reporting of a Multivariable Prediction Model for Individual Prognosis or Diagnosis (TRIPOD): The TRIPOD Statement. Circulation, 131(2), 211–219. DOI: 10.1161/CIRCULATIONAHA.114.014508.