477. Overfitting – kiedy model zapamiętuje próbę?
W poprzedniej lekcji rozróżniliśmy predykcję od wyjaśniania. Teraz zajmiemy się jednym z najważniejszych zagrożeń dla jakości predykcji: overfittingiem, czyli nadmiernym dopasowaniem modelu do konkretnej próby. Model może wtedy osiągać bardzo dobre wyniki na danych, na których został zbudowany, lecz wyraźnie gorzej działać u nowych osób, w innym szpitalu albo w kolejnym pomiarze. Nie oznacza to, że model „kłamie” w sensie technicznym. Oznacza raczej, że wykorzystuje nie tylko rzeczywisty sygnał, lecz także przypadkowe cechy badanej próby.
Temat jest szczególnie ważny w medycynie, psychologii, pielęgniarstwie i naukach społecznych, ponieważ dane często są kosztowne, próby umiarkowane, a liczba potencjalnych predyktorów duża. W ramach publicznego szkolenia na statystyk.edu.pl warto traktować tę lekcję jako pomost między budową modelu a oceną jego wiarygodności poza próbą, na której został oszacowany.
Czym jest overfitting?
Model statystyczny ma zwykle dwa zadania. Po pierwsze, powinien uchwycić systematyczne zależności obecne w populacji. Po drugie, powinien umożliwić przewidywanie wyników dla nowych obserwacji. Overfitting pojawia się wtedy, gdy model jest zbyt elastyczny w stosunku do ilości i jakości dostępnych danych. Zamiast odtworzyć ogólną strukturę zjawiska, zaczyna odtwarzać również przypadkowe odchylenia, błędy pomiaru i nietypowe kombinacje cech występujące tylko w próbie.
Można wyobrazić to sobie na przykładzie punktów na wykresie. Linia prosta może być zbyt prosta i nie uchwycić rzeczywistej krzywoliniowej zależności. Z kolei wielomian wysokiego stopnia może przechodzić niemal dokładnie przez każdy punkt, wykonując gwałtowne skręty między obserwacjami. Ten drugi model ma mały błąd w próbie, lecz jego przebieg poza zakresem lub między punktami może być nieracjonalny.
W języku predykcji problem można ująć jako różnicę między:
- błędem pozornym – błędem ocenionym na tych samych danych, które wykorzystano do zbudowania modelu;
- błędem uogólnienia – błędem, którego oczekujemy dla nowych obserwacji z populacji docelowej.
W przypadku overfittingu błąd pozorny jest zbyt optymistyczny. Model wygląda lepiej, niż rzeczywiście jest. Babyak (2004) podkreślał, że nadmierne dopasowanie polega na „wykorzystywaniu osobliwości” konkretnego zbioru danych. To nie jest wyłącznie problem metod uczenia maszynowego. Może wystąpić w regresji liniowej, logistycznej, modelach przeżycia, analizie wielopoziomowej i wielu innych procedurach.
Dlaczego model zapamiętuje próbę?
Zbyt wiele parametrów w stosunku do informacji
Każdy predyktor wnosi do modelu pewną liczbę stopni swobody. Prosta zmienna ciągła może odpowiadać jednemu parametrowi, lecz nieliniowość opisana splajnem, interakcja lub zmienna kategorialna z wieloma poziomami zwiększają ich liczbę. Jeżeli parametrów jest dużo, a obserwacji lub zdarzeń mało, estymowane współczynniki stają się niestabilne.
W regresji logistycznej szczególnie istotna jest liczba obserwacji z wynikiem pozytywnym w stosunku do liczby kandydackich parametrów. Dawna reguła „10 zdarzeń na parametr” może być orientacyjnym punktem wyjścia, ale nie jest uniwersalnym prawem. Współczesne zalecenia wskazują, że potrzebna liczebność zależy między innymi od częstości wyniku, liczby wszystkich parametrów, oczekiwanej jakości modelu i wymaganej precyzji predykcji (Riley et al., 2020).
Wielokrotne próbowanie różnych modeli
Overfitting może pojawić się nawet wtedy, gdy ostateczny model zawiera niewiele zmiennych. Wystarczy, że przed jego wyborem przetestowano dziesiątki lub setki wariantów: różne podzbiory predyktorów, transformacje, punkty odcięcia, interakcje i sposoby kodowania. Jeżeli wybierzemy wariant na podstawie najlepszego wyniku w tej samej próbie, to wynik ten częściowo odzwierciedla przypadek.
Przykładem jest automatyczna selekcja krokowa. Program może dodać lub usunąć zmienne tak, aby zoptymalizować kryterium w konkretnych danych. Nie oznacza to, że wybrane zmienne są stabilnymi predyktorami w populacji. W innej próbie kolejność wejścia zmiennych, ich istotność i wartości współczynników mogą być zupełnie inne. Babyak (2004) wskazywał selekcję automatyczną, testowanie kandydatów przed analizą oraz dichotomizację zmiennych ciągłych jako praktyki zwiększające ryzyko nadmiernego dopasowania.
Mała próba i rzadki wynik
Im mniej danych, tym łatwiej przypadkowa różnica zostanie uznana za wzorzec. W modelu przewidującym zgon, rehospitalizację lub ciężkie powikłanie problemem może być nie tylko mała całkowita liczba pacjentów, lecz przede wszystkim mała liczba zdarzeń. Model zbudowany na 800 osobach, wśród których wystąpiło 18 zdarzeń, może być mniej wiarygodny niż model zbudowany na 300 osobach i 90 zdarzeniach, jeśli oba wykorzystują podobną liczbę parametrów.
Jak rozpoznać overfitting?
Porównanie wyników w próbie i poza próbą
Najprostszym sygnałem ostrzegawczym jest duża różnica między oceną modelu w próbie a oceną na danych niewykorzystanych podczas dopasowania. W modelu klasyfikacyjnym może to być różnica w AUC, czułości, swoistości, kalibracji lub błędzie logarytmicznym. W regresji liniowej porównujemy między innymi błąd średniokwadratowy, średni błąd bezwzględny i współczynnik determinacji. W modelach ryzyka należy oddzielnie oceniać dyskryminację i kalibrację.
Wysokie R² w próbie nie dowodzi, że model dobrze przewiduje nowe przypadki. R² może rosnąć po dodaniu kolejnych zmiennych, nawet jeśli nie wnoszą one użytecznej informacji poza próbą. Dlatego należy raportować wyniki walidacji wewnętrznej lub zewnętrznej, a nie wyłącznie dopasowanie pozorne.
Walidacja krzyżowa i bootstrap
W walidacji krzyżowej dane dzieli się na części. Model dopasowuje się na jednej części, a następnie ocenia na części pozostawionej poza dopasowaniem. Procedurę powtarza się, zmieniając rolę podzbiorów. Wynik uśredniony z kolejnych iteracji dostarcza bardziej realistycznej oceny predykcji niż wynik obliczony na całej próbie użytej jednocześnie do uczenia i oceny.
Bootstrap polega na wielokrotnym losowaniu prób ze zwracaniem z badanego zbioru. W każdej próbie odtwarza się cały proces budowy modelu, a następnie porównuje wynik w próbie bootstrapowej z wynikiem dla obserwacji niewykorzystanych w danym losowaniu. Pozwala to oszacować tak zwany optimism, czyli przeciętną przesadę w ocenie jakości modelu. Bootstrap jest szczególnie przydatny, gdy próba jest zbyt mała, aby sensownie wydzielić duży niezależny zbiór testowy (Harrell, 2015; Steyerberg, 2019).
Stabilność współczynników i selekcji
Jeżeli niewielkie zmiany w próbie prowadzą do dużych zmian współczynników, znaków efektu albo zestawu wybranych predyktorów, model jest niestabilny. Można sprawdzać, jak często dana zmienna jest wybierana w próbach bootstrapowych. Niska częstość wyboru nie dowodzi braku związku, ale wskazuje, że wnioski o jej roli są niepewne.
Wzór i intuicja matematyczna
W regresji logistycznej prawdopodobieństwo wyniku można zapisać jako:
logit(p) = ln(p / (1 − p)) = β0 + β1X1 + β2X2 + … + βkXk
- p – przewidywane prawdopodobieństwo wystąpienia wyniku, na przykład rehospitalizacji;
- logit(p) – logarytm ilorazu szans;
- β0 – wyraz wolny, czyli wartość logitu przy zerowych wartościach predyktorów;
- βj – współczynnik przy j-tym predyktorze;
- Xj – wartość j-tego predyktora;
- k – liczba parametrów uwzględnionych w modelu.
W modelu przeuczonym współczynniki mogą być zbyt duże bez względu na to, czy ich kierunek jest zgodny z prawdziwą zależnością. Jednym ze sposobów ograniczenia tego problemu jest shrinkage, czyli zmniejszenie wartości współczynników w kierunku zera. Innym jest regularyzacja, na przykład kara ridge lub lasso. Metody te ograniczają złożoność modelu kosztem niewielkiego obciążenia, często poprawiając działanie predykcyjne poza próbą. Nie zastępują jednak poprawnego projektu badania, jakości pomiarów ani walidacji.
Przykład praktyczny: ryzyko rehospitalizacji
Załóżmy, że zespół chce przewidywać rehospitalizację w ciągu 30 dni po wypisie pacjentów z niewydolnością serca. Do dyspozycji ma 420 pacjentów, 34 zdarzenia i 48 potencjalnych zmiennych: dane demograficzne, wyniki laboratoryjne, choroby współistniejące, parametry życiowe, informacje o lekach i wiele szczegółowych cech dokumentacji.
Badacze stosują selekcję krokową i otrzymują model z 8 predyktorami. AUC wynosi 0,89, a kalibracja w próbie wygląda dobrze. Na pierwszy rzut oka model wydaje się bardzo obiecujący. Jednak 8 predyktorów nie oznacza koniecznie 8 parametrów. Zmienne kategorialne mogą mieć kilka parametrów, a część zmiennych była wcześniej wybierana spośród 48 kandydatów. Proces decyzyjny był zatem znacznie bardziej złożony niż sugeruje końcowe równanie.
Po zastosowaniu bootstrapu skorygowane AUC spada do 0,72, a współczynniki niektórych zmiennych są niestabilne. W niezależnym szpitalu AUC wynosi 0,68, a model systematycznie zawyża ryzyko. Najbardziej prawdopodobne wyjaśnienie nie brzmi: „model przestał działać z powodu błędnych obliczeń”. Bardziej trafne jest stwierdzenie, że model wykorzystał przypadkowe cechy próby i nie został dostatecznie zwalidowany.
Lepsze postępowanie obejmowałoby wcześniejsze określenie klinicznie uzasadnionych predyktorów, ograniczenie liczby parametrów, modelowanie ciągłych zmiennych bez arbitralnych punktów odcięcia, zastosowanie shrinkage oraz walidację wewnętrzną i zewnętrzną. Wyniki powinny być przedstawione przejrzyście, zgodnie z zasadami raportowania modeli predykcyjnych, na przykład TRIPOD (Collins et al., 2015).
Drugi przykład: model objawów depresyjnych
W badaniu psychologicznym analizuje się nasilenie objawów depresyjnych u 160 studentów. Zespół mierzy 35 zmiennych: sen, stres, wsparcie społeczne, używanie mediów społecznościowych, cechy osobowości, historię zdrowia i wiele podskal kwestionariuszy. Po przetestowaniu licznych kombinacji badacze znajdują model, który wyjaśnia 62% wariancji wyniku.
Tak wysoki wynik może być częściowo prawdziwy, ale może też odzwierciedlać overfitting. Jeżeli wybór predyktorów i transformacji odbywał się na podstawie tych samych 160 osób, R² jest oceną pozorną. Po walidacji krzyżowej może spaść na przykład do 28%. Nie oznacza to, że wcześniejsze zmienne są „bezwartościowe”. Oznacza, że ich dokładna kombinacja nie powinna być traktowana jako stabilny model populacyjny bez dodatkowego sprawdzenia.
W tym przykładzie szczególnie ważne jest rozróżnienie predykcji od wyjaśniania. Model może osiągać umiarkowaną jakość predykcji, a mimo to nie uzasadniać twierdzenia, że konkretna zmienna powoduje depresję. Overfitting dodatkowo komplikuje interpretację, ponieważ przypadkowo zawyżone współczynniki mogą być błędnie przedstawione jako silne zależności psychologiczne.
Najczęstsze błędy
- Ocenianie modelu na tych samych danych, na których go dopasowano. To daje wynik pozorny i zwykle optymistyczny.
- Traktowanie liczby zmiennych w końcowym modelu jako pełnej miary złożoności. Należy uwzględniać wszystkie parametry, transformacje, interakcje i decyzje podjęte podczas analizy.
- Ślepe stosowanie reguły 10 zdarzeń na zmienną. Jest to uproszczenie, a nie uniwersalne kryterium wystarczającej liczebności.
- Wydzielanie małego zbioru testowego z małej próby. Może to pogorszyć zarówno oszacowanie modelu, jak i precyzję oceny.
- Wybieranie modelu na podstawie samego p. Istotność statystyczna nie mierzy jakości predykcji, stabilności ani znaczenia praktycznego.
- Dichotomizowanie zmiennych ciągłych bez uzasadnienia. Traci się informację i można sztucznie zwiększyć wrażenie wyraźnego efektu.
- Raportowanie wyłącznie AUC. Dobra dyskryminacja nie gwarantuje dobrej kalibracji ani użyteczności klinicznej.
- Używanie języka przyczynowego. Model predykcyjny nie dowodzi, że predyktory powodują wynik.
Jak ograniczać overfitting?
- Przed analizą określ cel modelu: predykcyjny czy wyjaśniający.
- Zdefiniuj populację docelową, wynik i moment predykcji.
- Ogranicz liczbę kandydackich parametrów na podstawie wiedzy merytorycznej, a nie wyłącznie dostępności zmiennych.
- Nie traktuj automatycznej selekcji jako dowodu stabilności predyktorów.
- Modeluj zmienne ciągłe z zachowaniem ich informacji, wykorzystując uzasadnione funkcje nieliniowe.
- Stosuj bootstrap lub walidację krzyżową do oceny optymizmu i błędu uogólnienia.
- Rozważ regularyzację (ang. shrinkage), gdy liczba parametrów jest duża względem informacji w danych.
- Jeśli to możliwe, wykonaj walidację zewnętrzną w innym ośrodku, czasie lub systemie opieki.
- Raportuj pełną ścieżkę budowy modelu, zgodnie z właściwymi standardami raportowania.
Co warto zapamiętać?
- Overfitting oznacza nadmierne dopasowanie modelu do konkretnej próby, a nie tylko „zbyt skomplikowany algorytm”.
- Model może mieć znakomite wyniki w próbie i jednocześnie słabo przewidywać nowe przypadki.
- Ryzyko rośnie wraz z liczbą parametrów, liczbą testowanych wariantów, małą liczebnością próby i małą liczbą zdarzeń.
- Końcowa liczba zmiennych nie opisuje całej złożoności procesu modelowania.
- Walidacja wewnętrzna szacuje optymizm, ale nie zastępuje walidacji zewnętrznej.
- Bootstrap, walidacja krzyżowa, shrinkage i regularyzacja mogą ograniczać overfitting, lecz nie naprawiają złego pomiaru ani błędnego projektu.
- Wynik p nie jest prawdopodobieństwem prawdziwości hipotezy zerowej i nie informuje samodzielnie, czy model będzie użyteczny.
- Dobra praktyka wymaga rozdzielenia dopasowania w próbie, jakości predykcji, stabilności modelu i znaczenia praktycznego.
Najważniejsze pytanie po zbudowaniu modelu nie brzmi: „Jak dobrze opisuje on tę próbę?”, lecz: „Jak wiarygodnie zadziała dla osób i sytuacji, których jeszcze nie widział?” To właśnie pytanie pozwala odróżnić model uczący się ogólnej zależności od modelu, który jedynie zapamiętał dane.
Źródła i dalsza lektura
- Michael A. Babyak (2004). What You See May Not Be What You Get: A Brief, Nontechnical Introduction to Overfitting in Regression-Type Models. Psychosomatic Medicine, 66(3), 411–421. DOI: 10.1097/01.psy.0000127692.23278.a9.
- Frank E. Harrell Jr. (2015). Regression Modeling Strategies: With Applications to Linear Models, Logistic and Ordinal Regression, and Survival Analysis. 2nd edition. Springer International Publishing. Informacja wydawcy / źródło.
- Ewout W. Steyerberg (2019). Clinical Prediction Models: A Practical Approach to Development, Validation, and Updating. 2nd edition. Springer. Informacja wydawcy / źródło.
- Richard D. Riley, Joie Ensor, Kym I. E. Snell, Glen P. Martin, Andrew P. Smith, David F. Whiting, Patrick C. M. H. Heagerty, Gary S. Collins, Maarten van Smeden (2020). Calculating the sample size required for developing a clinical prediction model. BMJ, 368, m441. DOI: 10.1136/bmj.m441.
- Gary S. Collins, Johannes B. Reitsma, Douglas G. Altman, Karel G. M. Moons (2015). Transparent Reporting of a Multivariable Prediction Model for Individual Prognosis or Diagnosis (TRIPOD): The TRIPOD Statement. Annals of Internal Medicine, 162(1), 55–63. DOI: 10.7326/M14-0697.
- Maarten van Smeden, Karel G. M. Moons, Johannes A. de Groot, Gary S. Collins, Douglas G. Altman, Ewout W. Steyerberg (2019). Sample size for binary logistic prediction models: Beyond events per variable criteria. Statistical Methods in Medical Research, 28(8), 2455–2474. DOI: 10.1177/0962280218784726.
2 komentarze