476. Predykcja a wyjaśnianie – dwa różne cele modelowania
W modelowaniu statystycznym można zadawać co najmniej dwa różne pytania. Pierwsze brzmi: jak dobrze przewidzimy wynik u nowej osoby lub w nowej sytuacji? Drugie: jakie mechanizmy, zależności albo czynniki pomagają wyjaśnić obserwowany wynik? Oba pytania mogą być analizowane za pomocą regresji, lecz nie są tym samym zadaniem. Różnica między nimi wpływa na dobór zmiennych, sposób oceny modelu, interpretację współczynników oraz wymagania dotyczące walidacji.
W tej lekcji kursu metodologii badań i statystyki, rozwijanym także w ramach podręcznika do szkolenia na statystyk.edu.pl, uporządkujemy rozróżnienie między modelowaniem predykcyjnym a modelowaniem wyjaśniającym. Nie chodzi o przeciwstawienie „dobrej” i „złej” regresji. Chodzi o to, aby model odpowiadał celowi badania.
Dwa pytania, dwa cele
Predykcja: przewidywanie nowych obserwacji
Model predykcyjny ma dostarczyć możliwie trafnej prognozy dla osoby, przypadku lub jednostki, których wynik nie był użyty do dopasowania modelu. Interesuje nas przede wszystkim zachowanie modelu poza próbą uczącą, czyli jego zdolność generalizacji.
Przykładowe pytania predykcyjne to:
- Jakie jest prawdopodobieństwo ponownej hospitalizacji pacjenta w ciągu 30 dni?
- Czy pacjent zgłaszający się na oddział ratunkowy wymaga pilnej diagnostyki?
- Jakie będzie ciśnienie skurczowe u osoby o określonym profilu klinicznym?
- Którzy uczestnicy programu profilaktycznego prawdopodobnie przerwą udział?
W takim zastosowaniu nie jest konieczne, aby każda zmienna w modelu była przyczyną wyniku. Zmienna może być użyteczna predykcyjnie, nawet jeśli jest jedynie wskaźnikiem, korelatem albo zastępnikiem innego, trudniej mierzalnego procesu. Celem jest ograniczenie błędu prognozy, a niekoniecznie odtworzenie mechanizmu biologicznego lub społecznego.
Wyjaśnianie: rozumienie zależności
Model wyjaśniający służy do oceny, jak dane zmienne wiążą się z wynikiem w świetle określonej teorii, hipotezy lub modelu przyczynowego. Badacz może pytać na przykład, czy brak snu wiąże się z pogorszeniem funkcjonowania poznawczego po uwzględnieniu wieku i depresyjności, albo czy określona interwencja zmienia ryzyko zdarzenia zdrowotnego.
W tym celu ważne są między innymi:
- uzasadnienie doboru zmiennych na podstawie teorii lub wcześniejszych badań;
- prawidłowa kolejność czasowa pomiarów;
- kontrola czynników zakłócających;
- unikanie nadmiernej korekty przez zmienne będące mediatorami lub konsekwencjami ekspozycji;
- precyzyjna interpretacja parametrów i niepewności oszacowań.
Model wyjaśniający nie staje się automatycznie modelem przyczynowym. Sama regresja, nawet wielozmiennowa, nie dowodzi przyczynowości. Wnioskowanie przyczynowe wymaga odpowiedniego schematu badania, założeń i strategii identyfikacji efektu. W badaniu przekrojowym można opisywać zależności, ale zwykle nie należy pisać, że jedna zmienna „spowodowała” drugą.
Dlaczego wysoki R² nie oznacza dobrej predykcji?
W regresji liniowej często ocenia się dopasowanie za pomocą współczynnika determinacji:
R² = 1 − SSE/SST
gdzie SSE oznacza sumę kwadratów reszt, czyli różnic między wartościami zaobserwowanymi a przewidywanymi, natomiast SST jest całkowitą sumą kwadratów odchyleń wyników od ich średniej. R² informuje, jaka część zmienności wyniku w danym zbiorze danych jest opisana przez model.
R² obliczone w tej samej próbie, w której model został dopasowany, może jednak być zawyżone. Dodawanie kolejnych predyktorów zazwyczaj nie zmniejsza klasycznego R², nawet jeśli nowe zmienne są przypadkowymi korelatami. Model może więc bardzo dobrze opisywać dane historyczne, a słabo przewidywać nowe przypadki. Zjawisko to nazywa się przeuczeniem (overfitting).
W modelowaniu predykcyjnym należy zatem oceniać wyniki na danych niewykorzystanych do dopasowania, na przykład za pomocą walidacji krzyżowej, próby testowej lub walidacji zewnętrznej. Dla wyniku ciągłego można stosować między innymi RMSE, MAE i kalibrację. Dla wyniku binarnego przydatne są takie miary jak AUC, czułość, swoistość, Brier score oraz kalibracja. Nie istnieje jedna uniwersalna miara „dobrego modelu”; jej wybór powinien wynikać z zastosowania.
Ten sam model, inna interpretacja
Rozważmy regresję logistyczną opisującą wystąpienie readmisji w ciągu 30 dni:
logit[P(Y = 1)] = β0 + β1X1 + β2X2 + ... + βpXp
Y oznacza wynik binarny, na przykład readmisję: 1 – wystąpiła, 0 – nie wystąpiła. P(Y = 1) jest prawdopodobieństwem readmisji. logit to logarytm szans, β0 jest wyrazem wolnym, a βj oznacza współczynnik przy predyktorze Xj.
Jeżeli model jest używany predykcyjnie, pytamy przede wszystkim, czy dla nowego pacjenta generuje dobrze skalibrowane i wystarczająco trafne prawdopodobieństwo. Wartość współczynnika przy wieku może być wtedy mniej interesująca niż ogólna jakość prognozy.
Jeżeli model ma cel wyjaśniający, możemy analizować iloraz szans związany z określoną ekspozycją. Nadal trzeba jednak uwzględnić sposób kodowania zmiennej, pozostałe zmienne, przedział ufności i założenia analizy. Iloraz szans nie jest sam w sobie prawdopodobieństwem ani ryzykiem względnym. Jego interpretacja zależy od konstrukcji badania i modelu.
Przykład 1: model ryzyka readmisji
Załóżmy, że szpital buduje model przewidujący readmisję po wypisie. Dostępne są: wiek, liczba wcześniejszych hospitalizacji, liczba chorób przewlekłych, wyniki badań laboratoryjnych, długość pobytu oraz informacja o wcześniejszym korzystaniu z pomocy społecznej.
Cel predykcyjny
Jeśli model ma wspierać planowanie kontaktu pielęgniarki z pacjentem po wypisie, kluczowe pytanie brzmi: czy model trafnie identyfikuje osoby wymagające dodatkowego wsparcia? Nie trzeba twierdzić, że każda zmienna „powoduje” readmisję. Długość pobytu może poprawiać predykcję, choć jest częściowo skutkiem ciężkości choroby i organizacji leczenia.
Model powinien być oceniony na późniejszych pacjentach albo w innym ośrodku. Należy sprawdzić nie tylko dyskryminację, lecz także kalibrację: czy w grupie osób z prognozowanym ryzykiem 20% readmisja rzeczywiście występuje mniej więcej u 20% pacjentów. W zastosowaniu klinicznym ważne są również konsekwencje błędów: fałszywe alarmy mogą obciążać personel, a przeoczenia mogą pozbawiać pacjentów potrzebnego wsparcia.
Cel wyjaśniający
Jeśli badanie ma ocenić, czy wcześniejsze hospitalizacje są związane z readmisją niezależnie od stanu zdrowia, projekt analizy będzie inny. Dobór zmiennych powinien wynikać z modelu problemu, a nie z automatycznego wyboru tych, które mają najmniejsze wartości p. Trzeba rozważyć, czy ciężkość choroby jest konfunderem, mediatorem czy wspólnym skutkiem innych procesów. Wnioski powinny brzmieć ostrożnie: „większa liczba wcześniejszych hospitalizacji była związana z większymi szansami readmisji”, a nie „powodowała readmisję”, jeśli schemat badania nie uzasadnia takiego stwierdzenia.
Przykład 2: psychologia i przewidywanie rezygnacji z terapii
Psycholog może chcieć przewidzieć, czy pacjent nie pojawi się na kolejnej wizycie. Predyktorami mogą być odległość od poradni, liczba wcześniejszych nieobecności, obciążenie objawami oraz czas oczekiwania na wizytę.
W modelu predykcyjnym dopuszczalne jest użycie zmiennej, która nie opisuje mechanizmu rezygnacji, ale poprawia trafność klasyfikacji. Na przykład liczba wcześniejszych nieobecności może być bardzo użyteczna, choć nie wyjaśnia, dlaczego pacjent opuszcza wizyty. Model można wykorzystać do przypomnienia o terminie lub zaproponowania alternatywnej formy kontaktu.
W modelu wyjaśniającym badacz może natomiast testować hipotezę, że bariery transportowe wiążą się z nieobecnościami poprzez zwiększenie kosztu uczestnictwa. Wtedy potrzebne są przemyślane pomiary, odpowiedni model mediacji lub analiza podłużna. Sama poprawa AUC po dodaniu odległości od poradni nie potwierdza mechanizmu.
Jak cel modelu zmienia strategię analizy?
| Element | Modelowanie predykcyjne | Modelowanie wyjaśniające |
|---|---|---|
| Główne pytanie | Jak trafnie przewidzieć nowy wynik? | Jak opisać lub przetestować zależność zgodną z teorią? |
| Dobór zmiennych | Przede wszystkim użyteczność predykcyjna i dostępność w momencie prognozy | Teoria, wcześniejsza wiedza, schemat przyczynowy i kontrola zakłóceń |
| Ocena | Dane nowe, walidacja wewnętrzna i zewnętrzna, kalibracja | Oszacowanie efektu, przedziały ufności, zgodność z założeniami i hipotezą |
| Interpretacja | Wynik modelu jako prognoza, niekoniecznie jako mechanizm | Współczynniki jako oszacowania zależności w określonym modelu |
| Ryzyko błędu | Przeuczenie i słaba generalizacja | Konfuzja, selektywne raportowanie i nieuprawnione wnioski przyczynowe |
Rozróżnienie to nie oznacza, że cele nigdy się nie łączą. Model może mieć jednocześnie komponent predykcyjny i wyjaśniający, lecz wtedy należy jasno wskazać, który cel jest nadrzędny. Model służący do decyzji klinicznej powinien być dobrze zwalidowany, nawet jeśli autorzy omawiają także znaczenie poszczególnych predyktorów. Z kolei model teoretyczny może mieć umiarkowaną zdolność predykcyjną, a mimo to być wartościowy, jeśli precyzyjnie testuje ważną hipotezę.
Najczęstsze błędy
- Traktowanie wysokiego R² jako dowodu dobrej prognozy. Dopasowanie w próbie nie zastępuje walidacji na nowych danych.
- Wnioskowanie o przyczynowości z samej regresji. Współczynnik regresji opisuje zależność warunkową w określonym modelu; nie gwarantuje efektu przyczynowego.
- Wybieranie zmiennych wyłącznie na podstawie wartości p. Taka procedura może prowadzić do niestabilnych modeli, zawyżonych oszacowań i pomijania ważnych zmiennych zakłócających.
- Używanie predyktorów niedostępnych w chwili prognozy. Zmienna zmierzona dopiero po wystąpieniu wyniku może sztucznie poprawiać model.
- Mylenie predyktora z mechanizmem. Zmienna może dobrze przewidywać wynik, nie będąc jego przyczyną.
- Raportowanie wyłącznie jednej miary jakości. AUC nie mówi wszystkiego o kalibracji, a RMSE nie opisuje użyteczności klinicznej.
- Brak informacji o przeznaczeniu modelu. Czytelnik powinien wiedzieć, czy model ma służyć prognozie, opisowi zależności, testowaniu hipotezy czy decyzji praktycznej.
Przykład praktyczny: dwa modele dla tych samych danych
Badacz analizuje 800 osób po udarze. Wynikiem jest samodzielność funkcjonalna po trzech miesiącach. Zbiera dane o wieku, ciężkości udaru, czasie do rozpoczęcia rehabilitacji, depresyjności i statusie społeczno-ekonomicznym.
W pierwszej analizie celem jest predykcja. Badacz dzieli dane na zbiory treningowy i testowy, ogranicza złożoność modelu, stosuje walidację krzyżową oraz raportuje błąd prognozy i kalibrację. Wniosek może brzmieć: „model przewidywał wynik funkcjonalny z określonym błędem w niezależnym zbiorze testowym”. Nie wynika z tego, że zmienne z największymi współczynnikami są najważniejszymi przyczynami powrotu do sprawności.
W drugiej analizie celem jest wyjaśnienie zależności między czasem rozpoczęcia rehabilitacji a wynikiem. Badacz powinien uzasadnić, dlaczego uwzględnia ciężkość udaru, wiek i depresyjność, określić, które zmienne są potencjalnymi konfunderami, oraz przedstawić oszacowanie efektu z przedziałem ufności. Jeśli badanie jest obserwacyjne, ostrożniejszy wniosek będzie dotyczył związku, a nie dowiedzionej skuteczności wcześniejszej rehabilitacji.
Obie analizy mogą używać regresji liniowej lub innych modeli, ale ich kryteria jakości są różne. Dla modelu predykcyjnego najważniejsze jest działanie na nowych danych. Dla modelu wyjaśniającego ważniejsze są uzasadnienie konstrukcji modelu, trafność pomiaru, kontrola zakłóceń i zgodność interpretacji z projektem badania.
Jak raportować model?
Opis modelu powinien zaczynać się od jasnego określenia celu. W badaniach predykcyjnych należy podać populację, moment prognozy, definicję wyniku, sposób postępowania z brakami danych, metodę walidacji oraz miary jakości. Wytyczne TRIPOD dotyczą przejrzystego raportowania modeli wielozmiennowych służących diagnozie lub prognozie, a ich zakres obejmuje między innymi rozwój modelu, walidację i aktualizację (Collins et al., 2015). Współczesne zalecenia TRIPOD+AI rozszerzają uwagę na modele wykorzystujące regresję, uczenie maszynowe i kwestie sprawiedliwości oraz przejrzystości (Collins et al., 2024).
W badaniach psychologicznych i społecznych warto korzystać także z zasad APA JARS, które wymagają precyzyjnego przedstawienia metod, zmiennych, analiz i ograniczeń (Appelbaum et al., 2018). W obu typach modeli należy unikać języka sugerującego większą pewność, niż uzasadniają dane.
Co warto zapamiętać?
- Predykcja koncentruje się na trafnym przewidywaniu nowych obserwacji.
- Wyjaśnianie koncentruje się na rozumieniu zależności zgodnie z teorią, hipotezą lub modelem przyczynowym.
- Wysokie dopasowanie w próbie nie gwarantuje dobrej predykcji poza próbą.
- Predyktor użyteczny w prognozie nie musi być przyczyną wyniku.
- Regresja sama w sobie nie dowodzi przyczynowości.
- Model predykcyjny wymaga oceny na nowych danych, a model wyjaśniający – uzasadnionego doboru zmiennych i ostrożnej interpretacji.
- W publikacji trzeba jasno wskazać cel modelowania, ponieważ od niego zależą metody, kryteria jakości i język wniosków.
Źródła i dalsza lektura
- Shmueli, Galit (2010). To Explain or to Predict?. Statistical Science, 25(3), 289–310. DOI: 10.1214/10-STS330.
- Collins, Gary S.; Reitsma, Johannes B.; Altman, Douglas G.; Moons, Karel G. M. (2015). Transparent Reporting of a Multivariable Prediction Model for Individual Prognosis or Diagnosis (TRIPOD): The TRIPOD Statement. The BMJ, 350, g7594. DOI: 10.1136/bmj.g7594.
- Collins, Gary S.; Moons, Karel G. M.; Dhiman, Pooja; et al. (2024). TRIPOD+AI Statement: Updated Guidance for Reporting Clinical Prediction Models That Use Regression or Machine Learning Methods. The BMJ, 385, e078378. DOI: 10.1136/bmj-2023-078378.
- Steyerberg, Ewout W. (2019). Clinical Prediction Models: A Practical Approach to Development, Validation, and Updating. 2nd edition. Springer. Informacja wydawcy / źródło.
- Harrell, Frank E., Jr. (2015). Regression Modeling Strategies: With Applications to Linear Models, Logistic and Ordinal Regression, and Survival Analysis. 2nd edition. Springer. Informacja wydawcy / źródło.
- Appelbaum, Mark; Cooper, Harris; Kline, Rex B.; Mayo-Wilson, Evan; Nezu, Arthur M.; Rao, S. M. (2018). Journal Article Reporting Standards for Quantitative Research in Psychology: The APA Publications and Communications Board Task Force Report. American Psychologist, 73(1), 3–25. DOI: 10.1037/amp0000191.
Jeżeli potrzebujesz indywidualnego wsparcia w doborze metod, przygotowaniu bazy lub opracowaniu wyników badań, sprawdź analiza statystyczna.
Jeden komentarz