380. Checklista diagnostyczna przed wyborem testu lub modelu

Wybór testu statystycznego lub modelu nie powinien zaczynać się od przeglądania menu programu komputerowego. Najpierw trzeba ustalić, jaki problem badawczy rozwiązujemy, jak zebrano dane i czy ich struktura odpowiada założeniom planowanej analizy. Ta lekcja porządkuje te decyzje w formie checklisty. Może być używana samodzielnie albo jako narzędzie pracy w ramach szkolenia na statystyk.edu.pl.

Dlaczego diagnostyka poprzedza wybór metody?

Test statystyczny jest formalną procedurą odnoszącą dane do określonego modelu prawdopodobieństwa. Model opisuje między innymi typ zmiennej wynikowej, sposób powiązania obserwacji, zmienność danych oraz źródło błędu losowego. Jeżeli wybierzemy metodę wyłącznie na podstawie nazwy zmiennej, możemy pominąć cechy, które mają większe znaczenie niż sam poziom pomiaru.

Przykładowo, wynik „liczba hospitalizacji” jest zmienną ilościową, ale może wymagać modelu dla danych zliczeniowych, a nie klasycznej regresji liniowej. Wynik „czy wystąpiło zakażenie” jest binarny, lecz analiza zależy także od tego, czy obserwacje są niezależne, czy pochodzą z wielu oddziałów, oraz czy badanie ma charakter przekrojowy, kohortowy czy interwencyjny. Z kolei wynik skali depresji może być analizowany jako zmienna ilościowa, porządkowa lub element modelu latentnego — zależnie od konstrukcji narzędzia i celu badania.

Diagnostyka nie oznacza poszukiwania testu, który „da istotny wynik”. Jej celem jest sprawdzenie, czy przyjęty sposób reprezentowania danych jest rozsądny, czy wynik jest wystarczająco wiarygodny oraz jakie ograniczenia należy ujawnić w raporcie. W standardach JARS podkreśla się potrzebę przedstawiania planu analiz, diagnostyki i rozróżnienia analiz głównych, dodatkowych oraz eksploracyjnych (Appelbaum et al., 2018).

Checklista diagnostyczna: kolejność decyzji

1. Zdefiniuj pytanie, jednostkę analizy i estimand

Najpierw zapisz pytanie badawcze w postaci możliwie konkretnej. Ustal:

• kto lub co jest jednostką obserwacji;
• jaki jest wynik główny;
• jaka ekspozycja, interwencja lub zmienna objaśniająca jest najważniejsza;
• jaki parametr chcesz oszacować: różnicę średnich, iloraz szans, różnicę ryzyka, współczynnik regresji, korelację czy inny estimand;
• czy celem jest opis, predykcja, porównanie, ocena związku czy wnioskowanie przyczynowe.

To rozróżnienie jest fundamentalne. W badaniu obserwacyjnym związek między paleniem a czasem hospitalizacji nie powinien być automatycznie opisywany językiem przyczynowym. W badaniu randomizowanym można rozważać efekt interwencji, ale nadal trzeba uwzględnić sposób analizy, utratę uczestników i zgodność z protokołem.

2. Sprawdź projekt badania i strukturę obserwacji

Zapisz, czy badanie jest przekrojowe, kohortowe, kliniczno-kontrolne, randomizowane, podłużne, quasi-eksperymentalne czy oparte na danych wtórnych. Następnie odpowiedz, czy obserwacje są rzeczywiście niezależne. Dwie pomiary tej samej osoby nie są dwiema niezależnymi osobami. Pacjenci leczeni w tym samym oddziale mogą być do siebie podobni z powodu wspólnego personelu, procedur i środowiska. Uczniowie z tej samej klasy mogą tworzyć skupienia.

Jeśli występują pomiary powtarzane, klastry lub pary, zwykły test dla obserwacji niezależnych może zaniżać błędy standardowe. Wtedy należy rozważyć testy dla danych zależnych, modele mieszane, uogólnione równania estymacyjne albo błędy standardowe uwzględniające klastrowanie.

3. Ustal typy i role zmiennych

Każdą zmienną przyporządkuj do roli: wynik, ekspozycja, predyktor, modyfikator efektu, mediator, zmienna zakłócająca, kowariata lub identyfikator. Oddziel poziom pomiaru od sposobu kodowania. Zmienna zakodowana liczbami 0, 1 i 2 nie musi być ilościowa; może oznaczać trzy kategorie.

• Nominalna: kategorie bez naturalnego porządku, np. typ ubezpieczenia.
• Porządkowa: kategorie uporządkowane, np. nasilenie bólu: małe, umiarkowane, duże.
• Ilościowa: wartości liczbowe, dla których sensowne są działania arytmetyczne, np. ciśnienie skurczowe.
• Czas do zdarzenia: czas obserwacji wraz z informacją, czy zdarzenie wystąpiło, czy obserwację ocenzurowano.

Sprawdź również, czy zmienna wynikowa ma ograniczenia. Proporcja mieści się w przedziale od 0 do 1, czas nie może być ujemny, a liczba zdarzeń jest całkowita i nieujemna. Takie własności wpływają na wybór rodziny modeli.

4. Oceń jakość pomiaru i kodowanie

Przed analizą sprawdź jednostki, zakresy dopuszczalnych wartości, kierunek skal, etykiety kategorii i reguły obliczania wyników złożonych. W skali psychologicznej wyższy wynik może oznaczać lepsze funkcjonowanie albo większe nasilenie objawów. Błędne odwrócenie pozycji zmieni interpretację całego wyniku.

Niepoprawne wartości, takie jak saturacja 240% albo wiek równy 250 lat, powinny być odróżnione od prawdziwych wartości skrajnych. Zanim usuniesz rekord, ustal, czy jest to błąd wpisu, pomiaru, transportu danych czy nietypowy, lecz realny przypadek. Decyzję trzeba udokumentować, a nie podejmować dopiero po obejrzeniu wyniku testu.

5. Zbadaj braki danych

Oblicz liczbę i odsetek braków dla każdej zmiennej oraz sprawdź, czy braki koncentrują się w określonych grupach lub punktach pomiarowych. Rozróżnij brak zaplanowany, brak wynikający z odmowy, brak techniczny i brak oznaczający, że pytanie nie dotyczyło uczestnika.

Nie zakładaj automatycznie, że analiza kompletnych przypadków jest neutralna. Jeżeli osoby z cięższym przebiegiem choroby częściej nie wykonują testu kontrolnego, usunięcie ich danych może zmienić skład analizowanej grupy. Zaplanuj, czy zastosujesz imputację, modelowanie mechanizmu braków, analizę wrażliwości czy — przy niewielkiej liczbie braków i uzasadnieniu — analizę kompletnych obserwacji.

6. Obejrzyj dane przed obliczeniami

Podstawą jest połączenie tabel i wykresów. Dla zmiennych ilościowych użyj histogramu, wykresu pudełkowego, wykresu rozrzutu i wykresu wartości w czasie. Dla zmiennych jakościowych pokaż liczebności oraz odsetki, także w przekrojach najważniejszych grup.

Nie pytaj tylko, czy rozkład jest „normalny”. Zapytaj, czy wybrany model odpowiednio opisuje średnią, wariancję, asymetrię, zależność i zakres predykcji. W dużych próbach formalny test normalności może wykryć drobne odchylenie bez znaczenia praktycznego, a w małych próbach nie wykryć istotnego problemu. Wykres powinien być elementem decyzji, nie ozdobą raportu.

7. Sprawdź obserwacje odstające i wpływowe

Obserwacja odstająca jest nietypowa względem pozostałych danych, natomiast obserwacja wpływowa może silnie zmieniać oszacowania modelu. Są to różne pojęcia. W regresji warto analizować między innymi reszty, dźwignię oraz odległość Cooka. Nie istnieje jednak uniwersalna reguła, zgodnie z którą każdą obserwację przekraczającą próg należy usunąć.

Wykonaj analizę wrażliwości: porównaj wynik modelu podstawowego z wynikiem po zastosowaniu uzasadnionej procedury odpornej, transformacji lub po sprawdzeniu poprawności rekordu. Jeżeli wniosek zależy od jednego przypadku, należy to jasno ujawnić.

8. Zweryfikuj założenia właściwe dla planowanej metody

Dla regresji liniowej interesują nas przede wszystkim: liniowość średniej zależności, niezależność błędów, stałość wariancji oraz odpowiednia specyfikacja modelu. Normalność reszt jest głównie założeniem dotyczącym dokładności klasycznych testów i przedziałów w małych próbach; nie jest warunkiem tego, aby każda zmienna miała rozkład normalny.

Dla regresji logistycznej sprawdź między innymi poprawność kodowania wyniku binarnego, zależność obserwacji, liniowość związku między predyktorami ciągłymi a logitem oraz wystarczającą liczbę zdarzeń względem złożoności modelu. Dla modeli Poissona istotne jest między innymi, czy wariancja nie przekracza znacznie średniej. W razie nadmiernej dyspersji można rozważyć model quasi-Poissona lub ujemno-dwumianowy.

W analizie czasu do zdarzenia sprawdź założenie proporcjonalności hazardów, a w analizach wielokrotnych — strukturę cenzorowania. W modelach mieszanych oceń, czy wybrana struktura efektów losowych ma sens względem projektu, a nie tylko względem kryterium dopasowania.

9. Oceń współliniowość i redundancję predyktorów

Silnie powiązane predyktory mogą zwiększać niepewność współczynników i utrudniać ich interpretację. Sprawdź macierz korelacji, VIF lub tolerancję, ale nie traktuj pojedynczego progu jako prawa natury. Współliniowość jest problemem interpretacyjnym i predykcyjnym; nie zawsze powoduje błędne przewidywania, lecz może destabilizować wnioski o pojedynczych zmiennych.

Nie rozwiązuj problemu mechanicznie przez usuwanie zmiennej o najwyższym VIF. Rozważ sens teoretyczny zmiennych, konstrukcję indeksu, centrowanie przy interakcjach albo redukcję wymiaru. Decyzja powinna wynikać z pytania badawczego.

10. Zdecyduj, jak reagować na naruszenia

Diagnostyka nie kończy się na stwierdzeniu „założenie spełnione” albo „niespełnione”. Możliwe reakcje obejmują:

• pozostawienie modelu bez zmian, gdy odchylenie jest małe i nie wpływa na wniosek;
• zastosowanie błędów standardowych odpornych na heteroskedastyczność;
• transformację wyniku lub predyktora, jeśli ma uzasadnienie merytoryczne;
• wybór modelu odpowiadającego rozkładowi i skali wyniku;
• użycie metody odpornej lub bootstrapu;
• przedstawienie analizy głównej i zaplanowanej analizy wrażliwości;
• rezygnację z nadmiernie złożonego modelu.

Wybór „bardziej odpornej” metody nie usuwa problemu złego pomiaru, selekcji próby ani zależności przyczynowych. Odporność statystyczna dotyczy określonego naruszenia i nie jest ogólnym zabezpieczeniem przed błędem badania.

Wzór i przykład: model liniowy jako mapa diagnostyczna

W klasycznym modelu liniowym zapisujemy:

Y_i = β_0 + β_1X_{1i} + β_2X_{2i} + ... + β_pX_{pi} + ε_i

• Y_i — wynik dla obserwacji i;
• β_0 — wyraz wolny;
• β_j — współczynnik przy predyktorze X_j;
• X_{ji} — wartość predyktora j u obserwacji i;
• ε_i — składnik błędu, czyli różnica między wynikiem obserwowanym a wartością opisaną przez model.

Diagnostyka pyta, czy średnia część modelu jest odpowiednio określona, czy błędy są zależne, czy ich wariancja jest podobna oraz czy pojedyncze obserwacje nie dominują wyniku. Jeśli wariancja błędu rośnie wraz z ciśnieniem tętniczym, klasyczne błędy standardowe mogą być niewiarygodne. Estymator odporny White’a może pomóc w wnioskowaniu o współczynnikach przy heteroskedastyczności, lecz nie zastępuje sprawdzenia liniowości i jakości pomiaru (White, 1980).

Przykład praktyczny: rehabilitacja po udarze

Załóżmy, że badacz chce ocenić, czy liczba godzin rehabilitacji wiąże się z wynikiem funkcjonalnym po trzech miesiącach. Wynik jest skalą punktową, a dane pochodzą od pacjentów z czterech oddziałów.

1. Pytanie: czy chodzi o opis związku, predykcję wyniku czy efekt przyczynowy rehabilitacji? Jeśli pacjenci sami wybierali intensywność rehabilitacji, ostrożność języka przyczynowego jest konieczna.
2. Jednostka obserwacji: pacjent, ale pacjenci są zagnieżdżeni w oddziałach. Trzeba sprawdzić, czy oddziały różnią się organizacją leczenia.
3. Wynik: należy ocenić zakres skali, skupienie wyników przy minimum lub maksimum i rozkład reszt, a nie tylko rozkład samego wyniku.
4. Predyktory: liczba godzin może być silnie związana z początkowym stanem funkcjonalnym. Stan początkowy może być ważną zmienną zakłócającą.
5. Braki: osoby z gorszym stanem mogą częściej nie ukończyć pomiaru po trzech miesiącach. Analiza kompletnych przypadków może prowadzić do selekcji.
6. Diagnostyka: należy obejrzeć zależność, reszty, heteroskedastyczność, wpływ oddziału i obserwacje wpływowe. Można porównać model liniowy z modelem mieszanym lub analizą odporną.

Wniosek nie powinien brzmieć: „test t wykazał, że rehabilitacja poprawia funkcjonowanie”, jeśli dane są obserwacyjne. Bardziej adekwatne byłoby: „po uwzględnieniu określonych zmiennych większa liczba godzin rehabilitacji była związana z wyższym wynikiem funkcjonalnym; interpretację ogranicza obserwacyjny charakter badania i możliwe różnice między oddziałami”.

Drugi przykład: ankieta zdrowia psychicznego studentów

Badacz porównuje nasilenie objawów lękowych między studentami pracującymi i niepracującymi. Zanim zastosuje test t, powinien sprawdzić, czy grupy są niezależne, jak skonstruowano skalę, czy rozkład wyników nie jest silnie skupiony przy granicach, czy wariancje są podobne oraz czy grupy nie różnią się istotnie odsetkiem braków.

Jeżeli studenci pochodzą z tych samych seminariów, obserwacje mogą być częściowo zależne. Jeśli skala ma niewiele kategorii i silną asymetrię, można rozważyć model porządkowy albo metodę odporną, ale decyzja powinna wynikać z celu i własności danych. Sam fakt, że zmienna jest opisana jako „skala Likerta”, nie rozstrzyga automatycznie o jednej właściwej metodzie.

Najczęstsze błędy

• Wybór testu przed obejrzeniem danych. Nazwa zmiennej nie mówi, czy obserwacje są niezależne i czy wynik ma ograniczony zakres.
• Traktowanie testu normalności jako ostatecznego arbitra. Formalny test nie zastępuje wykresów, wiedzy o projekcie i oceny wpływu odchylenia na wniosek.
• Usuwanie wartości odstających bez sprawdzenia źródła. Można w ten sposób usunąć ważną informację kliniczną.
• Automatyczne stosowanie transformacji. Transformacja powinna poprawiać interpretowalność lub adekwatność modelu, a nie jedynie zmieniać wartość p.
• Ignorowanie klastrów i pomiarów powtarzanych. Zwykły test dla niezależnych obserwacji może zaniżyć niepewność oszacowania.
• Raportowanie wyłącznie wartości p. Trzeba podać wielkość efektu, przedział ufności, kierunek związku i znaczenie praktyczne.
• Traktowanie wartości p jako prawdopodobieństwa prawdziwości hipotezy zerowej. Wartość p opisuje zgodność danych z określonym modelem przy założeniu hipotezy zerowej; nie jest prawdopodobieństwem, że H0 jest prawdziwa.
• Brak dokumentacji decyzji. Diagnostyka powinna być odtwarzalna: zapisz reguły kodowania, kryteria wykluczeń, zastosowane wykresy, testy i analizy wrażliwości.

Jak raportować diagnostykę?

W raporcie wystarczy zwięzła, ale konkretna informacja. Należy opisać strukturę danych, sposób postępowania z brakami, kryteria identyfikacji obserwacji odstających, najważniejsze kontrole założeń oraz konsekwencje diagnostyki dla modelu. W badaniach obserwacyjnych pomocna jest checklista STROBE, która porządkuje raportowanie projektu, uczestników, zmiennych, metod statystycznych i ograniczeń (von Elm et al., 2007).

Nie należy przedstawiać diagnostyki jako dowodu, że model jest „prawdziwy”. Model jest uproszczeniem. Można jedynie argumentować, że przyjęta reprezentacja danych jest wystarczająco adekwatna do konkretnego celu i że główne źródła niepewności zostały rozpoznane. Przy analizie zgodności dwóch metod pomiaru nie wystarczy korelacja; należy oceniać różnice, zakres zgodności i możliwą zależność błędu od poziomu pomiaru, zgodnie z podejściem Bland i Altmana (Bland & Altman, 1986).

Co warto zapamiętać?

• Najpierw określ pytanie, estimand, jednostkę analizy i projekt badania.
• Sprawdź zależności między obserwacjami, zanim wybierzesz test dla danych niezależnych.
• Rozróżniaj typ zmiennej, sposób kodowania i rolę zmiennej w modelu.
• Braki danych, błędy pomiaru i obserwacje wpływowe są częścią diagnostyki, nie problemem do ukrycia.
• Wykresy i wiedza merytoryczna uzupełniają, a nie zastępują formalne procedury.
• Naruszenie założenia nie prowadzi automatycznie do usunięcia danych; wymaga oceny konsekwencji i wyboru reakcji.
• Raportuj wielkość efektu, przedział ufności i znaczenie praktyczne, a nie samą wartość p.
• Dobra checklista kończy się dokumentacją decyzji oraz analizą wrażliwości, gdy wniosek może zależeć od przyjętych założeń.

Najbezpieczniejsza zasada brzmi: wybieraj metodę na podstawie pytania i struktury danych, a nie na podstawie przyzwyczajenia ani wyniku, który chcesz uzyskać.

Źródła i dalsza lektura

1. Appelbaum, M., Cooper, H., Kline, R. B., Mayo-Wilson, E., Nezu, A. M., & Rao, S. M. (2018). Journal article reporting standards for quantitative research in psychology: The APA Publications and Communications Board task force report. American Psychologist, 73(1), 3–25. DOI: 10.1037/amp0000191.
2. Bland, J. M., & Altman, D. G. (1986). Statistical methods for assessing agreement between two methods of clinical measurement. The Lancet, 1(8476), 307–310. DOI: 10.1016/S0140-6736(86)90837-8.
3. Ramsey, J. B. (1969). Tests for specification errors in classical linear least-squares regression analysis. Journal of the Royal Statistical Society: Series B (Methodological), 31(2), 350–371. DOI: 10.1111/j.2517-6161.1969.tb00796.x.
4. White, H. (1980). A heteroskedasticity-consistent covariance matrix estimator and a direct test for heteroskedasticity. Econometrica, 48(4), 817–838. DOI: 10.2307/1912934.
5. von Elm, E., Altman, D. G., Egger, M., Pocock, S. J., Gøtzsche, P. C., & Vandenbroucke, J. P.; STROBE Initiative (2007). The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) statement: Guidelines for reporting observational studies. PLoS Medicine, 4(10), e296. DOI: 10.1371/journal.pmed.0040296.
6. American Psychological Association (2023). APA Style Journal Article Reporting Standards (JARS). American Psychological Association. Źródło.
7. EQUATOR Network; STROBE Initiative (2007). The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) Statement: Guidelines for reporting observational studies. EQUATOR Network. Źródło.