378. Odporność testów parametrycznych na naruszenia założeń

W poprzednich lekcjach kursu na statystyk.edu.pl omawialiśmy poszczególne założenia analiz: niezależność obserwacji, liniowość, homoskedastyczność, wartości odstające i braki danych. Kolejny krok polega na zrozumieniu, że naruszenie założenia nie zawsze automatycznie unieważnia wynik testu. Test może być bowiem odporny na określone odstępstwa od modelu, czyli zachowywać akceptowalną kontrolę błędu I rodzaju i rozsądną moc mimo tego, że dane nie spełniają założeń w sposób idealny. Odporność nie jest jednak cechą bezwarunkową. Zależy od rodzaju naruszenia, jego nasilenia, liczebności grup, równowagi liczebności oraz od tego, jaki parametr naprawdę chcemy porównywać.

Co oznacza odporność testu?

W statystyce test jest odporny wtedy, gdy jego własności — przede wszystkim rzeczywisty poziom błędu I rodzaju i moc — nie pogarszają się istotnie przy umiarkowanym naruszeniu założeń. Jeżeli test deklarujemy na poziomie α = 0,05, to w idealnych warunkach powinien odrzucać prawdziwą hipotezę zerową w około 5% powtarzanych prób. Przy naruszeniu założeń ważne jest pytanie, czy rzeczywisty odsetek fałszywych odrzuceń nadal pozostaje blisko 5%.

Odporność nie oznacza, że wynik testu jest zawsze poprawny. Nie oznacza też, że można pominąć diagnostykę danych. Jest raczej argumentem za oceną skali i konsekwencji naruszenia, zamiast za mechanicznym stosowaniem reguły: „normalność odrzucona, więc natychmiast test nieparametryczny”. Glass, Peckham i Sanders (1972) pokazali, że konsekwencje naruszeń założeń ANOVA zależą od ich konfiguracji, a nie od samego faktu wystąpienia odstępstwa.

Jakie założenia mają test t i ANOVA?

Normalność

W klasycznym teście t i jednoczynnikowej analizie wariancji zakłada się, że w każdej populacji reszty — albo równoważnie, w prostym układzie, wyniki wokół odpowiednich średnich — mają rozkład normalny. Trzeba jednak precyzyjnie określić, czego dotyczy to założenie. Nie chodzi o to, aby surowe wyniki w całej próbie tworzyły idealny „dzwon”. W modelu liniowym istotniejszy jest rozkład reszt, a wnioskowanie o średniej opiera się na rozkładzie statystyki, na przykład różnicy średnich.

Przy dużych próbach średnia zyskuje przybliżenie normalne dzięki centralnemu twierdzeniu granicznemu. Dlatego test t i regresja liniowa mogą działać dobrze dla wielu nienormalnych rozkładów, szczególnie gdy obserwacje są niezależne, nie występują skrajne wartości, a liczebności grup są odpowiednie (Lumley, Diehr, Emerson i Chen, 2002). Nie jest to jednak licencja na ignorowanie asymetrii lub ciężkich ogonów przy małych próbach.

Równość wariancji

W klasycznym teście t dla dwóch niezależnych grup zakłada się równość wariancji. W jednoczynnikowej ANOVA chodzi o podobieństwo wariancji w porównywanych grupach. To założenie staje się szczególnie ważne, gdy grupy mają różne liczebności. Połączenie nierównych wariancji z nierównymi liczebnościami może prowadzić do zniekształcenia poziomu błędu I rodzaju.

W praktyce często lepszym rozwiązaniem niż klasyczny test t jest test t Welcha, który nie wymaga równości wariancji. Analogicznie w porównaniu kilku grup można zastosować analizę Welcha oraz odpowiednie procedury porównań post hoc, na przykład Gamesa–Howella. Test Levene’a lub Brown–Forsythe’a może pomóc w diagnostyce, ale jego wynik nie powinien być jedyną podstawą decyzji. Należy równocześnie oglądać wykresy, wariancje grup, liczebności i sens kliniczny różnic.

Niezależność obserwacji

Niezależność jest założeniem szczególnym, ponieważ testy parametryczne są na nią zazwyczaj mniej odporne niż na umiarkowaną nienormalność. Jeżeli pacjent występuje w bazie kilka razy, uczniowie są zagnieżdżeni w klasach, a pomiary powtarzane pochodzą od tych samych osób, obserwacje nie są niezależne. Zastosowanie zwykłego testu t lub ANOVA może wtedy zaniżyć błąd standardowy i zawyżyć statystykę testową.

Nie rozwiązuje tego większa liczebność pozorna. Cztery pomiary od jednej osoby nie dostarczają tyle niezależnej informacji co cztery pomiary od czterech osób. W zależności od projektu należy rozważyć test dla prób zależnych, analizę powtarzanych pomiarów, model mieszany albo model uwzględniający klaster.

Odporność na nienormalność: kiedy jest prawdopodobna?

Umiarkowana asymetria sama w sobie często nie prowadzi do poważnych problemów, gdy grupy są podobnie liczne i każda obejmuje dostatecznie wiele obserwacji. W symulacyjnym badaniu Blanca i współautorów (2017) test F w analizie jednoczynnikowej zachowywał kontrolę błędu I rodzaju w badanych konfiguracjach nienormalności. Wynik ten nie oznacza, że każda ANOVA jest odporna, lecz pokazuje, że sama nieidealna normalność nie przesądza jeszcze o błędności analizy.

Ryzyko rośnie przy małych próbach, silnej skośności, ciężkich ogonach, rozkładach wielomodalnych i pojedynczych obserwacjach skrajnych. Szczególnie niebezpieczne jest połączenie kilku problemów: małej liczebności, nierównych wariancji, nierównych grup i odstających wyników. W takim układzie klasyczna statystyka F albo klasyczny test t mogą mieć niewłaściwy poziom błędu I rodzaju.

Warto też odróżnić odporność na nienormalność od odporności na wartości odstające. Rozkład może być asymetryczny, ale bez ekstremalnych obserwacji. Z drugiej strony jedna błędnie wpisana wartość może silnie zmienić średnią, wariancję i wynik testu, nawet gdy pozostałe dane są niemal normalne.

Co dzieje się z mocą testu?

Naruszenie założeń może wpływać nie tylko na fałszywe odrzucenia hipotezy zerowej, lecz także na moc testu. Moc to prawdopodobieństwo wykrycia rzeczywistego efektu przy założeniu, że efekt istnieje. Silna asymetria lub ciężkie ogony mogą zwiększyć niepewność średniej i utrudnić wykrycie różnicy. Z kolei niektóre odstępstwa mogą przypadkowo zwiększyć moc, ale kosztem niestabilności i ryzyka fałszywych wniosków.

W analizie nie należy więc ograniczać się do pytania: „czy wartość p przekroczyła 0,05?”. Trzeba przedstawić wielkość efektu, przedział ufności i rozważyć, czy oszacowanie jest stabilne wobec rozsądnych analiz wrażliwości. Wartość p nie jest prawdopodobieństwem prawdziwości hipotezy zerowej. Informuje o zgodności danych z określonym modelem przy założeniu hipotezy zerowej.

Jak postępować przy naruszeniu założeń?

1. Zidentyfikuj problem. Sprawdź projekt badania, sposób pomiaru, niezależność, wykresy reszt i liczebności grup.
2. Oceń nasilenie naruszenia. Nie traktuj każdego odchylenia od normalności jako równie ważnego.
3. Sprawdź, czy parametr odpowiada pytaniu. Test t dotyczy średnich. Test rangowy może odpowiadać innemu pytaniu niż porównanie średnich.
4. Wybierz właściwą modyfikację. Przy nierównych wariancjach rozważ test Welcha; przy zależności pomiarów użyj modelu dla danych zależnych.
5. Wykonaj analizę wrażliwości. Porównaj wynik główny z uzasadnioną analizą alternatywną, na przykład bootstrapem lub procedurą odporną.
6. Raportuj decyzję. Opisz, jakie założenia oceniono, jakimi metodami i dlaczego wybrano daną analizę.

Bootstrap może być użyteczny, gdy interesuje nas przedział ufności dla różnicy średnich, ale nie jest magicznym rozwiązaniem: przy małej próbie lub silnej zależności danych również może działać słabo. W pewnych sytuacjach pomocne są metody permutacyjne, pod warunkiem że sposób permutowania respektuje projekt badania.

Przykład 1: ciśnienie tętnicze po interwencji

Załóżmy, że badacze porównują zmianę skurczowego ciśnienia tętniczego w grupie edukacji zdrowotnej i w grupie kontrolnej. W każdej grupie jest po 80 osób. Rozkład zmian jest lekko prawoskośny, a wykresy wskazują na kilka większych redukcji ciśnienia. Wariancje są podobne, a obserwacje pochodzą od różnych pacjentów.

W tej sytuacji umiarkowana nienormalność nie musi dyskwalifikować porównania średnich. Liczebność jest umiarkowana, grupy są podobnie liczne, a obserwacje niezależne. Można zastosować test t Welcha jako rozwiązanie zachowawcze, przedstawić średnie, różnicę średnich, 95-procentowy przedział ufności i wykres rozkładów. Dodatkowo można wykonać bootstrapowy przedział ufności dla różnicy średnich.

Jeżeli jednak jedna osoba miałaby zmianę równą na przykład –80 mmHg wskutek błędu zapisu, nie byłoby to zwykłe „naruszenie normalności”. Najpierw należałoby zweryfikować dokumentację i poprawność pomiaru. Automatyczne usunięcie tej wartości bez reguły ustalonej przed analizą byłoby równie problematyczne jak bezrefleksyjne jej pozostawienie.

Przykład 2: czas oczekiwania na pomoc ratowniczą

Rozważmy badanie czasu oczekiwania na przyjazd zespołu ratownictwa medycznego w trzech typach obszaru: miejskim, podmiejskim i wiejskim. Czas jest silnie prawoskośny, ponieważ większość zgłoszeń obsługiwano szybko, ale część przypadków trwała bardzo długo. Dodatkowo zgłoszenia pochodzą z wielu rejonów operacyjnych, więc obserwacje mogą być zagnieżdżone w jednostkach.

Zwykła ANOVA może być niewłaściwa nie dlatego, że czas nie ma rozkładu normalnego, lecz dlatego, że występuje zależność obserwacji w obrębie rejonów oraz możliwa heteroskedastyczność. Najpierw należy rozważyć model uwzględniający rejon jako efekt losowy albo zastosować błędy standardowe odporne na klastrowanie. Jeżeli pytanie dotyczy średniego czasu, analiza powinna nadal koncentrować się na średniej lub odpowiednim modelu dla czasu, a nie automatycznie na medianach. Jeśli natomiast celem jest porównanie typowego czasu lub kwantyli, można rozważyć inne metody.

Przykład praktyczny: trzy grupy pacjentów

W badaniu pilotażowym porównano wynik skali zmęczenia w trzech grupach pacjentów: 12, 14 i 30 osób. Wykresy wskazują na prawostronną asymetrię w najmniejszej grupie, a wariancja jest większa w grupie liczącej 30 osób. Klasyczny test F nie powinien być pierwszym wyborem tylko dlatego, że wynik skali zapisano liczbowo.

Rozsądna procedura może wyglądać następująco:

• sprawdzić, czy skala ma charakter przybliżenie ciągły i czy średnia jest interpretowalna;
• obejrzeć surowe dane i reszty, a nie polegać wyłącznie na teście Shapiro–Wilka;
• rozważyć ANOVA Welcha, ponieważ wariancje i liczebności są nierówne;
• zastosować odpowiednie porównania post hoc z kontrolą wielokrotności;
• przedstawić średnie oraz przedziały ufności, a pomocniczo także mediany i kwartyle;
• wykonać analizę wrażliwości, na przykład odporną lub opartą na bootstrapie, jeżeli uzasadnia to projekt.

Jeżeli analiza alternatywna prowadzi do podobnego wniosku, zwiększa to wiarygodność interpretacji. Jeżeli wyniki są rozbieżne, nie należy wybierać korzystniejszego rezultatu. Trzeba wyjaśnić, że różne metody odpowiadają nieco innym założeniom lub parametrom i ostrożniej sformułować wniosek.

Najczęstsze błędy

• „Test normalności wyszedł istotnie, więc nie wolno użyć testu t”. W dużej próbie nawet małe, praktycznie nieistotne odchylenie może dać małą wartość p. Potrzebna jest ocena wykresów, liczebności i celu analizy.
• „Przy dużej próbie wszystkie naruszenia są nieszkodliwe”. Duża próba nie naprawia zależności obserwacji, błędnej jednostki analizy ani silnego wpływu obserwacji odstających.
• „Test Levene’a rozstrzyga, jaki test wybrać”. Jest to tylko jeden element diagnostyki, podatny na liczebność i kształt rozkładów.
• „Mann–Whitney zawsze zastępuje test t”. Test rangowy nie jest automatycznie testem różnicy median i nie odpowiada dokładnie pytaniu o średnie.
• „Usuwamy wartości odstające, aby spełnić normalność”. Obserwację można usunąć tylko z uzasadnionej przyczyny, na przykład potwierdzonego błędu pomiaru, a decyzję należy udokumentować.
• „Odporność oznacza brak potrzeby raportowania diagnostyki”. Jeżeli założenia były naruszone, czytelnik powinien wiedzieć, jak oceniono problem i dlaczego wybrano daną metodę.
• „Istotność statystyczna rozstrzyga o znaczeniu klinicznym”. Należy interpretować wielkość efektu, przedział ufności i próg praktycznej ważności.

Co warto zapamiętać?

• Testy parametryczne bywają odporne na umiarkowaną nienormalność, zwłaszcza przy niezależnych obserwacjach, podobnych liczebnościach i dostatecznie dużych próbach.
• Najgroźniejsze są często nie pojedyncze odstępstwa, lecz ich kombinacje: mała próba, nierówne liczebności, nierówne wariancje i wartości odstające.
• Niezależność obserwacji jest założeniem, którego nie można „zastąpić” większą liczebnością.
• Przy heteroskedastyczności warto rozważyć test t Welcha lub ANOVA Welcha, zamiast wymuszać klasyczny model.
• Wybór testu powinien wynikać z pytania badawczego i parametru, który chcemy oszacować.
• Analiza wrażliwości, przedziały ufności i jawne raportowanie decyzji są ważniejsze niż mechaniczne przestrzeganie pojedynczego testu diagnostycznego.

Odporność testów parametrycznych jest więc pojęciem warunkowym, a nie przywilejem przyznanym testowi raz na zawsze. Dobra analiza nie polega na poszukiwaniu danych idealnych, lecz na rozpoznaniu, które odstępstwa są tolerowalne, które wymagają modyfikacji modelu, a które podważają zasadność zastosowanej procedury.

Źródła i dalsza lektura

1. Gene V. Glass; Percy D. Peckham; James R. Sanders (1972). Consequences of Failure to Meet Assumptions Underlying the Fixed Effects Analyses of Variance and Covariance. Review of Educational Research, 42(3), 237–288. DOI: 10.3102/00346543042003237.
2. Thomas Lumley; Paula Diehr; Scott Emerson; Lu Chen (2002). The Importance of Normality Assumptions in Large Public Health Data Sets. Annual Review of Public Health, 23, 151–169. DOI: 10.1146/annurev.publhealth.23.100901.140546.
3. María J. Blanca; Rafael Alarcón; Jaume Arnau; Roser Bono; Rebecca Bendayan (2017). Non-normal Data: Is ANOVA Still a Valid Option?. Psicothema, 29(4), 552–557. DOI: 10.7334/psicothema2016.383.
4. Yuhang Zhou; Yiyang Zhu; Weng Kee Wong (2023). Statistical Tests for Homogeneity of Variance for Clinical Trials and Recommendations. Contemporary Clinical Trials Communications, 33, 101119. DOI: 10.1016/j.conctc.2023.101119.
5. T. Heeren; R. D’Agostino (1987). Robustness of the Two Independent Samples t-test When Applied to Ordinal Scaled Data. Statistics in Medicine, 6(1), 79–90. DOI: 10.1002/sim.4780060110.
6. J. Ludbrook (1995). Issues in Biomedical Statistics: Comparing Means Under Normal Distribution Theory. Australian and New Zealand Journal of Surgery, 65(4), 267–272. DOI: 10.1111/j.1445-2197.1995.tb00626.x.
7. Robert A. Motulsky (2017). Explorations in Statistics: The Assumption of Normality. Advances in Physiology Education, 41(3), 347–353. DOI: 10.1152/advan.00064.2017.

Jeżeli potrzebujesz indywidualnego wsparcia w doborze metod, przygotowaniu bazy lub opracowaniu wyników badań, sprawdź analiza statystyczna.