362. Normalność danych a normalność reszt – ważne rozróżnienie

W analizie statystycznej często pojawia się zalecenie: „najpierw sprawdź normalność danych”. To sformułowanie bywa jednak zbyt ogólne. Innego rodzaju normalności oczekujemy od surowej zmiennej, innego od rozkładu różnic między obserwacjami a wartościami przewidywanymi przez model. Właśnie dlatego normalność danych i normalność reszt nie są pojęciami zamiennymi.

Rozróżnienie to ma praktyczne znaczenie w regresji liniowej, analizie wariancji, analizie kowariancji i wielu innych modelach. W tej lekcji porządkujemy te pojęcia od podstaw, pokazujemy, kiedy należy oceniać rozkład zmiennej wynikowej, a kiedy reszty modelu, oraz wyjaśniamy, dlaczego pojedynczy test normalności nie powinien automatycznie decydować o wyborze metody. Temat wpisuje się w szerszy tok szkolenia metodologicznego na statystyk.edu.pl.

Dwa różne pytania o normalność

Załóżmy, że badacz analizuje czas hospitalizacji pacjentów. Może zadać co najmniej dwa odmienne pytania:

• Czy czas hospitalizacji w badanej próbie ma rozkład zbliżony do normalnego?
• Czy różnice między rzeczywistym a przewidywanym czasem hospitalizacji są zbliżone do rozkładu normalnego?

Pierwsze pytanie dotyczy surowej zmiennej. Drugie dotyczy reszt modelu. Odpowiedzi mogą być różne, ponieważ model może uwzględniać czynniki wyjaśniające, takie jak wiek, rodzaj procedury, ciężkość stanu klinicznego czy tryb przyjęcia. Zmienna wynikowa może być silnie skośna, ale po uwzględnieniu tych czynników reszty mogą być wystarczająco symetryczne. Możliwa jest także sytuacja odwrotna: surowa zmienna wygląda dość regularnie, lecz reszty ujawniają nieliniowość, heteroscedastyczność albo obserwacje odstające.

Czym jest rozkład normalny?

Rozkład normalny, nazywany również rozkładem Gaussa, jest ciągłym rozkładem prawdopodobieństwa o charakterystycznym kształcie dzwonowym. Jego położenie określa średnia, a rozproszenie — odchylenie standardowe. W idealnym rozkładzie normalnym średnia, mediana i moda są sobie równe, a rozkład jest symetryczny.

W praktyce określenie „dane są normalne” jest skrótem myślowym. Dane empiryczne niemal nigdy nie są idealnie normalne. Zwykle oceniamy, czy odchylenia od normalności są na tyle duże, aby istotnie wpływały na konkretną analizę. Dlatego pytanie nie powinno brzmieć wyłącznie: „czy test Shapiro–Wilka jest istotny?”, lecz raczej: „czy przyjęty model i sposób wnioskowania są wystarczająco wiarygodne w świetle kształtu danych, liczebności próby, obserwacji odstających i celu badania?”.

Ważne jest również to, że normalność nie jest uniwersalną cechą całego zbioru danych. Dotyczy konkretnej zmiennej, grupy, populacji albo składnika modelu. Wynik prawidłowy dla jednej podgrupy nie musi być prawidłowy dla innej.

Czym są reszty?

Reszta jest różnicą między wartością zaobserwowaną a wartością przewidywaną przez model. W najprostszym modelu regresji liniowej zapisujemy to następująco:

ei = yi − ŷi

• ei — reszta dla obserwacji i;
• yi — rzeczywiście zaobserwowana wartość zmiennej wynikowej;
• ŷi — wartość przewidywana przez dopasowany model;
• i — numer obserwacji, od 1 do n.

Jeżeli model dobrze opisuje systematyczną część zależności, reszty powinny zachowywać się jak przypadkowe odchylenia wokół zera. W modelu liniowym klasyczne założenia dotyczące składnika losowego obejmują między innymi niezależność, stałą wariancję oraz — szczególnie dla dokładnego wnioskowania w małych próbach — normalność rozkładu błędów. W praktyce analizujemy oszacowane reszty, ponieważ prawdziwe błędy populacyjne nie są bezpośrednio obserwowalne.

Trzeba zachować ostrożność terminologiczną. Błąd losowy jest elementem teoretycznego modelu populacyjnego, natomiast reszta jest obliczana na podstawie konkretnej próby i dopasowanego modelu. Reszty są zatem przybliżeniem informacji o błędach, a nie ich bezpośrednim pomiarem.

Dlaczego normalność surowych danych nie jest głównym założeniem regresji?

W regresji liniowej interesuje nas przede wszystkim to, czy model poprawnie opisuje zależność między zmienną wynikową a predyktorami. Założenie normalności nie mówi zazwyczaj, że każdy predyktor i sama zmienna wynikowa muszą mieć rozkład normalny. Dotyczy ono rozkładu składnika losowego warunkowo na wartości predyktorów, a więc w praktyce — zachowania reszt.

Przykładowo, liczba dni niezdolności do pracy może być silnie prawostronnie skośna: większość osób wraca do pracy szybko, lecz niewielka grupa pozostaje niezdolna przez wiele tygodni. Taki kształt surowej zmiennej nie przesądza jeszcze o tym, że regresja liniowa jest bezużyteczna. Po dopasowaniu modelu może się okazać, że reszty są względnie symetryczne, a ważniejszym problemem jest na przykład nierówna wariancja dla krótkich i długich okresów niezdolności.

Jednocześnie normalność reszt także nie gwarantuje poprawności modelu. Reszty mogą wyglądać normalnie, ale wykazywać zależność czasową, wzorzec krzywoliniowy albo silną heteroscedastyczność. Normalność jest tylko jednym z elementów diagnostyki.

Normalność w teście t, ANOVA i regresji

Test t i analiza dwóch grup

W klasycznym teście t dla dwóch niezależnych grup założenie normalności odnosi się do rozkładu zmiennej w populacjach, z których pochodzą grupy, albo — w ujęciu modelowym — do reszt odpowiedniego modelu. Jeżeli próby są duże, test t bywa dość odporny na umiarkowaną nienormalność, zwłaszcza gdy grupy mają podobne liczebności i nie występują skrajne obserwacje. Nie oznacza to jednak, że można ignorować skośność, wartości odstające czy nierówność wariancji.

Przy małych próbach silna asymetria lub ciężkie ogony mogą znacząco wpływać na przedział ufności i wartość p. Zamiast mechanicznie zamieniać test t na test U Manna–Whitneya, należy zastanowić się, jaka wielkość jest przedmiotem zainteresowania: średnia, mediana, rozkład rang czy różnica w położeniu rozkładów.

ANOVA

W jednoczynnikowej analizie wariancji nie wymaga się, aby wszystkie obserwacje z połączonego zbioru miały jeden wspólny rozkład normalny. Założenie dotyczy raczej rozkładu reszt w obrębie modelu, przy założeniu odpowiedniej struktury średnich i wariancji. Dlatego po dopasowaniu ANOVA warto analizować reszty w funkcji wartości przewidywanych oraz w grupach.

Jeżeli jedna grupa ma znacznie większe rozproszenie niż pozostałe, problemem może być heteroscedastyczność, nawet gdy histogram reszt jako całości wygląda przyzwoicie. W takiej sytuacji test Levene’a, wykres reszt oraz ocena liczebności grup mogą być bardziej informacyjne niż sam test normalności.

Regresja liniowa

W regresji liniowej interesują nas między innymi:

• liniowość zależności;
• niezależność obserwacji;
• stałość wariancji reszt;
• brak nadmiernego wpływu pojedynczych obserwacji;
• normalność reszt, jeśli potrzebujemy klasycznego wnioskowania o parametrach w małej lub umiarkowanej próbie.

Wynika z tego praktyczna zasada: dla modelu analizuj przede wszystkim reszty, nie zaś samą zmienną wynikową w oderwaniu od modelu. Surowe dane nadal warto obejrzeć, ponieważ ich kształt może sugerować konieczność transformacji, użycia modelu uogólnionego albo zmiany skali pomiaru.

Jak oceniać normalność reszt?

Najlepsza diagnostyka łączy metody graficzne, statystyki opisowe i wiedzę dziedzinową. Nie należy opierać decyzji na jednym automatycznym teście.

Histogram i wykres gęstości

Histogram pozwala ocenić asymetrię, ciężkie ogony i wielomodalność. Jego interpretacja zależy jednak od liczby obserwacji i szerokości przedziałów. Przy małej próbie histogram może być niestabilny, a przy bardzo dużej próbie nawet niewielkie odchylenia będą widoczne.

Wykres Q–Q

Na wykresie Q–Q kwantyle empiryczne reszt porównuje się z kwantylami rozkładu normalnego. Jeżeli punkty układają się w przybliżeniu wzdłuż prostej, zgodność jest rozsądna. Odchylenia na końcach mogą wskazywać na cięższe lub lżejsze ogony, a wygięcie całego wzoru — na asymetrię.

Wykres Q–Q nie daje automatycznej odpowiedzi „tak” albo „nie”. Jest narzędziem diagnostycznym, które wymaga oceny skali odchyleń i ich znaczenia dla analizowanego modelu. Kozak i Piepho (2018) podkreślają, że w kontroli założeń ANOVA wykresy reszt są często bardziej użyteczne niż same testy formalne.

Test Shapiro–Wilka i inne testy

Test Shapiro–Wilka może być pomocny, zwłaszcza przy małych i średnich próbach, ale jego wynik zależy od liczebności. W dużej próbie drobne, praktycznie nieistotne odchylenie może dać bardzo małą wartość p. W małej próbie brak istotności nie dowodzi normalności — oznacza tylko, że dane nie dostarczyły wystarczających podstaw do odrzucenia hipotezy zerowej. Zgodnie z klasyczną zasadą metodologiczną, brak dowodu nie jest dowodem braku (Altman i Bland, 1995).

Nie należy również interpretować wartości p jako prawdopodobieństwa, że hipoteza zerowa o normalności jest prawdziwa. Wartość p jest prawdopodobieństwem uzyskania wyniku co najmniej tak odległego od założonego modelu, przy założeniu prawdziwości hipotezy zerowej i spełnieniu warunków danego testu.

Przykład 1: ciśnienie tętnicze i leczenie

Załóżmy, że w badaniu obserwacyjnym analizuje się skurczowe ciśnienie tętnicze po 12 tygodniach. Badacz porównuje pacjentów przyjmujących dwa schematy leczenia i dodatkowo uwzględnia wiek oraz ciśnienie wyjściowe.

Histogram końcowego ciśnienia jest lekko prawostronnie skośny. Badacz mógłby uznać, że należy odrzucić regresję liniową. Po dopasowaniu modelu okazuje się jednak, że:

• reszty na wykresie Q–Q układają się dość blisko prostej;
• wykres reszt względem wartości przewidywanych nie pokazuje wyraźnego lejka;
• jedna obserwacja ma duży wpływ i po sprawdzeniu okazuje się wynikiem błędu wpisywania;
• po korekcie danych model daje stabilniejsze oszacowania.

Wniosek nie powinien brzmieć: „dane były nienormalne, więc analiza była niemożliwa”. Trafniejszy opis brzmi: „surowa zmienna wykazywała umiarkowaną skośność, natomiast diagnostyka reszt nie wskazała na poważne naruszenie założeń liniowego modelu po usunięciu potwierdzonego błędu danych”. Nadal należy raportować oszacowaną różnicę między schematami leczenia, przedział ufności i znaczenie kliniczne, a nie samą istotność statystyczną.

Przykład 2: czas oczekiwania w ratownictwie

W analizie czasu przybycia zespołu ratownictwa medycznego rozkład surowych czasów jest zwykle prawostronnie skośny. Większość zgłoszeń może być obsłużona w krótkim czasie, ale korki, odległość i zdarzenia masowe powodują długi ogon.

Jeśli badacz zastosuje regresję liniową do przewidywania czasu przybycia na podstawie pory dnia, odległości i rodzaju zgłoszenia, powinien zbadać reszty modelu. Możliwe są trzy scenariusze:

1. Reszty są w przybliżeniu symetryczne, ale wariancja rośnie wraz z czasem przewidywanym. Wtedy problemem jest heteroscedastyczność, a nie przede wszystkim normalność.
2. Reszty mają wyraźny wzorzec krzywoliniowy. Może to oznaczać, że wpływ odległości nie jest liniowy; warto rozważyć transformację, składnik nieliniowy lub splajn.
3. Reszty mają ciężki prawy ogon. Wtedy klasyczne przedziały ufności mogą być mniej wiarygodne, a badacz powinien rozważyć transformację czasu, odporną metodę estymacji albo model adekwatny dla dodatniej, skośnej zmiennej.

Sam fakt, że surowe czasy nie mają rozkładu normalnego, nie rozstrzyga, który z tych scenariuszy występuje.

Normalność a liczebność próby

W dużych próbach średnie i oszacowania parametrów często mają rozkłady przybliżone normalnie dzięki centralnemu twierdzeniu granicznemu. Nie oznacza to jednak, że każda analiza automatycznie staje się odporna. Silna skośność, ciężkie ogony, wartości odstające, zależność obserwacji i nierówność wariancji mogą nadal zniekształcać błędy standardowe oraz przedziały ufności.

Lumley i współpracownicy (2002) zwracali uwagę, że test t i regresja liniowa mogą być użyteczne dla dużych prób pochodzących z rozkładów dalekich od normalnego, o ile pytanie badawcze dotyczy średniej i spełnione są inne istotne warunki. Nie jest to jednak licencja na pomijanie diagnostyki. Odporność zależy od konstrukcji badania, proporcji grup, obecności obserwacji wpływowych i rodzaju wnioskowania.

Najczęstsze błędy

• Badanie normalności całego zbioru zamiast reszt modelu. To szczególnie częsty błąd w regresji i ANOVA.
• Traktowanie wyniku Shapiro–Wilka jako wyłącznego kryterium wyboru metody. Test nie zastępuje wykresów ani oceny merytorycznej.
• Uznawanie nieistotnego wyniku testu normalności za dowód normalności. Nieodrzucenie hipotezy zerowej nie potwierdza jej prawdziwości.
• Koncentrowanie się na normalności przy ignorowaniu innych założeń. Niezależność, liniowość, stałość wariancji i wpływ obserwacji mogą być ważniejsze.
• Automatyczne usuwanie obserwacji odstających. Najpierw należy sprawdzić, czy obserwacja jest błędem, czy prawdziwym, choć rzadkim przypadkiem.
• Mechaniczne stosowanie transformacji. Transformacja powinna mieć uzasadnienie statystyczne i interpretacyjne, a nie być reakcją na sam fakt istotnego testu Shapiro–Wilka.
• Mylenie istotności statystycznej z ważnością praktyczną. Nawet idealnie zachowana normalność nie mówi, czy efekt jest klinicznie lub społecznie istotny.
• Używanie języka przyczynowego w badaniu obserwacyjnym. Diagnostyka reszt nie zmienia schematu badania i sama nie uzasadnia wniosków przyczynowych.

Jak postępować krok po kroku?

1. Zdefiniuj pytanie badawcze i określ, jaka wielkość jest przedmiotem wnioskowania.
2. Obejrzyj surowe zmienne: histogramy, wartości odstające, zakresy i brakujące dane.
3. Dopasuj model zgodny z typem zmiennej wynikowej i planem badania.
4. Zbadaj reszty: histogram, wykres Q–Q, reszty względem wartości przewidywanych i, jeśli to potrzebne, reszty w podgrupach.
5. Sprawdź także niezależność, liniowość, homogeniczność wariancji i obserwacje wpływowe.
6. Oceń, czy ewentualne odstępstwo ma znaczenie dla oszacowań, przedziałów ufności i decyzji praktycznej.
7. Jeśli trzeba, zastosuj transformację, odporny błąd standardowy, metodę odporną, model uogólniony lub analizę wrażliwości.
8. Raportuj nie tylko decyzję „założenie spełnione/ niespełnione”, lecz także sposób diagnostyki i konsekwencje dla interpretacji.

Co warto zapamiętać?

• Normalność surowych danych i normalność reszt to dwa różne zagadnienia.
• W regresji liniowej i ANOVA główna diagnostyka normalności dotyczy reszt modelu, nie całej zmiennej wynikowej analizowanej bez kontekstu.
• Normalność reszt nie gwarantuje poprawności modelu; trzeba ocenić również liniowość, niezależność, stałość wariancji i obserwacje wpływowe.
• Wykres Q–Q i wykresy reszt często dostarczają bardziej użytecznej informacji niż pojedynczy test formalny.
• Wartość p nie jest prawdopodobieństwem prawdziwości hipotezy zerowej.
• Duża próba może zwiększać odporność klasycznych metod, ale nie usuwa problemu ciężkich ogonów, wartości odstających ani błędnej specyfikacji modelu.
• Ostateczna ocena powinna łączyć statystykę, cel badania i znaczenie praktyczne wyniku.

Najkrótsza reguła brzmi: najpierw określ, jaki model stosujesz, a dopiero potem sprawdzaj te składniki danych, których dotyczą jego założenia. To podejście jest bardziej precyzyjne niż mechaniczne pytanie, czy „dane są normalne”.

Źródła i dalsza lektura

1. Lumley, T.; Diehr, P.; Emerson, S.; Chen, L. (2002). The importance of the normality assumption in large public health data sets. Annual Review of Public Health, 23, 151–169. DOI: 10.1146/annurev.publhealth.23.100901.140546.
2. Ghasemi, A.; Zahediasl, S. (2012). Normality tests for statistical analysis: A guide for non-statisticians. International Journal of Endocrinology and Metabolism, 10(2), 486–489. DOI: 10.5812/ijem.3505.
3. Kozak, M.; Piepho, H.-P. (2018). What’s normal anyway? Residual plots are more telling than significance tests when checking ANOVA assumptions. Journal of Agronomy and Crop Science, 204(1), 86–98. DOI: 10.1111/jac.12220.
4. Barker, L. E.; Shaw, K. M. (2016). Best (but oft-forgotten) practices: checking assumptions concerning regression residuals. The American Journal of Clinical Nutrition, 102(3), 533–539. DOI: 10.3945/ajcn.115.113498.
5. Altman, D. G.; Bland, J. M. (1995). Absence of evidence is not evidence of absence. BMJ, 311(7003), 485. DOI: 10.1136/bmj.311.7003.485.
6. Kasza, J.; Wolfe, R.; Schuster, T. (2014). A new approach to checking diagnostic assumptions in linear regression. Respirology, 19(7), 1043–1049. DOI: 10.1111/resp.12323.