291. Rozkład F – związek z analizą wariancji

Rozkład F należy do najważniejszych rozkładów prawdopodobieństwa wykorzystywanych w statystyce wnioskowania. Jego szczególne znaczenie wynika z tego, że stanowi podstawę testu F, a test F jest centralnym elementem klasycznej analizy wariancji, czyli ANOVA. W tej lekcji wyjaśnimy, dlaczego porównywanie średnich może być przedstawione jako porównywanie dwóch składników zmienności oraz skąd bierze się iloraz opisany rozkładem F.

W praktyce rozkład F pojawia się nie tylko przy jednoczynnikowej analizie wariancji. Wykorzystuje się go także w analizie wariancji z wieloma czynnikami, porównywaniu modeli regresji, testowaniu wybranych efektów w modelach liniowych oraz w niektórych procedurach dotyczących wariancji. Wspólną ideą jest porównanie zmienności wyjaśnianej przez określony model lub czynnik ze zmiennością pozostającą niewyjaśnioną.

Czym jest rozkład F?

Rozkład F jest ciągłym rozkładem prawdopodobieństwa określonym przez dwie liczby stopni swobody: stopnie swobody licznika oraz stopnie swobody mianownika. Zapisuje się go najczęściej jako F(d1, d2), gdzie:

• d1 oznacza stopnie swobody związane z licznikiem ilorazu;
• d2 oznacza stopnie swobody związane z mianownikiem.

Rozkład F przyjmuje wyłącznie wartości nieujemne, ponieważ powstaje jako iloraz dwóch nieujemnych miar zmienności. Zwykle jest prawostronnie skośny: wiele wartości koncentruje się w pobliżu niewielkich liczb, natomiast większe wartości tworzą prawy ogon rozkładu. Kształt rozkładu zależy od obu stopni swobody.

Formalnie, jeżeli U i V są niezależnymi zmiennymi losowymi o rozkładach chi-kwadrat z odpowiednio d1 i d2 stopniami swobody, to zmienna:

F = (U/d1) / (V/d2)

ma rozkład F z d1 i d2 stopniami swobody. Oznacza to, że licznik i mianownik są najpierw dzielone przez własne stopnie swobody, a następnie porównywane w postaci ilorazu. Dzięki temu oba składniki są porównywalnymi estymatorami wariancji, a nie surowymi sumami kwadratów.

Dlaczego rozkład F pojawia się w analizie wariancji?

W jednoczynnikowej analizie wariancji porównujemy średnie w kilku grupach. Załóżmy, że badamy trzy programy rehabilitacji i mierzymy zmianę sprawności pacjentów po zakończeniu terapii. Pytanie nie brzmi wyłącznie: „czy średnie są różne?”, lecz także: „czy obserwowane różnice między średnimi są większe, niż można oczekiwać wskutek losowej zmienności wewnątrz grup?”.

ANOVA rozdziela całkowitą zmienność wyników na dwa zasadnicze składniki:

• zmienność między grupami – związana z odległością średnich grupowych od średniej ogólnej;
• zmienność wewnątrz grup – związana z różnicami między poszczególnymi osobami w obrębie tych samych grup.

Jeżeli średnie grup są podobne, zmienność między grupami powinna być względnie mała w porównaniu ze zmiennością wewnątrz grup. Jeżeli natomiast średnie wyraźnie się różnią, składnik międzygrupowy może być znacznie większy. Test F porównuje te dwa rodzaje zmienności.

W analizie wariancji stosuje się zwykle statystykę:

F = MSmiędzy / MSwewnątrz

gdzie:

• MSmiędzy to średni kwadrat między grupami;
• MSwewnątrz to średni kwadrat wewnątrz grup, nazywany również średnim kwadratem błędu.

Każdy średni kwadrat powstaje przez podzielenie odpowiedniej sumy kwadratów przez właściwą liczbę stopni swobody. Dla k grup i łącznej liczby obserwacji N otrzymujemy:

MSmiędzy = SSmiędzy / (k − 1)

MSwewnątrz = SSwewnątrz / (N − k)

W liczniku występuje więc k − 1 stopni swobody, a w mianowniku N − k. Jeżeli hipoteza zerowa o równości średnich jest prawdziwa i spełnione są założenia modelu, statystyka F ma rozkład F(k − 1, N − k) (NIST, 2024).

Hipotezy w teście F

W jednoczynnikowej ANOVA hipoteza zerowa ma postać:

H0: μ1 = μ2 = ... = μk

Oznacza ona, że średnie wartości w populacjach odpowiadających wszystkim grupom są równe. Hipoteza alternatywna brzmi:

H1: co najmniej dwie średnie populacyjne różnią się

Ważne jest precyzyjne sformułowanie hipotezy alternatywnej. Istotny test F nie wskazuje, które konkretne grupy się różnią. Informuje jedynie, że dane są niezgodne z założeniem pełnej równości wszystkich średnich. Aby ustalić, między którymi grupami występują różnice, potrzebne są porównania zaplanowane albo odpowiednie testy post hoc, na przykład procedura Tukeya, przy uwzględnieniu problemu wielokrotnego testowania.

Wartość p jest prawdopodobieństwem uzyskania statystyki testowej co najmniej tak ekstremalnej jak zaobserwowana, przy założeniu prawdziwości hipotezy zerowej i poprawności modelu. Nie jest natomiast prawdopodobieństwem, że hipoteza zerowa jest prawdziwa. Także istotność statystyczna nie informuje sama w sobie o wielkości ani znaczeniu praktycznym różnic.

Tabela ANOVA i interpretacja składników

Wyniki jednoczynnikowej analizy wariancji często przedstawia się w tabeli:

Źródło zmienności	Suma kwadratów	Stopnie swobody	Średni kwadrat	F
Między grupami	SSmiędzy	k − 1	SSmiędzy/(k − 1)	MSmiędzy/MSwewnątrz
Wewnątrz grup	SSwewnątrz	N − k	SSwewnątrz/(N − k)	—
Razem	SScałkowita	N − 1	—	—

Zależność między sumami kwadratów jest następująca:

SScałkowita = SSmiędzy + SSwewnątrz

Wartość F bliska 1 oznacza, że zmienność między grupami i zmienność wewnątrz grup są podobnego rzędu. Dużo większa wartość F sugeruje, że różnice między średnimi są duże w stosunku do losowej zmienności wewnątrz grup. Nie istnieje jednak jedna uniwersalna granica, od której F jest „duże”. Ocenę przeprowadza się względem rozkładu F z odpowiednimi stopniami swobody i ustalonego poziomu istotności.

Przykład 1: programy edukacji diabetologicznej

W badaniu porównano trzy programy edukacji pacjentów z cukrzycą typu 2. Po 12 tygodniach mierzono zmianę wyniku w teście wiedzy o samokontroli choroby. W każdej grupie uczestniczyło 20 osób, więc N = 60, a liczba grup wynosiła k = 3.

Załóżmy, że obliczono:

• SSmiędzy = 240;
• SSwewnątrz = 855.

Stopnie swobody wynoszą:

• między grupami: k − 1 = 2;
• wewnątrz grup: N − k = 57.

Średnie kwadraty:

MSmiędzy = 240/2 = 120

MSwewnątrz = 855/57 = 15

Zatem:

F = 120/15 = 8,00

Otrzymujemy statystykę F(2,57) = 8,00. Jeżeli odpowiadająca jej wartość p jest mniejsza od wcześniej przyjętego poziomu istotności, odrzucamy hipotezę o równości wszystkich średnich. Nie wolno jednak od razu stwierdzić, że każdy program działa inaczej ani że program jest przyczyną poprawy, jeżeli badanie nie było odpowiednio zaprojektowanym eksperymentem. Potrzebne są porównania post hoc, przedziały ufności oraz ocena wielkości efektu.

Przykład 2: czas oczekiwania na pomoc ratunkową

Załóżmy, że badacze porównują średni czas dotarcia zespołu ratownictwa medycznego w czterech typach obszarów: śródmiejskim, podmiejskim, wiejskim i górskim. Analizowana zmienna jest ilościowa, a obserwacje pochodzą z niezależnych zgłoszeń.

W takiej sytuacji jednoczynnikowa ANOVA może odpowiedzieć na pytanie, czy średni czas różni się między co najmniej dwoma typami obszaru. Jeżeli wynik testu F jest istotny, kolejnym krokiem może być ocena różnic między parami obszarów, z użyciem procedury kontrolującej skumulowane ryzyko błędu I rodzaju.

Interpretacja nie powinna ograniczać się do zdania: „wystąpiła istotna różnica”. Należy podać średnie i miary rozproszenia w każdej grupie, liczebności, wartość statystyki F, oba stopnie swobody, wartość p oraz miarę wielkości efektu, na przykład eta kwadrat:

η² = SSmiędzy / SScałkowita

Eta kwadrat opisuje część całkowitej zmienności wyników przypisaną czynnikowi w danym modelu. Nie należy jednak interpretować jej automatycznie jako uniwersalnego odsetka „wpływu przyczynowego”. W badaniu obserwacyjnym jest to opis zależności w określonym modelu, a nie dowód, że typ obszaru samodzielnie powoduje zmianę czasu dotarcia.

Założenia klasycznej analizy wariancji

Klasyczny test F w jednoczynnikowej ANOVA opiera się na kilku założeniach:

1. Niezależność obserwacji. Wynik jednej osoby lub jednego zdarzenia nie powinien być traktowany jako niezależny od pozostałych, jeśli dane mają strukturę par, powtórzeń lub klastrów.
2. Odpowiedni poziom pomiaru. Zmienna zależna powinna być ilościowa, a średnia powinna mieć sens interpretacyjny.
3. Normalność reszt w grupach. Chodzi przede wszystkim o rozkład składnika losowego modelu, nie o bezwzględną konieczność normalności całej połączonej zmiennej.
4. Jednorodność wariancji. Wariancje w porównywanych grupach powinny być podobne, zwłaszcza gdy liczebności grup są nierówne.

Założenia należy oceniać na podstawie projektu badania, wykresów, reszt i wiedzy dziedzinowej. Sam test normalności nie powinien być jedynym kryterium decyzji. Przy umiarkowanie dużych, podobnych liczebnościach ANOVA bywa odporna na umiarkowane odstępstwa od normalności, ale silna heteroscedastyczność, obserwacje odstające i nierówne grupy mogą zmieniać wiarygodność wniosków.

Alternatywami mogą być między innymi test Welcha, gdy wariancje są nierówne, transformacje zmiennej, modele liniowe z odpowiednią strukturą wariancji albo metody nieparametryczne. Wybór metody powinien wynikać z charakteru danych, a nie z poszukiwania procedury dającej najbardziej korzystną wartość p.

Związek testu F z testem t

Dla porównania dwóch niezależnych średnich jednoczynnikowa ANOVA i klasyczny dwustronny test t prowadzą do równoważnych decyzji, ponieważ:

F(1, df) = t²(df)

Jeżeli zatem w analizie dwóch grup otrzymano t = 2,50, odpowiadająca statystyka F wynosi 6,25. Równoważność dotyczy określonych założeń i klasycznych wersji obu testów. W przypadku testu t Welcha i specjalnych wariantów ANOVA trzeba uwzględnić właściwe stopnie swobody oraz sposób aproksymacji rozkładu.

Najczęstsze błędy

• Traktowanie testu F jako testu wszystkich par średnich. Test F jest testem globalnym. Nie wskazuje, które grupy różnią się między sobą.
• Interpretowanie istotności jako dużego efektu. Mała wartość p może wystąpić przy małej, praktycznie nieistotnej różnicy, zwłaszcza w dużej próbie.
• Pomijanie założeń. Samo uruchomienie ANOVA w programie statystycznym nie gwarantuje poprawności wnioskowania.
• Używanie wielu testów t zamiast ANOVA. Wielokrotne porównania zwiększają ryzyko fałszywie dodatniego wyniku, jeśli nie zastosuje się odpowiedniej korekty.
• Wnioskowanie przyczynowe z badania obserwacyjnego. Różnica średnich między grupami nie dowodzi, że przynależność do grupy wywołała tę różnicę.
• Raportowanie wyłącznie wartości p. Należy podać także średnie, odchylenia standardowe lub przedziały ufności, liczebności, statystykę F, stopnie swobody i miarę efektu.
• Mylenie stopni swobody licznika i mianownika. Ich kolejność ma znaczenie: rozkład F(2,57) nie jest tym samym co F(57,2).

Przykład praktyczny: jak opisać wynik

Załóżmy, że w badaniu porównującym trzy metody redukcji stresu uzyskano wynik F(2,87) = 4,36, p = 0,016. Poprawny opis mógłby brzmieć:

Średni poziom stresu różnił się między co najmniej dwiema z trzech grup, F(2,87) = 4,36, p = 0,016. Analizy post hoc wskazały, że różnica dotyczyła grupy uczestniczącej w treningu oddechowym i grupy kontrolnej. Wielkość efektu była umiarkowana według wcześniej przyjętego kryterium, jednak znaczenie praktyczne oceniono również na podstawie przedziału ufności dla różnicy średnich.

Taki opis nie przypisuje testowi F informacji, których on nie dostarcza. Rozdziela wynik globalny od analiz post hoc, odróżnia istotność statystyczną od wielkości efektu i pozostawia miejsce na ocenę kliniczną lub praktyczną. W pełnym raporcie należy dodatkowo wskazać sposób sprawdzenia założeń, zastosowaną procedurę post hoc oraz sposób postępowania z brakami danych i obserwacjami odstającymi.

Co warto zapamiętać?

• Rozkład F opisuje iloraz dwóch niezależnych, przeskalowanych miar zmienności.
• W ANOVA statystyka F jest ilorazem średniego kwadratu między grupami i średniego kwadratu wewnątrz grup.
• Duża wartość F oznacza, że zmienność między grupami jest duża w porównaniu ze zmiennością wewnątrz grup, ale sama nie mówi jeszcze o znaczeniu praktycznym.
• Istotny test F wskazuje, że nie wszystkie średnie są równe; nie wskazuje, które grupy się różnią.
• Do pełnej interpretacji potrzebne są założenia modelu, liczebności, opisowe statystyki, wartość p, przedziały ufności i miara efektu.
• W badaniach medycznych i społecznych wynik ANOVA nie powinien być automatycznie interpretowany przyczynowo.

Rozkład F jest więc nie tyle abstrakcyjnym rozkładem z tablic statystycznych, ile matematycznym uzasadnieniem porównywania „sygnału” między grupami z „szumem” obecnym wewnątrz grup. Zrozumienie tej relacji ułatwia poprawne czytanie tabel ANOVA i świadome korzystanie z metod omawianych w publicznym szkoleniu na statystyk.edu.pl.

Źródła i dalsza lektura

1. Ronald A. Fisher (1922). On the Mathematical Foundations of Theoretical Statistics. Philosophical Transactions of the Royal Society of London. Series A, Containing Papers of a Mathematical or Physical Character, 222, 309–368. DOI: 10.1098/rsta.1922.0009.
2. Douglas G. Altman; J. Martin Bland (1996). Comparing several groups using analysis of variance. BMJ, 312(7044), 1472–1473. DOI: 10.1136/bmj.312.7044.1472.
3. Betty R. Kirkwood; Jonathan A. C. Sterne (2012). Essential Medical Statistics. 2nd edition. Wiley-Blackwell. Informacja wydawcy / źródło.
4. National Institute of Standards and Technology; SEMATECH (2024). NIST/SEMATECH e-Handbook of Statistical Methods: The ANOVA table and tests of hypotheses about means. NIST/SEMATECH e-Handbook of Statistical Methods. National Institute of Standards and Technology. Źródło.
5. National Institute of Standards and Technology; SEMATECH (2024). NIST/SEMATECH e-Handbook of Statistical Methods: One-Way ANOVA. NIST/SEMATECH e-Handbook of Statistical Methods. National Institute of Standards and Technology. Źródło.
6. National Institute of Standards and Technology; SEMATECH (2024). NIST/SEMATECH e-Handbook of Statistical Methods. NIST/SEMATECH e-Handbook of Statistical Methods. National Institute of Standards and Technology. Źródło.