424. Kiedy założenia testu chi-kwadrat są naruszone?

Test chi-kwadrat jest jednym z podstawowych narzędzi analizy danych jakościowych. Pozwala oceniać, czy rozkład liczebności w tabeli kontyngencji jest zgodny z hipotezą niezależności albo z określonym rozkładem teoretycznym. Jego zastosowanie nie polega jednak na mechanicznym kliknięciu odpowiedniej opcji w programie statystycznym. Wynik testu jest wiarygodny tylko wtedy, gdy spełnione są założenia dotyczące sposobu zebrania danych, niezależności obserwacji i liczebności oczekiwanych w komórkach tabeli. W tej lekcji omawiamy, kiedy klasyczne przybliżenie chi-kwadrat może być niewłaściwe oraz jak postępować w takiej sytuacji. Temat stanowi naturalne rozwinięcie wcześniejszych lekcji kursu dostępnych na statystyk.edu.pl.

Po co są założenia testu chi-kwadrat?

W teście chi-kwadrat porównuje się liczebności obserwowane z liczebnościami oczekiwanymi. Liczebność oczekiwana to liczba przypadków, której spodziewalibyśmy się w danej komórce tabeli, gdyby hipoteza zerowa była prawdziwa. W teście niezależności hipoteza zerowa mówi, że dwie zmienne jakościowe nie są ze sobą związane w populacji.

Dla komórki znajdującej się w wierszu i i kolumnie j liczebność oczekiwaną wyznacza się ze wzoru:

Eij = (Ri × Cj) / N

• E_ij – liczebność oczekiwana w komórce i,j,
• R_i – suma liczebności w wierszu i,
• C_j – suma liczebności w kolumnie j,
• N – łączna liczebność próby.

Statystyka Pearsona ma postać:

χ² = ΣiΣj (Oij − Eij)² / Eij

• O_ij – liczebność obserwowana w komórce i,j,
• E_ij – liczebność oczekiwana,
• Σ – sumowanie po wszystkich wierszach i kolumnach tabeli.

Przy odpowiednio dużych próbach statystyka ta ma w przybliżeniu rozkład chi-kwadrat z liczbą stopni swobody równą (r − 1)(c − 1), gdzie r oznacza liczbę wierszy, a c liczbę kolumn. Właśnie słowo „w przybliżeniu” jest kluczowe. Rozkład chi-kwadrat jest ciągły, natomiast liczebności w tabeli są dyskretne. Jeżeli próba jest mała lub tabela bardzo rzadka, przybliżenie może być niedokładne (Pearson, 1900; Yates, 1934).

Podstawowe założenia testu chi-kwadrat

1. Dane powinny być liczebnościami, a nie średnimi lub procentami

Test chi-kwadrat analizuje liczby przypadków przypisanych do wzajemnie rozłącznych kategorii. Do tabeli należy wprowadzać surowe liczebności, na przykład liczbę pacjentów z rozpoznaniem i bez rozpoznania, a nie odsetki zaokrąglone do jednego miejsca po przecinku. Procenty mogą być prezentowane obok tabeli, ale nie zastępują liczebności obserwowanych.

Niepoprawne jest również traktowanie średniej oceny jako liczebności kategorii. Jeżeli badani oceniali nasilenie lęku w skali od 0 do 10, a badacz chce analizować średnią, odpowiednim narzędziem nie będzie test chi-kwadrat. Test można rozważyć dopiero po sensownym zakodowaniu wyniku w kategorie, na przykład „niski”, „umiarkowany” i „wysoki”, ale taka kategoryzacja wiąże się z utratą informacji i powinna być uzasadniona merytorycznie.

2. Kategorie muszą być jednoznaczne i rozłączne

Każda obserwacja powinna przyczyniać się do jednej komórki tabeli w danym zestawieniu. Jeżeli pacjent może zostać jednocześnie zaliczony do kategorii „regularnie ćwiczy” i „aktywny rekreacyjnie”, trzeba sprawdzić, czy kategorie rzeczywiście się wykluczają. W pytaniach wielokrotnego wyboru odpowiedzi nie są wzajemnie rozłączne, dlatego zwykła tabela liczebności nie zawsze może być analizowana klasycznym testem chi-kwadrat.

W przypadku pytań typu „zaznacz wszystkie objawy” można analizować każdą odpowiedź jako osobną zmienną binarną, ale trzeba jasno określić sposób postępowania z wielokrotnymi porównaniami. Nie należy udawać, że wszystkie odpowiedzi pochodzą z jednej zmiennej nominalnej, jeśli jedna osoba mogła wskazać kilka kategorii.

3. Obserwacje powinny być niezależne

Niezależność oznacza, że wynik jednej obserwacji nie jest częścią wyniku innej obserwacji, a pojedyncza osoba nie dostarcza kilku zależnych wpisów traktowanych jak niezależne przypadki. Założenie to jest często naruszane, gdy badacz analizuje pomiary powtarzane.

Przykładowo, jeśli 40 pacjentów oceniono przed leczeniem i po leczeniu, nie można utworzyć tabeli z 80 obserwacjami i zastosować zwykłego testu niezależności. Pomiar „przed” i „po” pochodzi od tych samych osób. Dla dwóch zależnych pomiarów binarnych właściwym rozwiązaniem może być test McNemara, a dla większej liczby kategorii lub bardziej złożonego planu – model dla danych zależnych.

Podobny problem pojawia się w badaniu wieloośrodkowym, gdy pacjenci są zagnieżdżeni w szpitalach lub poradniach. Osoby leczone w tym samym ośrodku mogą być do siebie bardziej podobne niż osoby z różnych ośrodków. Wtedy zwykły test chi-kwadrat może zaniżać niepewność estymacji. Należy rozważyć analizę uwzględniającą skupienia, na przykład model mieszany, uogólniony model liniowy z efektem losowym albo korektę dla klastrowania.

4. Liczebności oczekiwane nie powinny być zbyt małe

Najczęściej omawiane założenie dotyczy liczebności oczekiwanych. W praktyce spotyka się regułę, według której żadna liczebność oczekiwana nie powinna być mniejsza niż 1, a co najwyżej 20% komórek może mieć liczebność oczekiwaną mniejszą niż 5. Jest to użyteczna reguła orientacyjna, a nie prawo bez wyjątków. Dokładna jakość przybliżenia zależy również od rozmiaru tabeli, rozkładu liczebności i rodzaju testu (McHugh, 2013; Campbell, 2007).

Ważne jest, że oceniamy liczebności oczekiwane, a nie obserwowane. Komórka z obserwowaną liczbą 0 nie musi automatycznie dyskwalifikować testu. Jeżeli liczebność oczekiwana w tej komórce jest wystarczająca, problem może nie wystąpić. Z drugiej strony obserwowana liczba 2 może być problemem, jeżeli liczebność oczekiwana wynosi 0,4.

Małe liczebności są szczególnie częste wtedy, gdy:

• próba jest niewielka;
• zdarzenie jest rzadkie, na przykład ciężkie powikłanie;
• zmienna ma zbyt wiele kategorii;
• analizuje się wiele podgrup jednocześnie;
• badacz utworzył tabelę o dużej liczbie wierszy i kolumn bez wcześniejszego planu analizy.

Co oznacza naruszenie liczebności oczekiwanych?

Jeżeli komórek o małych liczebnościach jest wiele, rozkład statystyki chi-kwadrat może istotnie odbiegać od teoretycznego rozkładu chi-kwadrat. W konsekwencji wartość p może być zbyt mała albo zbyt duża. Nie można więc bezkrytycznie traktować wyniku jako dokładnego testu hipotezy zerowej.

Nie oznacza to jednak, że trzeba automatycznie usuwać wszystkie rzadkie kategorie albo zawsze stosować test Fishera. Decyzja zależy od struktury tabeli, planu badania i pytania naukowego. Połączenie kategorii może być uzasadnione, gdy są one podobne klinicznie i sensownie tworzą szerszą kategorię. Nie należy jednak łączyć kategorii wyłącznie po to, aby uzyskać istotność statystyczną.

Jak postępować przy naruszeniu założeń?

Test dokładny Fishera

Dla tabel 2 × 2 klasyczną alternatywą jest dokładny test Fishera. Nie korzysta on z przybliżenia rozkładem chi-kwadrat, lecz wyznacza prawdopodobieństwo obserwowanej tabeli oraz tabel co najmniej tak ekstremalnych przy założeniu określonego mechanizmu warunkowania. Jest szczególnie przydatny przy małych próbach i rzadkich zdarzeniach.

Test Fishera ma jednak własne ograniczenia. W standardowej wersji warunkuje się na sumach brzegowych tabeli. Taki sposób postępowania może nie odpowiadać dokładnie planowi losowania danych, zwłaszcza gdy obie sumy brzegowe są losowe. Ponadto klasyczny dwustronny test Fishera może być konserwatywny, czyli rzadziej odrzucać hipotezę zerową niż wynikałoby to z nominalnego poziomu istotności. W literaturze rozważa się również testy bezwarunkowe i wersje mid-p (Lydersen, Fagerland i Laake, 2009).

Test dokładny dla tabel większych niż 2 × 2

Dla tabel 2 × 3, 3 × 4 i większych można zastosować rozszerzenia testu dokładnego, często określane jako test Fishera–Freemana–Haltona. Wymaga to odpowiedniego oprogramowania i może być obliczeniowo kosztowne. Alternatywą jest test oparty na symulacji Monte Carlo. W takim podejściu generuje się wiele tabel zgodnych z hipotezą zerową i porównuje wynik obserwowany z rozkładem wyników symulowanych.

Wynik symulacyjny powinien być raportowany z informacją o liczbie replikacji, na przykład: „wartość p oszacowano metodą Monte Carlo na podstawie 100 000 symulacji”. Otrzymane p jest wtedy przybliżeniem numerycznym, a nie wartością wynikającą z klasycznego przybliżenia asymptotycznego.

Łączenie kategorii

Łączenie kategorii może poprawić sytuację, ale musi mieć uzasadnienie merytoryczne. W badaniu stopnia nasilenia działań niepożądanych można czasem połączyć kategorie „umiarkowane” i „ciężkie”, jeśli celem jest rozróżnienie zdarzeń łagodnych od klinicznie istotnych. Nie należy natomiast łączyć kategorii „brak objawów” i „objawy łagodne”, jeśli takie połączenie zmienia sens wyniku.

Łączenie kategorii powinno być zaplanowane przed analizą główną albo jasno przedstawione jako analiza dodatkowa. W przeciwnym razie może prowadzić do arbitralnego dopasowywania danych do oczekiwanego wyniku.

Modele regresyjne i modele dla danych rzadkich

Jeżeli tabela jest tylko uproszczonym zapisem bardziej złożonego problemu, właściwszy może być model regresyjny. Dla wyniku binarnego można zastosować regresję logistyczną, która pozwala uwzględnić zmienne zakłócające i oszacować iloraz szans wraz z przedziałem ufności. Przy bardzo małych liczebnościach można rozważyć logistyczną regresję dokładną albo penalizację, na przykład metodę Firtha. W przypadku kilku zmiennych jakościowych przydatne mogą być modele log-liniowe.

Nie jest to jednak automatyczna recepta na każde naruszenie. Model musi odpowiadać projektowi badania, a jego parametry powinny być interpretowane ostrożnie. Mała liczba zdarzeń może powodować problemy również w regresji, takie jak niestabilność estymacji lub separacja doskonała.

Przykład 1: rzadkie powikłanie po interwencji medycznej

Załóżmy, że porównujemy występowanie ciężkiego powikłania u 24 pacjentów leczonych metodą A i 18 pacjentów leczonych metodą B.

Metoda	Powikłanie	Brak powikłania	Razem
A	1	23	24
B	5	13	18

Łącznie odnotowano 6 powikłań. Dla komórki „metoda A i powikłanie” liczebność oczekiwana wynosi 24 × 6 / 42 = 3,43. Dla komórki „metoda B i powikłanie” wynosi 18 × 6 / 42 = 2,57. Obie wartości są mniejsze niż 5. W takiej sytuacji klasyczny test chi-kwadrat jest przybliżeniem, którego dokładność może być niewystarczająca.

Rozsądnym rozwiązaniem jest zastosowanie testu dokładnego dla tabeli 2 × 2 oraz przedstawienie miary efektu, na przykład ilorazu szans z przedziałem ufności. Samo stwierdzenie „wynik był nieistotny” nie wystarcza. Należy również pokazać, że w grupie A powikłanie wystąpiło u 1 z 24 osób, a w grupie B u 5 z 18 osób. Mała próba może ograniczać moc testu, dlatego brak istotności nie dowodzi braku różnicy klinicznej.

Przykład 2: ankieta zdrowia psychicznego i zbyt wiele kategorii

W badaniu 72 studentów analizowano związek między miejscem zamieszkania a odpowiedzią na pytanie o korzystanie z pomocy psychologicznej. Miejsce zamieszkania miało trzy kategorie: akademik, z rodziną i samodzielnie. Korzystanie z pomocy miało cztery kategorie: nigdy, dawniej, sporadycznie i obecnie.

Tabela 3 × 4 zawiera 12 komórek. Jeśli część odpowiedzi „dawniej” i „obecnie” występuje bardzo rzadko, kilka liczebności oczekiwanych może być mniejszych niż 5. Badacz ma kilka możliwości. Może połączyć kategorie czasu korzystania z pomocy w „kiedykolwiek” versus „nigdy”, jeżeli takie przeformułowanie odpowiada pytaniu badawczemu. Może zastosować test dokładny lub symulację Monte Carlo. Może też zastosować regresję logistyczną, jeśli celem jest kontrola wieku, płci i sytuacji ekonomicznej.

Nie powinien natomiast dzielić próby na trzy grupy miejsca zamieszkania i wykonywać osobnych testów bez korekty za wielokrotne porównania. Taka strategia zwiększa ryzyko fałszywie dodatnich wniosków.

Poprawka Yatesa – czy rozwiązuje problem?

W tabeli 2 × 2 można spotkać poprawkę ciągłości Yatesa. W uproszczeniu polega ona na zastąpieniu różnicy |O − E| przez |O − E| − 0,5 w liczniku składnika statystyki. Intencją było zmniejszenie błędu wynikającego z przybliżania rozkładu dyskretnego rozkładem ciągłym (Yates, 1934).

Poprawka Yatesa często prowadzi do mniejszej wartości statystyki i większej wartości p. Może więc działać konserwatywnie. Nie jest jednak uniwersalnym sposobem naprawy małych liczebności, a jej stosowanie było przedmiotem wieloletniej dyskusji. W wielu praktycznych analizach lepiej jasno wybrać test dokładny lub odpowiednią metodę symulacyjną niż traktować poprawkę jako automatyczne rozwiązanie każdego problemu (Campbell, 2007; Lydersen, Fagerland i Laake, 2009).

Jak raportować naruszenie założeń?

Raport powinien zawierać więcej niż samą wartość p. Warto podać:

• rozmiar i strukturę tabeli;
• liczbę komórek z liczebnością oczekiwaną mniejszą niż 5;
• najmniejszą liczebność oczekiwaną;
• zastosowany test lub metodę symulacji;
• liczebności i odsetki w poszczególnych grupach;
• miarę efektu, na przykład iloraz szans, iloraz ryzyka lub V Craméra;
• przedział ufności, jeżeli można go wiarygodnie obliczyć.

Przykładowy zapis może brzmieć: „Ze względu na małe liczebności oczekiwane w trzech z czterech komórek zastosowano dwustronny dokładny test Fishera. W grupie interwencji zdarzenie wystąpiło u 1/24 osób, a w grupie kontrolnej u 5/18 osób. Wynik testu nie osiągnął przyjętego poziomu istotności; oszacowanie ilorazu szans należy interpretować z dużą ostrożnością z uwagi na szeroki przedział ufności”.

Warto pamiętać, że wartość p nie jest prawdopodobieństwem prawdziwości hipotezy zerowej. Nie mówi też, jak duża jest różnica ani czy ma znaczenie kliniczne. Istotność statystyczna, wielkość efektu i znaczenie praktyczne to trzy odrębne aspekty interpretacji.

Najczęstsze błędy

1. Sprawdzanie liczebności obserwowanych zamiast oczekiwanych. To liczebności oczekiwane decydują o jakości przybliżenia.
2. Automatyczne stosowanie testu chi-kwadrat przy pomiarach powtarzanych. Pomiary tej samej osoby nie są niezależnymi obserwacjami.
3. Traktowanie poprawki Yatesa jako uniwersalnego rozwiązania. Poprawka może być konserwatywna i nie zastępuje oceny projektu badania.
4. Łączenie kategorii bez uzasadnienia. Zmiana kategorii po obejrzeniu wyniku może prowadzić do selektywnego raportowania.
5. Wykonywanie wielu testów bez kontroli błędu pierwszego rodzaju. Przy wielu analizach rośnie prawdopodobieństwo przypadkowej istotności.
6. Interpretowanie nieistotnego wyniku jako dowodu braku związku. Przy małej próbie test może mieć niewystarczającą moc.
7. Raportowanie wyłącznie wartości p. Bez liczebności, odsetków i miary efektu wynik jest trudny do oceny.
8. Użycie testu Fishera bez refleksji nad jego założeniami. Test dokładny także odpowiada na określone pytanie i opiera się na konkretnym sposobie warunkowania.

Co warto zapamiętać?

• Test chi-kwadrat wymaga liczebności, rozłącznych kategorii i niezależnych obserwacji.
• Najważniejsze przy ocenie małej próby są liczebności oczekiwane, nie tylko obserwowane.
• Reguła „co najwyżej 20% komórek poniżej 5 i żadna poniżej 1” jest wskazówką praktyczną, a nie absolutnym prawem.
• Przy małych tabelach 2 × 2 można rozważyć test dokładny, ale trzeba pamiętać o jego warunkowym charakterze i możliwej konserwatywności.
• Dla większych tabel można wykorzystać testy dokładne, symulację Monte Carlo, sensowne łączenie kategorii albo modele regresyjne.
• Poprawka Yatesa nie naprawia błędów wynikających z zależności obserwacji ani złej konstrukcji tabeli.
• Wynik należy interpretować razem z liczebnościami, odsetkami, miarą efektu i przedziałem ufności.
• Naruszenie założeń powinno być opisane w raporcie, a nie ukrywane za pojedynczą wartością p.

Najważniejsza zasada brzmi: najpierw określ, jakie dane i jaki projekt badania masz rzeczywiście przed sobą, a dopiero potem wybierz test. Test chi-kwadrat jest użyteczny, lecz nie jest procedurą odporną na każdy rodzaj tabeli i każdy sposób zebrania danych.

Źródła i dalsza lektura

1. McHugh, M. L. (2013). The Chi-square test of independence. Biochemia Medica, 23(2), 143–149. DOI: 10.11613/BM.2013.018.
2. Campbell, I. (2007). Chi-squared and Fisher–Irwin tests of two-by-two tables with small sample recommendations. Statistics in Medicine, 26(19), 3661–3675. DOI: 10.1002/sim.2832.
3. Lydersen, S., Fagerland, M. W., & Laake, P. (2009). Recommended tests for association in 2 × 2 tables. Statistics in Medicine, 28(7), 1159–1175. DOI: 10.1002/sim.3531.
4. Yates, F. (1934). Contingency tables involving small numbers and the χ² test. Supplement to the Journal of the Royal Statistical Society, 1(2), 217–235. DOI: 10.2307/2983604.
5. Agresti, A. (2013). Categorical Data Analysis. 3rd edition. John Wiley & Sons.
6. Fisher, R. A. (1934). Statistical Methods for Research Workers. 5th edition. Oliver and Boyd.