398. Co zrobić, gdy grupy bardzo różnią się liczebnością?

W badaniach empirycznych równa liczebność grup jest wygodna, ale nie zawsze możliwa. W jednej grupie może znaleźć się 120 pacjentów, a w drugiej tylko 18. W badaniu psychologicznym jedna kategoria może liczyć kilkadziesiąt osób, podczas gdy druga – kilkaset. Taka dysproporcja nie oznacza automatycznie, że analizę trzeba odrzucić. Oznacza jednak, że trzeba uważniej dobrać metodę, sprawdzić strukturę danych i nie utożsamiać dużej liczebności z wysoką jakością dowodu.

W tej lekcji szkolenia na statystyk.edu.pl skupimy się na porównywaniu dwóch niezależnych grup oraz – w mniejszym zakresie – na sytuacji dwóch pomiarów. Najważniejsza zasada brzmi: nierówne liczebności same w sobie zwykle nie są głównym problemem; szczególnie kłopotliwe stają się wtedy, gdy łączą się z nierównością wariancji, obserwacjami odstającymi, silną skośnością albo selektywnym brakiem danych.

1. Co właściwie oznacza „bardzo różna liczebność”?

Nie istnieje jedna uniwersalna granica, od której liczebności uznaje się za „bardzo różne”. Można jednak używać praktycznych proporcji. Jeśli grupy liczą 50 i 45 osób, różnica jest niewielka. Przy 50 i 25 osobach stosunek liczebności wynosi 2:1. Przy 100 i 10 osobach wynosi 10:1 i wymaga już szczególnej ostrożności.

Najważniejsze jest rozróżnienie dwóch sytuacji:

• nierówność zaplanowana – na przykład alokacja 2:1 w badaniu klinicznym, aby więcej osób otrzymało obiecującą terapię albo aby zwiększyć doświadczenie z nową procedurą;
• nierówność powstała po rozpoczęciu badania – na przykład wskutek rekrutacji, wycofań, utraty obserwacji lub wykluczenia części uczestników.

W pierwszym przypadku trzeba ocenić, czy plan badania uwzględniał konsekwencje dla mocy i precyzji. W drugim należy dodatkowo zbadać, czy brakujące obserwacje nie są związane z leczeniem, stanem zdrowia lub wynikiem. Samo podanie końcowych liczebności nie wystarcza. W badaniach randomizowanych należy przejrzyście opisać przepływ uczestników oraz liczebności analizowanych w każdej grupie, zgodnie z zasadami CONSORT (Schulz, Altman i Moher, 2010).

2. Dlaczego nierówne grupy mogą być problemem?

2.1. Mniejsza grupa dostarcza mniej informacji

Średnia z małej grupy jest mniej precyzyjna niż średnia z dużej grupy. Jej błąd standardowy wynosi w przybliżeniu:

SE(średniej) = s / √n

• s oznacza odchylenie standardowe w grupie;
• n oznacza liczebność grupy;
• SE jest błędem standardowym średniej, czyli miarą niepewności oszacowania średniej.

Jeżeli odchylenia standardowe są podobne, grupa licząca 10 osób ma znacznie większy błąd standardowy niż grupa licząca 100 osób. W konsekwencji przedział ufności dla różnicy między średnimi będzie zależał przede wszystkim od małej grupy.

2.2. Połączenie nierównej liczebności i nierównej wariancji

Najbardziej niebezpieczna sytuacja występuje wtedy, gdy mniejsza grupa ma zarazem większą zmienność. Wówczas jej wkład do niepewności różnicy jest bardzo duży. Klasyczny test t-Studenta dla prób niezależnych zakłada wspólną wariancję w obu populacjach. Przy nierównej wariancji i nierównej liczebności poziom błędu I rodzaju może odbiegać od założonego poziomu alfa.

Dlatego w praktyce często właściwszym rozwiązaniem jest test t Welcha, który nie wymaga założenia równości wariancji. Welch zaproponował uogólnienie problemu porównywania średnich przy różnych wariancjach już w 1947 roku (Welch, 1947). Współczesne opracowania metodologiczne wskazują, że test Welcha powinien być traktowany jako domyślna procedura w wielu porównaniach dwóch niezależnych grup, a nie wyłącznie jako awaryjna alternatywa (Delacre, Lakens i Leys, 2017).

3. Test Welcha krok po kroku

Dla dwóch niezależnych grup testuje się różnicę między średnimi. Statystyka Welcha ma postać:

t = (x̄₁ − x̄₂) / √(s₁²/n₁ + s₂²/n₂)

Oznaczenia są następujące:

• x̄₁, x̄₂ – średnie w grupie 1 i grupie 2;
• s₁², s₂² – wariancje w obu grupach;
• n₁, n₂ – liczebności grup;
• t – wartość statystyki testowej.

W odróżnieniu od klasycznego testu t nie oblicza się jednej wspólnej wariancji dla obu grup. Stopnie swobody są przybliżane wzorem Welch–Satterthwaite’a:

ν ≈ (s₁²/n₁ + s₂²/n₂)² / [(s₁²/n₁)²/(n₁−1) + (s₂²/n₂)²/(n₂−1)]

Symbol ν oznacza przybliżoną liczbę stopni swobody. Może ona być niecałkowita, na przykład 23,7. Nie jest to błąd programu, lecz konsekwencja uwzględnienia odmiennych wariancji i liczebności. Oryginalne uzasadnienie przybliżenia wiąże się z pracami Satterthwaite’a (Satterthwaite, 1946).

Wynik należy interpretować razem z różnicą średnich, przedziałem ufności i – w razie potrzeby – miarą wielkości efektu. Wartość p nie jest prawdopodobieństwem prawdziwości hipotezy zerowej. Informuje o zgodności danych z określonym modelem i hipotezą zerową przy założeniach testu.

4. Czy trzeba najpierw testować równość wariancji?

Często spotyka się procedurę: najpierw test Levene’a, a następnie – zależnie od wyniku – test t-Studenta albo test Welcha. Takie podejście jest jednak problematyczne. Test wstępny może mieć małą moc przy niewielkich próbach, a przy dużych próbach wykrywać różnice wariancji, które nie mają istotnego znaczenia praktycznego. Ponadto wybór testu na podstawie wcześniejszego p oznacza, że właściwości końcowej procedury zależą od dwóch kroków decyzyjnych.

Rozsądniejsza strategia to zaplanować test Welcha z góry, zwłaszcza gdy liczebności są nierówne albo nie ma mocnych podstaw do przyjęcia równości wariancji. Test ten zachowuje dobrą kontrolę błędu I rodzaju przy heterogeniczności wariancji, a koszt w postaci mocy w sytuacji idealnie równych wariancji jest zwykle niewielki (Delacre, Lakens i Leys, 2017; Ruxton, 2006).

5. Co z testami nieparametrycznymi?

Nierówne liczebności nie są same w sobie powodem do automatycznego przechodzenia na test U Manna–Whitneya. Ten test nie jest po prostu „testem średnich bez założeń”. W zależności od kształtu rozkładów może odnosić się do różnicy położenia, różnicy rozkładów albo prawdopodobieństwa przewagi jednej obserwacji nad drugą. Jeśli celem jest porównanie średnich, test Welcha często odpowiada pytaniu badawczemu lepiej.

Test rangowy może być uzasadniony przy silnie skośnych danych, porządkowej skali pomiaru, licznych wartościach odstających lub gdy średnia nie jest sensownym opisem typowego wyniku. Trzeba jednak sprawdzić, czy rozkłady w obu grupach mają podobny kształt. Jeżeli różnią się także zmiennością lub asymetrią, interpretacja testu Manna–Whitneya jako testu median może być błędna.

W małych próbach można rozważyć dokładne metody permutacyjne, bootstrap lub odporne estymatory, ale ich dobór powinien wynikać z pytania badawczego, skali pomiaru i planu analizy, a nie wyłącznie z nierównych liczebności.

6. Nierówne liczebności w badaniach przed–po

W badaniu dwóch pomiarów trzeba najpierw ustalić, czy pomiary są sparowane. Jeżeli u tych samych pacjentów zmierzono ciśnienie przed i po interwencji, liczebność powinna odnosić się do liczby osób z kompletną parą, a nie do sumy wszystkich pomiarów. Dla każdej osoby tworzy się różnicę:

dᵢ = wynik poᵢ − wynik przedᵢ

Następnie analizuje się zbiór różnic. Jeżeli część osób ma tylko pomiar wyjściowy albo tylko końcowy, nie wolno udawać, że są to niezależne grupy, ani traktować wszystkich pomiarów jako niezależnych obserwacji. Prowadziłoby to do zaniżenia błędu standardowego i pozornego zwiększenia liczebności.

Jeśli natomiast porównujemy zmianę przed–po między dwiema niezależnymi grupami, na przykład różnicę wyniku w grupie terapii i kontroli, obliczamy indywidualne zmiany, a następnie porównujemy je testem Welcha lub odpowiednim modelem regresji. Alternatywą jest ANCOVA z wynikiem końcowym jako zmienną zależną i wynikiem wyjściowym jako współzmienną, o ile założenia modelu są spełnione. Wybór między analizą zmiany a ANCOVA powinien być zaplanowany, a nie podyktowany wyłącznie tym, która metoda daje mniejsze p.

7. Przykład praktyczny: rehabilitacja po udarze

Załóżmy, że oceniano wynik funkcjonalny po 12 tygodniach rehabilitacji. W grupie standardowej było 84 pacjentów, a w grupie intensywnej 21 pacjentów. Średni wynik wyniósł odpowiednio 56,4 i 62,1 punktu. Odchylenia standardowe to 12,0 oraz 20,5 punktu.

Różnica średnich wynosi 5,7 punktu. Ponieważ grupa intensywna jest mniejsza, a jej zmienność wyraźnie większa, zastosowanie testu t-Studenta z założeniem wspólnej wariancji byłoby wątpliwe. Właściwym pierwszym wyborem jest test Welcha. Analiza powinna obejmować:

1. liczebność każdej grupy;
2. średnią i odchylenie standardowe albo medianę i kwartyle, zależnie od rozkładu;
3. różnicę średnich 5,7 punktu;
4. 95-procentowy przedział ufności dla różnicy;
5. statystykę t, przybliżone stopnie swobody i wartość p;
6. ocenę, czy 5,7 punktu przekracza wcześniej ustalony próg istotności klinicznej.

Nawet jeśli wynik testu okaże się statystycznie istotny, nie oznacza to automatycznie, że intensywna rehabilitacja jest klinicznie ważniejsza. Jeżeli minimalna istotna różnica wynosi 8 punktów, zaobserwowane 5,7 punktu może mieć ograniczone znaczenie praktyczne. Odwrotnie: brak istotności statystycznej nie dowodzi braku efektu, zwłaszcza gdy mała grupa daje szeroki przedział ufności.

8. Przykład z psychologii: grupy 18 i 180 osób

W badaniu stresu akademickiego porównano osoby pracujące nocą z osobami pracującymi w ciągu dnia. Grupa pracująca nocą liczyła 18 osób, a dzienna 180 osób. Średnie różniły się o 4 punkty, lecz odchylenie standardowe w małej grupie było dwukrotnie większe.

Nie należy:

• losowo usuwać osób z większej grupy, aby uzyskać równe liczebności;
• kopiować obserwacji z małej grupy;
• uznawać, że duża grupa „waży” więcej w sensie ważności klinicznej;
• stosować automatycznie testu Manna–Whitneya tylko dlatego, że grupy są nierówne.

Należy natomiast sprawdzić, czy mała grupa nie jest szczególnym podzbiorem populacji, czy pomiar jest rzetelny, czy obserwacje są niezależne oraz czy różnice w wieku, płci lub obciążeniu pracą nie wyjaśniają części kontrastu. W badaniu obserwacyjnym nie należy formułować przyczynowego wniosku, że praca nocna „powoduje” większy stres, jeżeli projekt nie zapewnia podstaw do takiej interpretacji.

9. Planowanie liczebności i mocy

Równe grupy są zazwyczaj efektywne, gdy koszt każdej obserwacji jest podobny. Jednak nierówny przydział może być uzasadniony, gdy rekrutacja jednej grupy jest łatwiejsza, interwencja jest kosztowna albo badacze chcą ograniczyć liczbę osób otrzymujących placebo. Przy ustalonej całkowitej liczbie uczestników skrajnie nierówny podział zwykle zmniejsza moc porównania średnich, ponieważ precyzja jest ograniczana przez mniejszą grupę.

W planowaniu trzeba określić oczekiwany efekt, zmienność, poziom alfa, pożądaną moc, stosunek liczebności oraz przewidywany odsetek utraty obserwacji. W praktyce warto przeprowadzić analizę czułości: sprawdzić, jak zmienia się moc dla kilku wiarygodnych wartości odchylenia standardowego i wielkości efektu. Końcowe liczebności należy raportować oddzielnie od liczebności zaplanowanych.

10. Jak raportować analizę?

Przykładowe sformułowanie może wyglądać następująco:

„Średni wynik wyniósł 62,1 punktu (SD = 20,5; n = 21) w grupie intensywnej oraz 56,4 punktu (SD = 12,0; n = 84) w grupie standardowej. Różnicę średnich oceniono za pomocą testu t Welcha, ponieważ liczebności i wariancje grup były różne. Różnica wyniosła 5,7 punktu; podano 95-procentowy przedział ufności, wartość statystyki t, przybliżone stopnie swobody oraz wartość p.”

W raporcie powinny znaleźć się także informacje o brakujących danych, kryteriach wykluczenia, sposobie sprawdzenia obserwacji odstających, analizie wrażliwości oraz o tym, czy metoda była określona przed obejrzeniem wyników. Samo zdanie „zastosowano test t dla nierównych grup” jest zbyt ogólne. Czytelnik powinien wiedzieć, czy chodziło o test Welcha, test t dla wspólnej wariancji, czy inną procedurę.

Najczęstsze błędy

• Usuwanie danych z większej grupy. Redukuje moc, marnuje informacje i może wprowadzić dodatkowe zniekształcenie.
• Automatyczne stosowanie testu t-Studenta. Sama niezależność grup nie uzasadnia założenia równości wariancji.
• Wybieranie testu po wyniku testu Levene’a. Dwustopniowa procedura zwiększa nieprzejrzystość i nie rozwiązuje problemu nierównych wariancji.
• Traktowanie nierównych liczebności jako dowodu błędu badania. Trzeba ustalić, czy dysproporcja była zaplanowana, czy wynika z utraty uczestników.
• Interpretowanie braku istotności jako braku różnicy. Mała grupa może powodować szeroki przedział ufności i małą moc.
• Raportowanie wyłącznie wartości p. Potrzebne są także statystyki opisowe, różnica, przedział ufności i znaczenie praktyczne.
• Mylenie danych niezależnych ze sparowanymi. W badaniu przed–po jednostką analizy jest osoba, a nie pojedynczy pomiar.
• Wyciąganie wniosków przyczynowych z badania obserwacyjnego. Nierówna liczebność może odzwierciedlać selekcję uczestników i różnice systematyczne.

Co warto zapamiętać?

1. Nierówne liczebności grup nie dyskwalifikują analizy.
2. Największe ryzyko pojawia się przy jednoczesnej nierówności liczebności i wariancji.
3. Test Welcha jest naturalnym wyborem dla dwóch niezależnych grup, gdy nie chcemy zakładać równości wariancji.
4. Nie trzeba najpierw rozstrzygać testem Levene’a, czy wolno zastosować test Welcha.
5. Mała grupa decyduje w dużej mierze o precyzji porównania, dlatego przedział ufności jest równie ważny jak wartość p.
6. Test nieparametryczny nie jest automatycznym lekarstwem na nierówne liczebności.
7. W badaniach przed–po trzeba zachować strukturę par i analizować osoby, nie wszystkie pomiary jako niezależne rekordy.
8. Znaczenie wyniku należy oceniać przez połączenie istotności statystycznej, wielkości efektu, przedziału ufności i znaczenia praktycznego.

Najkrótsza reguła decyzyjna brzmi: nie wyrównuj sztucznie grup; najpierw rozpoznaj mechanizm nierówności, następnie dobierz metodę odporną na nierówność wariancji i raportuj niepewność wyniku.

Źródła i dalsza lektura

1. Welch, B. L. (1947). The Generalization of “Student’s” Problem When Several Different Population Variances Are Involved. Biometrika, 34(1–2), 28–35. DOI: 10.1093/biomet/34.1-2.28.
2. Satterthwaite, F. E. (1946). An Approximate Distribution of Estimates of Variance Components. Biometrics Bulletin, 2(6), 110–114. DOI: 10.2307/3002019.
3. Ruxton, G. D. (2006). The Unequal Variance t-test Is an Underused Alternative to Student’s t-test and the Mann–Whitney U Test. Behavioral Ecology, 17(4), 688–690. DOI: 10.1093/beheco/ark016.
4. Delacre, M., Lakens, D., & Leys, C. (2017). Why Psychologists Should by Default Use Welch’s t-test Instead of Student’s t-test. International Review of Social Psychology, 30(1), 92–101. DOI: 10.5334/irsp.82.
5. Schulz, K. F., Altman, D. G., & Moher, D.; CONSORT Group (2010). CONSORT 2010 Statement: Updated Guidelines for Reporting Parallel Group Randomised Trials. PLoS Medicine, 7(3), e1000251. DOI: 10.1371/journal.pmed.1000251.
6. Altman, D. G., & Bland, J. M. (1997). Statistics Notes: Units of Analysis. BMJ, 314(7098), 1874. DOI: 10.1136/bmj.314.7098.1874.