420. Jak raportować analizę wielu grup w pracy naukowej?

Raportowanie analizy wielu grup nie polega na wpisaniu do pracy samej wartości p. Czytelnik powinien móc odtworzyć tok rozumowania: wiedzieć, jakie grupy porównano, jaki był wynik, jakie założenia sprawdzono, czy zastosowano analizę post-hoc oraz jak duża i praktycznie ważna była zaobserwowana różnica. Dobrze przygotowany opis łączy zatem część statystyczną z merytoryczną interpretacją wyniku. W tej lekcji pokazujemy, jak przygotować taki raport w sposób zgodny z dobrymi praktykami metodologii badań, standardami APA JARS oraz zaleceniami dotyczącymi przejrzystości raportowania.

1. Co właściwie oznacza „analiza wielu grup”?

Analiza wielu grup obejmuje sytuacje, w których badacz porównuje średnie lub rozkłady wyniku w co najmniej trzech grupach. Klasycznym przykładem jest jednoczynnikowa analiza wariancji, czyli ANOVA. Jeżeli zmienną objaśniającą jest rodzaj terapii, a zmienną wynikową poziom bólu, ANOVA odpowiada na pytanie, czy średni poziom bólu jest taki sam we wszystkich analizowanych grupach.

Hipoteza zerowa w jednoczynnikowej ANOVA ma postać:

H0: μ1 = μ2 = ... = μk

gdzie μj oznacza średnią w j-tej grupie, a k – liczbę grup. Hipoteza alternatywna mówi, że nie wszystkie średnie są równe. Istotny wynik ANOVA nie wskazuje jednak, które konkretnie grupy się różnią. Do tego potrzebne są zaplanowane kontrasty albo porównania post-hoc.

Warto od początku rozróżnić trzy pytania:

• Czy istnieje dowód na różnice między grupami? Odpowiada na to test globalny, na przykład ANOVA.
• Między którymi grupami występują różnice? Odpowiadają na to kontrasty lub testy post-hoc.
• Jak duża i ważna jest różnica? Do tego służą miary wielkości efektu, przedziały ufności i interpretacja kliniczna lub praktyczna.

2. Co należy opisać w części „Metody”?

Zmienne i schemat badania

Najpierw trzeba jasno opisać zmienną wynikową, czynnik grupujący oraz liczbę poziomów czynnika. Nie wystarczy napisać, że „wykonano analizę ANOVA”. Należy wskazać, czy grupy były niezależne, czy zależne, a także czy zastosowano ANOVA jednoczynnikową, dwuczynnikową, z powtarzanymi pomiarami, ANCOVA albo model mieszany.

Przykładowy opis może brzmieć: „Porównano poziom lęku u pacjentów przydzielonych do trzech niezależnych grup: psychoedukacji, terapii poznawczo-behawioralnej i standardowej opieki. Wynik mierzono za pomocą sumarycznego wyniku w skali GAD-7 po ośmiu tygodniach.” Taki zapis informuje czytelnika o populacji, czynniku, liczbie grup i wyniku.

Opis planu analizy

W metodach należy określić, jaki poziom istotności przyjęto, jaki test zastosowano oraz jakie porównania planowano. Jeżeli badacz przewidywał różnicę między każdą formą terapii a opieką standardową, rozsądniejszym rozwiązaniem mogą być dwa kontrasty planowane niż automatyczne wykonywanie wszystkich możliwych porównań parami.

W przypadku klasycznej ANOVA raport powinien uwzględniać sposób oceny:

• normalności rozkładu reszt lub adekwatności modelu;
• jednorodności wariancji, na przykład za pomocą testu Levene’a lub oceny graficznej;
• niezależności obserwacji, wynikającej przede wszystkim ze schematu badania;
• obserwacji odstających i sposobu postępowania z brakami danych;
• wyboru testów post-hoc i korekty dla wielokrotnych porównań.

W standardach JARS podkreśla się, że raport ilościowy powinien przedstawiać nie tylko końcowy wynik, lecz także informacje pozwalające ocenić trafność zastosowanej procedury (APA, 2018). W badaniach obserwacyjnych dodatkowym punktem odniesienia może być STROBE, które wymaga przejrzystego opisania uczestników, zmiennych, metod analizy i ograniczeń badania (von Elm et al., 2007).

3. Jak zapisać wynik ANOVA?

Statystyka ANOVA jest oparta na ilorazie zmienności międzygrupowej i wewnątrzgrupowej:

F = MSmiędzy / MSwewnątrz

gdzie:

• F – wartość statystyki testowej;
• MSmiędzy – średni kwadrat zmienności między grupami;
• MSwewnątrz – średni kwadrat zmienności wewnątrz grup.

Wartość F należy raportować razem ze stopniami swobody i wartością p, na przykład: F(2, 117) = 6,84, p = 0,002. Pierwszy stopień swobody odnosi się do liczby grup pomniejszonej o jeden, a drugi – do błędu resztowego. Przydatne jest również podanie liczebności grup i statystyk opisowych.

Przykładowy poprawny zapis:

Średni poziom lęku różnił się między trzema grupami interwencji, F(2, 117) = 6,84, p = 0,002, η² = 0,105. Wynik wskazuje na umiarkowaną różnicę między grupami, jednak sam test globalny nie określa, które pary grup różniły się między sobą.

Nie należy pisać, że „ANOVA wykazała, iż hipoteza zerowa jest fałszywa” bez dalszego komentarza. Wartość p jest prawdopodobieństwem uzyskania wyniku co najmniej tak niezgodnego z hipotezą zerową, przy założeniu, że hipoteza zerowa i model są prawdziwe. Nie jest prawdopodobieństwem, że hipoteza zerowa jest prawdziwa.

4. Statystyki opisowe są równie ważne jak test

Sam zapis F(2, 117) = 6,84, p = 0,002 nie mówi, jakie wartości uzyskano w poszczególnych grupach. Dlatego należy przedstawić średnią i odchylenie standardowe, a w razie potrzeby także medianę i kwartyle. Wybór podsumowania powinien odpowiadać charakterowi danych i modelowi.

Grupa	n	Średnia	SD	95% PU dla średniej
Psychoedukacja	40	10,8	4,1	9,5–12,1
TPB	40	8,2	3,7	7,0–9,4
Opieka standardowa	40	12,4	4,5	11,0–13,8

W tabeli warto podać jednostkę pomiaru oraz sposób kodowania grup. Wykres punktowy, wykres pudełkowy albo wykres średnich z przedziałami ufności często pokazuje więcej niż wykres słupkowy z samym błędem standardowym. Wykres nie zastępuje jednak wyników liczbowych.

5. Jak raportować testy post-hoc?

Jeśli ANOVA jest istotna, można wykonać porównania post-hoc. Dla podobnych wariancji często stosuje się test Tukeya, natomiast przy nierównych wariancjach – test Gamesa–Howella. Gdy porównania wynikają z hipotez sformułowanych przed analizą, można zastosować kontrasty planowane z odpowiednią korektą.

Każde porównanie powinno zawierać:

• nazwy porównywanych grup;
• różnicę średnich albo inną miarę różnicy;
• 95% przedział ufności;
• skorygowaną wartość p;
• w miarę możliwości – miarę wielkości efektu.

Przykład: „W teście Tukeya pacjenci poddani TPB uzyskali niższy wynik lęku niż osoby objęte opieką standardową: różnica średnich = −4,2 punktu, 95% PU [−6,8; −1,6], p = 0,001. Różnica między psychoedukacją a opieką standardową nie osiągnęła poziomu istotności po korekcie: różnica średnich = −1,6, 95% PU [−4,2; 1,0], p = 0,31.”

Nie należy wykonywać wielu niezależnych testów t bez korekty. Przy trzech grupach otrzymujemy trzy porównania parami, a przy pięciu grupach już dziesięć. Rosnąca liczba testów zwiększa ryzyko co najmniej jednego fałszywie dodatniego wyniku. Problem ten omawiają Bland i Altman (1995), a wybór procedury powinien zależeć od celu analizy i liczby testowanych hipotez.

Jeśli analizuje się dużą rodzinę hipotez, na przykład wiele wyników psychologicznych i wiele punktów czasowych, można rozważyć kontrolę odsetka fałszywych odkryć metodą Benjamini–Hochberga (Benjamini i Hochberg, 1995). Należy jednak wyjaśnić, jaka rodzina testów została objęta korektą.

6. Wielkość efektu i znaczenie praktyczne

Istotność statystyczna nie jest równoznaczna z ważnością kliniczną. Przy dużej próbie nawet mała różnica może uzyskać niską wartość p. Przy małej próbie istotna klinicznie różnica może pozostać niepewna statystycznie.

W jednoczynnikowej ANOVA można raportować między innymi η² lub częściowe η^p2. Ogólna postać eta kwadrat to:

η2 = SSmiędzy / SScałkowite

SSmiędzy oznacza sumę kwadratów odchyleń wyników grupowych od średniej ogólnej, a SScałkowite – całkowitą zmienność wyników. Miara ta opisuje udział zmienności wyniku związany z czynnikiem grupującym w analizowanym modelu. Nie należy automatycznie traktować progów „mały–średni–duży” jako uniwersalnych; interpretacja zależy od dziedziny, jakości pomiaru i konsekwencji praktycznych.

W badaniach medycznych trzeba dodatkowo podać, czy różnica przekracza ustalony próg klinicznie istotnej zmiany. Jeżeli dla skali bólu uznano wcześniej, że różnica dwóch punktów jest ważna dla pacjenta, to wynik należy odnieść do tego kryterium, a nie tylko do wartości p.

Przykład praktyczny: trzy metody edukacji pacjentów

Załóżmy, że w badaniu porównano trzy sposoby edukacji osób z nowo rozpoznaną cukrzycą typu 2. Po miesiącu oceniono wynik testu wiedzy zdrowotnej w skali od 0 do 20. W grupie wykładu uczestniczyło 35 osób, w grupie warsztatowej 36, a w grupie edukacji z użyciem aplikacji 34 osoby.

W metodach można napisać: „Porównano średnie wyniki testu wiedzy w trzech niezależnych grupach za pomocą jednoczynnikowej ANOVA. Jednorodność wariancji oceniono testem Levene’a. Po istotnym wyniku globalnym przeprowadzono test Gamesa–Howella, ponieważ wariancje nie były równe. Raportowano różnice średnich, 95% przedziały ufności oraz η². Poziom istotności ustalono na α = 0,05.”

Wyniki można przedstawić następująco: „Średnie wyniki wynosiły 12,1 (SD = 3,0) dla wykładu, 14,8 (SD = 2,7) dla warsztatów oraz 16,0 (SD = 2,5) dla aplikacji. Wystąpiły różnice między grupami, F(2, 102) = 18,42, p < 0,001, η² = 0,27. W porównaniach Gamesa–Howella wynik grupy aplikacji był wyższy niż wynik grupy wykładu o 3,9 punktu, 95% PU [2,4; 5,4], p < 0,001, oraz wyższy niż wynik grupy warsztatowej o 1,2 punktu, 95% PU [0,0; 2,4], p = 0,049. Różnica między warsztatami a wykładem wynosiła 2,7 punktu, 95% PU [1,2; 4,2], p = 0,001.”

W dyskusji nie należy pisać, że aplikacja „spowodowała” poprawę, jeśli badanie było obserwacyjne i uczestnicy sami wybierali formę edukacji. Można natomiast stwierdzić, że osoby korzystające z aplikacji uzyskały wyższe wyniki. Język przyczynowy wymaga schematu pozwalającego ograniczyć wpływ czynników zakłócających, na przykład randomizacji lub odpowiedniego modelu analitycznego.

Drugi przykład: porównanie grup w psychologii

W badaniu psychologicznym porównano poziom wypalenia zawodowego u pielęgniarek pracujących na oddziale intensywnej terapii, oddziale internistycznym i w poradni. Raport powinien zawierać liczebności, średnie, odchylenia standardowe, informację o brakach danych oraz opis tego, czy grupy różniły się pod względem stażu pracy lub wieku.

Jeśli grupy znacząco różnią się wiekiem, prosta ANOVA może być niewystarczająca, ponieważ wiek może być współzmienną wpływającą na wynik. Wtedy można rozważyć ANCOVA, pod warunkiem że jej założenia są uzasadnione. Nie należy jednak dodawać współzmiennych wyłącznie po to, aby uzyskać niższą wartość p. Model musi wynikać z pytania badawczego i planu analizy.

Najczęstsze błędy

• Raportowanie wyłącznie wartości p. Bez średnich, przedziałów ufności i wielkości efektu czytelnik nie oceni znaczenia wyniku.
• Wykonywanie wielu testów t bez korekty. Zwiększa to ryzyko fałszywie dodatnich wniosków.
• Traktowanie istotnej ANOVA jako dowodu, że wszystkie grupy różnią się między sobą. Test globalny mówi tylko, że nie wszystkie średnie są równe.
• Automatyczne stosowanie testu Tukeya. Przy nierównych wariancjach i nierównych liczebnościach lepsza może być procedura Gamesa–Howella.
• Brak informacji o założeniach. Nie trzeba przedstawiać każdego testu diagnostycznego w głównym tekście, ale należy opisać sposób oceny adekwatności modelu.
• Używanie odchyleń standardowych jako przedziałów ufności. SD opisuje zróżnicowanie obserwacji, natomiast PU opisuje niepewność estymacji.
• Nadmierna interpretacja przyczynowa. Różnica między grupami nie dowodzi przyczyny, jeśli schemat badania nie zapewnia kontroli zakłóceń.
• Zaokrąglanie wyników w sposób utrudniający ocenę. Wartości p należy raportować z rozsądną precyzją, a bardzo małe wartości zapisywać jako np. p < 0,001.
• Pomijanie liczebności grup. Bez wartości n nie można właściwie ocenić precyzji i równowagi porównań.

Jak zbudować przejrzysty fragment wyników?

1. Najpierw przedstaw liczebności i statystyki opisowe w każdej grupie.
2. Następnie podaj wynik testu globalnego wraz ze stopniami swobody, statystyką testową i wartością p.
3. Dodaj wielkość efektu oraz, jeśli to możliwe, jej przedział ufności.
4. Jeśli test globalny jest istotny, przedstaw zaplanowane kontrasty lub porównania post-hoc.
5. Dla kluczowych różnic podaj różnicę średnich i 95% przedział ufności.
6. W dyskusji oddziel wynik statystyczny od jego znaczenia klinicznego, psychologicznego lub organizacyjnego.

Tak skonstruowany zapis jest zgodny z zasadą, że raport ma umożliwiać ocenę zarówno samej analizy, jak i jej znaczenia. W ramach publicznego szkolenia na statystyk.edu.pl warto ćwiczyć nie tylko wybór testu, lecz także redagowanie pełnego akapitu wyników na podstawie tabeli i wykresu.

Co warto zapamiętać?

• ANOVA odpowiada przede wszystkim na pytanie, czy istnieją różnice między grupami, ale nie wskazuje ich lokalizacji.
• Wynik należy raportować razem z liczebnościami, statystykami opisowymi, statystyką testową, stopniami swobody i wartością p.
• Po istotnym wyniku globalnym trzeba zastosować odpowiednie kontrasty lub testy post-hoc z kontrolą wielokrotnych porównań.
• Wielkość efektu i przedział ufności uzupełniają wartość p; nie są jej ozdobnikiem.
• Istotność statystyczna nie oznacza automatycznie znaczenia klinicznego ani praktycznego.
• Język wniosków musi odpowiadać schematowi badania: obserwacja różnicy nie jest tym samym co dowód przyczynowości.
• Dobry raport pokazuje nie tylko, że wykonano analizę, ale także dlaczego wybrano daną procedurę i jakie są ograniczenia wnioskowania.

Źródła i dalsza lektura

1. Altman, D. G., & Bland, J. M. (1996). Comparing several groups using analysis of variance. BMJ, 312(7044), 1472–1473. DOI: 10.1136/bmj.312.7044.1472.
2. Bland, J. M., & Altman, D. G. (1995). Multiple significance tests: the Bonferroni method. BMJ, 310(6973), 170. DOI: 10.1136/bmj.310.6973.170.
3. Benjamini, Y., & Hochberg, Y. (1995). Controlling the false discovery rate: a practical and powerful approach to multiple testing. Journal of the Royal Statistical Society: Series B (Methodological), 57(1), 289–300. DOI: 10.1111/j.2517-6161.1995.tb02031.x.
4. American Psychological Association (2018). Journal Article Reporting Standards (JARS). American Psychological Association. Źródło.
5. von Elm, E., Altman, D. G., Egger, M., Pocock, S. J., Gøtzsche, P. C., & Vandenbroucke, J. P.; STROBE Initiative (2007). The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) statement: guidelines for reporting observational studies. The Lancet. Elsevier. Źródło.
6. Bland, J. M., & Altman, D. G. (2011). Comparisons within randomised groups can be very misleading. BMJ, 342, d561. DOI: 10.1136/bmj.d561.

Jeżeli potrzebujesz indywidualnego wsparcia w doborze metod, przygotowaniu bazy lub opracowaniu wyników badań, sprawdź analiza statystyczna.