397. Jak raportować testy nieparametryczne?

Test nieparametryczny tak jak i parametryczny nie kończy analizy. Wynik testu trzeba jeszcze przedstawić tak, aby czytelnik wiedział, jakie dane porównano, dlaczego wybrano określoną procedurę, jaki był kierunek i rozmiar różnicy oraz czy wynik ma znaczenie praktyczne. Sam zapis p < 0,05 jest zbyt ubogi, a niekiedy prowadzi do błędnych wniosków. W tej lekcji, będącej częścią szkolenia dostępnego na statystyk.edu.pl, uporządkujemy zasady raportowania testów nieparametrycznych stosowanych przy porównywaniu dwóch grup lub dwóch pomiarów.

1. Co oznacza „raportować test nieparametryczny”?

Raportowanie oznacza opisanie całego łańcucha analitycznego: od charakterystyki próby i rodzaju zmiennej, przez wybór testu, aż po interpretację wyniku. W przypadku dwóch grup niezależnych najczęściej stosuje się test U Manna–Whitneya, nazywany także testem rang Wilcoxona. W przypadku dwóch pomiarów zależnych, na przykład przed i po interwencji u tych samych osób, stosuje się test rangowanych znaków Wilcoxona. Dla danych nominalnych właściwsze mogą być test chi-kwadrat, dokładny test Fishera lub test McNemara, ale nie są one zwykle określane jako testy rangowe.

Określenie „nieparametryczny” nie oznacza, że procedura nie ma żadnych założeń. Testy rangowe wymagają między innymi poprawnego określenia niezależności lub zależności obserwacji, właściwego poziomu pomiaru oraz odpowiedniego sposobu obchodzenia się z remisami i brakami danych. Test Manna–Whitneya nie jest automatycznie testem różnicy median. Przy różnych kształtach lub rozrzutach rozkładów może wykrywać ogólną różnicę w rozkładach, a nie wyłącznie przesunięcie mediany (Kühnast i Neuhäuser, 2008; Divine i in., 2013).

2. Co należy opisać przed podaniem wyniku testu?

Rodzaj projektu i porównywanych obserwacji

Najpierw trzeba wskazać, czy porównywane grupy są niezależne, czy zależne. Przykładowo pacjenci leczeni dwoma różnymi schematami tworzą zwykle dwie grupy niezależne. Natomiast wynik skali bólu u tych samych pacjentów przed leczeniem i po leczeniu tworzy pary zależne.

W raporcie warto podać liczebność każdej grupy albo liczbę kompletnych par. Należy także wyjaśnić, czy analizowano wszystkich zrekrutowanych uczestników, czy tylko osoby z kompletnymi obserwacjami. Jeżeli analizę przeprowadzono według innej zasady, na przykład intention-to-treat, należy to jasno zaznaczyć.

Skala pomiaru i charakter danych

Testy rangowe są szczególnie użyteczne dla danych porządkowych, zmiennych ciągłych o silnej asymetrii, danych z wartościami odstającymi oraz małych prób, w których ocena rozkładu jest niepewna. Nie należy jednak uzasadniać ich wyłącznie zdaniem „dane nie miały rozkładu normalnego”. Wybór powinien wynikać z pytania badawczego, skali pomiaru, liczebności próby, kształtu rozkładów i odporności planowanej procedury.

Dobre uzasadnienie może brzmieć: „Zmienna była mierzona na pięciostopniowej skali porządkowej, a celem było porównanie rozkładów wyników w dwóch niezależnych grupach; dlatego zastosowano test U Manna–Whitneya”. W przypadku danych ciągłych można dodać, że rozkład był wyraźnie asymetryczny, a wartości odstające mogły silnie wpływać na średnią.

Opis statystyczny danych

Dla wyników analizowanych testem rangowym zazwyczaj podaje się medianę oraz rozstęp międzykwartylowy, czyli IQR. Najbardziej przejrzysty zapis to mediana wraz z pierwszym i trzecim kwartylem: Mdn = 8, Q1–Q3: 5–12. Można również zapisać Mdn = 8 (IQR 5–12), pod warunkiem że w metodach wyjaśniono, iż IQR oznacza zakres od Q1 do Q3, a nie jego szerokość.

Warto pamiętać, że mediana i IQR są opisem danych, a nie automatycznym zamiennikiem średniej i odchylenia standardowego. Jeżeli rozkład jest symetryczny i pomiar ma charakter ciągły, średnia wraz z odchyleniem standardowym może być informacyjna także wtedy, gdy zastosowano test nieparametryczny. Najważniejsza jest zgodność opisu z pytaniem badawczym i właściwościami danych.

3. Jak raportować test U Manna–Whitneya?

Raport powinien zawierać: nazwy i liczebności grup, opisową charakterystykę wyniku, nazwę testu, wartość statystyki U lub równoważnej statystyki rangowej, wartość p, a najlepiej także miarę wielkości efektu i jej przedział ufności.

Przykładowy zapis podstawowy:

Mediana czasu oczekiwania na konsultację była niższa w grupie teleporad niż w grupie wizyt stacjonarnych: odpowiednio 18 min (IQR 10–31) i 29 min (IQR 16–45). Różnica była istotna statystycznie, U = 286, p = 0,018.

Taki zapis jest lepszy niż samo „grupy różniły się istotnie”, ponieważ pokazuje kierunek i podstawowy rozmiar różnicy. Nadal jednak nie informuje, jak duża była przewaga jednej grupy w sensie probabilistycznym. Dlatego warto dodać na przykład probabilistyczny indeks przewagi, nazywany również parametrem Manna–Whitneya.

Jeżeli X oznacza losowo wybraną obserwację z pierwszej grupy, a Y losowo wybraną obserwację z drugiej grupy, można zdefiniować:

θ = P(X < Y) + 0,5 P(X = Y)

• θ – prawdopodobieństwo, że losowa obserwacja z jednej grupy będzie niższa od losowej obserwacji z drugiej, z połową wagi przypisaną remisom;
• P(X < Y) – prawdopodobieństwo, że wynik z pierwszej grupy będzie niższy;
• P(X = Y) – prawdopodobieństwo remisu.

Wartość θ = 0,50 oznacza brak przewagi jednej grupy nad drugą w sensie rangowym. Wartość θ = 0,70 można opisać jako sytuację, w której losowy wynik z określonej grupy jest wyższy od wyniku z drugiej grupy w około 70% porównań, po uwzględnieniu remisów. Nie należy jednak nazywać tej wartości „odsetkiem pacjentów, którzy odnieśli korzyść”, ponieważ opisuje ona porównania par obserwacji, a nie klasyfikację pojedynczych osób.

W literaturze zaleca się uzupełnianie testu Manna–Whitneya o przedział ufności dla miary efektu, na przykład dla θ lub pola pod krzywą ROC. Różnica median może być dodatkową informacją, lecz nie zawsze odpowiada dokładnie temu, co test Manna–Whitneya ocenia (Pohar Perme i Manevski, 2019).

4. Jak raportować test Wilcoxona dla prób zależnych?

W teście Wilcoxona analizuje się różnice wewnątrz par, a następnie porządkuje ich wartości bezwzględne. Dlatego należy opisać nie tylko wartości przed i po, lecz także zmianę. W badaniu przed–po warto podać medianę wyniku w obu punktach oraz medianę indywidualnych różnic, najlepiej wraz z IQR.

Przykład zapisu:

Po sześciotygodniowym programie edukacyjnym mediana wyniku lęku zmniejszyła się z 14 (IQR 11–18) do 10 (IQR 7–14). Mediana indywidualnej zmiany wyniosła −3 punkty (IQR −6 do 0). Test rangowanych znaków Wilcoxona wykazał różnicę, W = 118, p = 0,006.

Wartość ujemna mediany zmiany oznacza spadek, ale kierunek trzeba zdefiniować w metodach. Jeżeli wyższy wynik oznacza lepszy stan zdrowia, spadek może oznaczać pogorszenie; jeżeli wyższy wynik oznacza większe nasilenie objawów, ten sam spadek może oznaczać poprawę.

Statystyka testu może być oznaczana jako W, T albo podawana w postaci przybliżenia normalnego Z. Nie należy bez wyjaśnienia mieszać tych oznaczeń. Jeżeli raport zawiera wartość Z, można dodać standaryzowaną wielkość efektu:

r = Z / √N

• r – rangowa miara wielkości efektu;
• Z – standaryzowana statystyka testowa;
• N – liczba obserwacji użyta w analizie, zwykle liczba kompletnych par.

Miara r może być użyteczna jako opis siły efektu, ale nie powinna być interpretowana mechanicznie według uniwersalnych progów. Znaczenie praktyczne zależy od skali klinicznej, kontekstu badania i minimalnej istotnej różnicy. W miarę możliwości lepiej raportować także medianę zmiany oraz jej przedział ufności.

5. Przykład praktyczny: ból po zabiegu

Załóżmy, że w badaniu pielęgniarskim porównano natężenie bólu po 24 godzinach u 34 pacjentów otrzymujących standardową edukację i 31 pacjentów objętych rozszerzonym programem edukacyjnym. Ból oceniano w skali 0–10. Rozkład wyników był asymetryczny, a część pacjentów uzyskała wynik 0.

Poprawny fragment wyników może wyglądać następująco:

W grupie standardowej mediana natężenia bólu wyniosła 5 punktów (IQR 3–7), a w grupie rozszerzonej 3 punkty (IQR 1–5). Ze względu na porządkowy charakter skali oraz asymetrię wyników zastosowano test U Manna–Whitneya. Wyniki wskazały na niższe wartości bólu w grupie rozszerzonej, U = 327, p = 0,021. Probabilistyczny indeks przewagi wyniósł θ = 0,66, 95% CI [0,54; 0,77], co oznacza umiarkowaną przewagę grupy rozszerzonej w porównaniach rangowych. Znaczenie kliniczne wyniku należy oceniać dodatkowo w odniesieniu do ustalonego progu istotnej poprawy w skali bólu.

Ten przykład rozdziela trzy kwestie. Istotność statystyczna wskazuje, że dane są mało zgodne z hipotezą braku różnicy przy przyjętym modelu. Wielkość efektu opisuje rozmiar przewagi. Znaczenie kliniczne wymaga natomiast odniesienia do tego, czy różnica dwóch punktów rzeczywiście zmienia komfort pacjentów lub decyzje terapeutyczne.

6. Przykład drugiego rodzaju: zmiana objawów depresyjnych

W badaniu psychologicznym 22 osoby wypełniły kwestionariusz objawów depresyjnych przed rozpoczęciem terapii i po ośmiu tygodniach. Ponieważ nie wszystkie różnice miały rozkład symetryczny, zastosowano test Wilcoxona. W raporcie należy podać liczbę analizowanych par, a nie tylko początkową liczebność próby.

Analizą objęto 20 kompletnych par wyników. Mediana wyniku zmniejszyła się z 19 (IQR 15–24) przed terapią do 13 (IQR 9–18) po terapii. Mediana zmiany wyniosła −5 punktów (IQR −9 do −2). Test Wilcoxona wykazał istotną statystycznie zmianę, V = 18, p = 0,004, r = 0,59.

Nie należy na tej podstawie pisać, że terapia spowodowała poprawę, jeżeli badanie nie obejmowało odpowiedniej grupy kontrolnej lub randomizacji. Można napisać, że po terapii zaobserwowano niższe wyniki objawów. Wniosek przyczynowy wymaga oceny projektu, możliwych efektów czasu, regresji do średniej, równoległych interwencji i selektywnej utraty uczestników.

7. Co z wartością p?

Wartość p należy raportować jako dokładną, gdy jest to możliwe, na przykład p = 0,032, a nie wyłącznie p < 0,05. Dla bardzo małych wartości można stosować zapis p < 0,001, ale nie należy pisać p = 0,000. Wartość p nie jest prawdopodobieństwem prawdziwości hipotezy zerowej ani prawdopodobieństwem, że wynik powstał „przypadkiem”. Jest miarą zgodności danych z hipotezą zerową i założeniami zastosowanej procedury.

Wynik nieistotny statystycznie nie dowodzi braku różnicy. Może oznaczać małą próbę, duży rozrzut, mały efekt albo niewystarczającą moc testu. Jeżeli pytanie dotyczy braku istotnej różnicy lub równoważności, należy rozważyć odpowiednio zaplanowane testy równoważności lub niegorszości, a nie interpretować zwykłe „p > 0,05” jako dowód równości.

8. Raportowanie wielu testów i analiz dodatkowych

Jeżeli wykonano wiele testów, trzeba określić, które analizy były pierwotne, a które wtórne lub eksploracyjne. W przeciwnym razie czytelnik nie wie, czy istotny wynik był głównym celem badania, czy jednym z wielu poszukiwanych rezultatów. Przy licznych porównaniach można stosować korekty poziomu istotności albo procedury kontroli odsetka fałszywych odkryć, ale metoda powinna być zaplanowana i opisana.

Wytyczne APA JARS podkreślają potrzebę jasnego oddzielenia hipotez, analiz i wniosków pierwotnych od wtórnych oraz eksploracyjnych (American Psychological Association, 2018). W badaniach obserwacyjnych warto również korzystać z listy STROBE, która pomaga opisać dobór uczestników, braki danych, zmienne, analizy i ograniczenia (von Elm i in., 2007).

Najczęstsze błędy

• Raportowanie samego p. Zapis „Mann–Whitney, p = 0,03” nie pokazuje kierunku ani rozmiaru różnicy.
• Automatyczne utożsamianie testu Manna–Whitneya z testem median. Jest to uzasadnione tylko przy dodatkowych założeniach dotyczących kształtu rozkładów.
• Brak liczebności analizowanych grup lub par. Czytelnik nie może ocenić precyzji wyniku.
• Niejasne oznaczenie statystyki. Symbole U, W, T i Z nie powinny być stosowane zamiennie bez wyjaśnienia.
• Podawanie średniej i odchylenia standardowego jako jedynego opisu danych silnie asymetrycznych. W takich sytuacjach należy rozważyć medianę i kwartyle.
• Brak opisu remisów, braków danych i korekty dokładnej lub asymptotycznej. Informacje te mogą wpływać na wynik, zwłaszcza w małych próbach.
• Interpretowanie „braku istotności” jako dowodu braku efektu. Do takiego wniosku potrzebne są odpowiednie przedziały ufności lub test równoważności.
• Język przyczynowy bez odpowiedniego projektu. Sam test Wilcoxona przed–po nie dowodzi, że interwencja wywołała zmianę.
• Raportowanie efektu bez jednostki lub kontekstu. Miara rangowa nie zastępuje oceny znaczenia klinicznego, społecznego albo psychologicznego.

Praktyczny schemat gotowego raportu

Przed oddaniem pracy można sprawdzić, czy opis zawiera następujące elementy:

1. liczebność grup lub liczbę kompletnych par;
2. rodzaj danych i uzasadnienie wyboru testu;
3. medianę i IQR albo inny adekwatny opis rozkładu;
4. nazwę testu oraz właściwą statystykę;
5. dokładną wartość p lub uzasadnione p graniczne;
6. kierunek i wielkość efektu;
7. przedział ufności, gdy jest dostępny;
8. informację o brakach danych, remisach i analizach dodatkowych;
9. ostrożny wniosek, oddzielający istotność statystyczną od znaczenia praktycznego.

Co warto zapamiętać?

• Test nieparametryczny jest częścią analizy, a nie kompletnym raportem.
• Dla testu Manna–Whitneya warto podać mediany, IQR, statystykę U, p oraz miarę efektu, na przykład probabilistyczny indeks przewagi.
• Dla testu Wilcoxona trzeba opisać wartości przed i po oraz indywidualne zmiany w parach.
• Wartość p nie jest prawdopodobieństwem prawdziwości hipotezy zerowej.
• Istotność statystyczna, wielkość efektu i znaczenie praktyczne są odrębnymi aspektami wyniku.
• Nie należy wyciągać wniosków przyczynowych z projektu, który nie pozwala na identyfikację przyczynowości.
• Dobry raport umożliwia odtworzenie decyzji analitycznych i krytyczną ocenę wyniku.

Najkrótszy użyteczny wzorzec brzmi: „W grupie A mediana wyniosła …, a w grupie B …; zastosowano test … ze względu na …; wynik wyniósł …; wielkość efektu wyniosła …; 95% CI …; rezultat interpretuje się jako …”. Taki zapis jest znacznie bardziej informacyjny niż samo wskazanie, że test nieparametryczny był „istotny” lub „nieistotny”.

Źródła i dalsza lektura

1. Kühnast, C.; Neuhäuser, M. (2008). A Note on the Use of the Non-Parametric Wilcoxon-Mann-Whitney Test in the Analysis of Medical Studies. GMS German Medical Science, 6, Doc02. Pełny opis źródła.
2. Divine, G.; Norton, H. J.; Hunt, R.; Dienemann, J. (2013). Statistical Grand Rounds: A Review of Analysis and Sample Size Calculation Considerations for Wilcoxon Tests. Anesthesia & Analgesia, 117(3), 699–710. DOI: 10.1213/ANE.0b013e31827f53d7.
3. Pohar Perme, M.; Manevski, D. (2019). Confidence Intervals for the Mann–Whitney Test. Statistical Methods in Medical Research, 28(12), 3755–3768. DOI: 10.1177/0962280218814556.
4. von Elm, E.; Altman, D. G.; Egger, M.; Pocock, S. J.; Gøtzsche, P. C.; Vandenbroucke, J. P.; for the STROBE Initiative (2007). The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) Statement: Guidelines for Reporting Observational Studies. EQUATOR Network. EQUATOR Network. Źródło.
5. American Psychological Association (2018). APA Style Journal Article Reporting Standards. APA Style. American Psychological Association. Źródło.
6. Cooper, H. (2020). Reporting Quantitative Research in Psychology: How to Meet APA Style Journal Article Reporting Standards, Second Edition. Second edition, revised. American Psychological Association. Informacja wydawcy / źródło.