428. Test McNemara – zależne dane dychotomiczne

Test McNemara jest przeznaczony do porównywania dwóch pomiarów tej samej cechy dychotomicznej wykonanych na tych samych osobach albo do porównywania dwóch ocen uzyskanych dla tych samych przypadków. W odróżnieniu od testu chi-kwadrat niezależności nie zakłada niezależności obserwacji. Analizuje zatem nie zwykłą tabelę dwóch niezależnych grup, lecz tabelę par zależnych.

W praktyce test ten odpowiada na pytanie, czy odsetek wyników „tak” zmienił się między dwoma pomiarami, na przykład przed leczeniem i po leczeniu, albo czy dwa testy diagnostyczne różnią się częstością wyników dodatnich u tych samych pacjentów. W szkoleniu na statystyk.edu.pl test McNemara stanowi naturalne rozwinięcie wcześniejszych lekcji o tabelach kontyngencji, ale kluczowe znaczenie ma tutaj struktura zależności między obserwacjami.

1. Kiedy stosuje się test McNemara?

Test McNemara stosuje się wtedy, gdy:

• zmienna wynikowa ma dwie kategorie, na przykład „wystąpiło/nie wystąpiło”, „dodatni/ujemny”, „tak/nie”;
• każda osoba, para lub jednostka badania dostarcza dwa powiązane wyniki;
• celem jest porównanie marginalnych proporcji wyników w dwóch pomiarach;
• pary są niezależne od siebie, choć obserwacje wewnątrz każdej pary są zależne.

Najczęstsze schematy to pomiar przed–po u tych samych pacjentów, porównanie dwóch metod diagnostycznych zastosowanych u tych samych osób, porównanie dwóch sędziów oceniających te same przypadki oraz badanie par dobranych, na przykład bliźniąt lub osób dopasowanych pod względem wieku i płci.

Nie należy używać testu McNemara dla dwóch niezależnych grup. Jeżeli jedna grupa pacjentów otrzymała leczenie A, a inna, niezależna grupa leczenie B, właściwy problem ma inną strukturę. W takim przypadku trzeba rozważyć metody dla niezależnych proporcji, na przykład test chi-kwadrat lub test dokładny Fishera.

2. Jak wygląda tabela dla danych zależnych?

Dwa wyniki binarne można przedstawić w tabeli 2×2. Załóżmy, że pierwszy pomiar oznaczamy jako „przed”, a drugi jako „po”.

	Po: wynik dodatni	Po: wynik ujemny	Suma
Przed: wynik dodatni	a	b	a + b
Przed: wynik ujemny	c	d	c + d
Suma	a + c	b + d	n

Komórki a i d opisują pary zgodne: wynik nie zmienił się między pomiarami. Komórka a oznacza wynik dodatni w obu pomiarach, a d wynik ujemny w obu pomiarach.

Najważniejsze są komórki niezgodne, czyli b i c. W komórce b znajdują się osoby, które zmieniły wynik z dodatniego na ujemny. W komórce c znajdują się osoby, które zmieniły wynik z ujemnego na dodatni. Test McNemara opiera się przede wszystkim na porównaniu liczebności b i c, a nie na wszystkich czterech komórkach w jednakowym stopniu.

Jeżeli badamy skuteczność leczenia, kierunek interpretacji zależy od tego, co oznacza wynik dodatni. Gdy „dodatni” oznacza występowanie objawu, przejście z dodatniego na ujemny może być korzystne. Gdy „dodatni” oznacza poprawę albo uzyskanie odpowiedzi na leczenie, korzystny będzie kierunek przeciwny. Dlatego przed analizą trzeba jednoznacznie zdefiniować kodowanie zmiennej.

3. Hipotezy statystyczne

W najprostszym ujęciu hipoteza zerowa mówi, że marginalne proporcje wyników dodatnich w obu pomiarach są równe. Formalnie można ją zapisać jako:

H0: pprzed = ppo

Równoważnie, w modelu tabeli par zależnych, hipotezę można wyrazić jako:

H0: P(Przed +, Po −) = P(Przed −, Po +)

W tabeli empirycznej odpowiada to porównaniu komórek b i c. Hipoteza alternatywna dla testu dwustronnego zakłada, że te prawdopodobieństwa nie są równe:

H1: pprzed ≠ ppo

Ważne jest precyzyjne rozumienie wartości p. Wartość p nie jest prawdopodobieństwem prawdziwości hipotezy zerowej. Informuje ona, jak trudno byłoby uzyskać zaobserwowany lub bardziej skrajny układ wyników, gdyby przyjęty model i hipoteza zerowa były prawdziwe.

4. Wzór na statystykę testu McNemara

W dużych próbach często stosuje się asymptotyczną statystykę chi-kwadrat:

χ² = (b − c)² / (b + c)

gdzie:

• b – liczba par, w których wynik zmienił się z pierwszej kategorii na drugą;
• c – liczba par, w których wynik zmienił się z drugiej kategorii na pierwszą;
• b + c – łączna liczba par niezgodnych;
• χ² – wartość statystyki testowej, porównywana z rozkładem chi-kwadrat o 1 stopniu swobody.

W praktyce spotyka się również wersję z poprawką ciągłości Edwardsa:

χ² = (|b − c| − 1)² / (b + c)

Poprawka zmniejsza wartość statystyki i zwykle prowadzi do większej wartości p. Nie jest jednak jedynym możliwym rozwiązaniem. Przy małej liczbie par niezgodnych korzystne może być zastosowanie dokładnego testu binomialnego, określanego jako dokładny test McNemara. Po warunkowaniu na liczbie par niezgodnych b + c problem sprowadza się do sprawdzenia, czy prawdopodobieństwo jednej z dwóch zmian wynosi 0,5.

Wersja asymptotyczna jest przybliżeniem. Jej jakość zależy przede wszystkim od liczby par niezgodnych, a nie wyłącznie od całkowitej liczebności próby. Próba licząca 200 osób może dostarczać mało informacji do testu McNemara, jeżeli niemal wszystkie osoby mają zgodne wyniki, a b + c jest bardzo małe.

5. Przykład medyczny: objaw przed i po leczeniu

W badaniu obserwacyjnym oceniono obecność uciążliwego objawu u 80 pacjentów przed rozpoczęciem terapii i po czterech tygodniach leczenia. Wyniki przedstawiono następująco:

	Po: objaw obecny	Po: objaw nieobecny	Suma
Przed: objaw obecny	28	32	60
Przed: objaw nieobecny	8	12	20
Suma	36	44	80

W tym przykładzie b = 32, ponieważ u 32 osób objaw był obecny przed leczeniem, a po leczeniu nie występował. c = 8, ponieważ u 8 osób objaw pojawił się dopiero w drugim pomiarze.

Statystyka bez poprawki ciągłości wynosi:

χ² = (32 − 8)² / (32 + 8) = 576 / 40 = 14,40

Przy 1 stopniu swobody taki wynik wskazuje na silne przesłanki przeciwko hipotezie o równej częstości objawu w obu pomiarach. Różnica ma także określony kierunek: więcej osób przeszło ze stanu „objaw obecny” do „objaw nieobecny” niż w odwrotną stronę.

Nie należy jednak napisać, że sam test dowiódł skuteczności terapii. Jeżeli badanie nie było randomizowanym eksperymentem, zmiana mogła wynikać również z naturalnego przebiegu choroby, regresji do średniej, zmian sezonowych, równoległych interwencji lub różnic w sposobie pomiaru. Test ocenia asymetrię zmian w parach, ale nie rozstrzyga samodzielnie o przyczynowości.

6. Przykład diagnostyczny: dwa testy u tych samych pacjentów

Załóżmy, że 120 pacjentów poddano dwóm przesiewowym testom diagnostycznym. Wynik dodatni oznacza skierowanie do dalszej diagnostyki. Otrzymano następującą tabelę:

	Test B dodatni	Test B ujemny	Suma
Test A dodatni	42	18	60
Test A ujemny	6	54	60
Suma	48	72	120

Testy dały różne wyniki u 24 osób. Test A był dodatni, a Test B ujemny u 18 osób; odwrotny układ wystąpił u 6 osób. Statystyka asymptotyczna wynosi:

χ² = (18 − 6)² / (18 + 6) = 144 / 24 = 6,00

Wniosek dotyczy różnicy w marginalnej częstości wyników dodatnich obu testów w tej konkretnej populacji. Nie jest to bezpośrednio test tego, który test ma większą czułość lub swoistość. Do oceny poprawności diagnostycznej potrzebny jest punkt odniesienia, na przykład wiarygodny standard referencyjny, oraz odpowiednie analizy czułości, swoistości, wartości predykcyjnych lub krzywych ROC.

7. Co zrobić przy małej liczbie par niezgodnych?

Jeżeli b + c jest małe, wynik oparty na rozkładzie chi-kwadrat może być niestabilny. W takiej sytuacji można zastosować dokładny test McNemara, który wykorzystuje rozkład dwumianowy:

X ~ Binomial(b + c, 0,5)

W tym zapisie X oznacza liczbę zmian w jednym z kierunków, a b + c liczbę wszystkich par niezgodnych. Prawdopodobieństwo 0,5 wynika z hipotezy, że oba kierunki zmiany są jednakowo częste.

Test dokładny jest intuicyjny, ale może być konserwatywny, czyli zbyt rzadko odrzucać hipotezę zerową w niektórych konfiguracjach danych. Literatura metodologiczna wskazuje również na wersję mid-p oraz testy dokładne bezwarunkowe, szczególnie w małych próbach (Fagerland, 2013; Malkin, 2002). Wybór metody powinien być określony przed analizą albo uzasadniony w raporcie, zamiast wybierania tej wersji, która daje najbardziej korzystną wartość p.

8. Wielkość efektu i przedział ufności

Sam wynik testu i wartość p nie opisują pełnego znaczenia różnicy. W analizie warto podać proporcje w obu pomiarach:

pprzed = (a + b) / n

ppo = (a + c) / n

Można także obliczyć obserwowaną różnicę proporcji:

Δ = ppo − pprzed = (c − b) / n

W przykładzie medycznym odsetek osób z objawem wynosił przed leczeniem 60/80 = 75%, a po leczeniu 36/80 = 45%. Różnica wyniosła −30 punktów procentowych. Ten opis jest bardziej informacyjny niż samo stwierdzenie, że wynik był „istotny statystycznie”. Ujemny znak wynika z przyjętego kodowania i trzeba go objaśnić w tekście.

Dla różnicy proporcji należy, w miarę możliwości, podać 95-procentowy przedział ufności odpowiedni dla par zależnych. Nie powinno się automatycznie stosować wzoru przeznaczonego dla dwóch niezależnych proporcji, ponieważ pomija on zależność między wynikami w obrębie pary. Zalecenia dotyczące przedziałów ufności dla sparowanych proporcji omawiają między innymi Fagerland, Lydersen i Laake (2014) oraz Newcombe i Nurminen (2021).

9. Jak raportować wynik?

Dobry raport powinien zawierać:

• opis schematu zależności, na przykład „te same osoby ocenione przed i po interwencji”;
• liczebności we wszystkich czterech komórkach tabeli 2×2;
• liczebności par niezgodnych b i c;
• informację, czy zastosowano test asymptotyczny, poprawkę ciągłości, test dokładny lub mid-p;
• wartość statystyki, liczbę stopni swobody, wartość p oraz – najlepiej – przedział ufności i miarę efektu;
• interpretację kierunku zmiany w języku zgodnym z projektem badania.

Przykładowy zapis może brzmieć: „Wśród 80 pacjentów objaw ustąpił u 32 osób, natomiast pojawił się u 8 osób. Test McNemara bez poprawki ciągłości wykazał asymetrię zmian, χ²(1) = 14,40, p < 0,001. Odsetek pacjentów z objawem zmniejszył się z 75% przed leczeniem do 45% po leczeniu, co odpowiada różnicy −30 punktów procentowych.”

Jeżeli zastosowano test dokładny, nie należy raportować wyniku tak, jakby była to statystyka chi-kwadrat z przybliżeniem asymptotycznym. Trzeba wyraźnie napisać, że użyto dokładnego testu McNemara, i podać jego wartość p.

10. Najczęstsze błędy

Błąd 1: użycie testu chi-kwadrat niezależności

Wyniki dwóch pomiarów tych samych osób nie są niezależne. Zastosowanie testu chi-kwadrat niezależności ignoruje parowanie i może prowadzić do nieprawidłowych wniosków.

Błąd 2: analizowanie tylko odsetków bez parowania

Dwa odsetki mogą być identyczne, mimo że wiele osób zmieniło wynik w obu kierunkach. Test McNemara wykorzystuje informację o tym, kto i w jakim kierunku zmienił wynik.

Błąd 3: uwzględnianie komórek zgodnych w liczniku statystyki

Komórki a i d są ważne do opisu danych, ale klasyczna statystyka McNemara opiera się na b i c. Zgodne pary nie informują o kierunku zmiany.

Błąd 4: utożsamianie wartości p z wielkością efektu

Mała wartość p nie mówi, czy różnica jest duża ani czy ma znaczenie kliniczne. Należy podać różnicę proporcji, przedział ufności i kontekst praktyczny.

Błąd 5: twierdzenie o skuteczności na podstawie samego pomiaru przed–po

Zmiana po interwencji nie jest automatycznie dowodem jej działania. Wnioski przyczynowe wymagają odpowiedniego projektu, kontroli czynników zakłócających i poprawnej interpretacji.

Błąd 6: ignorowanie małej liczby par niezgodnych

Przy małym b + c należy rozważyć test dokładny albo inną metodę adekwatną do małej próby. Sama duża liczba wszystkich obserwacji nie gwarantuje dobrego przybliżenia chi-kwadrat.

11. Przykład praktyczny: analiza przypadku

W poradni zdrowia publicznego sprawdzono, czy krótkie szkolenie zwiększyło odsetek pielęgniarek prawidłowo rozpoznających objawy udaru. Te same 50 osób oceniono przed szkoleniem i tydzień po nim. Wyniki były następujące: 20 osób odpowiedziało prawidłowo w obu pomiarach, 15 poprawiło wynik, 3 pogorszyły wynik, a 12 odpowiedziało nieprawidłowo w obu pomiarach.

W tabeli mamy więc a = 20, b = 3, c = 15 albo odwrotnie, zależnie od tego, którą kategorię umieścimy w wierszu i kolumnie. Najważniejsze jest konsekwentne zdefiniowanie kierunku. Jeżeli przyjmujemy, że wiersze oznaczają stan przed szkoleniem, a kolumny stan po szkoleniu, to przejście z „prawidłowo” do „nieprawidłowo” wynosi 3, a przejście z „nieprawidłowo” do „prawidłowo” wynosi 15.

Łącznie 18 osób zmieniło wynik, ale zmiany nie były symetryczne. Zdecydowanie więcej osób poprawiło odpowiedź niż ją pogorszyło. Test McNemara pozwala ocenić, czy taka przewaga jest większa, niż można byłoby oczekiwać przy założeniu równych prawdopodobieństw obu kierunków zmiany. W raporcie warto jednak dodatkowo podać, że odsetek prawidłowych odpowiedzi wzrósł z 23/50 = 46% do 35/50 = 70%, czyli o 24 punkty procentowe.

Wniosek metodologiczny powinien być ostrożny: wyniki są zgodne ze wzrostem odsetka prawidłowych rozpoznań po szkoleniu. Jeżeli nie było grupy kontrolnej i nie kontrolowano efektu powtarzania tych samych pytań, nie należy formułować kategorycznego wniosku, że sam kurs spowodował poprawę.

12. Granice zastosowania testu

Test McNemara dotyczy dwóch pomiarów i zmiennej dwukategorialnej. Jeżeli wynik ma więcej niż dwie kategorie nominalne, można rozważyć test symetrii Bowkera lub inne modele dla tabel kwadratowych. Jeżeli mamy więcej niż dwa pomiary binarne tych samych osób, odpowiednim rozszerzeniem bywa test Q Cochrana, choć w analizach podłużnych często lepsze będą modele regresji dla danych powtarzanych, na przykład modele mieszane lub uogólnione równania estymujące.

Jeżeli dane pochodzą z wielu obserwacji u tej samej osoby, z klastrów albo złożonego schematu losowania, zwykły test McNemara może nie uwzględniać całej zależności. Wtedy potrzebna jest metoda dopasowana do struktury danych, a nie mechaniczne zastosowanie testu z menu programu statystycznego.

Co warto zapamiętać?

1. Test McNemara służy do dwóch zależnych pomiarów wyniku dychotomicznego.
2. Dane przedstawia się w tabeli 2×2, ale test koncentruje się na parach niezgodnych: b i c.
3. Hipoteza zerowa zakłada równość marginalnych proporcji, a nie brak jakiejkolwiek zgodności między pomiarami.
4. Wzór asymptotyczny ma postać χ² = (b − c)²/(b + c); można spotkać także wersję z poprawką ciągłości.
5. Przy małej liczbie par niezgodnych należy rozważyć dokładny test McNemara lub wersję mid-p.
6. Wartość p nie jest prawdopodobieństwem prawdziwości hipotezy zerowej.
7. Raportuj liczebności, kierunek zmian, różnicę proporcji, przedział ufności i znaczenie praktyczne.
8. Test wskazuje na asymetrię zmian, ale sam nie dowodzi przyczynowości ani klinicznej skuteczności interwencji.

Źródła i dalsza lektura

1. McNemar, Quinn (1947). Note on the sampling error of the difference between correlated proportions or percentages. Psychometrika, 12(2), 153–157. DOI: 10.1007/BF02295996.
2. Fagerland, Morten W. (2013). The McNemar test for binary matched-pairs data: mid-p and asymptotic are better than exact conditional. BMC Medical Research Methodology, 13, 91. DOI: 10.1186/1471-2288-13-91.
3. Fagerland, Morten W.; Lydersen, Stian; Laake, Petter (2014). Recommended tests and confidence intervals for paired binomial proportions. Statistics in Medicine, 33(16), 2850–2875. DOI: 10.1002/sim.6148.
4. Malkin, Robert A. (2002). An unconditional exact test for small samples matched binary pairs. Journal of Modern Applied Statistical Methods, 1(1), 69–73. DOI: 10.22237/jmasm/1020255060.
5. Newcombe, Robert G.; Nurminen, Markku M. (2021). Confidence intervals for difference in proportions for matched pairs compatible with exact McNemar’s or sign tests. Statistics in Medicine, 40(5), 1147–1159. DOI: 10.1002/sim.8833.
6. National Institute of Standards and Technology (2024). McNemar Test. NIST Dataplot Reference Manual. National Institute of Standards and Technology. Źródło.