391. Test McNemara dla danych sparowanych nominalnych
W poprzednich lekcjach analizowaliśmy między innymi dane niezależne, test znaków oraz testy dla pomiarów ilościowych wykonanych w parach. Teraz zajmiemy się sytuacją, w której wynik ma charakter nominalny, najczęściej binarny, a oba pomiary pochodzą od tych samych osób albo od celowo dopasowanych par. W takim przypadku właściwym narzędziem może być test McNemara.
Test ten nie porównuje dwóch niezależnych częstości. Wykorzystuje informację o tym, u których konkretnie osób nastąpiła zmiana: z wyniku ujemnego na dodatni albo z dodatniego na ujemny. To właśnie odróżnia go od klasycznego testu chi-kwadrat niezależności i od testu dla dwóch niezależnych proporcji. W publicznym szkoleniu na statystyk.edu.pl test McNemara warto umieścić w szerszym schemacie decyzyjnym: najpierw określamy rodzaj zmiennej, następnie zależność obserwacji, a dopiero później wybieramy procedurę.
1. Do czego służy test McNemara?
Test McNemara służy do oceny, czy dwa pomiary binarne wykonane w parach różnią się pod względem częstości odpowiedzi w obu kategoriach. Najczęstsze zastosowania obejmują:
- porównanie wyniku przed i po interwencji u tych samych osób;
- porównanie dwóch metod diagnostycznych zastosowanych u tych samych pacjentów;
- porównanie dwóch narzędzi przesiewowych lub klasyfikatorów;
- analizę odpowiedzi „tak/nie” w dwóch warunkach badania;
- porównanie dwóch ocen dokonanych w dopasowanych parach, jeżeli wynik jest binarny.
Warunkiem jest więc jednocześnie:
- nominalny charakter zmiennej wynikowej;
- dwie kategorie wyniku albo możliwość sprowadzenia wyniku do dwóch kategorii;
- dokładne sparowanie obserwacji;
- jedna para wyników dla każdej osoby lub każdej dopasowanej jednostki.
W klasycznej postaci badacz interesuje się pytaniem, czy marginalne odsetki są takie same. Jeżeli odsetek osób z wynikiem dodatnim przed interwencją wynosi 30%, a po interwencji 45%, test McNemara sprawdza, czy taka różnica jest zgodna z hipotezą o braku systematycznej zmiany, biorąc pod uwagę sparowanie pomiarów.
2. Jak zapisać dane w tabeli 2×2?
Dane należy przedstawić w tabeli krzyżowej, w której wiersze opisują pierwszy pomiar, a kolumny drugi pomiar. Umownie można przyjąć, że „0” oznacza wynik ujemny, a „1” wynik dodatni.
| Pomiar 2: 0 | Pomiar 2: 1 | Suma | |
|---|---|---|---|
| Pomiar 1: 0 | a | b | a+b |
| Pomiar 1: 1 | c | d | c+d |
| Suma | a+c | b+d | n |
Komórki a i d przedstawiają przypadki zgodne, czyli osoby, u których wynik się nie zmienił. Komórki b i c przedstawiają przypadki niezgodne, czyli osoby, u których wynik zmienił się między pomiarami.
W teście McNemara kluczowe są wyłącznie komórki niezgodne:
- b – liczba osób, które zmieniły wynik z 0 na 1;
- c – liczba osób, które zmieniły wynik z 1 na 0.
Komórki zgodne nie znikają z opisu danych, ale nie wpływają bezpośrednio na klasyczną statystykę testową. Jeżeli prawie wszyscy uczestnicy mają ten sam wynik w obu pomiarach, liczebność informacyjna dla testu jest mała, nawet gdy całkowita liczebność próby jest duża.
3. Hipotezy statystyczne
Hipoteza zerowa testu McNemara mówi, że w populacji prawdopodobieństwo przejścia z 0 do 1 jest takie samo jak prawdopodobieństwo przejścia z 1 do 0. W zapisie:
H0: P(X1=0, X2=1) = P(X1=1, X2=0)
Hipoteza alternatywna ma postać:
H1: P(X1=0, X2=1) ≠ P(X1=1, X2=0)
W praktyce hipoteza zerowa oznacza brak kierunkowej, systematycznej zmiany między pomiarami. Nie oznacza jednak, że każdy uczestnik ma taki sam wynik w obu momentach. Część osób może zmienić wynik, ale jeżeli liczba zmian w obu kierunkach jest podobna, test nie dostarczy podstaw do odrzucenia H0.
Ważne jest także rozróżnienie między brakiem istotności statystycznej a dowodem pełnej zgodności. Wynik nieistotny nie dowodzi, że oba pomiary są równoważne. Może oznaczać również zbyt małą liczbę par niezgodnych albo zbyt małą moc badania.
4. Statystyka testowa i wzór
4.1. Wersja asymptotyczna bez poprawki
Dla dostatecznie dużej liczby par niezgodnych stosuje się statystykę:
χ² = (b − c)² / (b + c)
gdzie:
- b oznacza liczbę przejść z kategorii 0 do kategorii 1;
- c oznacza liczbę przejść z kategorii 1 do kategorii 0;
- b+c oznacza całkowitą liczbę par niezgodnych;
- χ² jest statystyką, którą w przybliżeniu porównuje się z rozkładem chi-kwadrat o jednym stopniu swobody.
Wartość statystyki rośnie wtedy, gdy liczebności b i c wyraźnie się różnią. Jeżeli b=c, licznik wynosi zero, a zatem statystyka także wynosi zero.
4.2. Wersja z poprawką ciągłości Yatesa
Często spotykany jest również wzór:
χ² = (|b − c| − 1)² / (b + c)
Poprawka ciągłości zmniejsza wartość statystyki, zwłaszcza przy małej liczbie par niezgodnych. Może ograniczać ryzyko zbyt częstego odrzucania hipotezy zerowej w przybliżeniu asymptotycznym, ale nie rozwiązuje wszystkich problemów małej próby. Współczesne opracowania wskazują, że przy małych liczebnościach należy rozważyć test dokładny lub wariant mid-p, zamiast automatycznie polegać na jednej wersji asymptotycznej (Fagerland, Lydersen i Laake, 2014; Pembury Smith i Ruxton, 2020).
4.3. Test dokładny
Pod hipotezą zerową, warunkowo na liczbie par niezgodnych m=b+c, liczba obserwacji w jednej z dwóch komórek niezgodnych ma rozkład dwumianowy:
B ~ Binomial(m, 0,5)
Oznacza to, że przy H0 każda para niezgodna ma takie samo prawdopodobieństwo należenia do kierunku 0→1 oraz 1→0. Test dokładny oblicza prawdopodobieństwo uzyskania wyniku co najmniej tak skrajnego jak zaobserwowany, bez korzystania z przybliżenia rozkładem chi-kwadrat.
W praktyce test dokładny jest szczególnie uzasadniony, gdy liczba par niezgodnych jest mała. Nie należy jednak utożsamiać automatycznie testu dokładnego z zawsze najlepszym wyborem. W zależności od sposobu definiowania obszaru odrzucenia może on być konserwatywny, czyli prowadzić do wartości p większych niż oczekiwane. Dlatego w bardziej zaawansowanych analizach można rozważyć także wersję mid-p i przedstawić jasno, która procedura została użyta (Fagerland, Lydersen i Laake, 2014).
5. Przykład medyczny: wynik testu przesiewowego przed i po szkoleniu
Załóżmy, że 80 pielęgniarek rozwiązało krótki test dotyczący rozpoznawania objawów sepsy przed szkoleniem i po szkoleniu. Wynik zakodowano jako:
- 0 – odpowiedź niepoprawna;
- 1 – odpowiedź poprawna.
Otrzymano następującą tabelę:
| Po szkoleniu: niepoprawnie | Po szkoleniu: poprawnie | Suma | |
|---|---|---|---|
| Przed szkoleniem: niepoprawnie | 18 | 30 | 48 |
| Przed szkoleniem: poprawnie | 8 | 24 | 32 |
| Suma | 26 | 54 | 80 |
W tym przykładzie b=30, a c=8. Liczba par niezgodnych wynosi 38. Statystyka bez poprawki to:
χ² = (30 − 8)² / (30 + 8) = 484 / 38 ≈ 12,74
Przy jednym stopniu swobody taki wynik odpowiada bardzo małej wartości p, około 0,001. Wniosek statystyczny brzmi: dane dostarczają podstaw do odrzucenia hipotezy o równej liczbie zmian w obu kierunkach.
Interpretacja merytoryczna powinna być ostrożniejsza. W badanej grupie więcej osób przeszło z odpowiedzi niepoprawnej do poprawnej niż odwrotnie: 30 wobec 8. Jest to zgodne z poprawą wyników po szkoleniu. Nie można jednak na podstawie samego testu McNemara stwierdzić, że szkolenie spowodowało poprawę, jeżeli badanie nie miało odpowiedniej grupy kontrolnej, randomizacji lub innego schematu uzasadniającego wnioskowanie przyczynowe.
Można dodatkowo opisać zmianę netto: odsetek poprawnych odpowiedzi wzrósł z 40,0% przed szkoleniem do 67,5% po szkoleniu, czyli o 27,5 punktu procentowego. Test McNemara ocenia istotność asymetrii zmian, natomiast różnica odsetków pomaga przedstawić wielkość obserwowanej zmiany.
6. Przykład diagnostyczny: dwie metody wykrywania choroby
U 120 pacjentów zastosowano dwie metody przesiewowe w kierunku określonego zaburzenia: metodę A i metodę B. Obie procedury wykonano u tych samych osób, a wynik każdej zakodowano jako dodatni lub ujemny. Nie zakładamy na tym etapie, że jedna metoda jest złotym standardem.
| Metoda B: ujemna | Metoda B: dodatnia | Suma | |
|---|---|---|---|
| Metoda A: ujemna | 70 | 18 | 88 |
| Metoda A: dodatnia | 6 | 26 | 32 |
| Suma | 76 | 44 | 120 |
Liczby niezgodne wynoszą 18 i 6. Test McNemara może odpowiedzieć na pytanie, czy metody dają różne marginalne odsetki wyników dodatnich. Nie odpowiada natomiast sam w sobie na pytanie, która metoda jest trafniejsza diagnostycznie. Do oceny czułości, swoistości i zgodności potrzebny jest niezależny punkt odniesienia, na przykład wiarygodny standard referencyjny. Ponadto zgodność dwóch metod nie jest tym samym co ich poprawność; metoda może być zgodna z drugą, a obie mogą popełniać podobne błędy.
Jeżeli celem jest ocena zgodności metod, sam test McNemara jest niewystarczający. Należy przedstawić również tabelę wyników, odsetki, miary zgodności oraz – zależnie od pytania – odpowiednie przedziały ufności. W przypadku metod pomiarowych nie można bezrefleksyjnie zastępować analizy zgodności testem różnicy częstości (Bland i Altman, 1986).
7. Jak interpretować wartość p?
Wartość p jest prawdopodobieństwem uzyskania danych co najmniej tak niezgodnych z hipotezą zerową, jak dane zaobserwowane, przy założeniu, że hipoteza zerowa jest prawdziwa i że spełniono warunki procedury. Nie jest ona prawdopodobieństwem prawdziwości H0 ani prawdopodobieństwem, że wynik „powstał przypadkiem”.
Przykładowo p=0,03 oznacza, że przy założeniu braku systematycznej asymetrii zmian obserwacja takiej lub większej rozbieżności między b i c byłaby stosunkowo mało zgodna z H0. Nie mówi natomiast, jak duża jest zmiana w sensie praktycznym. W tym celu należy podać liczebności b i c, odsetki w obu pomiarach, różnicę odsetków oraz – gdy jest to uzasadnione – przedział ufności dla odpowiedniej miary efektu.
W raportowaniu wyników warto napisać na przykład: „Wśród 38 par niezgodnych 30 stanowiły przejścia z wyniku ujemnego do dodatniego, a 8 przejścia w kierunku przeciwnym. Test McNemara wykazał asymetrię zmian, χ²(1)=12,74, p<0,001”. Jeżeli użyto poprawki ciągłości albo testu dokładnego, trzeba to wyraźnie zaznaczyć.
8. Założenia i ograniczenia
- Każda para powinna odpowiadać tej samej osobie lub prawidłowo dopasowanej jednostce.
- Wynik powinien być binarny albo sprowadzony do dwóch kategorii przed analizą, zgodnie z uzasadnieniem merytorycznym.
- Poszczególne pary powinny być niezależne od innych par.
- Nie należy analizować danych zagregowanych, jeżeli nie wiadomo, które obserwacje tworzą pary.
- Przy małej liczbie par niezgodnych należy rozważyć wersję dokładną.
- W przypadku więcej niż dwóch kategorii potrzebne są inne procedury, na przykład test Stuarta-Maxwella lub uogólnienie testu Bowkera.
- Przy więcej niż dwóch pomiarach binarnych można rozważyć test Q Cochrana, a przy bardziej złożonym układzie – model dla danych powtarzanych.
Najczęstsze błędy
1. Użycie testu chi-kwadrat dla obserwacji niezależnych
Jeżeli te same osoby badano dwukrotnie, pomiary nie są niezależne. Zastosowanie zwykłego testu chi-kwadrat niezależności ignoruje strukturę par i może prowadzić do błędnych wniosków.
2. Analizowanie wyłącznie dwóch sum brzegowych
Wiedza, że 40 osób miało wynik dodatni przed badaniem, a 55 po badaniu, nie wystarcza do odtworzenia testu McNemara. Potrzebujemy wiedzieć, ile osób zmieniło wynik w każdym kierunku, czyli znać b i c.
3. Traktowanie zgodnych par jako dowodu braku zmiany
Zgodna para nie świadczy o tym, że pomiar jest „prawidłowy”; wskazuje tylko, że obie obserwacje mają tę samą kategorię. Dwie zgodne metody mogą być równie błędne.
4. Automatyczne stosowanie poprawki Yatesa
Wybór między wersją asymptotyczną, poprawką ciągłości, testem dokładnym i mid-p powinien wynikać z liczebności oraz planu analizy. Najważniejsze jest jawne opisanie zastosowanej procedury.
5. Interpretowanie p jako wielkości efektu
Mała wartość p może wynikać z dużej próby, a nie z dużej różnicy praktycznej. Zawsze należy pokazać liczby przejść w obu kierunkach i odsetki wyników.
6. Wyciąganie wniosku przyczynowego z badania przed–po
Sam test McNemara nie kontroluje trendów czasowych, efektu uczenia się, regresji do średniej ani innych zmian zachodzących między pomiarami. Schemat badania decyduje o tym, jak mocny może być wniosek.
Przykład praktyczny: jak zaplanować analizę
Załóżmy, że badacz chce ocenić, czy kampania edukacyjna zmieniła odsetek mieszkańców deklarujących znajomość numeru alarmowego 112. Przed kampanią i miesiąc po niej bada te same osoby. Odpowiedź ma postać „znam”/„nie znam”.
- Przed analizą należy ustalić, że jednostką analizy jest osoba, a nie pojedyncza odpowiedź.
- Należy zakodować oba pomiary w dwóch kategoriach.
- Trzeba utworzyć tabelę 2×2 z zachowaniem identyfikatora uczestnika.
- Należy policzyć b i c, czyli liczbę zmian w obu kierunkach.
- Przy większej liczbie par niezgodnych można użyć wersji asymptotycznej; przy małej – testu dokładnego.
- Wynik trzeba uzupełnić odsetkami przed i po kampanii oraz opisem ograniczeń schematu przed–po.
Jeżeli kampania była prowadzona w całej społeczności bez grupy kontrolnej, wynik testu może wskazywać na zmianę odpowiedzi, ale nie rozstrzyga, czy odpowiada za nią sama kampania. Jeżeli natomiast uczestników losowo przydzielono do grupy objętej kampanią i kontrolnej, analiza może wymagać modelu uwzględniającego grupę, czas oraz ich interakcję. Test McNemara pozostaje użyteczny jako analiza prostego porównania w obrębie jednej grupy, ale nie musi być wystarczający dla głównego pytania badawczego.
Co warto zapamiętać?
- Test McNemara jest przeznaczony dla dwóch pomiarów binarnych w parach.
- Najważniejsze są pary niezgodne: b i c.
- Test sprawdza, czy liczba zmian w obu kierunkach jest symetryczna.
- Klasyczna statystyka ma postać
χ²=(b−c)²/(b+c). - Przy małej liczbie par niezgodnych należy rozważyć test dokładny.
- Nie wolno zastępować testu McNemara testem chi-kwadrat dla prób niezależnych.
- Wartość p nie jest prawdopodobieństwem prawdziwości hipotezy zerowej.
- Istotność statystyczną trzeba oddzielić od wielkości i znaczenia praktycznego zmiany.
- W badaniu przed–po test nie uzasadnia samodzielnie wniosku przyczynowego.
- W raporcie należy podać tabelę 2×2, zastosowaną wersję testu, statystykę, wartość p oraz opis kierunku i rozmiaru zmian.
Test McNemara jest prostą, ale bardzo konkretną procedurą. Jego poprawne zastosowanie zależy mniej od samego wzoru niż od właściwego rozpoznania struktury danych: dwóch kategorii, dwóch pomiarów i rzeczywistego sparowania obserwacji.
Źródła i dalsza lektura
- McNemar, Q. (1947). Note on the sampling error of the difference between correlated proportions or percentages. Psychometrika, 12(2), 153–157. DOI: 10.1007/BF02295996.
- Fagerland, M. W., Lydersen, S., & Laake, P. (2014). Recommended tests and confidence intervals for paired binomial proportions. Statistics in Medicine, 33(16), 2850–2875. DOI: 10.1002/sim.6148.
- Pembury Smith, M. Q. R., & Ruxton, G. D. (2020). Effective use of the McNemar test. Behavioral Ecology and Sociobiology, 74, Article 133. DOI: 10.1007/s00265-020-02916-y.
- Agresti, A. (2013). Categorical Data Analysis. 3rd edition. John Wiley & Sons. Informacja wydawcy / źródło.
- Bland, J. M., & Altman, D. G. (1986). Statistical methods for assessing agreement between two methods of clinical measurement. The Lancet, 327(8476), 307–310. DOI: 10.1016/S0140-6736(86)90837-8.
- Westfall, P. H., Troendle, J. F., & Pennello, G. (2010). Multiple McNemar Tests. Biometrics, 66(4), 1185–1191. DOI: 10.1111/j.1541-0420.2010.01408.x.