231. Ważona kappa dla danych porządkowych

W poprzedniej lekcji omówiliśmy kappę Cohena jako miarę zgodności dwóch oceniających ponad zgodność oczekiwaną przypadkiem. W przypadku kategorii nominalnych każda pomyłka ma jednak taki sam status: rozbieżność między kategorią pierwszą i drugą jest traktowana tak samo jak rozbieżność między kategorią pierwszą i czwartą. Dla danych porządkowych takie założenie bywa zbyt uproszczone. Ważona kappa pozwala uwzględnić stopień rozbieżności między ocenami, dlatego jest użyteczna m.in. wtedy, gdy dwóch lekarzy ocenia nasilenie objawów, ryzyko odleżyn albo ciężkość stanu pacjenta na uporządkowanej skali.

Dlaczego zwykła kappa nie zawsze wystarcza?

Załóżmy, że dwóch ratowników ocenia stan świadomości pacjentów w czterech kategoriach: prawidłowy, lekko zaburzony, umiarkowanie zaburzony i ciężko zaburzony. Kategorie mają naturalny porządek, ale odległości między nimi nie muszą być równe w sensie pomiarowym.

Zwykła kappa Cohena rozróżnia jedynie zgodność i niezgodność. Jeżeli jeden ratownik wybierze kategorię pierwszą, a drugi drugą, uznaje się to za niezgodność tego samego rodzaju jak wybór kategorii pierwszej przez jednego ratownika i czwartej przez drugiego. Z perspektywy klinicznej są to jednak sytuacje odmienne. Pierwsza może oznaczać niewielką różnicę interpretacji, druga — poważne rozbieżności w ocenie pacjenta.

Ważona kappa, oznaczana zwykle jako κ_w, przypisuje poszczególnym rozbieżnościom różne wagi. Zgodność dokładna otrzymuje największą „nagrodę”, rozbieżność o jeden poziom jest karana mniej niż rozbieżność o trzy poziomy, a rozbieżność skrajna otrzymuje największą karę. Idea ta została formalnie przedstawiona przez Cohena jako rozszerzenie współczynnika kappa o stopniowane rozbieżności (Cohen, 1968). ([doi.org](https://doi.org/10.1037/h0026256?utm_source=openai))

Dane odpowiednie dla ważonej kappy

Ważona kappa jest przeznaczona przede wszystkim dla:

• dwóch oceniających,
• tych samych jednostek badania ocenianych przez obu oceniających,
• jednej zmiennej kategorialnej o naturalnym porządku,
• kategorii wzajemnie rozłącznych i wyczerpujących,
• sytuacji, w których różne rodzaje niezgodności mają różne znaczenie.

Może służyć zarówno do oceny zgodności między oceniającymi, jak i zgodności tego samego oceniającego w dwóch pomiarach, jeżeli pomiar został zaplanowany jako porównanie dwóch uporządkowanych klasyfikacji. Nie jest natomiast automatycznie właściwa dla każdej skali Likerta. Jeśli analizujemy pojedynczą pozycję kwestionariusza z kategoriami „zdecydowanie nie”–„zdecydowanie tak”, można rozważać ważoną kappę, ale trzeba jasno określić, czy interesuje nas zgodność ocen, czy raczej właściwości całej skali, dla których odpowiedniejsze mogą być inne współczynniki rzetelności.

Ważna jest również liczba oceniających. Klasyczna ważona kappa Cohena dotyczy dwóch oceniających. Przy większej liczbie oceniających potrzebne są odpowiednie uogólnienia albo inne współczynniki zgodności. Nie należy bez uzasadnienia liczyć wielu par kapp i traktować ich jako jednej miary całkowitej zgodności.

Intuicja stojąca za obliczeniem

Obliczenie ważonej kappy rozpoczyna się od tabeli krzyżowej. Wiersze reprezentują kategorie nadane przez oceniającego A, kolumny — kategorie nadane przez oceniającego B. Każda komórka zawiera liczbę przypadków o danej kombinacji ocen.

Następnie dla każdej komórki ustala się wagę zgodności lub wagę niezgodności. W zależności od programu statystycznego wagi mogą być definiowane jako:

• wagi zgodności — 1 oznacza zgodność pełną, a 0 skrajną niezgodność;
• wagi niezgodności — 0 oznacza brak kary za zgodność, a większe wartości oznaczają większą karę.

Trzeba sprawdzić, którą konwencję stosuje używane oprogramowanie. Dwa programy mogą posługiwać się odmiennym sposobem zapisu wag, a mimo to prowadzić do tego samego wyniku po prawidłowym przeliczeniu. Sam wybór opcji „linear” albo „quadratic” nie wystarcza do oceny poprawności analizy.

Wzór na ważoną kappę

Jedna z często stosowanych postaci wzoru wykorzystuje wagi zgodności:

κw = (Pw − Pe,w) / (1 − Pe,w)

gdzie:

• κ_w — ważona kappa Cohena;
• P_w — obserwowana ważona zgodność;
• P_e,w — oczekiwana ważona zgodność wynikająca z rozkładów marginalnych;
• 1 — maksymalna możliwa zgodność przy przyjętej skali wag.

Jeśli p_ij oznacza obserwowany odsetek przypadków w komórce tabeli, a w_ij — wagę zgodności dla tej komórki, to:

Pw = ΣiΣj wijpij

Oczekiwaną ważoną zgodność oblicza się analogicznie, ale zamiast obserwowanych częstości komórek wykorzystuje się iloczyny odpowiednich częstości marginalnych:

Pe,w = ΣiΣj wijpi+p+j

W tych oznaczeniach p_i+ jest odsetkiem wszystkich ocen oceniającego A w kategorii i, a p_+j — odsetkiem wszystkich ocen oceniającego B w kategorii j. Konstrukcja wzoru zachowuje podstawową ideę kappy: od obserwowanej zgodności odejmuje się zgodność oczekiwaną przypadkiem, a następnie odnosi się wynik do maksymalnego możliwego przyrostu zgodności ponad przypadek.

Ważona kappa, podobnie jak zwykła kappa, może przyjmować wartości ujemne i dodatnie, choć w praktyce zwykle mieści się między −1 a 1. Wartość 1 oznacza pełną zgodność. Wartości bliskie zeru wskazują, że zgodność nie przekracza wyraźnie poziomu oczekiwanego na podstawie rozkładów marginalnych. Wartość ujemna sugeruje zgodność mniejszą niż oczekiwana przypadkiem, ale jej interpretacja powinna uwzględniać liczebność próby, rozkłady kategorii oraz sposób zdefiniowania wag.

Wagi liniowe i kwadratowe

Wagi liniowe

Wagi liniowe zakładają, że kara rośnie proporcjonalnie do odległości między kategoriami. Dla k kategorii można zapisać wagę zgodności jako:

wij = 1 − |i − j|/(k − 1)

Jeśli oceny różnią się o jeden poziom, kara jest umiarkowana; jeśli różnią się o dwa poziomy, kara jest większa. Wagi liniowe są naturalnym wyborem wtedy, gdy każdy kolejny krok na skali ma podobne znaczenie praktyczne.

Wagi kwadratowe

Wagi kwadratowe zwiększają karę za duże rozbieżności bardziej niż wagi liniowe. Typowa postać to:

wij = 1 − (i − j)2/(k − 1)2

W praktyce oznacza to, że różnica między oceną „brak” a „ciężka” jest traktowana jako szczególnie poważna, natomiast sąsiednie kategorie otrzymują relatywnie wysoką zgodność. Wybór wag kwadratowych powinien wynikać z logiki pomiaru, a nie z chęci uzyskania wyższego współczynnika.

Vanbelle (2016) zwraca uwagę, że wybór wag wpływa na interpretację współczynnika: wagi liniowe i kwadratowe nie są jedynie technicznymi ustawieniami programu, lecz odpowiadają różnym założeniom o tym, jak należy oceniać odległość między kategoriami. ([cris.maastrichtuniversity.nl](https://cris.maastrichtuniversity.nl/en/publications/a-new-interpretation-of-the-weighted-kappa-coefficients/?utm_source=openai))

Przykład 1: ocena ryzyka odleżyn

Dwie pielęgniarki niezależnie oceniły 120 pacjentów według trzystopniowej klasyfikacji ryzyka odleżyn: niskie, umiarkowane i wysokie. W 82 przypadkach wystąpiła pełna zgodność. W 30 przypadkach oceny różniły się o jeden poziom, a w 8 przypadkach jedna pielęgniarka wskazała ryzyko niskie, a druga wysokie.

Zwykła kappa potraktowałaby wszystkie 38 niezgodności jednakowo. Ważona kappa uwzględni, że 30 rozbieżności sąsiednich jest mniej poważnych niż 8 rozbieżności skrajnych. Przy wagach liniowych uzyskamy wynik odzwierciedlający stopień zgodności, a nie tylko liczbę identycznych ocen.

W raporcie nie należy napisać wyłącznie: „ważona kappa wyniosła 0,78”. Lepszy zapis obejmuje rodzaj wag i niepewność oszacowania, np. „Zgodność ocen dwóch pielęgniarek była umiarkowanie do wysokiej, κ_w = 0,78, 95% CI [0,70; 0,85], przy zastosowaniu wag liniowych”. Ostateczna interpretacja zależy jednak od kontekstu klinicznego, precyzji oszacowania oraz konsekwencji błędnej klasyfikacji.

Przykład 2: nasilenie depresji w badaniu psychologicznym

Psycholog i lekarz ocenili nasilenie objawów depresyjnych u tych samych osób w pięciu kategoriach: brak, łagodne, umiarkowane, znaczne i bardzo znaczne. Różnica między „łagodne” a „umiarkowane” może być akceptowalna z punktu widzenia przesiewowego zastosowania narzędzia, ale różnica między „brak” a „bardzo znaczne” może prowadzić do całkowicie odmiennego postępowania.

W tym przypadku można rozważyć wagi liniowe, jeśli każdy stopień nasilenia ma podobne znaczenie, albo kwadratowe, jeśli skrajne rozbieżności powinny być karane szczególnie mocno. Należy wcześniej opisać tę decyzję w planie analizy. Jeżeli badacze obliczą zarówno kappę liniową, jak i kwadratową, nie powinni wybierać do głównego raportu wyłącznie wyższej wartości. Oba wyniki mogą być przedstawione jako analiza wrażliwości, z wyjaśnieniem, jakie założenie reprezentuje każda wersja.

Jak interpretować wynik?

Nie istnieje uniwersalny próg, przy którym ważona kappa staje się „dobra” w każdym zastosowaniu. Ta sama wartość może być niewystarczająca w badaniu, w którym rozbieżna klasyfikacja prowadzi do niebezpiecznej decyzji klinicznej, a akceptowalna w eksploracyjnym kodowaniu odpowiedzi otwartych.

Interpretacja powinna obejmować co najmniej:

• wartość κ_w oraz przedział ufności;
• liczbę i odsetek ocen dokładnie zgodnych;
• tabelę krzyżową lub jej czytelną prezentację;
• zastosowany schemat wag;
• liczbę kategorii i ich definicje;
• informację, czy oceniający byli zaślepieni względem ocen drugiej osoby;
• konsekwencje praktyczne rozbieżności.

Nie należy utożsamiać wartości p z prawdopodobieństwem, że hipoteza zerowa jest prawdziwa. Test istotności może odpowiedzieć na pytanie, czy zgodność ponad przypadek jest statystycznie wykrywalna, ale nie mówi samodzielnie, czy zgodność jest wystarczająca dla celu badania. Wielkość κ_w, jej przedział ufności i znaczenie praktyczne to odrębne elementy oceny.

Podobnie ważona kappa nie jest miarą trafności narzędzia. Dwie osoby mogą bardzo zgodnie stosować błędną klasyfikację. Zgodność dotyczy spójności ocen, natomiast trafność wymaga porównania z odpowiednim kryterium, diagnozą referencyjną albo innym uzasadnionym sposobem operacjonalizacji konstruktu.

Najczęstsze błędy

• Traktowanie danych nominalnych jak porządkowych. Wagi mają sens tylko wtedy, gdy kolejność kategorii jest merytorycznie uzasadniona.
• Brak uzasadnienia wyboru wag. W artykule trzeba wyjaśnić, dlaczego zastosowano wagi liniowe lub kwadratowe.
• Podawanie samej wartości współczynnika. Bez przedziału ufności, tabeli ocen i informacji o wagach wynik jest trudny do oceny.
• Mechaniczne stosowanie progów interpretacyjnych. Progi nie zastępują oceny konsekwencji błędnej klasyfikacji.
• Mylenie zgodności z korelacją. Wysoka korelacja może współistnieć z systematycznym przesunięciem ocen, a kappa ocenia zgodność klasyfikacji, nie sam współzmienność wyników.
• Pomijanie rozkładu kategorii. Kappa jest zależna m.in. od częstości kategorii i rozkładów marginalnych; warto pokazać również surową zgodność.
• Łączenie kategorii tylko po to, aby zwiększyć κ_w. Rekategoryzacja powinna wynikać z teorii, praktyki pomiaru lub wcześniej określonego planu, a nie z optymalizacji wyniku.
• Użycie ważonej kappy dla wielu oceniających bez sprawdzenia modelu. Klasyczna wersja Cohena odnosi się do dwóch oceniających.
• Język przyczynowy. Sama zgodność ocen nie dowodzi, że określona procedura powoduje poprawę wyników zdrowotnych.

Przykład praktyczny: jak opisać analizę

Załóżmy, że celem badania jest ocena zgodności dwóch lekarzy klasyfikujących stopień zwężenia tętnicy na podstawie obrazowania: brak, małe, umiarkowane, duże. Przed analizą należy ustalić, czy oceny są niezależne, czy lekarze pracowali na tych samych obrazach i czy nie znali wzajemnych wyników.

Przykładowy opis metod może brzmieć: „Zgodność ocen dwóch niezależnych lekarzy dla czterech uporządkowanych kategorii zwężenia oceniono za pomocą ważonej kappy Cohena. Zastosowano wagi liniowe, ponieważ przyjęto, że każdy kolejny poziom rozbieżności odpowiada proporcjonalnie większej różnicy klinicznej. Podano wartość κ_w, 95% przedział ufności, surowy odsetek zgodności oraz tabelę krzyżową ocen”.

Wyniki można przedstawić następująco: „Surowa zgodność wyniosła 76%. Ważona kappa wyniosła κ_w = 0,71, 95% CI [0,62; 0,79], dla wag liniowych. Większość rozbieżności dotyczyła kategorii sąsiednich; rozbieżności skrajne występowały rzadko”. Taki zapis informuje czytelnika nie tylko o liczbie, lecz także o strukturze niezgodności.

Raportowanie powinno być zgodne z dobrymi praktykami dla badań rzetelności i zgodności, które zalecają jasne opisanie próby, oceniających, procedury, narzędzia, definicji kategorii i sposobu analizy (Kottner i in., 2011). ([sciencedirect.com])

Jak wykonać analizę w praktyce?

Praktyczna procedura może obejmować następujące kroki:

1. Sprawdź, czy zmienna ma uporządkowane kategorie.
2. Zdefiniuj, co oznacza większa rozbieżność i dlaczego ma być silniej karana.
3. Przygotuj tabelę krzyżową ocen obu osób.
4. Wybierz wagi liniowe lub kwadratowe przed obejrzeniem głównego wyniku, jeśli to możliwe.
5. Oblicz κ_w wraz z przedziałem ufności.
6. Sprawdź surową zgodność i rozkłady marginalne.
7. Oceń, czy liczebność w kategoriach nie jest bardzo mała.
8. Opisz wynik w odniesieniu do celu pomiaru, a nie wyłącznie do arbitralnego progu.

W ramach publicznego szkolenia na statystyka.edu.pl warto traktować ważoną kappę jako element pełnego planu oceny pomiaru. Sam współczynnik nie naprawi niejasnych definicji kategorii, niejednoznacznej instrukcji dla oceniających ani niedostatecznego szkolenia osób kodujących dane.

Co warto zapamiętać?

• Ważona kappa służy do oceny zgodności dwóch ocen dla kategorii uporządkowanych.
• Uwzględnia, że różnica o jeden poziom może być mniej poważna niż różnica skrajna.
• Wagi liniowe zakładają proporcjonalny wzrost kary, a kwadratowe silniej karzą duże rozbieżności.
• Wybór wag jest decyzją metodologiczną i powinien być uzasadniony merytorycznie.
• Wynik należy raportować razem z przedziałem ufności, surową zgodnością, tabelą krzyżową i opisem kategorii.
• Ważona kappa mierzy zgodność, a nie trafność narzędzia i nie jest tym samym co korelacja.
• Istotność statystyczna, wielkość współczynnika i znaczenie praktyczne odpowiadają na różne pytania.

Źródła i dalsza lektura

1. Cohen, J. (1968). Weighted kappa: Nominal scale agreement provision for scaled disagreement or partial credit. Psychological Bulletin, 70(4), 213–220. DOI: 10.1037/h0026256.
2. Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37–46. DOI: 10.1177/001316446002000104.
3. Vanbelle, S. (2016). A New Interpretation of the Weighted Kappa Coefficients. Psychometrika, 81(2), 399–410. DOI: 10.1007/s11336-014-9439-4.
4. McHugh, M. L. (2012). Interrater reliability: the kappa statistic. Biochemia Medica, 22(3), 276–282. DOI: 10.11613/BM.2012.031.
5. Kottner, J., Audigé, L., Brorson, S., Donner, A., Gajewski, B. J., Hróbjartsson, A., Roberts, C., Shoukri, M., & Streiner, D. L. (2011). Guidelines for Reporting Reliability and Agreement Studies (GRRAS) were proposed. Journal of Clinical Epidemiology, 64(1), 96–106. DOI: 10.1016/j.jclinepi.2010.03.002.
6. Altman, D. G. (1991). Practical Statistics for Medical Research. 1st. Chapman and Hall. Informacja wydawcy / źródło.

Więcej kolejnych lekcji publicznego szkolenia znajdziesz na statystyk.edu.pl.

Jeżeli potrzebujesz indywidualnego wsparcia w doborze metod, przygotowaniu bazy lub opracowaniu wyników badań, sprawdź analiza statystyczna.