230. Kappa Cohena – zgodność ponad przypadek

W poprzednich lekcjach omawialiśmy między innymi zgodność między oceniającymi oraz współczynnik korelacji wewnątrzklasowej. Kappa Cohena jest kolejnym narzędziem do oceny rzetelności, ale służy przede wszystkim do danych kategoryzowanych: pozwala sprawdzić, czy dwóch niezależnych oceniających przypisuje tym samym przypadkom te same kategorie częściej, niż wynikałoby to z samego przypadku. Jej główna wartość polega na tym, że nie ogranicza się do prostego odsetka zgodnych ocen. Uwzględnia również zgodność oczekiwaną przy losowym przypisywaniu kategorii (Cohen, 1960; Viera i Garrett, 2005).

1. Czym jest zgodność ponad przypadek?

Załóżmy, że dwóch lekarzy niezależnie ocenia wyniki badań obrazowych i klasyfikuje je jako „zmiana obecna” albo „zmiana nieobecna”. Jeżeli obaj lekarze zgodzili się w 90% przypadków, wynik może wydawać się bardzo dobry. Nie wiemy jednak jeszcze, jaka część tej zgodności wynika z rzeczywistej spójności ocen, a jaka z częstości poszczególnych kategorii.

Jeżeli niemal wszyscy pacjenci nie mają danej zmiany, dwóch oceniających może często wskazywać kategorię „nieobecna” nawet bez szczególnie dobrej umiejętności rozpoznawania przypadków dodatnich. Procent zgodności będzie wtedy wysoki, lecz może zawyżać ocenę rzetelności. Kappa Cohena koryguje obserwowaną zgodność o zgodność oczekiwaną przy założeniu, że rozkłady odpowiedzi oceniających są jedyną podstawą „przypadkowego” dopasowania (Cohen, 1960).

Kappa Cohena została zaproponowana dla dwóch oceniających i skali nominalnej, czyli takiej, w której kategorie nie mają naturalnego uporządkowania. Przykładami są: „tak/nie”, „łagodny/umiarkowany/ciężki” traktowane jako zwykłe etykiety, typ diagnozy, rodzaj zdarzenia lub kategoria odpowiedzi w analizie treści.

2. Procent zgodności a kappa Cohena

Najprostszą miarą zgodności jest zgodność obserwowana, oznaczana często jako P_o. Jest to odsetek przypadków, w których obaj oceniający przypisali tę samą kategorię:

P_o = liczba zgodnych ocen / liczba wszystkich ocen

W przypadku dwóch kategorii można ją obliczyć jako sumę proporcji na przekątnej tabeli zgodności. Procent zgodności jest przydatny opisowo i powinien zwykle zostać przedstawiony w raporcie. Nie odpowiada jednak w pełni na pytanie, czy zgodność jest większa od tej, której można oczekiwać przy określonych rozkładach kategorii.

Drugi składnik to zgodność oczekiwana, oznaczana jako P_e. Oblicza się ją na podstawie częstości, z jaką każdy oceniający używał poszczególnych kategorii. Dla każdej kategorii mnoży się proporcję tej kategorii u pierwszego oceniającego przez proporcję tej samej kategorii u drugiego, a następnie sumuje wyniki dla wszystkich kategorii.

Podstawowy wzór na kappę Cohena ma postać:

κ = (P_o − P_e) / (1 − P_e)

• κ – współczynnik kappa Cohena;
• P_o – obserwowana proporcja zgodnych ocen;
• P_e – oczekiwana proporcja zgodnych ocen, wynikająca z rozkładów kategorii;
• 1 − P_e – maksymalna część zgodności, która pozostaje po odjęciu zgodności oczekiwanej.

W praktyce kappa zwykle mieści się między −1 a 1. Wartość 1 oznacza pełną zgodność, wartość 0 oznacza zgodność nie większą niż oczekiwana przy przyjętym modelu przypadku, a wartości ujemne wskazują na zgodność mniejszą od oczekiwanej. Ujemna kappa nie oznacza automatycznie „systematycznego nieporozumienia”; należy sprawdzić tabelę zgodności, liczebności kategorii i sposób kodowania danych.

3. Przykład obliczenia

Dwóch ratowników ocenia 100 nagrań rozmów z dyspozytornią pod kątem występowania objawów sugerujących udar. Ocena ma dwie kategorie: „podejrzenie udaru” i „brak podejrzenia”. Wyniki przedstawiono w tabeli.

	Ratownik B: podejrzenie	Ratownik B: brak	Suma
Ratownik A: podejrzenie	30	10	40
Ratownik A: brak	5	55	60
Suma	35	65	100

Zgodność obserwowana obejmuje komórki na przekątnej: 30 + 55 = 85 przypadków. Zatem P_o = 0,85. Zgodność oczekiwana wynosi:

P_e = (0,40 × 0,35) + (0,60 × 0,65) = 0,14 + 0,39 = 0,53

Po podstawieniu do wzoru:

κ = (0,85 − 0,53) / (1 − 0,53) = 0,32 / 0,47 ≈ 0,68

Opis wyniku powinien więc brzmieć na przykład: „Oceniający byli zgodni w 85% przypadków, a kappa Cohena wyniosła 0,68”. Nie należy zastępować jednej informacji drugą. Procent zgodności pokazuje bezpośredni odsetek zgodnych ocen, natomiast kappa informuje o zgodności po uwzględnieniu zgodności oczekiwanej.

4. Jak interpretować wartość kappy?

W literaturze często przywołuje się orientacyjne przedziały interpretacyjne zaproponowane przez Landisa i Kocha (1977), na przykład: poniżej 0 – zgodność słaba, 0–0,20 – niewielka, 0,21–0,40 – dostateczna, 0,41–0,60 – umiarkowana, 0,61–0,80 – znaczna, a 0,81–1,00 – niemal doskonała. Tych progów nie należy jednak traktować jako uniwersalnego prawa ani jako substytutu oceny merytorycznej.

Znaczenie kappy zależy od konsekwencji błędnej klasyfikacji, trudności zadania, liczby kategorii, ich częstości oraz procedury szkolenia oceniających. Kappa równa 0,68 może być akceptowalna w eksploracyjnej analizie dokumentacji, ale niewystarczająca, jeżeli od pojedynczej klasyfikacji zależy natychmiastowe leczenie. W raporcie warto podać przedział ufności dla kappy, liczebność próby, tabelę zgodności oraz sposób postępowania z brakami danych.

Istotność statystyczna testu kappy nie jest tym samym co wysoka rzetelność. Przy dużej próbie nawet mała kappa może być statystycznie różna od zera, a przy małej próbie rozsądna klinicznie zgodność może mieć szeroki przedział ufności. Wartość p nie jest prawdopodobieństwem prawdziwości hipotezy zerowej ani miarą praktycznej użyteczności pomiaru.

5. Kappa ważona dla kategorii uporządkowanych

Jeżeli kategorie mają naturalny porządek, zwykła kappa może traktować każdą rozbieżność jednakowo. Tymczasem pomylenie kategorii „łagodny” i „umiarkowany” może być mniej poważne niż pomylenie „łagodny” i „ciężki”. W takiej sytuacji stosuje się kappę ważoną (Cohen, 1968).

W kappie ważonej przypisuje się różnym rozbieżnościom wagi. W zależności od celu można użyć wag liniowych, w których kolejne odchylenia są karane proporcjonalnie, albo wag kwadratowych, w których większe odchylenia są karane silniej. Wybór wag powinien być uzasadniony przed analizą, a nie dopasowany po obejrzeniu wyniku.

Przykładem jest ocena nasilenia odleżyny, poziomu bólu albo stopnia depresji w uporządkowanych kategoriach. W takim przypadku kappa ważona lepiej odzwierciedla fakt, że ocena „umiarkowana” zamiast „łagodnej” jest bliższa niż ocena „ciężka” zamiast „łagodnej”. Nie należy jednak stosować kappy ważonej do kategorii czysto nominalnych, takich jak typ patogenu, płeć w analizie administracyjnej czy rodzaj interwencji.

6. Drugi przykład: klasyfikacja odpowiedzi w badaniu psychologicznym

W badaniu psychologicznym dwóch przeszkolonych koderów ocenia 80 wypowiedzi uczestników pod względem obecności strategii unikania. Każdy fragment otrzymuje etykietę „obecna” albo „nieobecna”. Koderzy zgadzają się w 72 przypadkach, więc zgodność obserwowana wynosi 90%. Jednak 90% nie powinno być automatycznie opisane jako „bardzo wysoka rzetelność”.

Jeżeli strategia występuje tylko w kilku wypowiedziach, większość zgodnych ocen może pochodzić z równoczesnego wskazania „nieobecna”. Badacz powinien obliczyć kappę, przedstawić tabelę 2 × 2 oraz sprawdzić, czy koderzy różnią się częstością używania kategorii. Przy silnej asymetrii rozkładu kappa może być zaskakująco niska mimo wysokiego procentu zgodności. Jest to sygnał do ostrożnej interpretacji, a nie dowód, że sama kappa jest „błędna”.

7. Ograniczenia kappy Cohena

Wpływ częstości kategorii

Kappa jest wrażliwa na częstość kategorii. Przy bardzo rzadkim zjawisku wysoka zgodność w kategorii dominującej może współistnieć z niską kappą. Zjawisko to bywa nazywane problemem częstości. Dlatego zawsze należy prezentować również surową tabelę zgodności i rozkład kategorii.

Wpływ różnic między oceniającymi

Jeżeli jeden oceniający znacznie częściej wybiera kategorię dodatnią niż drugi, kappa może być niska, nawet gdy obserwowana zgodność jest umiarkowanie wysoka. Taka sytuacja może wskazywać na różnice w progu decyzyjnym, niejasną instrukcję kodowania albo odmienne szkolenie. Sama kappa nie mówi, który oceniający popełnia błąd.

Brak informacji o trafności

Kappa opisuje zgodność między oceniającymi, ale nie rozstrzyga, czy ich oceny są prawidłowe względem niezależnego standardu. Dwóch oceniających może być zgodnych i jednocześnie systematycznie błędnych. Jeżeli istnieje wiarygodny standard odniesienia, trzeba osobno rozważyć trafność kryterialną, czułość, swoistość lub inne właściwe miary.

Nie jest korelacją

Kappa nie mierzy związku liniowego i nie należy zastępować jej korelacją Pearsona. Wysoka korelacja może wystąpić przy systematycznych różnicach między ocenami, natomiast zgodność wymaga, aby oceny rzeczywiście się pokrywały. Dla wyników liczbowych odpowiedniejsze mogą być ICC, analiza Blanda–Altmana lub inne metody zgodności.

8. Najczęstsze błędy

• Raportowanie wyłącznie procentu zgodności. Warto podać procent zgodności, ale przy danych kategorycznych rozważyć także kappę i jej przedział ufności.
• Użycie zwykłej kappy dla kategorii uporządkowanych bez uzasadnienia. Gdy odległości między kategoriami mają znaczenie, należy rozważyć kappę ważoną.
• Automatyczne stosowanie progów Landisa i Kocha. Są to wskazówki orientacyjne, a nie uniwersalne normy jakości.
• Interpretowanie kappy jako miary trafności. Kappa dotyczy zgodności, nie prawdziwości klasyfikacji.
• Pomijanie rozkładu kategorii. Przy silnej dominacji jednej kategorii sama wartość kappy może być myląca.
• Traktowanie wartości p jako miary jakości. O jakości zgodności informują przede wszystkim wielkość kappy, przedział ufności, tabela zgodności i znaczenie praktyczne.
• Niejasne kodowanie braków danych. Brak oceny nie powinien być bezrefleksyjnie traktowany jako osobna kategoria zgodności.
• Liczenie jednej kappy bez określenia jednostki analizy. Trzeba jasno wskazać, co oceniali koderzy, ile było przypadków i czy oceny były niezależne.

9. Przykład praktyczny: ocena triage’u

W szpitalnym badaniu jakościowym dwóch pielęgniarzy niezależnie przypisuje pacjentom jedną z trzech kategorii pilności: natychmiastowa, pilna, odroczona. Badacz powinien najpierw przygotować tabelę zgodności 3 × 3. Jeżeli kategorie są uporządkowane i pomylenie „natychmiastowej” z „pilną” jest mniej poważne niż pomylenie „natychmiastowej” z „odroczoną”, właściwym kandydatem będzie kappa ważona.

Raport powinien zawierać: liczbę ocenianych pacjentów, sposób szkolenia pielęgniarzy, informację o niezależności ocen, tabelę zgodności, procent zgodności, rodzaj kappy, przyjęty system wag, estymatę kappy z 95-procentowym przedziałem ufności oraz interpretację kliniczną. Jeżeli zgodność jest niewystarczająca, nie należy ograniczać się do stwierdzenia, że „narzędzie jest nierzetelne”. Możliwe przyczyny obejmują niejednoznaczne definicje kategorii, niepełne dane w dokumentacji, różne doświadczenie oceniających albo przypadki graniczne.

Tak zaplanowana analiza może prowadzić do poprawy instrukcji triage’u, dodatkowego szkolenia lub rewizji kryteriów kwalifikacji. Sama kappa nie rozwiązuje problemu pomiaru, ale pomaga wskazać, czy niezależni oceniający stosują klasyfikację w sposób wystarczająco spójny.

Co warto zapamiętać?

• Kappa Cohena ocenia zgodność dwóch oceniających przy danych kategoryzowanych, uwzględniając zgodność oczekiwaną przypadkowo.
• Podstawowy wzór to: κ = (P_o − P_e) / (1 − P_e).
• Procent zgodności i kappa odpowiadają na różne pytania; najlepiej raportować oba wyniki.
• Dla kategorii uporządkowanych należy rozważyć kappę ważoną i z góry określić system wag.
• Na kappę wpływają częstość kategorii oraz różnice w sposobie ich używania przez oceniających.
• Kappa mierzy zgodność, ale nie dowodzi trafności ani prawidłowości ocen.
• Interpretacja powinna uwzględniać przedział ufności, tabelę zgodności, kontekst zastosowania i konsekwencje błędnej klasyfikacji.

W ramach publicznego szkolenia na statystyk.edu.pl warto potraktować kappę Cohena jako element szerszego procesu oceny jakości pomiaru. Dobór współczynnika powinien wynikać ze skali pomiaru, liczby oceniających, charakteru danych i celu badania, a nie z popularności konkretnej statystyki.

Źródła i dalsza lektura

1. Cohen, J. (1960). A Coefficient of Agreement for Nominal Scales. Educational and Psychological Measurement, 20(1), 37–46. DOI: 10.1177/001316446002000104.
2. Cohen, J. (1968). Weighted Kappa: Nominal Scale Agreement with Provision for Scaled Disagreement or Partial Credit. Psychological Bulletin, 70(4), 213–220. DOI: 10.1037/h0026256.
3. Landis, J. R., & Koch, G. G. (1977). The Measurement of Observer Agreement for Categorical Data. Biometrics, 33(1), 159–174. DOI: 10.2307/2529310.
4. Viera, A. J., & Garrett, J. M. (2005). Understanding Interobserver Agreement: The Kappa Statistic. Family Medicine, 37(5), 360–363. Pełny opis źródła.
5. McHugh, M. L. (2012). Interrater Reliability: The Kappa Statistic. Biochemia Medica, 22(3), 276–282. Pełny opis źródła.