229. ICC – współczynnik korelacji wewnątrzklasowej i jego warianty

W poprzednich lekcjach omawialiśmy rzetelność pomiaru, stabilność test–retest oraz podstawowe sposoby oceny zgodności między oceniającymi. Współczynnik korelacji wewnątrzklasowej, określany skrótem ICC od angielskiego intraclass correlation coefficient, jest jednym z najważniejszych narzędzi służących do oceny rzetelności ilościowych pomiarów. Nie jest jednak pojedynczym, zawsze tak samo liczonym współczynnikiem. Nazwa ICC obejmuje rodzinę wariantów zależnych od projektu badania, statusu oceniających oraz tego, czy interesuje nas zgodność pojedynczej oceny, czy średniej z kilku ocen.

W tej lekcji uporządkujemy te różnice. Szczególną uwagę poświęcimy rozróżnieniu między zgodnością bezwzględną a spójnością rang, ponieważ wybór między nimi może zasadniczo zmienić wynik. Zobaczymy także, dlaczego sama wartość ICC bez nazwy wariantu, przedziału ufności i opisu projektu badania jest informacją niepełną.

1. Czym jest ICC?

ICC mierzy, jaka część zmienności obserwowanych wyników wynika z rzeczywistych różnic między osobami, pacjentami, obiektami lub przypadkami, a jaka część jest związana z błędem pomiaru. W uproszczeniu można zapisać tę ideę jako:

ICC = wariancja różnic między obiektami / całkowita wariancja obserwowanych wyników

Jeżeli pacjenci wyraźnie różnią się między sobą, a oceny tego samego pacjenta są do siebie podobne, ICC będzie wysokie. Jeżeli natomiast oceny tego samego pacjenta znacznie się różnią albo większość obserwowanej zmienności wynika z błędu pomiaru, ICC będzie niskie.

W odróżnieniu od klasycznej korelacji Pearsona ICC uwzględnia nie tylko podobieństwo uporządkowania wyników, lecz także ich poziom. Dwie metody mogą bardzo podobnie różnicować pacjentów, ale jedna z nich może systematycznie zawyżać wyniki. Korelacja Pearsona może być wtedy wysoka, podczas gdy ICC nastawiony na zgodność bezwzględną będzie niższy. Problem ten ilustrują klasyczne prace dotyczące zgodności metod pomiarowych (Bland i Altman, 1986).

2. Ogólna idea modelu wariancyjnego

Załóżmy, że n pacjentów ocenia k oceniających. Wynik obserwowany można przedstawić schematycznie jako:

Y_ij = μ + P_i + R_j + E_ij

• Y_ij – wynik uzyskany dla pacjenta i przez oceniającego j;
• μ – średni poziom wyników w całym zbiorze;
• P_i – składnik związany z rzeczywistą różnicą między pacjentami;
• R_j – składnik związany z efektem oceniającego, na przykład tendencją do zawyżania lub zaniżania ocen;
• E_ij – pozostały błąd pomiaru, obejmujący między innymi interakcję pacjent–oceniający i przypadkową niedokładność.

W praktyce ICC jest często obliczany na podstawie analizy wariancji, a współczesne programy mogą także wykorzystywać modele efektów losowych i komponenty wariancji. Wybór wzoru nie powinien jednak poprzedzać decyzji o tym, jaki model pomiaru odpowiada badaniu.

3. Trzy pytania, które decydują o wariancie ICC

3.1. Czy oceniający są losową próbą, czy konkretnym zespołem?

Pierwsze pytanie dotyczy zakresu uogólniania. Jeżeli w badaniu uczestniczy trzech fizjoterapeutów, a wnioski mają dotyczyć właśnie tych trzech osób, oceniający są traktowani jako efekt stały. Odpowiada temu model dwukierunkowy mieszany.

Jeżeli trzech ratowników medycznych wybrano jako próbę z większej populacji ratowników, a celem jest uogólnienie wyników na innych podobnie szkolonych ratowników, oceniający są traktowani jako efekt losowy. Wtedy właściwszy jest model dwukierunkowy losowy.

Nie chodzi więc o to, czy badacz faktycznie losował oceniających za pomocą generatora liczb losowych. Chodzi o to, czy chce uogólniać wyniki poza osoby uczestniczące w badaniu.

3.2. Czy interesuje nas zgodność, czy tylko spójność?

Spójność oznacza, że oceniający podobnie porządkują obiekty. Jeżeli jeden oceniający wystawia średnio wyniki o 5 punktów wyższe od drugiego, ale różnice między pacjentami są zachowane, współczynnik spójności może pozostać wysoki.

Zgodność bezwzględna wymaga natomiast, aby wyniki były nie tylko podobnie uporządkowane, lecz także zbliżone liczbowo. Systematyczne zawyżanie ocen przez jednego oceniającego obniża taki ICC.

W badaniach klinicznych, w których wynik ma zastępować ocenę innej osoby lub narzędzia, zwykle ważniejsza jest zgodność bezwzględna. W badaniach, w których oceniający tworzą ranking pacjentów i nie ma znaczenia stałe przesunięcie skali jednego z nich, można rozważyć wariant spójności.

3.3. Czy analizujemy jednego oceniającego, czy średnią z kilku?

Wariant single measures lub „pomiar pojedynczy” odpowiada pytaniu: jak rzetelna byłaby ocena uzyskana od jednego oceniającego?

Wariant average measures lub „średnia pomiarów” odpowiada pytaniu: jak rzetelny będzie wynik, jeśli w praktyce uśrednimy oceny kilku oceniających?

ICC dla średniej jest często wyższy, ponieważ uśrednianie niezależnych błędów pomiarowych zmniejsza ich wpływ. Nie oznacza to jednak, że pojedynczy oceniający stał się bardziej rzetelny. Oznacza to, że procedura wykorzystująca kilku oceniających i średnią z ich wyników jest bardziej rzetelna.

4. Najważniejsze klasy wariantów ICC

Klasyczny system Shrouta i Fleissa wyróżnia sześć podstawowych form ICC (Shrout i Fleiss, 1979). Późniejszy system McGrawa i Wonga stosuje bardziej opisowe nazwy, które lepiej pokazują założenia modelu (McGraw i Wong, 1996).

Model	Typ oceniających	Co jest oceniane?	Typowe pytanie
Jednokierunkowy	Oceniający różnią się między obiektami lub nie są traktowani jako wspólny czynnik	Zgodność w strukturze jednoźródłowej	Czy wyniki skupień lub grup są podobne?
Dwukierunkowy losowy	Oceniający są losową próbą	Zgodność lub spójność z możliwością uogólnienia	Czy podobny poziom zgodności uzyskamy z innymi oceniającymi?
Dwukierunkowy mieszany	Oceniający są konkretnym, stałym zespołem	Zgodność lub spójność tylko dla tych oceniających	Czy ten konkretny zespół ocenia podobnie?

W praktyce często spotyka się oznaczenia:

• ICC(1,1) – model jednokierunkowy, pomiar pojedynczy;
• ICC(1,k) – model jednokierunkowy, średnia z k pomiarów;
• ICC(2,1) – model dwukierunkowy losowy, zgodność bezwzględna, pomiar pojedynczy;
• ICC(2,k) – model dwukierunkowy losowy, zgodność bezwzględna, średnia z k pomiarów;
• ICC(3,1) – model dwukierunkowy mieszany, spójność, pomiar pojedynczy;
• ICC(3,k) – model dwukierunkowy mieszany, spójność, średnia z k pomiarów.

W terminologii McGrawa i Wonga należy dodatkowo odróżnić warianty agreement i consistency. Wariant agreement uwzględnia systematyczne różnice między ocenami, natomiast consistency koncentruje się na zachowaniu względnego uporządkowania wyników.

5. Wzór i interpretacja komponentów wariancji

Dla uproszczonego modelu dwukierunkowego można zapisać ICC zgodności bezwzględnej jako:

ICC = σ²_p / (σ²_p + σ²_r + σ²_e)

• σ²_p – wariancja między pacjentami lub innymi obiektami;
• σ²_r – wariancja związana z różnicami między oceniającymi;
• σ²_e – wariancja błędu, w tym niedopasowania oceniającego do konkretnego pacjenta;
• mianownik – całkowita wariancja obserwowanych wyników w przyjętym modelu.

W wariancie spójności efekt oceniającego nie jest traktowany jako składnik obniżający współczynnik w taki sam sposób, ponieważ stałe przesunięcie ocen może być uznane za nieistotne dla zachowania rankingu. To właśnie dlatego dwie wersje ICC obliczone dla tych samych danych mogą dawać wyraźnie różne wyniki.

Nie należy mechanicznie stosować progów. Koo i Li (2016) przedstawili często używaną orientacyjną interpretację: wartości poniżej 0,50 mogą wskazywać na słabą rzetelność, 0,50–0,75 na umiarkowaną, 0,75–0,90 na dobrą, a powyżej 0,90 na bardzo dobrą. Są to jednak wartości pomocnicze, a nie uniwersalne prawa. Wymagany poziom rzetelności zależy od konsekwencji błędu, zastosowania narzędzia i tego, czy wynik służy badaniom grupowym, czy decyzji dotyczącej pojedynczej osoby.

6. Przykład praktyczny: ocena zakresu ruchu kolana

W badaniu rehabilitacyjnym dwóch fizjoterapeutów mierzy zakres zgięcia kolana u 40 pacjentów za pomocą goniometru. Każdy fizjoterapeuta ocenia każdego pacjenta. Badacz chce odpowiedzieć na dwa pytania:

1. Czy ci dwaj fizjoterapeuci uzyskują zgodne wyniki?
2. Czy w przyszłości można uznać, że podobne wyniki uzyska dowolny fizjoterapeuta o porównywalnym przeszkoleniu?

Jeśli celem jest odpowiedź tylko na pierwsze pytanie, można traktować oceniających jako stały, konkretny zespół. Jeśli celem jest uogólnienie na szerszą populację fizjoterapeutów, potrzebny będzie model dwukierunkowy losowy.

Załóżmy, że fizjoterapeuta A mierzy średnio 80°, a fizjoterapeuta B średnio 86°. Jeżeli różnica 6° występuje niemal u wszystkich pacjentów, ICC consistency może być wysokie, bo kolejność pacjentów jest podobna. ICC absolute agreement będzie niższe, gdyż pomiary nie są wymienne bez korekty systematycznego przesunięcia.

W raporcie nie należy napisać jedynie: „ICC wyniósł 0,84”. Poprawniejszy opis brzmi na przykład: „Zgodność bezwzględną dwóch fizjoterapeutów oceniono za pomocą dwukierunkowego modelu losowego dla pomiaru pojedynczego, ICC(2,1) = 0,84, 95% PU [0,72; 0,91].” Taki zapis informuje, jaki wariant zastosowano i jak precyzyjny jest wynik.

7. Przykład z psychologii: średnia z ocen sędziów

W badaniu psychologicznym czterech sędziów koduje nasilenie zachowań agresywnych na nagraniach z sesji terapeutycznych. Każdy sędzia przyznaje wynik od 0 do 20. Głównym wynikiem badania jest średnia z czterech ocen.

Jeżeli analizowany wynik rzeczywiście jest średnią z czterech ocen, należy podać wariant average measures, na przykład ICC(2,4) dla dwukierunkowego modelu losowego i zgodności bezwzględnej. Podanie ICC(2,1) byłoby odpowiedzią na inne pytanie: jak rzetelna jest pojedyncza ocena jednego sędziego.

Warto również rozważyć, czy skala 0–20 jest traktowana jako ilościowa. ICC jest przeznaczony przede wszystkim dla wyników ilościowych lub quasi-ilościowych. Jeżeli sędziowie przyporządkowują nagrania do kategorii nominalnych, takich jak „brak”, „łagodne”, „umiarkowane” i „ciężkie”, odpowiedniejsze mogą być współczynniki kappa. Dobór ICC nie powinien wynikać z samej obecności kilku oceniających.

8. ICC a korelacja Pearsona i wykres Bland–Altmana

Wysoka korelacja Pearsona nie dowodzi zgodności pomiarów. Korelacja opisuje współzmienność i podobieństwo uporządkowania wyników, ale nie wymaga, aby wartości były równe. Można uzyskać korelację równą 1, gdy druga metoda zawsze daje wynik o 10 jednostek wyższy od pierwszej.

ICC jest bliższy analizie rzetelności i zgodności, ale również nie zastępuje automatycznie oceny klinicznej. Gdy porównuje się dwie metody pomiaru i rozważa ich zamienność, warto uzupełnić ICC o analizę różnic, średniego obciążenia oraz granic zgodności metodą Bland–Altmana (Bland i Altman, 1986). Należy wtedy ustalić, jaka różnica jest akceptowalna z punktu widzenia praktyki, a nie tylko sprawdzić, czy współczynnik przekroczył arbitralny próg.

9. Przedział ufności, wielkość próby i niepewność

ICC jest estymatą obarczoną niepewnością. Przy małej liczbie pacjentów przedział ufności może być szeroki, nawet gdy punktowa wartość współczynnika wygląda imponująco. Dlatego raportowanie samego ICC jest niewystarczające.

Wynik należy przedstawiać wraz z:

• nazwą modelu i wariantu ICC;
• liczbą ocenianych obiektów i liczbą oceniających;
• informacją, czy analizowano pomiar pojedynczy, czy średnią;
• 95-procentowym przedziałem ufności;
• opisaniem brakujących danych i sposobu ich obsługi;
• uzasadnieniem, dlaczego wybrano zgodność lub spójność.

Nie należy interpretować wartości p jako prawdopodobieństwa, że pomiar jest rzetelny, ani jako prawdopodobieństwa prawdziwości hipotezy zerowej. Test istotności może być dodatkiem, ale najważniejsze są oszacowanie ICC, jego przedział ufności oraz znaczenie praktyczne wyniku.

Najczęstsze błędy

• Podawanie „ICC” bez wariantu. Czytelnik nie wie, czy chodzi o zgodność, spójność, pomiar pojedynczy czy średnią.
• Automatyczne wybieranie ICC(3,1). Nie jest to domyślnie najlepszy wariant. Model musi odpowiadać celowi uogólniania i znaczeniu oceniających.
• Mylenie korelacji ze zgodnością. Wysoka korelacja Pearsona może współistnieć z systematycznym błędem jednej metody.
• Raportowanie tylko ICC dla średniej. Jeśli w praktyce decyzję podejmuje jeden oceniający, potrzebny jest także wariant pomiaru pojedynczego.
• Traktowanie progów jako praw uniwersalnych. ICC = 0,80 może być wystarczający do analiz grupowych, ale niewystarczający do decyzji klinicznej dotyczącej pojedynczego pacjenta.
• Pomijanie przedziału ufności. Punktowa wartość 0,85 może oznaczać zarówno dość precyzyjny wynik, jak i bardzo szeroki zakres niepewności.
• Stosowanie ICC do danych nominalnych. Dla kategorii nominalnych należy rozważyć kappę lub inne współczynniki zgodności.
• Wnioskowanie przyczynowe. ICC opisuje rzetelność lub zgodność pomiaru; nie dowodzi, że jedna procedura powoduje określony wynik kliniczny.

Jak zaplanować analizę ICC?

1. Zdefiniuj obiekt pomiaru: pacjenta, nagranie, obraz, próbkę lub uczestnika.
2. Określ, ilu oceniających ocenia każdy obiekt i czy są to ci sami oceniający dla wszystkich obiektów.
3. Zdecyduj, czy wnioski mają dotyczyć konkretnych oceniających, czy szerszej populacji.
4. Ustal, czy istotna jest zgodność bezwzględna, czy tylko spójność rang.
5. Wybierz pomiar pojedynczy albo średnią, zgodnie z tym, jak wynik będzie wykorzystywany w praktyce.
6. Przedstaw ICC z 95-procentowym przedziałem ufności i pełnym opisem modelu.
7. Uzupełnij analizę o ocenę błędu pomiaru i znaczenia praktycznego różnic.

W szkoleniu na statystyk.edu.pl warto traktować tę procedurę jako schemat decyzyjny, a nie listę skrótów do zapamiętania. Najważniejsza decyzja odbywa się przed kliknięciem opcji w programie statystycznym: trzeba ustalić, jaki rodzaj rzetelności ma znaczenie dla konkretnego badania.

Co warto zapamiętać?

• ICC jest rodziną współczynników, a nie jedną uniwersalną liczbą.
• Wybór wariantu zależy od modelu oceniających, rodzaju interesującej nas zgodności oraz tego, czy analizujemy pojedynczy wynik, czy średnią.
• ICC agreement uwzględnia systematyczne różnice między ocenami, a ICC consistency skupia się na względnym uporządkowaniu wyników.
• ICC dla średniej z kilku ocen nie opisuje rzetelności pojedynczego oceniającego.
• Wysoka korelacja Pearsona nie jest dowodem zgodności metod pomiaru.
• Każdy ICC należy raportować z nazwą wariantu, liczebnością, przedziałem ufności i uzasadnieniem wyboru.
• Interpretacja powinna łączyć istotność statystyczną, wielkość błędu oraz znaczenie praktyczne dla badanej dziedziny.

Źródła i dalsza lektura

1. Shrout, P. E.; Fleiss, J. L. (1979). Intraclass correlations: Uses in assessing rater reliability. Psychological Bulletin, 86(2), 420–428. DOI: 10.1037/0033-2909.86.2.420.
2. McGraw, K. O.; Wong, S. P. (1996). Forming inferences about some intraclass correlation coefficients. Psychological Methods, 1(1), 30–46. DOI: 10.1037/1082-989X.1.1.30.
3. Koo, T. K.; Li, M. Y. (2016). A Guideline of Selecting and Reporting Intraclass Correlation Coefficients for Reliability Research. Journal of Chiropractic Medicine, 15(2), 155–163. DOI: 10.1016/j.jcm.2016.02.012.
4. Liljequist, D.; Elfving, B.; Skavberg Roaldsen, K. (2019). Intraclass correlation – A discussion and demonstration of basic features. PLOS ONE, 14(7), e0219854. DOI: 10.1371/journal.pone.0219854.
5. Bland, J. M.; Altman, D. G. (1986). Statistical methods for assessing agreement between two methods of clinical measurement. The Lancet, 327(8476), 307–310. DOI: 10.1016/S0140-6736(86)90837-8.