221. Rzetelność pomiaru – co oznacza w praktyce?

Rzetelność pomiaru jest jedną z podstawowych właściwości dobrego narzędzia badawczego. Dotyczy kwestionariuszy, testów wiedzy, skal klinicznych, ocen dokonywanych przez obserwatorów, a także pomiarów wykonywanych aparaturą medyczną. W praktyce pytamy: czy podobne warunki pomiaru prowadzą do podobnych wyników? Jeżeli odpowiedź jest negatywna, różnice między osobami lub pomiarami mogą odzwierciedlać przypadkowy szum, a nie rzeczywiste różnice w badanej właściwości.

W tej lekcji, przygotowanej w ramach szkolenia na statystyk.edu.pl, uporządkujemy pojęcia od podstaw. Wyjaśnimy, czym rzetelność różni się od trafności, jakie są jej główne rodzaje, kiedy stosować określone współczynniki oraz dlaczego sama wartość alfa Cronbacha nie wystarcza do oceny jakości narzędzia.

Czym jest rzetelność pomiaru?

W klasycznej teorii testów wynik obserwowany można przedstawić jako sumę wyniku prawdziwego i błędu pomiaru:

X = T + E

• X – wynik obserwowany, czyli wartość uzyskana przez osobę badaną;
• T – wynik prawdziwy, rozumiany jako oczekiwana wartość wyniku przy wielokrotnym powtarzaniu pomiaru w porównywalnych warunkach;
• E – błąd pomiaru, obejmujący wpływ czynników przypadkowych.

Rzetelność odnosi się przede wszystkim do udziału względnie stabilnej, powtarzalnej informacji w wyniku obserwowanym. W uproszczonym ujęciu można ją zapisać jako:

r_XX = Var(T) / Var(X)

gdzie Var(T) oznacza wariancję wyników prawdziwych, a Var(X) – wariancję wyników obserwowanych. Współczynnik rzetelności przyjmuje zwykle wartości od 0 do 1. Im bliżej 1, tym większa część zróżnicowania wyników jest powtarzalna. Nie oznacza to jednak, że istnieje jedna uniwersalna granica „dobrej rzetelności”. Wymagany poziom zależy od celu pomiaru, rodzaju narzędzia i konsekwencji decyzji podejmowanych na jego podstawie.

Rzetelność nie jest cechą absolutną i niezmienną. Jest właściwością wyników uzyskanych za pomocą narzędzia w określonej populacji, sytuacji i procedurze. Ta sama skala może być wystarczająco rzetelna w badaniu grupowym, ale zbyt mało rzetelna do podejmowania decyzji dotyczących pojedynczego pacjenta.

Rzetelność a trafność

Rzetelność i trafność są powiązane, lecz nie są tym samym. Rzetelność dotyczy powtarzalności wyników, natomiast trafność dotyczy tego, czy interpretacja wyników odpowiada zamierzonemu konstruktowi. Narzędzie może być rzetelne, ale nietrafne.

Przykładowo zegar, który stale spieszy się o 20 minut, może bardzo rzetelnie wskazywać ten sam czas, ale nie jest trafnym miernikiem aktualnej godziny. Analogicznie kwestionariusz może konsekwentnie mierzyć ogólne napięcie emocjonalne, mimo że autor interpretuje jego wynik jako specyficzny pomiar wypalenia zawodowego.

Wysoka rzetelność jest zwykle warunkiem uzyskania dobrych dowodów trafności, ponieważ silny błąd przypadkowy osłabia związki wyniku z innymi zmiennymi. Nie wynika z tego jednak, że wysoka rzetelność automatycznie dowodzi trafności. Ocena narzędzia wymaga osobnych argumentów dotyczących między innymi treści pozycji, struktury wewnętrznej, związków z innymi zmiennymi i konsekwencji stosowania pomiaru (Mokkink et al., 2010a).

Główne rodzaje rzetelności

Rzetelność wewnętrzna

Rzetelność wewnętrzna, często nazywana spójnością wewnętrzną, opisuje stopień, w jakim pozycje należące do jednej skali są ze sobą powiązane. Ma sens wtedy, gdy pozycje mają wspólnie mierzyć jeden wymiar lub jedną jasno określoną domenę.

Najczęściej raportuje się współczynnik alfa Cronbacha. Dla skali złożonej z k pozycji jego postać można zapisać następująco:

α = [k / (k − 1)] × [1 − (Σ Var(X_i) / Var(X_sum))]

• k – liczba pozycji;
• Var(X_i) – wariancja i-tej pozycji;
• Var(X_sum) – wariancja wyniku sumarycznego;
• Σ – suma wariancji wszystkich pozycji.

Alfa rośnie między innymi wraz z podobieństwem pozycji i ich liczbą. Dlatego bardzo wysoka wartość, na przykład 0,95 lub więcej, nie musi oznaczać idealnego narzędzia. Może wskazywać, że pozycje są nadmiernie podobne i powtarzają tę samą treść. Alfa zakłada określone warunki modelowe, w szczególności odpowiednią jednowymiarowość oraz porównywalny udział pozycji w pomiarze. Jeżeli są one naruszone, interpretacja współczynnika staje się problematyczna (McNeish, 2018).

Współczesna praktyka psychometryczna często rozważa także współczynnik omega, szczególnie gdy pozycje mają różne ładunki czynnikowe. Nie należy jednak mechanicznie zastępować alfy omegą. Najpierw trzeba określić strukturę skali, typ danych, model pomiarowy i cel analizy.

Rzetelność stabilności w czasie

Rzetelność test–retest ocenia, czy wyniki są podobne przy dwóch pomiarach wykonanych w różnym czasie. Jest odpowiednia dla cech, które według teorii powinny pozostawać względnie stabilne, na przykład dla pewnych zdolności lub utrwalonych postaw.

Odstęp między pomiarami powinien być wystarczająco długi, aby badani nie pamiętali odpowiedzi, ale nie tak długi, by prawdopodobnie zmieniła się mierzona cecha. W przypadku objawów depresyjnych odstęp tygodnia może być zbyt krótki lub zbyt długi zależnie od populacji i leczenia. Wynik może zmienić się rzeczywiście, a nie z powodu nierzetelności narzędzia.

Do ilościowej oceny powtarzalności wyników ciągłych często stosuje się współczynnik korelacji wewnątrzklasowej, czyli ICC. Wybór konkretnej wersji ICC zależy od tego, czy interesuje nas zgodność bezwzględna czy jedynie zgodność rang, czy oceniamy pojedynczego ratownika czy średnią kilku ocen oraz czy ratownicy reprezentują określoną populację osób oceniających (Koo i Li, 2016).

Rzetelność między oceniającymi

Ten rodzaj rzetelności dotyczy zgodności ocen wystawianych przez różnych obserwatorów. Jest istotny w pielęgniarstwie, ratownictwie, psychiatrii, radiologii i badaniach obserwacyjnych. Jeżeli dwóch ratowników niezależnie klasyfikuje stan świadomości pacjenta, różnice między nimi mogą wynikać z niejednoznacznych kryteriów lub odmiennego szkolenia.

Dla danych nominalnych można wykorzystać współczynnik kappa Cohena przy dwóch oceniających albo kappa Fleissa przy większej liczbie oceniających. Dla danych porządkowych przydatne mogą być ważone współczynniki kappa. Dla ocen liczbowych często stosuje się ICC. Sama zgodność odsetkowa bywa myląca, ponieważ nie uwzględnia zgodności, która mogłaby wystąpić przypadkowo, oraz może być silnie zależna od częstości poszczególnych kategorii.

Błąd pomiaru

Współczynnik rzetelności opisuje względną powtarzalność, ale nie mówi bezpośrednio, jak duża jest typowa niepewność pojedynczego wyniku. Do tego celu służą miary błędu pomiaru, takie jak standardowy błąd pomiaru, SEM, oraz najmniejsza wykrywalna zmiana, SDC lub MDC.

W uproszczonym ujęciu:

SEM = SD × √(1 − r)

• SD – odchylenie standardowe wyników;
• r – odpowiedni współczynnik rzetelności;
• SEM – oszacowanie typowego błędu pojedynczego wyniku w jednostkach skali.

Jeśli skala oceny bólu ma SEM równy 2 punkty, zmiana wyniku z 5 do 6 może nie mieć znaczenia pomiarowego. W interpretacji indywidualnej warto więc podawać nie tylko współczynnik rzetelności, lecz także przedział niepewności i najmniejszą zmianę, którą można odróżnić od błędu.

Przykład 1: skala lęku u pacjentów

Załóżmy, że zespół badawczy opracował 12-punktową skalę lęku przed zabiegiem chirurgicznym. Każda pozycja jest oceniana od 0 do 3, a wyższy wynik oznacza większe nasilenie lęku. Skala została zastosowana u 180 pacjentów.

Najpierw badacze powinni sprawdzić, czy pozycje tworzą jeden wymiar, na przykład za pomocą analizy czynnikowej lub innych analiz struktury wewnętrznej. Jeżeli skala ma dwa wymiary, obliczanie jednej alfy dla wszystkich 12 pozycji może być niewłaściwe. Następnie można oszacować spójność każdej podskali. Załóżmy, że alfa dla pierwszej podskali wyniosła 0,82, a dla drugiej 0,71.

Nie wolno jednak napisać: „skala jest trafna, ponieważ alfa wyniosła 0,82”. Poprawniejszy wniosek brzmi: „w tej próbie uzyskano zadowalającą spójność wewnętrzną pierwszej podskali; wynik ten nie rozstrzyga o trafności pomiaru”. Należy także opisać liczbę pozycji, sposób kodowania pozycji odwróconych, charakter próby i przedział ufności dla oszacowania.

Jeżeli skala ma służyć do monitorowania pojedynczego pacjenta przed i po interwencji, potrzebne będą dodatkowo dane o stabilności, błędzie pomiaru i wrażliwości na zmianę. Sama spójność wewnętrzna nie odpowiada na pytanie, czy różnica po terapii jest większa niż niepewność pomiaru.

Przykład 2: ocena ciężkości stanu pacjenta przez ratowników

W badaniu ratownictwa medycznego dwóch ratowników ocenia 60 nagrań interwencji według trzystopniowej skali ciężkości stanu pacjenta: łagodny, umiarkowany, ciężki. Celem jest sprawdzenie, czy procedura klasyfikacji daje podobne wyniki niezależnie od osoby oceniającej.

Dla dwóch kategorii można byłoby rozważyć kappa Cohena, ale przy trzech kategoriach należy uwzględnić, że pomyłka między „łagodnym” i „umiarkowanym” jest mniej odległa niż pomyłka między „łagodnym” i „ciężkim”. W takim przypadku uzasadniona może być ważona kappa. Jeżeli ocena była wykonywana na skali liczbowej, właściwszy może być ICC.

Badacze powinni podać nie tylko wartość współczynnika, ale także 95-procentowy przedział ufności, liczbę oceniających, sposób ich doboru, stopień przeszkolenia, niezależność ocen oraz sposób rozwiązania rozbieżności. Należy również sprawdzić rozkład kategorii. Bardzo rzadka kategoria „ciężki” może prowadzić do niestabilnego oszacowania nawet wtedy, gdy odsetek zgodnych ocen wygląda wysoko.

Przykład praktyczny: porównanie dwóch aparatów do pomiaru ciśnienia

Przypuśćmy, że przychodnia chce zastąpić tradycyjny aparat naramienny urządzeniem automatycznym. U 80 osób wykonano pomiar obiema metodami. Wysoka korelacja Pearsona nie wystarcza do wykazania, że aparaty mogą być stosowane zamiennie. Korelacja opisuje podobieństwo uporządkowania osób, ale nie informuje, czy jeden aparat systematycznie zawyża wynik o 8 mmHg.

W takiej sytuacji należy ocenić zgodność metod. Przydatna jest analiza Bland–Altmana, obejmująca średnią różnicę pomiarów, czyli obciążenie, oraz granice zgodności. W uproszczeniu granice te można zapisać jako:

średnia różnica ± 1,96 × SD różnic

Jeżeli średnia różnica wynosi 1 mmHg, ale granice zgodności rozciągają się od −18 do 20 mmHg, nowy aparat może być zbyt niedokładny do indywidualnych decyzji klinicznych. Trzeba porównać szerokość granic z wcześniej ustalonym kryterium klinicznym, a nie z samym wynikiem testu istotności. Metody oceny zgodności i powtarzalności należy dobierać do celu pomiaru (Bland i Altman, 1986).

Jak interpretować wartości współczynników?

W literaturze spotyka się orientacyjne reguły, na przykład wartości poniżej 0,50 jako słabe, od 0,50 do 0,75 jako umiarkowane, od 0,75 do 0,90 jako dobre, a powyżej 0,90 jako bardzo dobre dla niektórych zastosowań ICC (Koo i Li, 2016). Nie są to jednak prawa natury. Narzędzie przesiewowe używane w badaniu grupowym może tolerować mniejszą rzetelność niż skala, na której opiera się decyzję o hospitalizacji konkretnego pacjenta.

Znaczenie ma także szerokość przedziału ufności. ICC równy 0,84 z przedziałem 0,58–0,94 nie daje takiej samej pewności jak ICC równy 0,84 z przedziałem 0,80–0,88. Szeroki przedział może wynikać z małej próby, niewielkiej zmienności badanych lub nieprecyzyjnego planu badania.

Nie należy utożsamiać rzetelności z istotnością statystyczną. Wartość p nie jest prawdopodobieństwem, że hipoteza zerowa jest prawdziwa, i nie mówi, czy narzędzie jest praktycznie użyteczne. W ocenie rzetelności należy rozważyć wielkość współczynnika, jego przedział ufności, błąd pomiaru, konsekwencje decyzji oraz kontekst kliniczny lub społeczny.

Jak zaplanować badanie rzetelności?

1. Zdefiniuj konstrukt i populację, dla której narzędzie ma być używane.
2. Określ, czy interesuje Cię spójność pozycji, stabilność w czasie, zgodność oceniających czy błąd pojedynczego pomiaru.
3. Ustal, czy cecha powinna pozostać stabilna między pomiarami.
4. Zapewnij standaryzację instrukcji, warunków i procedury.
5. Dobierz współczynnik do typu danych i projektu badania.
6. Przed analizą określ, jakie wartości błędu będą akceptowalne praktycznie.
7. Raportuj liczebność próby, brakujące dane, sposób kodowania, model współczynnika i przedział ufności.

W badaniach narzędzi zdrowotnych warto korzystać z terminologii i standardów COSMIN. Rozróżniają one między innymi spójność wewnętrzną, rzetelność, błąd pomiaru, trafność treściową, trafność konstruktu i responsywność. Takie rozdzielenie ogranicza ryzyko, że jeden współczynnik zostanie przedstawiony jako dowód wszystkich pożądanych właściwości narzędzia (Mokkink et al., 2010a; Mokkink et al., 2010b).

Najczęstsze błędy

• Traktowanie alfy Cronbacha jako pełnej oceny narzędzia. Alfa dotyczy określonego aspektu pomiaru i nie dowodzi trafności.
• Obliczanie jednej alfy dla wielowymiarowej skali. Najpierw trzeba rozważyć strukturę wewnętrzną i analizować podskale, jeśli teoria oraz dane to uzasadniają.
• Używanie korelacji Pearsona jako miary zgodności. Wysoka korelacja nie wyklucza systematycznego przesunięcia między metodami (Bland i Altman, 1986).
• Brak informacji o odstępie test–retest. Bez tej informacji trudno ocenić, czy zmieniła się cecha, czy jedynie warunki pomiaru.
• Raportowanie współczynnika bez przedziału ufności. Sama liczba może dawać fałszywe poczucie precyzji.
• Stosowanie kappy lub ICC bez określenia wariantu. Różne modele odpowiadają różnym pytaniom badawczym.
• Interpretowanie wysokiej rzetelności jako braku błędu. Każdy pomiar empiryczny ma ograniczoną dokładność.
• Automatyczne usuwanie pozycji zwiększających alfę. Pozycję należy usuwać z powodów teoretycznych i empirycznych, nie tylko dlatego, że poprawia współczynnik.
• Ignorowanie celu zastosowania. Inne wymagania dotyczą badań grupowych, inne monitorowania jednostki, a jeszcze inne klasyfikacji klinicznej.

Co warto zapamiętać?

• Rzetelność oznacza powtarzalność i ograniczenie wpływu przypadkowego błędu, ale nie jest synonimem trafności.
• Nie istnieje jeden uniwersalny wskaźnik rzetelności dla wszystkich narzędzi i projektów.
• Alfa Cronbacha opisuje spójność wewnętrzną, a nie całą jakość pomiaru.
• Test–retest wymaga odpowiednio dobranego odstępu oraz założenia, że mierzona cecha powinna pozostać względnie stabilna.
• W przypadku ocen liczbowych często potrzebny jest ICC, a dla zgodności metod pomiarowych – analiza odpowiednia do oceny różnic, na przykład metoda Bland–Altmana.
• Warto raportować przedziały ufności, błąd pomiaru i znaczenie praktyczne, a nie tylko wartość współczynnika.
• Rzetelność jest zawsze związana z konkretną populacją, procedurą i zastosowaniem narzędzia.

Dobrze przeprowadzona ocena rzetelności nie jest formalnym dodatkiem do tabeli wyników. To analiza tego, jak dużo z obserwowanej różnicy między osobami, pomiarami lub oceniającymi można uznać za informację powtarzalną. Dopiero na tej podstawie można rozsądnie interpretować wyniki kwestionariusza, testu klinicznego lub skali obserwacyjnej.

Źródła i dalsza lektura

1. Lidwine B. Mokkink; Caroline B. Terwee; Donald L. Patrick; Jordi Alonso; Paul W. Stratford; Dirk L. Knol; Lex M. Bouter; Henrica C. W. de Vet (2010). The COSMIN study reached international consensus on taxonomy, terminology, and definitions of measurement properties for health-related patient-reported outcomes. Journal of Clinical Epidemiology, 63(7), 737–745. DOI: 10.1016/j.jclinepi.2010.02.006.
2. Lidwine B. Mokkink; Caroline B. Terwee; Donald L. Patrick; Jordi Alonso; Paul W. Stratford; Dirk L. Knol; Lex M. Bouter; Henrica C. W. de Vet; et al. (2010). The COSMIN checklist for assessing the methodological quality of studies on measurement properties of health status measurement instruments: an international Delphi study. Quality of Life Research, 19, 539–549. DOI: 10.1007/s11136-010-9606-8.
3. Daniel McNeish (2018). Thanks coefficient alpha, We’ll take it from here. Psychological Methods, 23(3), 412–433. DOI: 10.1037/met0000144.
4. Tony K. Koo; Min Y. Li (2016). A Guideline of Selecting and Reporting Intraclass Correlation Coefficients for Reliability Research. Journal of Chiropractic Medicine, 15(2), 155–163. DOI: 10.1016/j.jcm.2016.02.012.
5. J. Martin Bland; Douglas G. Altman (1986). Statistical methods for assessing agreement between two methods of clinical measurement. The Lancet, 327(8476), 307–310. DOI: 10.1016/S0140-6736(86)90837-8.
6. Robert F. DeVellis (2017). Scale Development: Theory and Applications. 4th edition. SAGE Publications. Informacja wydawcy / źródło.