119. Błąd klasyfikacji zmiennych – skutki dla wyników

Lekcja 119 z 560. W poprzednich lekcjach omawialiśmy, jak definiować zmienne, dobierać wskaźniki i ustalać progi klasyfikacyjne. Samo przypisanie osoby, obserwacji lub zdarzenia do kategorii nie kończy jednak problemu pomiaru. Jeżeli klasyfikacja jest nietrafna, dalsza analiza może być formalnie poprawna, a mimo to prowadzić do zniekształconych wyników. Błąd klasyfikacji dotyczy nie tylko testów diagnostycznych. Może powstać także przy kodowaniu palenia tytoniu, rozpoznania depresji, poziomu wykształcenia, przestrzegania zaleceń, ciężkości urazu czy wystąpienia powikłania.

W tej lekcji wyjaśnimy, czym jest błąd klasyfikacji zmiennych, jakie są jego główne odmiany, dlaczego nie zawsze zmniejsza wynik do zera oraz jak opisywać i ograniczać jego skutki. Jest to naturalne rozwinięcie publicznego szkolenia metodologicznego na statystyk.edu.pl: poprawna analiza zaczyna się bowiem przed wyborem testu statystycznego, na etapie definiowania i pomiaru zmiennych.

Czym jest błąd klasyfikacji?

Błąd klasyfikacji występuje wtedy, gdy zaobserwowana lub zakodowana kategoria zmiennej nie odpowiada jej rzeczywistemu stanowi. W praktyce porównujemy dwie wersje zmiennej:

• stan prawdziwy – teoretycznie właściwa kategoria, której chcielibyśmy się dowiedzieć;
• stan zaobserwowany – kategoria wynikająca z zastosowanego kwestionariusza, testu, dokumentacji, wywiadu lub algorytmu.

Przykładowo osoba może rzeczywiście mieć nadciśnienie, ale pojedynczy pomiar ciśnienia może zaklasyfikować ją jako osobę bez nadciśnienia. Pacjent może rzeczywiście przyjmować lek nieregularnie, lecz w ankiecie deklarować pełne przestrzeganie zaleceń. W badaniu dotyczącym wypalenia zawodowego pielęgniarka może uzyskać wynik tuż poniżej ustalonego punktu odcięcia, mimo że jej funkcjonowanie kliniczne wskazuje na poważne przeciążenie.

Jeżeli zmienna jest binarna, błąd polega zwykle na zamianie wartości „tak” i „nie”. Przy zmiennej nominalnej może dochodzić do pomylenia kilku kategorii, na przykład rodzaju urazu. Przy zmiennej porządkowej obserwacja może zostać przypisana do niewłaściwego poziomu nasilenia, a przy zmiennej ciągłej błąd pomiaru może zostać później przekształcony w błąd klasyfikacji przez zastosowanie arbitralnego progu.

Skąd bierze się błąd klasyfikacji?

Niedoskonałe narzędzie pomiarowe

Żadne narzędzie nie musi rozpoznawać badanego stanu bezbłędnie. Test diagnostyczny może mieć ograniczoną czułość i swoistość, skala psychologiczna może nie obejmować wszystkich aspektów konstruktu, a pytanie ankietowe może być zbyt ogólne. Problemem może być również pomiar wykonywany w niewłaściwych warunkach, na przykład oznaczenie glikemii po posiłku zamiast zgodnie z protokołem.

Niejasna definicja operacyjna

Jeżeli badacze nie ustalą jednoznacznie, co oznacza „aktywny palacz”, „readmisja”, „ciężki uraz” albo „regularne przyjmowanie leku”, różni obserwatorzy mogą stosować odmienne reguły. Wtedy część błędu nie wynika z losowej niedokładności narzędzia, lecz z niespójności definicji.

Błędy obserwatora i dokumentacji

Klasyfikację może zmieniać sposób interpretacji wyniku, presja czasu, brak zaślepienia wobec informacji o pacjencie oraz różnice między ośrodkami. Błąd może powstać również podczas przepisywania danych z dokumentacji do bazy lub kodowania odpowiedzi tekstowych.

Nieprecyzyjne punkty odcięcia

Gdy zmienna ciągła zostaje podzielona na kategorie, niewielka różnica pomiaru może przesunąć osobę z jednej grupy do drugiej. Osoba z wynikiem 9,9 może trafić do innej kategorii niż osoba z wynikiem 10,1, mimo że ich rzeczywiste położenie na mierzonej skali jest bardzo podobne. Znaczenie takiego problemu zależy od celu badania, rozkładu wyników oraz jakości pomiaru.

Klasyfikacja niedifferencjalna i różnicowa

Podstawowy podział dotyczy tego, czy prawdopodobieństwo błędnej klasyfikacji zależy od innych zmiennych badania.

Błąd niedifferencjalny oznacza, że dokładność klasyfikacji jest podobna w porównywanych grupach, na przykład u osób z wynikiem i bez wyniku chorobowego. Nie oznacza to jednak, że skutki są zawsze łagodne ani że wynik zostanie automatycznie przesunięty w stronę braku związku. W badaniach epidemiologicznych często powtarza się uproszczenie, że niedifferencjalna błędna klasyfikacja „osłabia efekt”. Jest to użyteczna intuicja w niektórych prostych sytuacjach, ale nie uniwersalne prawo (Flegal, Keyl i Nieto, 1991; Lash, VanderWeele, Haneuse i Rothman, 2021).

Błąd różnicowy występuje wtedy, gdy prawdopodobieństwo błędnej klasyfikacji zależy od innej zmiennej, na przykład od statusu chorobowego, grupy leczenia, płci, ośrodka lub wyniku badanego. Wtedy błąd może zarówno osłabić, jak i zwiększyć obserwowany związek, a czasem wytworzyć pozorną zależność.

Przykładem błędu różnicowego jest sytuacja, w której osoby z rozpoznaniem choroby dokładniej przypominają sobie dawną ekspozycję niż osoby zdrowe. Innym przykładem może być różna intensywność poszukiwania powikłań w dwóch grupach leczenia. Jeżeli badacz wie, kto otrzymał interwencję, i częściej kieruje te osoby na dodatkowe badania, klasyfikacja wyniku może zależeć od grupy badania.

Warto podkreślić, że nawet pozornie niedifferencjalny błąd pomiaru zmiennej ciągłej może po zastosowaniu punktu odcięcia prowadzić do bardziej złożonych skutków. Flegal, Keyl i Nieto pokazali, że niedifferencjalne błędy pomiaru ekspozycji mogą po kategoryzacji skutkować klasyfikacją różnicową i nieprzewidywalnym kierunkiem obciążenia (Flegal, Keyl i Nieto, 1991). Nowsze opracowania również ostrzegają przed mechanicznym stosowaniem reguły „w stronę zera” (Jurek i in., 2022).

Czułość, swoistość i macierz pomyłek

W przypadku zmiennej binarnej przydatnym opisem jakości klasyfikacji jest macierz pomyłek:

	Stan prawdziwy: tak	Stan prawdziwy: nie
Klasyfikacja: tak	prawdziwie dodatni	fałszywie dodatni
Klasyfikacja: nie	fałszywie ujemny	prawdziwie ujemny

Czułość to odsetek prawdziwie dodatnich przypadków poprawnie rozpoznanych przez narzędzie:

czułość = P(test dodatni | stan prawdziwy dodatni)

Swoistość to odsetek prawdziwie ujemnych przypadków poprawnie rozpoznanych jako ujemne:

swoistość = P(test ujemny | stan prawdziwy ujemny)

Symbol P() oznacza prawdopodobieństwo warunkowe. Czułość odpowiada na pytanie, jak często narzędzie wykrywa osoby rzeczywiście należące do danej kategorii. Swoistość mówi, jak często prawidłowo wyklucza osoby, które do tej kategorii nie należą. Obie miary opisują jakość klasyfikacji względem stanu referencyjnego, ale nie są tym samym co dodatnia i ujemna wartość predykcyjna. Te ostatnie zależą również od częstości badanego stanu w populacji.

Jak błąd klasyfikacji wpływa na wyniki?

Zniekształcenie częstości i rozkładów

Jeżeli część osób zdrowych zostanie zaklasyfikowana jako chora, oszacowana częstość choroby będzie zawyżona. Jeżeli narzędzie pomija część rzeczywistych przypadków, częstość może być zaniżona. Wpływ zależy od równowagi między fałszywie dodatnimi i fałszywie ujemnymi wynikami oraz od częstości stanu w populacji.

Zniekształcenie miar związku

Błąd ekspozycji może zmieniać iloraz szans, ryzyko względne, różnicę ryzyka, współczynnik regresji lub hazard względny. Nie istnieje jedna reguła określająca kierunek zmiany dla wszystkich modeli. W prostym przykładzie część osób palących może zostać zaklasyfikowana jako niepaląca, a część niepalących jako paląca. Grupy stają się wtedy bardziej podobne, co często osłabia obserwowany związek. Jednak nierówne proporcje błędów, wiele kategorii, silne niezrównoważenie grup lub nieliniowość modelu mogą prowadzić do innego wyniku.

Zmiana wniosków o istotności statystycznej

Błąd klasyfikacji może zmniejszyć kontrast między grupami i zwiększyć niepewność oszacowania. W konsekwencji przedział ufności może stać się szerszy, a wynik przestać spełniać przyjęte kryterium istotności statystycznej. Może również dojść do sytuacji odwrotnej, zwłaszcza przy błędzie różnicowym lub systematycznym. Wartość p nie jest prawdopodobieństwem prawdziwości hipotezy zerowej i sama nie informuje, czy wynik jest praktycznie ważny.

Wpływ na modele wieloczynnikowe

Jeśli błędnie sklasyfikowana zmienna jest główną ekspozycją, jej współczynnik może zostać zniekształcony. Jeżeli błąd dotyczy zmiennej zakłócającej, kontrola statystyczna może być niepełna. Model może pozornie kontrolować konfunder, mimo że jego kategorie są zbyt niedokładne. Błąd wyniku może natomiast zmieniać przypisanie osób do przypadków i nieprzypadków, wpływając na wszystkie analizowane związki.

Przykład 1: przesiew w kierunku depresji

Załóżmy, że w poradni przebadano 1000 osób za pomocą krótkiego kwestionariusza przesiewowego. Rzeczywisty stan depresji ustalany przez pogłębioną ocenę kliniczną dotyczy 100 osób. Kwestionariusz ma czułość 80% i swoistość 90%.

Wśród 100 osób rzeczywiście chorych test wskaże dodatni wynik u 80 osób, a 20 osób pominie. Wśród 900 osób bez depresji wynik dodatni uzyska 90 osób, mimo braku stanu klinicznego. Łącznie test wskaże 170 przypadków, choć rzeczywistych przypadków jest 100. Oszacowana częstość na podstawie samego testu wyniesie 17%, podczas gdy częstość względem standardu referencyjnego wynosi 10%.

Nie oznacza to, że test jest bezużyteczny. Oznacza jednak, że dodatni wynik przesiewowy nie powinien być automatycznie traktowany jako rozpoznanie. W analizie badawczej zastosowanie tej klasyfikacji bez opisania czułości i swoistości może zawyżyć częstość depresji i zmienić zależności z innymi zmiennymi, na przykład statusem zatrudnienia lub obciążeniem opieką.

Przykład 2: przestrzeganie zaleceń u pacjentów

W badaniu dotyczącym kontroli ciśnienia tętniczego pacjentów dzieli się na „przestrzegających zaleceń” i „nieprzestrzegających” na podstawie samooceny. Pacjenci, którzy osiągają dobre wartości ciśnienia, mogą częściej udzielać odpowiedzi zgodnych z oczekiwaniami personelu. W takim przypadku dokładność deklaracji zależy od wyniku zdrowotnego. Jest to potencjalny błąd różnicowy.

Jeżeli badacz stwierdzi, że przestrzeganie zaleceń silnie wiąże się z kontrolą ciśnienia, nie może automatycznie uznać tego za efekt rzeczywistego zachowania. Część zależności może wynikać z tego, że osoby z dobrym wynikiem dokładniej lub bardziej społecznie pożądanie opisują własne postępowanie. Lepszym rozwiązaniem byłoby połączenie kilku wskaźników: deklaracji, danych o realizacji recept, przeglądu dokumentacji i – jeżeli to możliwe – obiektywnego pomiaru przyjmowania leku.

Przykład praktyczny: badanie wieloośrodkowe

Wyobraźmy sobie badanie ratowników medycznych dotyczące częstości objawów wypalenia zawodowego w pięciu stacjach pogotowia. W trzech stacjach wykorzystano pełną skalę z ustalonym kluczem, a w dwóch – skróconą wersję z innym punktem odcięcia. Następnie wszystkie osoby zaklasyfikowano jako „wypalone” albo „niewypalone”.

Różnice między stacjami mogą zostać błędnie zinterpretowane jako różnice w rzeczywistym nasileniu wypalenia. Tymczasem część rozbieżności będzie wynikała z odmiennej operacjonalizacji. Jest to problem porównywalności pomiaru, a nie wyłącznie problem wyboru testu statystycznego.

Właściwe postępowanie obejmowałoby: uzgodnienie jednej definicji wyniku przed rozpoczęciem badania, szkolenie osób kodujących, sprawdzenie zgodności klasyfikacji na próbie danych, dokumentowanie braków oraz analizę wrażliwości dla alternatywnych punktów odcięcia. W raporcie należy opisać narzędzie, sposób liczenia wyniku, regułę klasyfikacji i ewentualne dane o jego trafności. Zalecenia STROBE podkreślają znaczenie jasnego przedstawiania definicji zmiennych i sposobu pomiaru w badaniach obserwacyjnych (von Elm i in., 2007; Vandenbroucke i in., 2007).

Jak ograniczać błąd klasyfikacji?

1. Zdefiniuj stan referencyjny. Ustal, względem czego oceniasz poprawność klasyfikacji: badania klinicznego, niezależnego eksperta, zwalidowanego narzędzia lub uzgodnionego kryterium.
2. Stosuj narzędzia o znanej trafności. Sprawdź, w jakiej populacji oceniano czułość, swoistość, rzetelność i trafność narzędzia.
3. Standaryzuj procedurę. Przygotuj instrukcję, szkolenie, reguły kodowania i kontrolę jakości.
4. Ograniczaj wpływ informacji dodatkowych. Zaślepienie osoby oceniającej wobec ekspozycji lub wyniku może zmniejszyć ryzyko błędu różnicowego.
5. Nie kategoryzuj bez potrzeby. Jeżeli pytanie badawcze i model na to pozwalają, zachowanie zmiennej ciągłej może ograniczyć utratę informacji.
6. Raportuj niepewność pomiaru. Podaj dostępne dane o czułości, swoistości, zgodności między obserwatorami oraz odsetku niejednoznacznych wyników.
7. Wykonaj analizę wrażliwości. Sprawdź, jak zmieniają się wnioski przy realistycznych wartościach błędu klasyfikacji.

W bardziej zaawansowanych analizach można stosować korektę względem błędu pomiaru, probabilistyczną analizę wrażliwości, modele latentne (ukryte), regresję kalibracyjną lub metody SIMEX. Dobór metody zależy od rodzaju zmiennej, dostępności badania walidacyjnego, modelu statystycznego i założeń dotyczących mechanizmu błędu. Przegląd STRATOS omawia między innymi klasyczne modele błędu, błąd różnicowy i niedifferencjalny oraz metody korekty w analizach regresyjnych (Keogh i in., 2020).

Najczęstsze błędy

• Traktowanie kategorii jako stanu prawdziwego. Kod „1” w bazie nie dowodzi, że badane zjawisko rzeczywiście wystąpiło.
• Założenie, że każdy błąd niedifferencjalny prowadzi do wyniku w stronę zera. Kierunek obciążenia trzeba uzasadnić, a nie przyjmować mechanicznie.
• Mylenie czułości ze swoistością. Czułość dotyczy wykrywania prawdziwych przypadków, a swoistość prawidłowego wykluczania osób bez danego stanu.
• Ignorowanie punktu odcięcia. Zmiana progu może zmienić liczbę przypadków i porównywalność wyników.
• Łączenie danych z różnych ośrodków bez harmonizacji. Ta sama nazwa zmiennej nie gwarantuje tej samej definicji.
• Usuwanie niejednoznacznych obserwacji bez opisu. Taka decyzja może zmienić skład próby i wprowadzić dodatkowe obciążenie.
• Skupienie wyłącznie na wartości p. Należy jednocześnie ocenić wielkość efektu, przedział ufności, jakość pomiaru i znaczenie praktyczne.
• Język przyczynowy bez odpowiedniego schematu. Niedokładna klasyfikacja może dodatkowo osłabiać wiarygodność wniosków, ale nie zmienia badania obserwacyjnego w eksperyment.

Co warto zapamiętać?

• Błąd klasyfikacji oznacza niezgodność między stanem rzeczywistym a kategorią zapisaną w danych.
• Może dotyczyć ekspozycji, wyniku, konfudera (zmiennej zakłócającej), mediatora lub dowolnej innej zmiennej.
• Błąd niedifferencjalny nie zawsze działa w stronę braku związku.
• Błąd różnicowy może zniekształcić wynik w dowolnym kierunku, a nawet wytworzyć pozorną zależność.
• Czułość i swoistość opisują jakość klasyfikacji, ale nie zastępują analizy wpływu błędu na konkretny model.
• Najlepszą ochroną jest precyzyjna definicja operacyjna, standaryzacja, walidacja i jawne raportowanie.
• Jeżeli dokładność pomiaru jest nieznana, wnioski powinny być formułowane ostrożnie i – gdy to możliwe – uzupełnione analizą wrażliwości.

Najważniejsza zasada: klasyfikacja zmiennej jest częścią pomiaru, a nie neutralnym etapem technicznym. Jeżeli kategorie są błędne, nawet doskonale wykonana analiza statystyczna może odpowiadać na inne pytanie niż to, które zaplanował badacz.

Źródła i dalsza lektura

1. Keogh, R. H.; Shaw, P. A.; Gustafson, P.; Carroll, R. J.; Deffner, V.; Dodd, K. W.; Küchenhoff, H.; Tooze, J. A.; Kipnis, V.; Freedman, L. S.; Cole, S. R.; others (2020). STRATOS guidance document on measurement error and misclassification of variables in observational epidemiology: Part 1—Basic theory and simple methods of adjustment. Statistics in Medicine, 39(16), 2197–2215. DOI: 10.1002/sim.8532.
2. Flegal, K. M.; Keyl, P. M.; Nieto, F. J. (1991). Differential misclassification arising from nondifferential errors in exposure measurement. American Journal of Epidemiology, 134(10), 1233–1244. DOI: 10.1093/oxfordjournals.aje.a116026.
3. Jurek, A. M.; Greenland, S.; Maldonado, G.; Church, T. R. (2022). Misconceptions About the Direction of Bias From Nondifferential Misclassification. American Journal of Epidemiology, 191(8), 1485–1495. DOI: 10.1093/aje/kwac035.
4. Lash, T. L.; VanderWeele, T. J.; Haneuse, S.; Rothman, K. J. (2021). Modern Epidemiology. 4th edition. Wolters Kluwer. Informacja wydawcy / źródło.
5. Kirkwood, B. R.; Sterne, J. A. C. (2003). Essential Medical Statistics. 2nd edition. Blackwell Science. Informacja wydawcy / źródło.
6. von Elm, E.; Altman, D. G.; Egger, M.; Pocock, S. J.; Gøtzsche, P. C.; Vandenbroucke, J. P.; for the STROBE Initiative (2007). The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) Statement: Guidelines for Reporting Observational Studies. PLoS Medicine, 4(10), e296. DOI: 10.1371/journal.pmed.0040296.
7. Vandenbroucke, J. P.; von Elm, E.; Altman, D. G.; Gøtzsche, P. C.; Mulrow, C. D.; Pocock, S. J.; Poole, C.; Schlesselman, J. J.; Egger, M. (2007). Strengthening the Reporting of Observational Studies in Epidemiology (STROBE): Explanation and Elaboration. PLoS Medicine, 4(10), e297. DOI: 10.1371/journal.pmed.0040297.

Jeżeli potrzebujesz indywidualnego wsparcia w doborze metod, przygotowaniu bazy lub opracowaniu wyników badań, sprawdź analiza statystyczna.