116. Jak ustalać progi klasyfikacyjne i dlaczego arbitralne punkty odcięcia są ryzykowne?

W wielu badaniach wynik pomiaru ma charakter ciągły: stężenie biomarkera, ciśnienie tętnicze, liczba punktów w skali depresji, czas reakcji albo wynik testu wiedzy. Badacz często chce jednak utworzyć kategorie, na przykład „wynik prawidłowy” i „wynik nieprawidłowy” albo „niskie”, „umiarkowane” i „wysokie ryzyko”. W tym celu ustala próg klasyfikacyjny, nazywany także punktem odcięcia lub cut-off.

Sam fakt zastosowania progu nie jest błędem. Problem pojawia się wtedy, gdy wartość graniczna zostaje wybrana bez uzasadnienia, tylko dlatego, że jest wygodna, równa albo daje oczekiwany wynik. Taki zabieg może zmienić sens pomiaru, zwiększyć ryzyko fałszywych klasyfikacji i utrudnić porównywanie badań. W tej lekcji, przygotowanej w ramach szkolenia na statystyk.edu.pl, przeanalizujemy, jak ustalać progi w sposób merytoryczny i przejrzysty.

Czym jest próg klasyfikacyjny?

Próg klasyfikacyjny to ustalona wartość zmiennej, która rozdziela obserwacje na co najmniej dwie kategorie. Jeżeli wynik testu oznaczymy symbolem X, a próg symbolem c, klasyfikację binarną można zapisać następująco:

Jeżeli X ≥ c, osoba zostaje zaklasyfikowana do grupy dodatniej; jeżeli X < c, zostaje zaklasyfikowana do grupy ujemnej.

Wartość „dodatnia” nie musi oznaczać choroby. Może oznaczać podwyższone ryzyko, potrzebę dalszej diagnostyki, spełnienie kryterium udziału w programie albo osiągnięcie określonego poziomu kompetencji. Znaczenie progu zawsze zależy od celu badania i konstruktu, który mierzymy.

Trzeba odróżnić trzy sytuacje:

• Próg kliniczny lub regulacyjny wynika z wytycznych, norm, przepisów albo uzgodnionej definicji przypadku.
• Próg referencyjny opisuje zakres typowych wyników w określonej populacji, ale nie musi wskazywać granicy choroby.
• Próg predykcyjny służy do przewidywania zdarzenia, na przykład hospitalizacji, nawrotu lub pogorszenia stanu zdrowia.

Te trzy rodzaje progów nie powinny być utożsamiane. Granica między wartościami typowymi a nietypowymi może być inna niż granica, przy której opłaca się rozpocząć leczenie lub wykonać dodatkowe badanie.

Dlaczego arbitralna wartość progu odcięcia jest ryzykowna?

Utrata informacji

Zamiana zmiennej ciągłej na dwie kategorie powoduje utratę części informacji. Osoby z wynikami 9,9 i 10,1 mogą zostać umieszczone w różnych grupach, mimo że praktycznie się nie różnią. Z kolei osoby z wynikami 2 i 9 mogą trafić do tej samej kategorii, jeśli obie znajdą się poniżej ustalonego progu.

Dychotomizacja może także zmniejszyć moc statystyczną analizy. Jeżeli rzeczywisty związek między wynikiem a badanym zdarzeniem jest stopniowy, sztuczne rozdzielenie obserwacji może osłabić możliwość jego wykrycia. W analizach etiologicznych i prognostycznych często lepiej zachować zmienną ciągłą, a ewentualny próg przedstawić dodatkowo jako narzędzie decyzji.

Skok pozorny zamiast ciągłości

Próg może sugerować, że po jednej stronie występuje „brak problemu”, a po drugiej „problem”, choć proces biologiczny lub psychologiczny ma charakter ciągły. Dotyczy to między innymi ciśnienia tętniczego, stężenia glukozy, poziomu lęku czy nasilenia bólu. Klasyfikacja jest wtedy konwencją decyzyjną, a nie odkryciem naturalnej granicy w populacji.

Wrażliwość wyników na wybraną wartość

Niewielka zmiana progu może znacząco zmienić liczebność grup, odsetek osób uznanych za zagrożone i wyniki modeli statystycznych. Jeżeli badacz sprawdza wiele możliwych punktów odcięcia, a następnie wybiera ten, który daje najkorzystniejszą wartość p albo największą różnicę między grupami, otrzymuje wynik obciążony selekcją.

W badaniach diagnostycznych wybór optymalnego progu na podstawie tych samych danych, na których oceniano skuteczność testu, może prowadzić do zbyt optymistycznych oszacowań czułości i swoistości (Fluss, Faraggi i Reiser, 2005; Leeflang i in., 2008). Dlatego próg powinien być, o ile to możliwe, ustalony wcześniej albo zweryfikowany w niezależnej próbie.

Jak oceniać jakość klasyfikacji?

W klasyfikacji binarnej wynik testu porównuje się z referencyjnym stanem lub zdarzeniem. Powstaje tabela czterech kategorii:

	Stan obecny	Stan nieobecny
Wynik dodatni	Prawdziwie dodatni	Fałszywie dodatni
Wynik ujemny	Fałszywie ujemny	Prawdziwie ujemny

Na tej podstawie oblicza się między innymi:

• czułość = prawdziwie dodatni / wszyscy, u których stan jest obecny;
• swoistość = prawdziwie ujemny / wszyscy, u których stan jest nieobecny;
• dodatnią wartość predykcyjną = prawdziwie dodatni / wszyscy z wynikiem dodatnim;
• ujemną wartość predykcyjną = prawdziwie ujemny / wszyscy z wynikiem ujemnym.

Czułość i swoistość opisują właściwości klasyfikacji względem stanu referencyjnego. Wartości predykcyjne zależą dodatkowo od częstości badanego stanu w populacji. Z tego powodu ten sam próg odcięcia może mieć inną użyteczność w poradni specjalistycznej, a inną w przesiewowym programie populacyjnym (Altman i Bland, 1994).

Krzywa ROC i indeks Youdena

Jeżeli test daje wynik ciągły, można obliczyć czułość i swoistość dla wielu możliwych progów. Wykres zależności czułości od odsetka wyników fałszywie dodatnich, czyli 1 − swoistość, nazywa się krzywą ROC. Pole pod krzywą, AUC, opisuje zdolność testu do rozróżniania osób z badanym stanem i bez niego w całym zakresie progów.

Jednym z kryteriów wyboru progu jest indeks Youdena:

J = czułość + swoistość − 1

gdzie J oznacza indeks Youdena, a czułość i swoistość są wyrażone jako wartości od 0 do 1. Wartość J może mieścić się od 0 do 1; większa wartość oznacza lepszą łączną klasyfikację według tego konkretnego kryterium.

Próg maksymalizujący J nie jest jednak automatycznie „najlepszym” progiem klinicznym. Indeks zakłada symetryczne traktowanie błędów, podczas gdy w praktyce fałszywe przeoczenie ciężkiej choroby może być znacznie poważniejsze niż niepotrzebne skierowanie na dodatkowe badanie. Wybór progu powinien więc uwzględniać konsekwencje decyzji, koszty, dostępność dalszej diagnostyki i preferencje pacjentów.

Przykład 1: przesiewowe wykrywanie pogorszenia stanu pacjenta

Załóżmy, że oddział ratunkowy stosuje skalę wczesnego ostrzegania od 0 do 20 punktów. Badacz chce ustalić, od jakiego wyniku pacjent powinien zostać oceniony przez lekarza. W próbie 400 osób sprawdzono trzy progi:

Próg	Czułość	Swoistość	Znaczenie praktyczne
≥ 4	0,94	0,42	Mało przeoczeń, wiele dodatkowych konsultacji
≥ 6	0,82	0,68	Równowaga między wykrywaniem a obciążeniem oddziału
≥ 8	0,61	0,86	Mniej fałszywych alarmów, więcej przeoczeń

Jeżeli celem jest wczesne wykrycie stanu potencjalnie zagrażającego życiu, próg 4 może być rozsądniejszy niż próg 8, nawet jeśli ten ostatni ma wyższą swoistość. Jeżeli jednak oddział nie ma możliwości szybkiej oceny wszystkich pacjentów, próg 6 może być organizacyjnie bardziej użyteczny. Nie ma jednej wartości „najlepszej” niezależnie od zastosowania.

Przykład 2: skala objawów depresyjnych

Załóżmy, że kwestionariusz objawów depresyjnych daje wynik od 0 do 27 punktów. Badacz dzieli uczestników według mediany wynoszącej 11 punktów i porównuje osoby z wynikiem niższym oraz wyższym. Taki podział może być wygodny analitycznie, ale nie musi mieć znaczenia klinicznego. Mediana zależy od badanej próby: w innej populacji może wynosić 7 albo 15 punktów.

Jeżeli celem jest opis rozkładu badanej grupy, podział według mediany może być dopuszczalny, ale należy nazwać go wyraźnie: „wynik poniżej mediany” i „wynik równy lub wyższy od mediany”. Nie należy przedstawiać tych grup jako osób „bez depresji” i „z depresją”, chyba że próg ma niezależne, zweryfikowane uzasadnienie diagnostyczne.

W analizie związku między nasileniem objawów a jakością życia lepiej pozostawić wynik skali jako zmienną ciągłą, ewentualnie użyć modelu nieliniowego. Próg odcięcia można wtedy przedstawić jako uzupełnienie służące komunikacji lub decyzji klinicznej.

Przykład praktyczny: jak zaplanować ustalenie progu?

Rozważmy badanie testu oceniającego ryzyko ponownej hospitalizacji w ciągu 30 dni. Zespół badawczy powinien przejść przez następujące kroki:

1. Zdefiniować decyzję. Należy ustalić, co ma się wydarzyć po przekroczeniu progu: dodatkowa rozmowa, konsultacja, monitorowanie lub interwencja.
2. Określić stan referencyjny. Trzeba wskazać, jak zostanie ustalone, czy zdarzenie rzeczywiście wystąpiło. Sama opinia badacza może być niewystarczająca.
3. Ustalić konsekwencje błędów. Czy gorsze jest pominięcie osoby wysokiego ryzyka, czy objęcie pomocą osoby, która ostatecznie nie zostanie ponownie hospitalizowana?
4. Wybrać metodę. Można wykorzystać próg z wytycznych, analizę ROC, model decyzyjny albo wcześniej uzasadnioną wartość kliniczną.
5. Unikać dopasowania do przypadkowego szumu. Jeżeli próg wyznaczono empirycznie, należy zastosować walidację wewnętrzną i, najlepiej, zewnętrzną.
6. Raportować wszystkie istotne informacje. Należy podać populację, sposób pomiaru, jednostki, kierunek klasyfikacji, próg, czułość, swoistość, przedziały ufności oraz liczebności w tabeli klasyfikacji.

Standard STARD zaleca przejrzyste raportowanie metod i wyników badań dokładności diagnostycznej, w tym sposobu definiowania progu oraz populacji, w której oceniano jego działanie (Bossuyt i in., 2015). Samo podanie wartości AUC nie wystarcza, ponieważ AUC nie informuje, jaki kompromis między błędami przyjęto dla konkretnej decyzji.

Najczęstsze błędy

• Dzielenie według mediany bez uzasadnienia. Mediana opisuje badaną próbę, a niekoniecznie ważną granicę kliniczną lub teoretyczną.
• Wybór progu po obejrzeniu wyników. Poszukiwanie wartości dającej najmniejszą wartość p zwiększa ryzyko wyników przypadkowych.
• Traktowanie wyniku testu jako diagnozy. Próg klasyfikuje według określonego kryterium, ale nie zastępuje pełnego procesu diagnostycznego.
• Pomijanie niepewności. Czułość, swoistość i optymalny cut-off są estymowane z próby. Należy podawać przedziały ufności.
• Używanie jednego progu w każdej populacji. Wynik może zależeć od wieku, płci, chorób współistniejących, sposobu rekrutacji i częstości zdarzenia.
• Koncentrowanie się wyłącznie na AUC. Dobra dyskryminacja ogólna nie gwarantuje użyteczności przy konkretnym progu.
• Mieszanie progu referencyjnego z decyzyjnym. Zakres typowych wartości nie musi być granicą, przy której należy rozpocząć interwencję.
• Brak informacji o wartościach granicznych. Trzeba wyjaśnić, czy obserwacja równa progowi trafia do kategorii dodatniej czy ujemnej.

Jak opisywać progi w pracy badawczej?

Dobry opis powinien odpowiadać na kilka pytań: dlaczego wybrano właśnie ten próg, czy był ustalony przed analizą, z jakiej populacji pochodzi, jaki jest stan referencyjny, jakie są konsekwencje błędów oraz jak stabilne są wyniki w innych próbach.

Przykładowe sformułowanie może brzmieć: „Próg 6 punktów ustalono a priori na podstawie protokołu oddziałowego, ponieważ celem było ograniczenie liczby fałszywie ujemnych klasyfikacji. W analizie przedstawiono czułość, swoistość, dodatnią i ujemną wartość predykcyjną wraz z 95% przedziałami ufności. Wyniki progu oceniono także w analizie wrażliwości dla wartości 5 i 7 punktów”.

Jeżeli próg został wyznaczony dopiero w analizie, należy napisać to wprost i traktować rezultat jako eksploracyjny. Nie wolno przedstawiać takiej wartości jako uniwersalnej normy bez niezależnej walidacji.

Co warto zapamiętać?

• Próg klasyfikacyjny jest narzędziem decyzji, a nie zawsze naturalną granicą badanego zjawiska.
• Arbitralny próg odcięcia może prowadzić do utraty informacji, obniżenia mocy analizy i niestabilnych wniosków.
• Mediana, średnia lub kwartyle nie stają się automatycznie progami klinicznymi tylko dlatego, że są łatwe do obliczenia.
• Wybór progu powinien wynikać z celu badania, konsekwencji błędów, wiedzy dziedzinowej i właściwej metody statystycznej.
• Krzywa ROC i indeks Youdena pomagają porównywać progi, ale nie zastępują oceny użyteczności praktycznej.
• Próg wybrany na podstawie tych samych danych powinien być zweryfikowany w niezależnej populacji.
• W analizach zależności warto zachować wynik ciągły, a klasyfikację przedstawiać jako analizę dodatkową, jeśli nie ma silnego uzasadnienia dla kategoryzacji.

Najważniejsza zasada brzmi: najpierw określ, jaką decyzję ma wspierać próg, a dopiero potem wybieraj jego wartość. Dzięki temu operacjonalizacja pozostaje częścią poprawnego projektu badania, a nie technicznym zabiegiem wykonywanym po obejrzeniu danych.

Źródła i dalsza lektura

1. Altman, D. G.; Bland, J. M. (1994). Statistics Notes: Diagnostic tests 1: sensitivity and specificity. BMJ, 308(6943), 1552. DOI: 10.1136/bmj.308.6943.1552.
2. Bossuyt, P. M.; Reitsma, J. B.; Bruns, D. E.; Gatsonis, C. A.; Glasziou, P. P.; Irwig, L.; Lijmer, J. G.; Moher, D.; Rennie, D.; de Vet, H. C. W.; Kressel, H. Y.; Rifai, N.; Golub, R. M.; Altman, D. G.; Hooft, L.; Korevaar, D. A.; Cohen, J. F.; STARD Group (2015). STARD 2015: An Updated List of Essential Items for Reporting Diagnostic Accuracy Studies. BMJ, 351, h5527. DOI: 10.1136/bmj.h5527.
3. Fluss, R.; Faraggi, D.; Reiser, B. (2005). Estimation of the Youden Index and its associated cutoff point. Biometrical Journal, 47(4), 458–472. DOI: 10.1002/bimj.200410135.
4. Leeflang, M. M. G.; Moons, K. G. M.; Reitsma, J. B.; Zwinderman, A. H. (2008). Bias in sensitivity and specificity caused by data-driven selection of optimal cutoff values: mechanisms, magnitude, and solutions. Clinical Chemistry, 54(4), 729–737. DOI: 10.1373/clinchem.2007.096032.
5. Schisterman, E. F.; Faraggi, D.; Reiser, B.; Hu, J. (2008). Youden Index and the optimal threshold for markers with mass at zero. Statistics in Medicine, 27(2), 297–315. DOI: 10.1002/sim.2993.
6. Kallner, A. (2018). Bayes’ theorem, the ROC diagram and reference values: Definition and use in clinical diagnosis. Biochemia Medica, 28(1), 010101. DOI: 10.11613/BM.2018.010101.