498. Wybór punktu odcięcia – kompromis czułość/swoistość

Lekcja 498 z 560. W poprzedniej lekcji omówiliśmy krzywą ROC i pole pod krzywą. Teraz przechodzimy od opisu całego zakresu możliwych decyzji do pytania praktycznego: który konkretny wynik testu powinien zostać uznany za dodatni? Odpowiedź wyznacza punkt odcięcia, czyli wartość rozdzielającą wyniki interpretowane jako ujemne i dodatnie. Jego wybór zawsze oznacza kompromis między wykrywaniem osób rzeczywiście chorych a ograniczaniem liczby wyników fałszywie dodatnich.

Czym jest punkt odcięcia?

W wielu badaniach diagnostycznych wynik nie jest od razu kategorią „choroba obecna” albo „choroba nieobecna”. Może być liczbą: stężeniem biomarkera, ciśnieniem tętniczym, temperaturą, wynikiem kwestionariusza, czasem reakcji lub prawdopodobieństwem uzyskanym z modelu predykcyjnego. Aby podjąć decyzję, trzeba ustalić wartość graniczną.

Jeżeli wyższe wartości oznaczają większe prawdopodobieństwo choroby, reguła decyzyjna ma postać:

Wynik dodatni, gdy X ≥ c

Wynik ujemny, gdy X < c

gdzie X oznacza zaobserwowany wynik testu, a c – punkt odcięcia. Gdy większe wartości wskazują na zdrowie, kierunek nierówności trzeba odwrócić.

Zmiana wartości c zmienia liczbę osób zakwalifikowanych jako dodatnie. Obniżenie progu zwykle zwiększa czułość, ponieważ więcej osób chorych zostaje wykrytych, ale równocześnie może obniżyć swoistość, ponieważ więcej osób zdrowych otrzyma wynik dodatni. Podwyższenie progu działa zazwyczaj odwrotnie. Ten związek jest podstawą analizy ROC (Zweig i Campbell, 1993).

Czułość i swoistość jako konsekwencje wyboru progu

Przy danym punkcie odcięcia wynik testu można zestawić ze stanem rzeczywistym ustalonym za pomocą wiarygodnego standardu odniesienia. Powstaje tabela 2 × 2:

Choroba obecna Choroba nieobecna
Test dodatni TP – prawdziwie dodatni FP – fałszywie dodatni
Test ujemny FN – fałszywie ujemny TN – prawdziwie ujemny

Czułość określa odsetek osób chorych, które test wykrywa:

Czułość = TP / (TP + FN)

W liczniku znajduje się liczba prawdziwie dodatnich wyników, a w mianowniku wszystkie osoby chore. Swoistość określa odsetek osób bez choroby, które otrzymują wynik ujemny:

Swoistość = TN / (TN + FP)

W liczniku znajduje się liczba prawdziwie ujemnych wyników, a w mianowniku wszystkie osoby zdrowe. Wartość 1 − swoistość jest odsetkiem wyników fałszywie dodatnich wśród osób bez choroby.

Dla każdego możliwego punktu odcięcia otrzymujemy inną parę: czułość i swoistość. Krzywa ROC przedstawia czułość na osi pionowej oraz odsetek wyników fałszywie dodatnich, czyli 1 − swoistość, na osi poziomej. Nie istnieje jeden uniwersalnie najlepszy próg. „Najlepszość” zależy od celu testu, konsekwencji błędów, częstości choroby, dostępnych zasobów i dalszego postępowania klinicznego.

Dlaczego nie należy automatycznie wybierać progu o najwyższej dokładności?

Dokładność, definiowana jako:

Dokładność = (TP + TN) / (TP + FP + FN + TN)

może być myląca, zwłaszcza gdy choroba występuje rzadko. W populacji, w której 95% osób nie ma choroby, test zwracający zawsze wynik ujemny osiągnie 95% dokładności, ale jego czułość wyniesie 0%. Taki test będzie bezużyteczny do wykrywania chorych.

Punkt odcięcia powinien więc być oceniany przede wszystkim przez pryzmat błędów istotnych dla konkretnego zastosowania. W badaniu przesiewowym często większe znaczenie ma ograniczenie liczby wyników fałszywie ujemnych. W teście poprzedzającym obciążające, kosztowne lub ryzykowne leczenie większą wagę można przypisać swoistości.

Indeks Youdena – użyteczne kryterium techniczne

Jednym z klasycznych sposobów wyboru punktu odcięcia jest indeks Youdena:

J = czułość + swoistość − 1

Wartość J może mieścić się od 0 do 1. Wartość 0 oznacza, że test w danym ustawieniu nie daje przewagi nad klasyfikacją losową w sensie łącznego rozróżniania obu grup, natomiast wartość 1 odpowiada idealnej klasyfikacji. W praktyce wybiera się punkt odcięcia maksymalizujący J (Youden, 1950; Fluss, Faraggi i Reiser, 2005).

Indeks Youdena jest atrakcyjny, ponieważ równoważy czułość i swoistość oraz nie zależy bezpośrednio od częstości choroby. Nie oznacza to jednak, że zawsze wskazuje próg właściwy klinicznie. Traktuje oba rodzaje błędów symetrycznie. Jeżeli przeoczenie choroby jest znacznie groźniejsze niż niepotrzebne skierowanie na dalszą diagnostykę, symetryczne kryterium może prowadzić do nieodpowiedniej decyzji.

Przykład obliczenia indeksu Youdena

Załóżmy, że dla trzech rozważanych progów uzyskano następujące wyniki:

Punkt odcięcia Czułość Swoistość J
10 0,95 0,60 0,55
15 0,85 0,80 0,65
20 0,70 0,92 0,62

Najwyższy indeks uzyskano dla punktu 15: 0,85 + 0,80 − 1 = 0,65. Z czysto technicznego punktu widzenia próg 15 jest najlepszy spośród trzech. Jeżeli jednak badanie ma służyć do wykluczania groźnej choroby, próg 10 może być bardziej odpowiedni, mimo niższej swoistości.

Jak koszty błędów wpływają na wybór progu?

Wybór punktu odcięcia można rozumieć jako problem decyzyjny. Wynik fałszywie ujemny może oznaczać opóźnienie leczenia, dalszą transmisję zakażenia lub utratę szansy na skuteczną interwencję. Wynik fałszywie dodatni może prowadzić do dodatkowych badań, lęku, niepotrzebnego leczenia, obciążenia systemu ochrony zdrowia albo stygmatyzacji.

Jeżeli koszt wyniku fałszywie ujemnego jest większy, racjonalne może być obniżenie progu i zaakceptowanie większej liczby wyników fałszywie dodatnich. Jeżeli koszt fałszywego alarmu jest większy, można podwyższyć próg. Formalnie można stosować funkcje kosztu, analizę użyteczności klinicznej lub krzywe decyzyjne. Nie należy jednak udawać, że sam algorytm statystyczny zna wartości tych kosztów. Muszą one wynikać z kontekstu klinicznego, organizacyjnego i etycznego.

Perkins i Schisterman (2006) pokazali, że różne kryteria określane jako „optymalne” mogą wskazywać odmienne punkty odcięcia. Wynika to z odmiennych założeń dotyczących ważenia czułości, swoistości oraz rozkładów wyników. Dlatego w publikacji trzeba podać nie tylko wybrany próg, lecz także kryterium jego wyboru.

Przykład 1: test przesiewowy w kierunku zakażenia

Wyobraźmy sobie szybki test stosowany w punkcie przyjęć. Wynik mieści się w zakresie od 0 do 100, a większa wartość oznacza większe prawdopodobieństwo zakażenia. Rozważane są dwa progi.

  • Próg 30: czułość 96%, swoistość 68%.
  • Próg 50: czułość 84%, swoistość 90%.

Jeżeli test jest używany do wstępnego przesiewu osób z objawami, próg 30 może być uzasadniony. Pozwala wykryć większy odsetek zakażonych, choć generuje więcej wyników dodatnich u osób bez zakażenia. Wynik dodatni powinien wtedy prowadzić do potwierdzenia inną metodą, a nie automatycznie do ostatecznego rozpoznania.

Próg 50 może być lepszy, gdy liczba dostępnych izolowanych stanowisk, badań potwierdzających lub personelu jest ograniczona. Mniejsza liczba wyników fałszywie dodatnich zmniejsza obciążenie organizacyjne, ale zwiększa ryzyko przeoczeń. Ostateczny wybór nie wynika więc wyłącznie z tego, który próg ma większą „dokładność”.

Przykład 2: kwestionariusz przesiewowy depresji

Załóżmy, że poradnia wykorzystuje kwestionariusz, którego wynik od 0 do 27 służy do identyfikacji osób wymagających dalszej oceny psychologicznej. Próg 10 daje czułość 90% i swoistość 70%, natomiast próg 14 – czułość 72% i swoistość 88%.

Jeżeli głównym zadaniem kwestionariusza jest niedopuszczenie do przeoczenia osób w kryzysie, próg 10 może być właściwszy. Dodatni wynik nie oznacza wtedy diagnozy depresji; wskazuje jedynie na potrzebę rozmowy klinicznej i pogłębionej oceny. Użycie niższego progu zwiększa liczbę osób kierowanych do specjalisty, ale może poprawiać bezpieczeństwo procesu przesiewowego.

Jeżeli natomiast poradnia ma bardzo ograniczone możliwości dalszej konsultacji, próg 14 może zmniejszyć liczbę skierowań, kosztem większej liczby osób pominiętych. Jest to decyzja organizacyjna i kliniczna, a nie czysto statystyczna.

Przykład praktyczny: wybór progu dla biomarkera

W badaniu walidacyjnym oceniono biomarker u 200 osób: 80 miało chorobę potwierdzoną standardem odniesienia, a 120 było bez choroby. Dla progu 15 uzyskano 72 wyniki prawdziwie dodatnie i 24 wyniki fałszywie dodatnie. Zatem:

  • czułość = 72/80 = 0,90, czyli 90%;
  • swoistość = 96/120 = 0,80, czyli 80%;
  • indeks Youdena = 0,90 + 0,80 − 1 = 0,70.

Dla progu 20 uzyskano 64 wyniki prawdziwie dodatnie i 12 fałszywie dodatnich:

  • czułość = 64/80 = 80%;
  • swoistość = 108/120 = 90%;
  • indeks Youdena = 0,80 + 0,90 − 1 = 0,70.

Oba progi mają taki sam indeks Youdena, ale różne profile błędów. Próg 15 lepiej wykrywa chorobę, natomiast próg 20 lepiej ogranicza wyniki fałszywie dodatnie. Nie można powiedzieć, że jeden z nich jest bezwarunkowo najlepszy. Jeżeli badanie ma służyć do wstępnego wykluczania choroby, wybrany może zostać próg 15. Jeżeli dodatni wynik prowadzi do inwazyjnej procedury, większa swoistość progu 20 może mieć większe znaczenie.

Warto także sprawdzić niepewność oszacowań, na przykład przez przedziały ufności dla czułości i swoistości. Próg wybrany na podstawie małej próby może być niestabilny. Dlatego dobrą praktyką jest walidacja progu w niezależnej populacji, najlepiej zbliżonej do tej, w której test będzie rzeczywiście stosowany.

Walidacja progu i raportowanie wyników

Punkt odcięcia może zostać określony przed analizą danych, na podstawie wcześniejszych badań, zaleceń klinicznych lub mechanizmu biologicznego. Może też zostać wybrany po obejrzeniu danych, na przykład przez maksymalizację indeksu Youdena. Ta druga sytuacja zwiększa ryzyko optymizmu i nadmiernego dopasowania, szczególnie gdy próg oraz skuteczność testu oceniono w tej samej próbie.

W raporcie należy określić: populację badaną, standard odniesienia, kierunek interpretacji wyniku, wszystkie rozważane progi lub sposób ich generowania, uzasadnienie wyboru, czułość i swoistość wraz z przedziałami ufności oraz plan walidacji. Zalecenia STARD 2015 podkreślają znaczenie przejrzystego raportowania projektu i wyników badań dokładności diagnostycznej (Bossuyt i in., 2015).

Próg wyznaczony w jednej grupie nie musi działać identycznie w innej. Różnice w wieku, ciężkości choroby, spektrum objawów, częstości choroby, sposobie pomiaru lub warunkach laboratoryjnych mogą zmienić rozkład wyników. Jest to jeden z powodów, dla których nie należy bezrefleksyjnie przenosić punktu odcięcia z populacji kliniki specjalistycznej do populacji ogólnej.

Najczęstsze błędy

  • Traktowanie progu maksymalizującego indeks Youdena jako uniwersalnie najlepszego. Indeks zakłada równoważne znaczenie obu rodzajów błędów, co nie zawsze odpowiada praktyce.
  • Wybieranie progu wyłącznie na podstawie AUC. AUC opisuje dyskryminację w całym zakresie progów, ale nie wskazuje automatycznie progu właściwego dla konkretnej decyzji.
  • Ignorowanie kierunku wyniku. Nie zawsze wyższy wynik oznacza większe ryzyko choroby; czasem interpretacja jest odwrotna.
  • Raportowanie samej czułości. Czułość bez swoistości, przedziału ufności i informacji o punkcie odcięcia jest niepełna.
  • Mylenie czułości z prawdopodobieństwem choroby po wyniku dodatnim. Czułość jest warunkowym prawdopodobieństwem wyniku dodatniego przy chorobie. Nie jest PPV.
  • Wybieranie i ocenianie progu w tej samej małej próbie. Może to zawyżać pozorną skuteczność testu.
  • Używanie języka przyczynowego. Sam próg diagnostyczny nie dowodzi, że jego zastosowanie poprawia rokowanie. Do oceny skutków wdrożenia potrzebne są odpowiednie badania interwencyjne lub strategie oceny wpływu klinicznego.
  • Pomijanie konsekwencji decyzji. Wynik dodatni może uruchamiać dalsze badania, izolację, leczenie albo interwencję psychologiczną. Każda z tych konsekwencji ma koszt i potencjalne ryzyko.

Co warto zapamiętać?

  1. Punkt odcięcia przekształca wynik liczbowy w decyzję dodatnią lub ujemną.
  2. Obniżenie progu zwykle zwiększa czułość i zmniejsza swoistość; podwyższenie progu zwykle działa odwrotnie.
  3. Nie istnieje jeden najlepszy próg niezależny od celu badania i konsekwencji błędów.
  4. Indeks Youdena, J = czułość + swoistość − 1, jest użytecznym kryterium technicznym, ale nie zastępuje oceny klinicznej.
  5. Próg powinien być uzasadniony, oszacowany z niepewnością i – gdy to możliwe – sprawdzony w niezależnej populacji.
  6. Wybór progu nie jest tym samym co ocena użyteczności klinicznej testu.

W praktyce publicznego szkolenia na statystyk.edu.pl warto analizować punkt odcięcia zawsze w połączeniu z tabelą 2 × 2, krzywą ROC, częstością choroby i konsekwencjami dalszego postępowania. Statystyka pomaga uporządkować kompromis, ale nie może samodzielnie ustalić, który błąd jest dla pacjenta, systemu i społeczeństwa bardziej kosztowny.

Źródła i dalsza lektura

  1. William J. Youden (1950). Index for rating diagnostic tests. Cancer, 3(1), 32–35. DOI: 10.1002/1097-0142(1950)3:1<32::AID-CNCR2820030106>3.0.CO;2-3.
  2. Mark H. Zweig; Gregory Campbell (1993). Receiver-operating characteristic (ROC) plots: a fundamental evaluation tool in clinical medicine. Clinical Chemistry, 39(4), 561–577. Pełny opis źródła.
  3. Ronen Fluss; David Faraggi; Benjamin Reiser (2005). Estimation of the Youden Index and its associated cutoff point. Biometrical Journal, 47(4), 458–472. DOI: 10.1002/bimj.200410135.
  4. Neil J. Perkins; Enrique F. Schisterman (2006). The inconsistency of “optimal” cutpoints obtained using two criteria based on the receiver operating characteristic curve. American Journal of Epidemiology, 163(7), 670–675. DOI: 10.1093/aje/kwj063.
  5. Patrick M. Bossuyt; Johannes B. Reitsma; David E. Bruns; Constantine A. Gatsonis; Paul P. Glasziou; Les Irwig; Jeroen G. Lijmer; David Moher; Drummond Rennie; Henrica C. W. de Vet; Herbert Y. Kressel; Nader Rifai; Robert M. Golub; Douglas G. Altman; Lotty Hooft; Daniël A. Korevaar; Jérémie F. Cohen; STARD Group (2015). STARD 2015: an updated list of essential items for reporting diagnostic accuracy studies. BMJ, 351, h5527. DOI: 10.1136/bmj.h5527.
  6. Betty R. Kirkwood; Jonathan A. C. Sterne (2003). Essential Medical Statistics. 2nd edition. Blackwell Science. Informacja wydawcy / źródło.

Podobne wpisy

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Wymagane pola są oznaczone *