112. Subiektywny i obiektywny pomiar tego samego zjawiska

To samo zjawisko można opisać za pomocą różnych wskaźników. Ból może zostać oceniony przez pacjenta na skali liczbowej, a jednocześnie pośrednio scharakteryzowany przez częstość przyjmowania leków, reakcję fizjologiczną albo zachowanie obserwowane przez personel. Aktywność fizyczną można oszacować na podstawie deklaracji badanego, lecz także zmierzyć akcelerometrem. Nie oznacza to, że jedna z metod jest z definicji prawdziwa, a druga fałszywa. Każda z nich może rejestrować inny aspekt badanego konstruktu.

W tej lekcji, będącej częścią szkolenia metodologicznego na statystyk.edu.pl, przeanalizujemy, czym różni się pomiar subiektywny od obiektywnego, kiedy warto stosować oba równocześnie oraz jak oceniać ich podobieństwo bez popełniania błędu utożsamiania korelacji ze zgodnością.

Dwa sposoby pomiaru tego samego zjawiska

Pomiar subiektywny opiera się na informacji pochodzącej z doświadczenia, oceny lub deklaracji osoby badanej. Typowymi przykładami są: natężenie bólu, poczucie zmęczenia, jakość snu, postrzegany stres, zadowolenie z opieki, duszność odczuwana przez pacjenta albo deklarowana liczba godzin aktywności fizycznej. Pomiar ten nie jest „mniej naukowy” tylko dlatego, że zależy od relacji badanego. Jeżeli przedmiotem badania jest doświadczenie pacjenta, jego własna ocena może być podstawowym, a nie zastępczym źródłem informacji.

Pomiar obiektywny wykorzystuje procedurę, narzędzie lub obserwację, która ma ograniczyć wpływ osobistej interpretacji badanego. Przykładami są: stężenie glukozy oznaczone w laboratorium, ciśnienie tętnicze zmierzone aparatem, liczba kroków zarejestrowana przez akcelerometr, czas reakcji w zadaniu komputerowym, częstość oddechów policzona według protokołu lub wynik obserwacji zachowania zakodowany przez przeszkolonego badacza.

Określenie „obiektywny” nie oznacza jednak automatycznie „wolny od błędu”. Aparat może być źle skalibrowany, procedura może być niestandaryzowana, a pomiar może nie obejmować całego konstruktu. Obiektywny pomiar aktywności może dokładnie rejestrować ruch nadgarstka, ale nie musi poprawnie odzwierciedlać wysiłku podczas jazdy na rowerze lub treningu siłowego. Z kolei samoopis/samoocena może obejmować kontekst, motywację i znaczenie aktywności, których nie rejestruje urządzenie.

Subiektywność nie jest synonimem niewiarygodności

W badaniach nad zdrowiem szczególne znaczenie ma rozróżnienie między konstruktem a jego wskaźnikiem. Konstruktem może być na przykład ból. Skala od 0 do 10 jest wskaźnikiem subiektywnym: pacjent ocenia własne doświadczenie, a badacz zapisuje tę ocenę według ustalonej reguły. Jeżeli celem badania jest odpowiedź na pytanie „jak silny ból odczuwa pacjent?”, pomiar samoopisowy ma bezpośrednią relację z pytaniem badawczym. Wynik badania laboratoryjnego nie zastąpi go bez dodatkowego uzasadnienia.

Instrument subiektywny powinien mieć jasno określone: instrukcję, okres odniesienia, sposób kodowania odpowiedzi, zakres wyników i reguły postępowania z brakami danych. W przypadku kwestionariusza należy także rozważyć jego rzetelność, trafność treściową, trafność konstruktu, czułość na zmianę i interpretowalność. Standardy COSMIN podkreślają, że jakość narzędzia ocenia się w odniesieniu do konkretnego zastosowania, populacji i konstruktu, a nie w sposób całkowicie oderwany od kontekstu (Terwee i in., 2018).

Po co łączyć oba rodzaje pomiaru?

Równoczesne zastosowanie pomiaru subiektywnego i obiektywnego może służyć kilku celom.

• Triangulacja: badacz sprawdza, czy różne źródła danych prowadzą do podobnego obrazu zjawiska.
• Uzupełnienie informacji: jedna metoda opisuje doświadczenie, a druga zachowanie lub fizjologiczny korelat tego doświadczenia.
• Ocena trafności kryterialnej: nowy pomiar porównuje się z uznanym sposobem pomiaru, o ile taki sposób rzeczywiście istnieje i jest odpowiedni dla danego konstruktu.
• Wykrywanie rozbieżności: różnica między metodami może ujawnić zjawisko wymagające wyjaśnienia, a nie tylko „błąd respondenta”.
• Lepsza decyzja kliniczna lub organizacyjna: połączenie danych może ułatwić ocenę skuteczności interwencji, obciążenia objawami albo funkcjonowania pacjenta.

Ważne jest, aby nie zakładać z góry, że pomiary muszą być identyczne. Pacjent może zgłaszać silne zmęczenie, mimo że liczba kroków nie zmieniła się znacząco. Przyczyną może być gorsza jakość snu, depresyjny nastrój, ból, choroba przewlekła lub większy koszt energetyczny codziennych czynności. Rozbieżność jest wtedy informacją o wielowymiarowości konstruktu.

Korelacja a zgodność metod

Jednym z najczęstszych błędów jest używanie współczynnika korelacji Pearsona jako jedynego dowodu, że dwa sposoby pomiaru są równoważne. Korelacja opisuje siłę liniowego współwystępowania wyników, ale nie informuje bezpośrednio, czy wartości są podobne.

Wyobraźmy sobie, że metoda obiektywna daje wyniki dwukrotnie wyższe niż metoda subiektywna. Obie zmienne mogą być silnie skorelowane, ponieważ osoby z większym wynikiem w jednej metodzie mają także większy wynik w drugiej. Nie oznacza to jednak, że metody są zgodne lub wymienne.

Przy porównywaniu dwóch metod ciągłego pomiaru można zastosować między innymi analizę Blanda–Altmana. Dla każdej osoby oblicza się średnią z dwóch pomiarów oraz ich różnicę:

d_i = X_i - Y_i

m_i = (X_i + Y_i) / 2

gdzie X_i oznacza wynik pierwszej metody u osoby i, Y_i oznacza wynik drugiej metody, d_i jest różnicą między metodami, a m_i ich średnią. Następnie wyznacza się średnią różnicę:

bias = średnia(d_i)

oraz przybliżone granice zgodności:

bias ± 1,96 × SD(d)

Symbol SD(d) oznacza odchylenie standardowe różnic. Średnia różnica informuje o systematycznym przesunięciu jednej metody względem drugiej, natomiast granice zgodności pokazują zakres, w którym może znaleźć się różnica dla większości przyszłych pojedynczych obserwacji, przy spełnieniu odpowiednich założeń. O tym, czy taki zakres jest akceptowalny, decyduje nie sam wynik statystyczny, lecz znaczenie kliniczne lub praktyczne (Bland i Altman, 1986).

Współczynnik korelacji zgodności Lin może dodatkowo uwzględniać zarówno precyzję, jak i odchylenie od idealnej linii zgodności. Nie powinien jednak zastępować wykresu różnic ani oceny z góry ustalonego kryterium akceptowalnej różnicy (Lin, 1989).

Przykład 1: aktywność fizyczna

Badacz chce ocenić, czy krótki kwestionariusz aktywności fizycznej może być użyteczny w badaniu dorosłych mieszkańców miasta. Uczestnicy deklarują liczbę dni i czas trwania wysiłku w ostatnim tygodniu. Równocześnie przez siedem dni noszą akcelerometr.

Kwestionariusz jest pomiarem subiektywnym. Zależy od pamięci, rozumienia pytań, zdolności oszacowania czasu i skłonności do zaokrąglania odpowiedzi. Akcelerometr jest pomiarem instrumentalnym, ale również ma ograniczenia: może nie rejestrować poprawnie jazdy na rowerze, pływania, przenoszenia ciężarów ani ruchów wykonywanych głównie górną częścią ciała.

Jeżeli badacz uzyska korelację na poziomie 0,70, nie może jeszcze stwierdzić, że kwestionariusz i akcelerometr są wymienne. Powinien sprawdzić między innymi:

• czy kwestionariusz zawyża lub zaniża aktywność w sposób systematyczny;
• czy rozbieżności są większe u osób o wysokiej aktywności;
• czy obie metody mają ten sam okres obserwacji;
• czy kryterium akceptowalnej różnicy zostało określone przed analizą;
• czy porównywane wyniki dotyczą tej samej definicji aktywności.

W wieloośrodkowym badaniu kwestionariusza IPAQ oceniano między innymi powtarzalność oraz trafność względem akcelerometru. Wyniki pokazały, że rzetelność samoopisu może być akceptowalna, podczas gdy zgodność z pomiarem instrumentalnym pozostaje umiarkowana. To ważne rozróżnienie: narzędzie może względnie stabilnie porządkować osoby według deklarowanej aktywności, ale nie musi dokładnie odtwarzać liczby minut zarejestrowanych przez urządzenie (Craig i in., 2003).

Przykład 2: ból i obserwacja kliniczna

W oddziale ratunkowym pacjent ocenia ból w skali od 0 do 10. Pielęgniarka zapisuje także częstość tętna, ciśnienie tętnicze, zachowanie pacjenta i przyjęcie leku przeciwbólowego.

Nie należy traktować parametrów fizjologicznych jako bezpośredniego „obiektywnego pomiaru bólu”. Tachykardia może towarzyszyć bólowi, ale również lękowi, gorączce, odwodnieniu lub działaniu leków. Pacjent może zgłaszać ból o natężeniu 8, mimo prawidłowego tętna, albo deklarować niski ból pomimo wyraźnego pobudzenia. Najbardziej uzasadniona interpretacja brzmi: skala bólu mierzy subiektywne doświadczenie, natomiast parametry fizjologiczne i obserwacja dostarczają informacji kontekstowej.

Jeśli po interwencji ból zgłaszany przez pacjenta spada z 8 do 4, a tętno pozostaje bez zmian, nie wolno automatycznie uznać wyniku samoopisu za niewiarygodny. Możliwe, że interwencja zmniejszyła cierpienie, ale nie usunęła pobudzenia autonomicznego. Z drugiej strony rozbieżność może skłonić personel do ponownej oceny stanu klinicznego, sposobu zadania pytania lub momentu pomiaru.

Przykład praktyczny: badanie jakości snu

Załóżmy, że zespół badawczy ocenia jakość snu studentów pielęgniarstwa podczas praktyk klinicznych. Każda osoba przez czternaście dni prowadzi dzienniczek snu i nosi opaskę rejestrującą ruch. W dzienniczku podaje subiektywną jakość snu w skali od 0 do 10, godzinę zaśnięcia, liczbę przebudzeń i ocenę zmęczenia rano. Urządzenie szacuje czas snu, okres bezruchu i liczbę epizodów ruchowych.

Jak zaplanować analizę?

1. Zdefiniować konstrukty: oddzielić jakość snu, czas snu, fragmentację snu i zmęczenie dzienne.
2. Ustalić jednostkę analizy: pojedyncza noc, średnia z siedmiu dni albo wynik całego okresu.
3. Ujednolicić okres odniesienia: nie porównywać oceny „jak spałem tej nocy” z urządzeniem analizowanym dla całego tygodnia.
4. Opisać brak danych: określić, ile godzin noszenia opaski uznaje się za wystarczające.
5. Ocenić zgodność i zależność: zastosować wykresy, analizę różnic, korelację lub model mieszany odpowiedni dla powtarzanych obserwacji.
6. Interpretować rozbieżności: sprawdzić, czy subiektywna jakość snu zależy od stresu, dyżuru nocnego, bólu albo oczekiwań badanego.

Możliwy wynik: urządzenie wykazuje średnio 6 godzin 45 minut snu, a uczestnicy deklarują 6 godzin. Różnica nie musi oznaczać błędu jednej metody. Urządzenie może zaliczać spokojne czuwanie do snu, natomiast badany może odjąć czas, w którym czuł się przytomny. Jeżeli pytanie dotyczy regeneracji, subiektywna ocena może być ważniejsza niż technicznie oszacowany czas snu. Jeżeli pytanie dotyczy obciążenia harmonogramu, przydatne mogą być oba wskaźniki.

Najczęstsze błędy

• Uznawanie pomiaru obiektywnego za bezbłędny. Każde narzędzie ma zakres zastosowania, czułość, swoistość i źródła błędu.
• Traktowanie samoopisu jako gorszej wersji pomiaru. W konstrukcie dotyczącym doświadczenia pacjenta samoopis może być pomiarem pierwszoplanowym.
• Wnioskowanie o zgodności wyłącznie na podstawie korelacji. Korelacja może być wysoka mimo istotnego systematycznego przesunięcia.
• Porównywanie różnych konstruktów. Czas snu, jakość snu i zmęczenie nie są tym samym zjawiskiem.
• Brak wspólnego okresu odniesienia. Porównanie oceny z ostatniej doby z pomiarem obejmującym miesiąc prowadzi do niejasnej interpretacji.
• Pomijanie efektu metody. Sam fakt zadawania pytań może wpływać na odpowiedzi, a świadomość noszenia urządzenia może zmieniać zachowanie.
• Używanie terminu „złoty standard” bez uzasadnienia. Metoda referencyjna może być jedynie lepszym przybliżeniem określonego aspektu konstruktu.
• Mylenie różnicy statystycznej ze znaczeniem praktycznym. Mała różnica może być istotna przy dużej próbie, lecz nie mieć znaczenia klinicznego; duża różnica może być ważna nawet bez małej wartości p.

Jak opisać wyniki w raporcie?

Opis powinien jasno wskazywać, co mierzy każda metoda, jaka była populacja, jaki był okres odniesienia oraz jakie kryterium uznano za akceptowalną zgodność. Zamiast pisać: „Kwestionariusz jest obiektywnym pomiarem aktywności”, lepiej napisać: „Kwestionariusz dostarcza samoopisowej oceny aktywności w ciągu ostatnich siedmiu dni, natomiast akcelerometr rejestruje ruch w czasie noszenia urządzenia”.

W badaniach klinicznych warto raportować nie tylko średnie i odchylenia standardowe, lecz także rozkład różnic, wykresy, przedziały ufności oraz konsekwencje ewentualnego zastąpienia jednej metody drugą. FDA zwraca uwagę, że narzędzia patient-reported outcome powinny być dobierane i dokumentowane w odniesieniu do konkretnego celu pomiaru oraz interpretacji wyniku (FDA, 2009).

W przypadku narzędzi wielopozycyjnych należy dodatkowo opisać sposób obliczania wyniku, kierunek skali, reguły odwracania pozycji, postępowanie z brakującymi odpowiedziami i minimalną istotną zmianę, jeżeli jest znana. Sama etykieta „skala zwalidowana” nie zastępuje informacji o populacji, procedurze i zastosowaniu.

Co warto zapamiętać?

• Pomiar subiektywny i obiektywny może dotyczyć tego samego zjawiska, ale nie musi obejmować dokładnie tego samego aspektu konstruktu.
• Subiektywność nie oznacza automatycznie niskiej jakości; w badaniu doświadczeń pacjenta jest często niezbędna.
• Pomiar obiektywny także podlega błędom, ograniczeniom narzędzia i ograniczeniom trafności.
• Wysoka korelacja nie dowodzi zgodności ani wymienności metod.
• Analizę zgodności trzeba oprzeć na z góry określonym kryterium praktycznym, a nie wyłącznie na wartości p.
• Rozbieżność między metodami może być wynikiem błędu, ale może też ujawniać różne wymiary badanego zjawiska.
• Najlepsza operacjonalizacja często łączy samoopis, obserwację i pomiar instrumentalny, pod warunkiem że każda metoda ma jasno określoną funkcję.

W następnym kroku projektowania badania warto zadać pytanie nie tylko „który pomiar jest bardziej obiektywny?”, lecz przede wszystkim: „jaki aspekt konstruktu chcę zmierzyć i która metoda najlepiej odpowiada temu celowi?”. To pytanie chroni przed mechanicznym zastępowaniem doświadczenia człowieka pojedynczym wskaźnikiem technicznym.

Źródła i dalsza lektura

1. Bland, J. M., & Altman, D. G. (1986). Statistical methods for assessing agreement between two methods of clinical measurement. The Lancet, 327(8476), 307–310. DOI: 10.1016/S0140-6736(86)90837-8.
2. Craig, C. L., Marshall, A. L., Sjöström, M., Bauman, A. E., Booth, M. L., Ainsworth, B. E., Pratt, M., Ekelund, U., Yngve, A., Sallis, J. F., & Oja, P. (2003). International physical activity questionnaire: 12-country reliability and validity. Medicine & Science in Sports & Exercise, 35(8), 1381–1395. DOI: 10.1249/01.MSS.0000078924.61453.FB.
3. Lin, L. I.-K. (1989). A concordance correlation coefficient to evaluate reproducibility. Biometrics, 45(1), 255–268. DOI: 10.2307/2532051.
4. de Vet, H. C. W., Terwee, C. B., Mokkink, L. B., & Knol, D. L. (2011). Measurement in Medicine: A Practical Guide. 1st edition. Cambridge University Press. Informacja wydawcy / źródło.
5. Fayers, P. M., & Machin, D. (2007). Quality of Life: The Assessment, Analysis and Interpretation of Patient-Reported Outcomes. 2nd edition. John Wiley & Sons. Informacja wydawcy / źródło.
6. Terwee, C. B., Prinsen, C. A. C., Chiarotto, A., Westerman, M. J., Patrick, D. L., Alonso, J., Bouter, L. M., de Vet, H. C. W., & Mokkink, L. B. (2018). COSMIN methodology for evaluating the content validity of patient-reported outcome measures: A Delphi study. Quality of Life Research, 27(5), 1159–1170. DOI: 10.1007/s11136-018-1829-0.
7. U.S. Food and Drug Administration (2009). Patient-Reported Outcome Measures: Use in Medical Product Development to Support Labeling Claims. U.S. Food and Drug Administration. Źródło.

Jeżeli potrzebujesz indywidualnego wsparcia w doborze metod, przygotowaniu bazy lub opracowaniu wyników badań, sprawdź analiza statystyczna.