113. Samoocena a test obiektywny – dlaczego to nie jest ten sam konstrukt?

Lekcja 113 z 560. W badaniach często zestawia się odpowiedź osoby badanej z wynikiem testu, pomiaru klinicznego albo zadania wykonywanego według jednolitego klucza. Łatwo wtedy uznać, że oba źródła danych są dwiema wersjami pomiaru tego samego zjawiska. To założenie bywa jednak zbyt uproszczone. Samoocena i test obiektywny mogą odnosić się do wspólnego obszaru, lecz uruchamiają inne procesy poznawcze, mają odmienne źródła błędu i często odpowiadają na różne pytania badawcze. W tej lekcji, nawiązującej do logiki operacjonalizacji omawianej w szkoleniu na statystyk.edu.pl, uporządkujemy tę różnicę.

Dwa sposoby uzyskiwania danych

Czym jest samoocena?

Samoocena to informacja uzyskana od osoby badanej na temat jej własnych cech, doświadczeń, zachowań, objawów, umiejętności lub stanu zdrowia. Może przyjmować postać pojedynczego pytania, skali Likerta, kwestionariusza albo oceny na skali numerycznej.

Przykładowe pytania samoopisowe brzmią: „Jak ocenia Pan/Pani swój stan zdrowia?”, „Jak dobrze radzi sobie Pan/Pani z obliczaniem ryzyka?”, „Jak często w ostatnim tygodniu odczuwał(a) Pan/Pani lęk?” albo „Jak ocenia Pan/Pani swoje umiejętności udzielania pierwszej pomocy?”.

Samoocena nie jest po prostu „subiektywną i dlatego gorszą” wersją pomiaru. Jeżeli celem badania jest poznanie postrzeganego zdrowia, poczucia sprawstwa, odczuwanego bólu lub przekonania o własnych kompetencjach, odpowiedź osoby badanej może być właściwym wskaźnikiem. Problem pojawia się wtedy, gdy wynik samooceny interpretuje się jako bezpośredni pomiar faktycznej wiedzy, sprawności, stanu klinicznego albo zachowania.

Czym jest test obiektywny?

Test obiektywny to narzędzie, w którym odpowiedzi lub wykonanie zadania są oceniane według wcześniej określonych, możliwie niezależnych od oceniającego reguł. Przykładem może być test wiedzy z kluczem odpowiedzi, próba pamięci, zadanie rachunkowe, pomiar ciśnienia tętniczego, wynik laboratoryjny lub standaryzowana próba wykonania procedury.

Słowo „obiektywny” nie oznacza, że wynik jest wolny od wszelkiego błędu ani że automatycznie mierzy właściwy konstrukt. Obiektywność dotyczy przede wszystkim sposobu kodowania i oceniania odpowiedzi. Test może być bardzo powtarzalny, ale nietrafny, jeśli nie obejmuje ważnych elementów konstruktu albo mierzy coś innego niż zakładano. W standardach AERA, APA i NCME trafność odnosi się do uzasadnienia interpretacji i zastosowania wyników, a nie do etykiety przypisanej narzędziu (AERA, APA, NCME, 2014).

Dlaczego podobny temat nie oznacza tego samego konstruktu?

Konstrukt jest pojęciem teoretycznym, takim jak wiedza, zdrowie, depresja, sprawność funkcjonalna czy kompetencje kliniczne. Wskaźnik jest natomiast obserwowalnym sposobem reprezentowania tego konstruktu. Dwa wskaźniki mogą odnosić się do wspólnej domeny, lecz obejmować różne jej składniki.

Można to zapisać schematycznie:

Wynik obserwowany = składnik konstruktu + błąd pomiaru + wpływ metody

W tym zapisie składnik konstruktu oznacza część wyniku związaną z właściwością, którą chcemy badać. Błąd pomiaru obejmuje przypadkowe i systematyczne zakłócenia, na przykład zmęczenie, niezrozumienie pytania lub niedokładność urządzenia. Wpływ metody oznacza to, co wynika ze sposobu pomiaru: odpowiadania o sobie, wykonywania zadania, obserwacji przez personel albo pomiaru biologicznego.

Dla samooceny wpływ metody może obejmować między innymi:

• pamięć i sposób odtwarzania wcześniejszych doświadczeń;
• aktualny nastrój, ból lub zmęczenie;
• porównanie z innymi osobami albo z własnym wcześniejszym stanem;
• oczekiwania społeczne i chęć przedstawienia siebie w korzystny sposób;
• przekonanie, co właściwie oznacza użyte pojęcie, na przykład „dobry stan zdrowia”;
• zdolność do rozpoznania i nazwania własnych objawów.

W teście obiektywnym istotne mogą być natomiast:

• znajomość formatu zadań i instrukcji;
• język, poziom wykształcenia oraz doświadczenie testowe;
• motywacja do wykonania zadania;
• warunki badania i czas przeznaczony na odpowiedź;
• jakość klucza, norm i procedury oceniania.

Samoocena kompetencji a rzeczywiste wykonanie

Najczęstsza rozbieżność występuje wtedy, gdy badacz pyta o przekonanie dotyczące umiejętności, a następnie porównuje je z wykonaniem zadania. Są to dwa powiązane, ale odmienne konstrukty.

Samoocena kompetencji odpowiada na pytanie: „Jak dobrze sądzę, że potrafię coś zrobić?”. Wykonanie zadania odpowiada na pytanie: „Jak skutecznie wykonałem(-am) określone zadanie w danych warunkach?”. Osoba może mieć dużą wiedzę, lecz niską pewność siebie. Może też odwrotnie: wysoko oceniać własne umiejętności, ale popełniać liczne błędy.

W badaniu samooceny numerycznej pacjent może twierdzić, że dobrze rozumie procenty i ryzyko, podczas gdy w teście niepoprawnie interpretuje częstość zdarzeń. Fagerlin i współpracownicy opracowali Subjective Numeracy Scale właśnie jako narzędzie oceniające postrzeganą zdolność do posługiwania się informacją liczbową; nie jest ono zamiennikiem testu obiektywnego, lecz miarą innego aspektu funkcjonowania (Fagerlin et al., 2007).

Przykład 1: zdrowie oceniane przez pacjenta i przez klinicystę

Wyobraźmy sobie badanie pacjentów podstawowej opieki zdrowotnej. Uczestnicy odpowiadają na pytanie o ogólny stan zdrowia w skali od „doskonałego” do „złego”. Lekarz, korzystając z dokumentacji i badania, wystawia własną ocenę. Dodatkowo badacz zbiera informacje o chorobach przewlekłych, wskaźniku masy ciała i wynikach laboratoryjnych.

Jeśli pacjent ocenia zdrowie gorzej niż lekarz, nie musi to oznaczać błędu pacjenta. Pacjent może uwzględniać ból, ograniczenie codziennych aktywności, lęk przed pogorszeniem lub zmęczenie, których lekarz nie traktuje jako głównego kryterium oceny klinicznej. Badanie Elder i współpracowników wykazało, że dokładna zgodność ocen pacjentów i lekarzy była ograniczona, a powody przypisywane ocenom często się różniły (Elder et al., 2017).

Wniosek metodologiczny brzmi: samoocena zdrowia i kliniczna ocena stanu zdrowia nie powinny być automatycznie traktowane jako konkurencyjne pomiary jednego wyniku. Mogą być komplementarne. Pierwsza informuje o doświadczeniu i interpretacji własnego zdrowia, druga o ocenie dokonanej według kryteriów medycznych.

Przykład 2: wiedza z zakresu ratownictwa

W grupie studentów pielęgniarstwa badacz chce ocenić przygotowanie do resuscytacji krążeniowo-oddechowej. Uczestnicy najpierw oceniają swoje umiejętności w skali od 1 do 5, a następnie wykonują standardową symulację na fantomie. Instruktor ocenia kolejność czynności, głębokość uciśnięć, tempo, reakcję na komunikat urządzenia i wezwanie pomocy.

Wynik samooceny może odzwierciedlać pewność siebie, wcześniejsze doświadczenia i lęk przed oceną. Wynik symulacji odzwierciedla wykonanie określonego scenariusza w konkretnych warunkach. Oba wyniki mogą być użyteczne, ale nie są równoważne. Niska korelacja nie dowodzi, że jedno narzędzie jest wadliwe. Może wskazywać, że program szkolenia zwiększył pewność siebie bez wystarczającej poprawy wykonania albo że uczestnicy wykonują zadania poprawnie, lecz nadal nie ufają własnym kompetencjom.

Jak interpretować zgodność i rozbieżność?

Do porównywania samooceny i testu obiektywnego nie wystarczy obliczyć jednej korelacji i nazwać jej „trafnością”. Korelacja opisuje współzmienność wyników, ale nie mówi, czy oba pomiary mają identyczny poziom, tę samą skalę ani ten sam błąd.

W zależności od celu można rozważyć:

• korelację – gdy pytamy, czy osoby wyżej oceniające siebie uzyskują także wyższe wyniki testu;
• analizę różnic – gdy interesuje nas systematyczne zawyżanie lub zaniżanie samooceny;
• tabele zgodności – gdy oba wyniki są kategoryczne;
• analizę Bland–Altmana – gdy oba pomiary mają być porównywalne ilościowo i chcemy ocenić różnicę oraz jej zakres;
• analizę trafności konstruktu – gdy sprawdzamy, z jakimi innymi zmiennymi każdy wskaźnik powinien być związany.

Ważne jest także rozdzielenie trzech kwestii: istotności statystycznej, wielkości efektu i znaczenia praktycznego. Bardzo duża próba może wykazać statystycznie istotną, ale małą różnicę między samooceną a testem. Z kolei umiarkowana rozbieżność może mieć duże znaczenie praktyczne, jeśli prowadzi do błędnej kwalifikacji pacjenta do edukacji lub interwencji.

Przykład praktyczny: analiza przypadku

Badacz analizuje 120 ratowników medycznych. Każdy uczestnik ocenia swoje kompetencje w zakresie segregacji poszkodowanych na 10-stopniowej skali, a następnie rozwiązuje standaryzowany test z 30 scenariuszami. Średnia samoocena wynosi 8,1, natomiast średni wynik testu 19,4/30. Korelacja między wynikami wynosi r = 0,28.

Nie należy od razu stwierdzać, że samoocena jest „zła”. Korelacja 0,28 sugeruje słabą lub umiarkowaną zgodność indywidualnych różnic, ale trzeba sprawdzić, co dokładnie mierzą narzędzia. Samoocena może dotyczyć ogólnej pewności w pracy, a test może obejmować znajomość formalnych kryteriów segregacji. Uczestnicy mogą też zawyżać ocenę z powodu presji zawodowej albo niedoszacowywać swoich możliwości, jeśli test był nietypowy.

W raporcie warto przedstawić rozkłady obu zmiennych, rzetelność narzędzi, sposób doboru punktów odcięcia, analizę różnic oraz konsekwencje praktyczne. Jeżeli badanie ma charakter obserwacyjny, należy jasno opisać definicje operacyjne i sposób pomiaru, zgodnie z zasadami raportowania STROBE (von Elm et al., 2007).

Jak projektować badanie, aby nie pomylić konstruktów?

1. Zdefiniuj konstrukt przed wyborem narzędzia. Zdecyduj, czy interesuje Cię postrzeganie własnej sprawności, aktualny stan kliniczny, wiedza, wykonanie procedury czy przewidywana gotowość do działania.
2. Opisz źródło każdego wyniku. W metodach podaj, kto udzielał odpowiedzi, kto oceniał wykonanie, jaki był klucz oraz czy oceniający znał inne wyniki.
3. Nie używaj określenia „obiektywny” bez uzasadnienia. Przedstaw procedurę standaryzacji, rzetelność, trafność i warunki pomiaru.
4. Rozważ pomiar wielometodowy. Połączenie samooceny, testu wykonania i obserwacji może dać pełniejszy obraz, pod warunkiem że każdy wskaźnik jest interpretowany zgodnie z jego znaczeniem.
5. Analizuj rozbieżność jako wynik, a nie tylko problem. Różnica między samooceną a testem może być ważną informacją o samoświadomości, kalibracji pewności siebie lub potrzebach edukacyjnych.

Najczęstsze błędy

• Traktowanie samooceny jako niedoskonałego testu obiektywnego. Samoocena może mierzyć doświadczenie, przekonanie lub ocenę własnego stanu, a nie wynik zadania.
• Założenie, że wysoka korelacja dowodzi identyczności konstruktów. Dwa różne konstrukty mogą korelować, ponieważ mają wspólną część lub są związane z tym samym czynnikiem.
• Interpretowanie niskiej korelacji jako dowodu niewiarygodności jednego pomiaru. Przyczyną może być różnica zakresu treści, skali, czasu odniesienia lub warunków badania.
• Używanie pojedynczego pytania do wnioskowania o złożonym konstrukcie. Jedno pytanie o „wiedzę medyczną” nie zastępuje dobrze zaplanowanej domeny zadań.
• Pomijanie wpływu kontekstu. Odpowiedź o zdrowiu może zależeć od bólu w dniu badania, a wykonanie procedury od stresu i znajomości symulatora.
• Wnioskowanie przyczynowe z samej rozbieżności. Różnica między samooceną a testem nie dowodzi, że szkolenie, wiek lub cecha osobowości spowodowały zawyżenie albo zaniżenie wyniku.

Co warto zapamiętać?

• Samoocena i test obiektywny mogą dotyczyć tego samego obszaru, ale nie muszą mierzyć tego samego konstruktu.
• Samoocena często mierzy postrzeganie własnego stanu, doświadczenie lub pewność siebie.
• Test obiektywny mierzy wykonanie określonych zadań według ustalonej procedury, ale także podlega błędom i ograniczeniom.
• „Obiektywny” nie znaczy automatycznie „trafny”. Trafność dotyczy uzasadnienia interpretacji wyniku.
• Rozbieżność między pomiarami może być wartościową informacją, na przykład o kalibracji samooceny albo potrzebie dodatkowej edukacji.
• W analizie trzeba oddzielić korelację, zgodność, rzetelność, wielkość efektu i znaczenie praktyczne.
• Najlepsza operacjonalizacja zaczyna się od jasnej definicji konstruktu, a dopiero potem prowadzi do wyboru wskaźnika.

W kolejnych lekcjach Modułu 6 warto traktować wskaźniki nie jako przezroczyste „okna” na rzeczywistość, lecz jako narzędzia tworzące określony rodzaj danych. Samoocena i test obiektywny mogą się wzajemnie uzupełniać, ale ich wyniki należy łączyć dopiero po wyjaśnieniu, co dokładnie każdy z nich reprezentuje.

Źródła i dalsza lektura

1. American Educational Research Association, American Psychological Association, & National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing. American Educational Research Association. Informacja wydawcy / źródło.
2. Fagerlin, A., Zikmund-Fisher, B. J., Ubel, P. A., Jankovic, A., Derry, H. A., & Smith, D. M. (2007). Measuring Numeracy without a Math Test: Development of the Subjective Numeracy Scale. Medical Decision Making, 27(5), 672–680. DOI: 10.1177/0272989X07304449.
3. Elder, N. C., Imhoff, R., Peterson, S., et al. (2017). Congruence of Patient Self-Rating of Health with Family Physician Ratings. Journal of the American Board of Family Medicine, 30(2), 196–204. DOI: 10.3122/jabfm.2017.02.160243.
4. Bollen, K. A., Gutin, I., Halpern, C. T., & Harris, K. M. (2021). Subjective health in adolescence: Comparing the reliability of contemporaneous, retrospective, and proxy reports of overall health. Social Science Research, 96, 102538. DOI: 10.1016/j.ssresearch.2021.102538.
5. von Elm, E., Altman, D. G., Egger, M., Pocock, S. J., Gøtzsche, P. C., & Vandenbroucke, J. P. (2007). The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) Statement: Guidelines for Reporting Observational Studies. PLoS Medicine, 4(10), e296. DOI: 10.1371/journal.pmed.0040296.
6. Desalvo, K. B., & Muntner, P. (2011). Discordance between physician and patient self-rated health and all-cause mortality. Ochsner Journal, 11(3), 232–240. Pełny opis źródła.