103. Jak dobierać wskaźniki do konstruktu teoretycznego?

Dobór wskaźników jest jednym z najważniejszych etapów przejścia od teorii do danych. Konstruktu teoretycznego, takiego jak depresja, jakość życia, zaufanie do systemu ochrony zdrowia, wypalenie zawodowe czy gotowość do udzielenia pierwszej pomocy, nie obserwujemy bezpośrednio. Możemy natomiast obserwować odpowiedzi, zachowania, wyniki testów, pomiary fizjologiczne lub dane administracyjne, które mają dostarczać informacji o tym konstrukcie.

Nie każdy dostępny pomiar jest jednak dobrym wskaźnikiem. Dobór powinien wynikać z definicji konstruktu, modelu teoretycznego, celu badania i przewidywanego sposobu interpretacji wyników. W tej lekcji publicznego kursu metodologii badań i statystyki na statystyk.edu.pl skupiamy się na pytaniu praktycznym: jak rozpoznać, że wybrany wskaźnik rzeczywiście reprezentuje interesujący nas konstrukt, a nie tylko jego wąski fragment albo zjawisko z nim sąsiadujące?

1. Czym jest wskaźnik konstruktu?

Wskaźnik to obserwowalna zmienna, która ma dostarczać informacji o właściwości, zdarzeniu lub procesie objętym konstruktem teoretycznym. Może przyjmować różną postać:

• odpowiedzi na pytanie kwestionariuszowe;
• wyniku standaryzowanego testu;
• oceny dokonanej przez obserwatora lub klinicystę;
• częstości określonego zachowania;
• pomiaru biologicznego, na przykład stężenia hemoglobiny glikowanej;
• informacji z dokumentacji medycznej;
• wskaźnika złożonego, obliczanego na podstawie kilku zmiennych.

Wskaźnik nie jest automatycznie równy konstruktowi. Wynik skali depresji nie jest „depresją” jako zjawiskiem klinicznym, lecz obserwacją, którą można interpretować jako informację o nasileniu objawów depresyjnych w określonej populacji i sytuacji. Podobnie liczba wizyt na izbie przyjęć może być wskaźnikiem wykorzystania świadczeń, ale sama w sobie nie jest pełnym pomiarem potrzeb zdrowotnych.

Współczesne ujęcia trafności podkreślają, że ocenia się nie abstrakcyjną „trafność narzędzia” w oderwaniu od kontekstu, lecz zasadność określonej interpretacji wyników i ich zastosowania (AERA, APA i NCME, 2014; Kane, 2013). Ten sam wskaźnik może być użyteczny do jednego celu, a niewystarczający do innego.

2. Zacznij od zakresu konstruktu, nie od dostępnego narzędzia

Najczęstszy błąd polega na rozpoczęciu pracy od wyszukania gotowej skali, a dopiero później dopasowywaniu do niej pytania badawczego. Prawidłowa kolejność jest odwrotna:

1. zdefiniuj konstrukt;
2. określ jego zakres i wymiary;
3. ustal populację, kontekst i okres pomiaru;
4. wyprowadź potencjalne wskaźniki;
5. oceń ich przydatność i ograniczenia;
6. wybierz narzędzie lub zaprojektuj własny zestaw wskaźników.

Definicja konstruktu powinna odpowiadać na cztery pytania:

• Co jest mierzone?
• U kogo i w jakiej populacji?
• W jakim kontekście występuje konstrukt?
• W jakim czasie ma obowiązywać pomiar?

Na przykład „aktywność fizyczna” może oznaczać całkowity czas ruchu w ciągu tygodnia, intensywną aktywność, liczbę kroków, wydatek energetyczny albo realizację zaleceń zdrowotnych. Wybór wskaźnika zależy od tego, który z tych aspektów jest istotny dla projektu.

3. Reprezentatywność wskaźnika

Dobry wskaźnik powinien być nie tylko powiązany z konstruktem, ale także adekwatnie reprezentować jego treść. W tym celu warto sporządzić mapę konstruktu. Jest to tabela, w której wyszczególnia się wymiary konstruktu, możliwe przejawy obserwowalne oraz planowane wskaźniki.

Wymiar konstruktu	Możliwy przejaw	Przykładowy wskaźnik	Ryzyko pominięcia
Objawy poznawcze	Trudności z koncentracją	Pozycja kwestionariusza	Ograniczenie konstruktu do samoopisu
Objawy emocjonalne	Obniżony nastrój	Skala nasilenia objawów	Brak pomiaru funkcjonowania
Funkcjonowanie społeczne	Wycofanie z kontaktów	Liczba dni z ograniczoną aktywnością	Pominięcie konsekwencji praktycznych

Mapa pomaga odróżnić reprezentatywność od łatwości pomiaru. Wskaźnik łatwy do zebrania, na przykład pojedyncze pytanie, może być wygodny organizacyjnie, ale nie musi obejmować ważnych części konstruktu. Ocena treściowej adekwatności wskaźników powinna opierać się na literaturze, modelu teoretycznym oraz opinii kompetentnych ekspertów. W badaniach nad skalami często wykorzystuje się również wywiady poznawcze z osobami z populacji docelowej, aby sprawdzić, jak rozumieją one pytania (Boateng i in., 2018).

4. Wskaźniki refleksyjne i formatywne

Ważne jest ustalenie, jaką rolę pełnią wskaźniki względem konstruktu. W modelu refleksyjnym konstrukt teoretyczny traktuje się jako przyczynę lub źródło obserwowanych odpowiedzi. Jeżeli osoba ma wyższe nasilenie lęku, może częściej zgłaszać napięcie, zamartwianie się, trudności z odprężeniem i objawy somatyczne. Wskaźniki są wtedy przejawami wspólnego podłoża.

W uproszczeniu można zapisać:

Xi = λiη + εi

• X_i – obserwowany wskaźnik, na przykład odpowiedź na pozycję kwestionariusza;
• η – konstrukt latentny, na przykład nasilenie lęku;
• λ_i – ładunek wskaźnika, czyli siła związku wskaźnika z konstruktem;
• ε_i – część wyniku niezwiązana z konstruktem, obejmująca błąd pomiaru i wpływ innych czynników.

W modelu refleksyjnym oczekuje się zwykle pewnego współwystępowania wskaźników. Usunięcie jednego wskaźnika może zmniejszyć precyzję pomiaru, ale nie powinno zmienić definicji konstruktu.

W modelu formatywnym wskaźniki współtworzą konstrukt. Przykładem może być status społeczno-ekonomiczny, opisywany przez wykształcenie, dochód, warunki mieszkaniowe i sytuację zawodową. Elementy te nie muszą być silnie skorelowane, a usunięcie jednego z nich może zmienić zakres konstruktu. Podobnie indeks obciążenia chorobami może być tworzony z różnych rozpoznań, których współwystępowanie nie musi być wysokie.

Rozróżnienie jest ważne, ponieważ nie wolno automatycznie oceniać wszystkich zestawów wskaźników takimi samymi kryteriami. Wysoka spójność wewnętrzna może być pożądana w przypadku określonej skali refleksyjnej, lecz niekoniecznie w przypadku indeksu formatywnego. Wskaźniki powinny być oceniane zgodnie z założonym modelem pomiaru.

5. Jak oceniać kandydacki wskaźnik?

5.1. Zgodność z definicją konstruktu

Najpierw należy zapytać, czy wskaźnik mierzy interesującą właściwość, a nie jedynie jej konsekwencję, przyczynę lub korelat. Na przykład absencja w pracy może być skutkiem złego stanu zdrowia, ale nie jest jego pełnym wskaźnikiem. Może zależeć także od rodzaju zatrudnienia, polityki pracodawcy i możliwości pracy zdalnej.

5.2. Jednoznaczność i czułość

Wskaźnik powinien rozróżniać osoby lub sytuacje, które rzeczywiście różnią się poziomem konstruktu. Jeżeli pytanie jest zbyt ogólne, prawie wszyscy respondenci wybiorą tę samą odpowiedź. Jeżeli jest zbyt trudne, obciążone językowo albo zależne od pamięci, wynik może odzwierciedlać zdolność rozumienia pytania lub przypominania sobie zdarzeń, a nie konstrukt.

5.3. Trafność treściowa i zrozumiałość

Treść wskaźnika powinna być adekwatna dla grupy badanej. Pytanie o „ograniczenie zwykłych aktywności” może być różnie rozumiane przez osoby pracujące, emerytów i pacjentów hospitalizowanych. Dlatego pilotaż powinien obejmować przedstawicieli populacji docelowej, a nie wyłącznie członków zespołu badawczego.

5.4. Trafność zbieżna i różnicowa

Wskaźnik powinien wiązać się z innymi miarami tego samego lub podobnego konstruktu, ale nie powinien być niemal nierozróżnialny od konstruktów odmiennych. Przewidywane związki należy ustalić przed analizą, na podstawie teorii, a nie dopiero po obejrzeniu macierzy korelacji. Takie podejście jest zgodne z ideą sieci nomologicznej i kumulowania dowodów na rzecz interpretacji wyników (Cronbach i Meehl, 1955; Messick, 1995).

5.5. Wrażliwość na zmianę

Jeżeli wskaźnik ma służyć do oceny efektu rehabilitacji, leczenia lub programu profilaktycznego, powinien reagować na istotną zmianę w czasie. Wskaźnik stabilny w warunkach braku zmiany nie musi być dobrym wskaźnikiem do badania poprawy klinicznej. Ocena właściwości pomiarowych powinna uwzględniać m.in. rzetelność, błąd pomiaru, trafność oraz responsywność (Terwee i in., 2007).

6. Przykład 1: konstrukt „przestrzeganie leczenia”

Załóżmy, że badanie dotyczy przestrzegania zaleceń przez osoby z nadciśnieniem tętniczym. Konstruktu nie należy utożsamiać wyłącznie z deklaracją: „Czy przyjmuje Pan/Pani leki zgodnie z zaleceniem?”. Taka odpowiedź może być obciążona pamięcią i tendencją do udzielania odpowiedzi społecznie akceptowanej.

Możliwy model obejmuje kilka aspektów:

• regularność przyjmowania leków;
• prawidłowe dawkowanie;
• realizowanie zaleceń dotyczących wizyt kontrolnych;
• monitorowanie ciśnienia, jeżeli jest elementem zaleceń;
• przyczyny pomijania dawek, takie jak działania niepożądane, koszty lub zapominanie.

Wskaźnikami mogą być: wynik walidowanej skali samoopisu, dane z elektronicznego systemu wydawania leków, liczba nieodebranych recept oraz pomiary ciśnienia. Każdy z tych wskaźników opisuje inny fragment zjawiska. Dane o realizacji recept informują o uzyskaniu leku, ale nie dowodzą, że lek został przyjęty. Samoopis może być dostępny dla wszystkich, lecz podatny na błąd pamięci. Najlepszym rozwiązaniem może być triangulacja, czyli zaplanowane połączenie kilku źródeł danych, o ile odpowiada to definicji konstruktu i możliwościom badania.

7. Przykład 2: konstrukt „wypalenie zawodowe pielęgniarek”

Wypalenie zawodowe nie powinno być mierzone wyłącznie liczbą godzin pracy. Długi czas pracy może zwiększać ryzyko przeciążenia, ale sam w sobie nie jest wypaleniem. Wskaźniki powinny obejmować te elementy konstruktu, które wynikają z przyjętej koncepcji: wyczerpanie, dystans lub cynizm wobec pracy oraz obniżone poczucie skuteczności zawodowej.

Przy wyborze narzędzia należy sprawdzić, czy skala została opracowana i zwalidowana dla pielęgniarek lub populacji o podobnym charakterze pracy, czy obejmuje odpowiednie wymiary oraz czy sposób obliczania wyniku jest zgodny z planowaną interpretacją. Nie należy zastępować konstruktu wypalenia wskaźnikami organizacyjnymi, takimi jak rotacja personelu czy liczba zwolnień lekarskich. Są to potencjalne konsekwencje lub korelaty, a nie bezpośrednie pomiary wypalenia.

8. Przykład praktyczny: wybór wskaźników jakości życia pacjentów

Badacz planuje ocenę jakości życia osób po udarze mózgu. Początkowo zamierza wykorzystać jeden wskaźnik: wynik testu sprawności ruchowej. Jest to pomiar istotny, lecz zbyt wąski, jeżeli jakość życia definiuje się jako dobrostan obejmujący funkcjonowanie fizyczne, emocjonalne, społeczne i niezależność w codziennych czynnościach.

Praktyczna procedura może wyglądać następująco:

1. zdefiniowanie jakości życia jako oceny własnego funkcjonowania i dobrostanu w określonym okresie;
2. wyodrębnienie wymiarów: mobilność, samoobsługa, komunikacja, nastrój, relacje społeczne i subiektywna ocena zdrowia;
3. wybór narzędzia obejmującego te wymiary;
4. dodanie pomiaru sprawności ruchowej jako wskaźnika funkcjonalnego, ale nie jako pełnego substytutu jakości życia;
5. sprawdzenie, czy narzędzie jest zrozumiałe dla osób z zaburzeniami mowy i czy przewidziano udział opiekuna, jeśli jest to metodologicznie uzasadnione;
6. ustalenie z góry, czy głównym wynikiem będzie wynik całkowity, wyniki podskal czy oba rodzaje informacji.

W tym przypadku dobór wskaźników jest jednocześnie decyzją o zakresie wnioskowania. Jeżeli pomiar obejmuje tylko sprawność ruchową, wnioski powinny dotyczyć sprawności ruchowej, a nie jakości życia jako całości.

9. Najczęstsze błędy

• Wybór wskaźnika dlatego, że jest łatwo dostępny. Dostępność danych nie świadczy o ich adekwatności teoretycznej.
• Traktowanie pojedynczego pytania jako pełnej miary złożonego konstruktu. Pojedynczy wskaźnik może być uzasadniony, ale wymaga wyraźnego ograniczenia interpretacji.
• Mieszanie przyczyn, przejawów i konsekwencji konstruktu. Na przykład absencja nie jest tym samym co depresja, a liczba nadgodzin nie jest tym samym co wypalenie.
• Pomijanie kontekstu i populacji. Wskaźnik odpowiedni dla pacjentów ambulatoryjnych może być nieadekwatny na oddziale intensywnej terapii.
• Mechaniczne stosowanie alfa Cronbacha. Wysoka spójność wewnętrzna nie dowodzi, że skala obejmuje cały konstrukt ani że jest trafna.
• Usuwanie wskaźników wyłącznie na podstawie słabej korelacji. W modelu formatywnym słaba korelacja może być oczekiwana, a usunięcie wskaźnika może zawęzić zakres konstruktu.
• Wnioskowanie przyczynowe na podstawie samego wskaźnika. Pomiar konstruktu nie rozstrzyga automatycznie o przyczynach jego poziomu.
• Ignorowanie obciążenia pomiarowego. Język, pamięć, zmęczenie, lęk przed ujawnieniem informacji i nierówności dostępu mogą wpływać na wynik.

10. Procedura decyzyjna dla badacza

Przed ostatecznym wyborem wskaźników warto odpowiedzieć pisemnie na następujące pytania:

1. Jaki dokładnie konstrukt mierzę?
2. Jakie jego wymiary uznaję za konieczne?
3. Czy wskaźniki są przejawami konstruktu, czy współtworzą jego definicję?
4. Jakie są przewidywane związki wskaźnika z innymi zmiennymi?
5. Jakie alternatywne wyjaśnienia mogą wpływać na wynik?
6. Czy wskaźnik jest zrozumiały i wykonalny dla badanej populacji?
7. Czy pomiar jest odpowiedni dla celu: opisu, różnicowania, prognozowania czy oceny zmiany?
8. Jakie dowody trafności i rzetelności są dostępne dla wybranego narzędzia?
9. Jakie ograniczenia interpretacji zostaną zapisane w protokole i publikacji?

Tak przygotowany proces ułatwia późniejsze zbudowanie słownika zmiennych oraz planu analizy. Wskaźnik powinien być opisany nie tylko nazwą, lecz także definicją, skalą pomiaru, jednostką, okresem odniesienia, źródłem danych, sposobem kodowania i regułami postępowania z brakami danych.

Co warto zapamiętać?

• Wskaźnik jest obserwowalną reprezentacją konstruktu, a nie konstruktem samym w sobie.
• Dobór wskaźników zaczyna się od definicji teoretycznej i zakresu konstruktu, nie od przypadkowo znalezionej skali.
• Wskaźniki powinny obejmować ważne wymiary konstruktu i być adekwatne dla określonej populacji, kontekstu oraz celu pomiaru.
• Trzeba odróżniać modele refleksyjne od formatywnych, ponieważ odmienne są ich założenia i kryteria oceny.
• Wysoka istotność statystyczna lub wysoka korelacja nie gwarantują trafności teoretycznej wskaźnika.
• Interpretacja wyników powinna być dokładnie tak szeroka, jak zakres konstruktu rzeczywiście objęty pomiarem.
• Najsilniejsze uzasadnienie daje kumulacja dowodów: teoria, ocena treści, pilotaż, właściwości psychometryczne oraz zgodność z przewidywanymi relacjami z innymi zmiennymi.

W praktyce dobór wskaźników jest więc argumentem metodologicznym: badacz powinien umieć wyjaśnić, dlaczego właśnie te obserwacje pozwalają przejść od danych do wniosków o konstrukcie. Im bardziej ambitna interpretacja, tym mocniejszych i bardziej różnorodnych dowodów wymaga.

\n

Źródła i dalsza lektura

\n

1. Cronbach, L. J., & Meehl, P. E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52(4), 281–302. DOI: 10.1037/h0040957.
2. Boateng, G. O., Neilands, T. B., Frongillo, E. A., Melgar-Quiñonez, H. R., & Young, S. L. (2018). Best Practices for Developing and Validating Scales for Health, Social, and Behavioral Research: A Primer. Frontiers in Public Health, 6, 149. DOI: 10.3389/fpubh.2018.00149.
3. Terwee, C. B., Bot, S. D. M., de Boer, M. R., van der Windt, D. A. W. M., Knol, D. L., Dekker, J., Bouter, L. M., & de Vet, H. C. W. (2007). Quality criteria were proposed for measurement properties of health status questionnaires. Journal of Clinical Epidemiology, 60(1), 34–42. DOI: 10.1016/j.jclinepi.2006.03.012.
4. Messick, S. (1995). Validity of Psychological Assessment: Validation of Inferences From Persons' Responses and Performances as Scientific Inquiry Into Score Meaning. American Psychologist, 50(9), 741–749. DOI: 10.1037/0003-066X.50.9.741.
5. Kane, M. T. (2013). Validating the Interpretations and Uses of Test Scores. Journal of Educational Measurement, 50(1), 1–73. DOI: 10.1111/jedm.12000.
6. American Educational Research Association, American Psychological Association, & National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing. American Educational Research Association. Źródło.

\n