234. Trafność konstruktu – co oznacza?

Lekcja 234 z 560. Trafność konstruktu jest jednym z centralnych pojęć psychometrii. Dotyczy sytuacji, w której badacz nie obserwuje bezpośrednio interesującej go właściwości, lecz wnioskuje o niej na podstawie odpowiedzi na pytania, zachowania albo wyniku testu. Takimi właściwościami mogą być między innymi lęk, depresyjność, jakość życia, kompetencje komunikacyjne, obciążenie opiekuna lub gotowość do podjęcia leczenia.

Najważniejsze pytanie brzmi: czy wynik narzędzia rzeczywiście można interpretować jako wskaźnik konstruktu, który badacz deklaruje mierzyć? Odpowiedź nie wynika z jednej wartości alfa Cronbacha ani z pojedynczej korelacji. Wymaga zestawienia teorii, sposobu operacjonalizacji konstruktu oraz wielu rodzajów danych. W tym sensie trafność konstruktu jest procesem uzasadniania interpretacji wyników, a nie trwałą etykietą przypisaną raz na zawsze kwestionariuszowi (Cronbach i Meehl, 1955; Messick, 1995; AERA, APA i NCME, 2014).

Czym jest konstrukt?

Konstrukt to pojęcie teoretyczne, które opisuje właściwość, proces lub dyspozycję niedostępną bezpośredniej obserwacji w taki sposób jak wzrost, temperatura czy liczba hospitalizacji. Konstrukt może być zakotwiczony w teorii psychologicznej, medycznej lub społecznej, ale jego pomiar zawsze wymaga przyjęcia określonych wskaźników.

Przykładowo „lęk przed zabiegiem” nie jest pojedynczym, bezpośrednio widocznym obiektem. Badacz może przyjąć, że przejawia się on w obawach deklarowanych przez pacjenta, napięciu fizjologicznym, unikaniu informacji lub trudnościach z koncentracją. Każdy z tych wskaźników może być użyteczny, ale nie musi odzwierciedlać dokładnie tego samego zakresu konstruktu.

Ważne jest więc rozróżnienie trzech poziomów:

• konstrukt teoretyczny – na przykład depresyjność, kompetencja kliniczna albo poczucie własnej skuteczności;
• obserwowane wskaźniki – odpowiedzi na pytania, wykonanie zadania, ocena eksperta lub zachowanie;
• interpretacja wyniku – wniosek, że określona liczba oznacza niski, umiarkowany albo wysoki poziom konstruktu.

Trafność konstruktu odnosi się przede wszystkim do uzasadnienia przejścia od obserwowanych danych do takiej interpretacji.

Definicja trafności konstruktu

W klasycznej psychometrii trafność konstruktu oznacza stopień, w jakim wyniki pomiaru są zgodne z teoretycznym znaczeniem konstruktu oraz z przewidywaniami wynikającymi z teorii. Cronbach i Meehl (1955) podkreślali, że konstruktu nie ocenia się w izolacji. Należy sprawdzać jego miejsce w tak zwanej sieci nomologicznej, czyli układzie przewidywanych relacji z innymi konstruktami, zachowaniami i zmiennymi obserwowalnymi.

Współczesne standardy pomiaru ujmują trafność szerzej. Nie mówi się przede wszystkim, że „test jest trafny”, lecz że określona interpretacja wyników i określone zastosowanie narzędzia są odpowiednio uzasadnione. Ten sam kwestionariusz może być dobrze zwalidowany do badań przesiewowych, ale niewystarczająco zwalidowany do diagnozy klinicznej albo do podejmowania decyzji o leczeniu. Trafność zależy zatem od populacji, celu, sposobu podawania i konsekwencji użycia wyniku (AERA, APA i NCME, 2014; Kane, 2013).

Trafność konstruktu jako argument z wielu źródeł

Nie istnieje uniwersalny test, który „udowadnia” trafność konstruktu. Badacz buduje argument oparty na kilku rodzajach dowodów. Każdy z nich odpowiada na inne pytanie.

1. Zgodność struktury wewnętrznej z teorią

Jeżeli konstrukt jest wielowymiarowy, teoria powinna określać jego wymiary. Przykładowo skala wypalenia zawodowego może obejmować wyczerpanie emocjonalne, dystans wobec pracy i obniżone poczucie skuteczności. Analiza czynnikowa może sprawdzić, czy wzór współzależności między pozycjami odpowiada zakładanej strukturze.

W analizie eksploracyjnej badacz poszukuje możliwego układu czynników, natomiast w analizie konfirmacyjnej sprawdza wcześniej określony model. Dobre dopasowanie modelu nie jest jednak samodzielnym dowodem trafności. Model może pasować do danych także wtedy, gdy jest teoretycznie błędny, nadmiernie rozbudowany lub dopasowany na tej samej próbie, na której został skonstruowany.

W praktyce warto oceniać między innymi: liczbę czynników, ładunki czynnikowe, korelacje między wymiarami, błędy pomiaru, replikację modelu w niezależnej próbie oraz sens teoretyczny uzyskanej struktury.

2. Zbieżność z podobnymi konstruktami

Trafność zbieżna oznacza, że wynik narzędzia pozostaje powiązany z innymi miarami, które według teorii powinny mierzyć podobną właściwość. Jeżeli opracowujemy skalę lęku przed zabiegiem, można oczekiwać dodatniej korelacji z inną, dobrze ugruntowaną miarą lęku oraz z odpowiednimi objawami napięcia.

Siła oczekiwanej zależności powinna wynikać z teorii, a nie z arbitralnego progu. Korelacja r = 0,80 nie zawsze jest konieczna, a korelacja r = 0,30 nie zawsze jest rozczarowująca. Jeżeli oba narzędzia obejmują częściowo różne aspekty konstruktu, umiarkowana zależność może być zgodna z przewidywaniami.

3. Różnicowanie od odmiennych konstruktów

Trafność różnicowa, nazywana także dyskryminacyjną, oznacza, że narzędzie nie wykazuje nadmiernie silnych związków z konstruktami, które powinny być odrębne. Skala lęku nie powinna być po prostu inną nazwą ogólnego dystresu, depresyjności albo neurotyczności.

Brak korelacji nie jest automatycznie dowodem sukcesu. Jeżeli miary mają bardzo niską rzetelność, zależności mogą być sztucznie osłabione. Trzeba także uwzględnić podobieństwo treści pozycji, wspólną metodę pomiaru oraz możliwość, że teoria dopuszcza umiarkowane powiązanie między konstruktami.

4. Zgodność z przewidywaniami zewnętrznymi

Dowodów na trafność konstruktu mogą dostarczać także zachowania, wyniki kliniczne, obserwacje ekspertów albo zmiany wywołane interwencją. Jeżeli wyższy poziom poczucia własnej skuteczności powinien wiązać się z większą adherencją do zaleceń, można sprawdzić tę zależność w badaniu podłużnym.

Trzeba jednak zachować ostrożność: zgodność z jednym kryterium nie rozstrzyga, jaki konstrukt mierzy skala. Pacjent może przestrzegać zaleceń z powodu wsparcia rodziny, kosztu leczenia, lęku przed powikłaniami albo łatwego dostępu do opieki. Związek między wynikiem a zachowaniem może więc wspierać interpretację, ale jej nie przesądza.

Przykład 1: skala obciążenia opiekuna rodzinnego

Załóżmy, że badacz tworzy krótką skalę obciążenia osób opiekujących się pacjentami po udarze. Teoria zakłada trzy elementy: przeciążenie emocjonalne, ograniczenie aktywności społecznej oraz trudności organizacyjne.

Walidacja konstruktu mogłaby obejmować następujące kroki:

1. Eksperci oceniają, czy pozycje obejmują wszystkie ważne aspekty obciążenia, ale jest to przede wszystkim dowód trafności treściowej.
2. Analiza czynnikowa sprawdza, czy dane wspierają trzywymiarową strukturę.
3. Wyniki skali porównuje się z miarą stresu opiekuna i objawami depresyjnymi; oczekuje się dodatnich, lecz niekoniecznie identycznych zależności.
4. Sprawdza się, czy skala różnicuje opiekunów poświęcających niewiele i bardzo dużo godzin na opiekę.
5. W badaniu podłużnym ocenia się, czy zmiana obciążenia po uzyskaniu wsparcia środowiskowego odpowiada przewidywanemu kierunkowi zmian wyniku.

Jeśli wszystkie wyniki są zgodne z teorią, argument za trafnością jest silniejszy. Jeżeli jednak pozycje tworzą jeden czynnik, nie oznacza to automatycznie, że skala jest wadliwa. Możliwe, że trzy aspekty są w badanej populacji silnie splecione albo że teoria wymaga rewizji.

Przykład 2: kompetencje komunikacyjne pielęgniarek

Rozważmy narzędzie do oceny kompetencji komunikacyjnych pielęgniarek. Samo uzyskanie wysokiej wartości alfa Cronbacha nie pokazuje, że skala mierzy kompetencje komunikacyjne. Wysoka zgodność pozycji może wynikać z powtarzania bardzo podobnych pytań.

Silniejszy argument wymagałby połączenia kilku źródeł danych: oceny ustrukturyzowanej obserwacji rozmowy z pacjentem, samooceny, opinii pacjentów oraz zadania symulacyjnego. Te miary nie powinny być całkowicie identyczne, ponieważ dotyczą różnych perspektyw i sposobów obserwacji, ale powinny wykazywać przewidywane związki.

Jeżeli wynik skali koreluje głównie z ogólną aprobatą społeczną, a nie z oceną nagrań rozmów, interpretacja „kompetencje komunikacyjne” jest słabo uzasadniona. Być może narzędzie mierzy raczej deklarowaną pewność siebie lub tendencję do przedstawiania siebie w korzystnym świetle.

Jak zaplanować badanie trafności konstruktu?

Przed zebraniem danych należy jasno opisać konstrukt. Pomocny jest schemat:

• Jakie zachowania lub odpowiedzi mają wskazywać na konstrukt?
• Jakie wymiary obejmuje konstrukt?
• Jakie zmienne powinny być z nim dodatnio lub ujemnie związane?
• Jakie zmienne powinny pozostać względnie niezależne?
• W jakiej populacji i do jakiej decyzji będzie używany wynik?

Przewidywania można zapisać formalnie. Jeśli X oznacza wynik nowej skali, Y – wynik miary podobnego konstruktu, a Z – wynik miary odmiennego konstruktu, to hipoteza może przyjąć postać:

corr(X, Y) > corr(X, Z)

Symbol corr oznacza wybraną miarę korelacji, na przykład korelację Pearsona albo Spearmana. corr(X, Y) opisuje związek nowej skali z konstruktem podobnym, natomiast corr(X, Z) – z konstruktem odmiennym. Jest to jedynie przykład przewidywania; nie należy traktować go jako uniwersalnego kryterium liczbowego.

W analizie należy uwzględnić niepewność oszacowań, przedziały ufności, rzetelność miar, liczebność próby i możliwe czynniki zakłócające. Samo uzyskanie istotności statystycznej nie oznacza, że dowód jest ważny praktycznie. Przy dużej próbie nawet bardzo mała korelacja może osiągnąć p < 0,05, ale jej znaczenie może być znikome.

Przykład praktyczny: analiza przypadku

Badacz opracował piętnastopozycyjną skalę „gotowości pacjenta do samokontroli cukrzycy”. Założył, że skala ma obejmować wiedzę operacyjną, poczucie skuteczności oraz planowanie codziennych zachowań.

W pierwszej próbie analiza czynnikowa wskazała dwa czynniki zamiast trzech. Wynik może prowadzić do kilku różnych wniosków. Nie należy od razu usuwać pozycji z najniższymi ładunkami tylko po to, aby uzyskać oczekiwany model. Trzeba sprawdzić, czy pozycje dotyczące wiedzy i planowania nie zostały przez pacjentów potraktowane jako jeden wymiar praktycznej samodzielności.

Następnie badacz porównał wyniki skali z obiektywnym testem wiedzy, samooceną poczucia skuteczności oraz rejestrem wykonywania pomiarów glikemii. Skala silnie korelowała z samooceną, umiarkowanie z testem wiedzy i słabo z rzeczywistą częstością pomiarów. Taki wzór nie unieważnia narzędzia, lecz ogranicza zakres interpretacji. Wynik może lepiej odzwierciedlać deklarowaną gotowość i poczucie skuteczności niż faktyczne zachowanie.

Wniosek powinien więc brzmieć ostrożnie: „Dane wspierają interpretację wyniku jako wskaźnika deklarowanej gotowości do samokontroli, szczególnie jej aspektu motywacyjno-kompetencyjnego”. Nie należy pisać: „Skala mierzy gotowość pacjenta” bez wskazania zakresu i ograniczeń.

Najczęstsze błędy

• Traktowanie trafności jako cechy narzędzia niezależnej od zastosowania. Trafność dotyczy interpretacji i użycia wyniku w określonym kontekście.
• Uznawanie alfa Cronbacha za dowód trafności konstruktu. Alfa opisuje określony aspekt rzetelności, nie zgodność pomiaru z teorią.
• Opieranie wniosku na jednej korelacji. Pojedyncza relacja może być przypadkowa, zależna od wspólnej metody lub niewystarczająco specyficzna.
• Mechaniczne stosowanie progów. Nie istnieje jedna wartość korelacji, ładunku czynnikowego ani wskaźnika dopasowania, która sama rozstrzyga o trafności.
• Dopasowywanie modelu po obejrzeniu danych bez replikacji. Model uzyskany eksploracyjnie wymaga sprawdzenia w niezależnej próbie.
• Mylenie związku z przyczynowością. Korelacja wyniku skali z zachowaniem nie dowodzi, że konstrukt powoduje to zachowanie.
• Pomijanie populacji i języka. Narzędzie może mieć inne znaczenie po zmianie kraju, grupy wieku, poziomu wykształcenia lub stanu zdrowia.
• Usuwanie pozycji wyłącznie na podstawie statystyki. Pozycja może mieć ważne znaczenie treściowe mimo umiarkowanego ładunku lub korelacji.

Co warto zapamiętać?

• Trafność konstruktu dotyczy tego, czy dane i teoria wspierają interpretację wyniku jako miary określonej właściwości.
• Nie waliduje się narzędzia „raz na zawsze”; ocenia się interpretację i zastosowanie wyniku w konkretnych warunkach.
• Najlepszy argument korzysta z wielu źródeł: struktury wewnętrznej, trafności zbieżnej i różnicowej oraz relacji z ważnymi kryteriami zewnętrznymi.
• Analiza czynnikowa jest narzędziem pomocniczym, a nie automatycznym dowodem trafności.
• Rzetelność jest potrzebna, ale sama nie wystarcza. Pomiar może być bardzo powtarzalny i jednocześnie mierzyć nie ten konstrukt, który deklaruje badacz.
• Interpretację należy ograniczać do tego, co rzeczywiście wynika z danych, zamiast formułować szersze twierdzenia kliniczne lub przyczynowe.

W praktyce badawczej trafność konstruktu najlepiej traktować jako narastający argument. Każde kolejne badanie może go wzmocnić, ograniczyć albo wskazać, że konstrukt i sposób jego operacjonalizacji wymagają modyfikacji. Takie podejście jest bardziej naukowe niż poszukiwanie jednej „magicznej” wartości, która miałaby rozstrzygać o jakości skali. Zagadnienia te są rozwijane także w ramach publicznego szkolenia metodologicznego na statystyka.edu.pl.

Źródła i dalsza lektura

1. Cronbach, L. J., & Meehl, P. E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52(4), 281–302. DOI: 10.1037/h0040957.
2. Messick, S. (1995). Validity of psychological assessment: Validation of inferences from persons’ responses and performances as scientific inquiry into score meaning. American Psychologist, 50(9), 741–749. DOI: 10.1037/0003-066X.50.9.741.
3. Kane, M. T. (2013). Validating the interpretations and uses of test scores. Journal of Educational Measurement, 50(1), 1–73. DOI: 10.1111/jedm.12000.
4. American Educational Research Association, American Psychological Association, & National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing. American Educational Research Association. Źródło.
5. DeVellis, R. F., & Thorpe, C. T. (2021). Scale Development: Theory and Applications. 5th edition. SAGE Publications. Informacja wydawcy / źródło.
6. Borsboom, D., Mellenbergh, G. J., & van Heerden, J. (2004). The concept of validity. Psychological Review, 111(4), 1061–1071. DOI: 10.1037/0033-295X.111.4.1061.

Więcej kolejnych lekcji publicznego szkolenia znajdziesz na statystyk.edu.pl.