232. Trafność treściowa – jak ją oceniać?

Lekcja 232 z 560. Trafność treściowa jest jednym z pierwszych elementów oceny jakości narzędzia pomiarowego. Zanim obliczymy alfę Cronbacha, omegę McDonalda czy współczynniki zgodności, trzeba odpowiedzieć na pytanie bardziej podstawowe: czy pozycje narzędzia rzeczywiście obejmują treść badanego konstruktu i są dla niego reprezentatywne? W tej lekcji pokazano, jak zaplanować ocenę trafności treściowej, jak wykorzystać opinie ekspertów i przedstawicieli populacji docelowej oraz jak ostrożnie interpretować wskaźniki CVI i CVR. Temat stanowi naturalne uzupełnienie szkolenia metodologicznego dostępnego na statystyk.edu.pl.

Czym jest trafność treściowa?

Trafność treściowa oznacza stopień, w jakim treść pozycji narzędzia pomiarowego adekwatnie reprezentuje wszystkie istotne aspekty badanego konstruktu, dziedziny umiejętności albo obszaru zachowania. Jeżeli tworzymy skalę obciążenia opiekuna osoby przewlekle chorej, trafność treściowa wymaga nie tylko pytań o zmęczenie. Należy rozważyć także obciążenie emocjonalne, organizację opieki, ograniczenia społeczne, koszty, brak snu i poczucie braku kompetencji — o ile te elementy należą do przyjętej definicji konstruktu.

Współczesna psychometria traktuje trafność nie jako trwałą cechę przypisaną raz na zawsze testowi, lecz jako stopień uzasadnienia określonych interpretacji wyników i zastosowań narzędzia. To ważne rozróżnienie. Kwestionariusz może być trafny treściowo dla oceny objawów depresyjnych u dorosłych pacjentów podstawowej opieki zdrowotnej, ale niekoniecznie dla diagnozy depresji u młodzieży albo dla oceny ryzyka samobójczego. Trafność odnosi się więc do interpretacji wyniku, populacji, kontekstu i celu pomiaru (AERA, APA, & NCME, 2014).

Trafność treściowa nie jest tym samym co rzetelność. Narzędzie może mieć bardzo wysoką spójność wewnętrzną, a jednocześnie pomijać ważne składniki konstruktu. Przykładowo, dziesięć niemal identycznych pozycji dotyczących zmęczenia może dać wysoką alfę Cronbacha, lecz nie zapewniać pełnego pomiaru jakości życia. Rzetelność mówi przede wszystkim o precyzji i powtarzalności pomiaru, natomiast trafność treściowa dotyczy adekwatności zakresu i znaczenia treści.

Dlaczego ocena trafności treściowej jest potrzebna?

Ocena trafności treściowej pełni kilka funkcji. Po pierwsze, pomaga ustalić, czy narzędzie nie pomija istotnych obszarów konstruktu. Po drugie, pozwala wykryć pozycje niejasne, zbyt szczegółowe, niezrozumiałe lub niemające związku z celem pomiaru. Po trzecie, ogranicza ryzyko, że wynik będzie odzwierciedlał cechy uboczne, takie jak poziom wykształcenia, znajomość specjalistycznego języka albo umiejętność obsługi aplikacji.

W badaniach medycznych i społecznych ma to bezpośrednie konsekwencje praktyczne. Jeżeli skala oceny gotowości pielęgniarki do prowadzenia edukacji pacjenta obejmuje wyłącznie wiedzę teoretyczną, może pomijać komunikację, rozpoznawanie barier, dostosowanie informacji do pacjenta i ocenę jego zrozumienia. W takim przypadku wynik może być rzetelny, lecz niepełny względem zamierzonego konstruktu „gotowości do edukacji”.

Etapy oceny trafności treściowej

1. Zdefiniowanie konstruktu i jego granic

Punktem wyjścia jest definicja operacyjna. Powinna ona określać:

• co dokładnie jest mierzone;
• jakie są główne wymiary konstruktu;
• czego narzędzie nie obejmuje;
• dla kogo i w jakim celu będzie stosowane;
• jaki jest horyzont czasowy pomiaru.

Nie należy rozpoczynać od pisania pojedynczych pytań. Najpierw warto przygotować mapę konstruktu albo tabelę specyfikacji. W wierszach można umieścić wymiary, na przykład wiedzę, umiejętności, przekonania i zachowania, a w kolumnach planowaną liczbę pozycji, ich format oraz znaczenie dla wyniku ogólnego.

2. Przegląd literatury i istniejących narzędzi

Definicja konstruktu powinna wynikać z literatury, modeli teoretycznych, wytycznych klinicznych oraz — gdy to uzasadnione — wywiadów z osobami, których konstrukt dotyczy. Istniejące narzędzia mogą pomóc zidentyfikować typowe domeny, ale nie powinny być bezrefleksyjnie kopiowane. Przeniesienie skali do innej kultury, systemu opieki lub grupy zawodowej może zmienić znaczenie pozycji.

W przypadku miar raportowanych przez pacjentów szczególnie ważne jest, czy narzędzie obejmuje treści istotne z perspektywy pacjentów oraz czy pozycje są zrozumiałe i odnoszą się do ich doświadczeń. Metodyka COSMIN wyróżnia trzy kluczowe aspekty trafności treściowej: relevance, czyli adekwatność treści; comprehensiveness, czyli kompletność; oraz comprehensibility, czyli zrozumiałość dla osób, które mają wypełniać narzędzie (Terwee et al., 2018).

3. Przygotowanie pozycji i instrukcji oceny

Ekspertom należy przedstawić nie tylko listę pozycji, lecz także definicję konstruktu, opis domen, populację docelową i instrukcję oceny. Bez tego każdy ekspert może oceniać pytania względem innego rozumienia badanego pojęcia.

Przykładowa skala oceny adekwatności pozycji może mieć cztery kategorie:

1. pozycja nieadekwatna;
2. pozycja wymaga znacznej korekty;
3. pozycja adekwatna, lecz możliwa do ulepszenia;
4. pozycja zdecydowanie adekwatna.

Skala czteropunktowa ogranicza możliwość wyboru neutralnego środka. Należy jednak pamiętać, że sama liczba kategorii nie gwarantuje dobrej oceny. Równie ważne są komentarze jakościowe: co jest niejasne, czego brakuje, jakie słowo może być niezrozumiałe i czy pozycja nie zawiera dwóch pytań naraz.

4. Dobór ekspertów i przedstawicieli populacji

Panel powinien obejmować osoby mające kompetencje związane z konstruktem, populacją lub sposobem użycia narzędzia. W zależności od tematu mogą to być klinicyści, psychologowie, pielęgniarki, ratownicy medyczni, metodolodzy, pacjenci lub przedstawiciele grupy docelowej.

Nie istnieje jedna uniwersalna, obowiązująca liczba ekspertów. Mały panel zwiększa wpływ pojedynczej opinii, a bardzo duży może utrudniać pogłębioną analizę komentarzy. W publikacji trzeba opisać kryteria kwalifikacji, dziedzinę doświadczenia, liczbę zaproszonych osób, liczbę odpowiedzi oraz sposób postępowania z brakiem odpowiedzi. Sam tytuł zawodowy nie jest wystarczającym dowodem kompetencji eksperckiej.

ilościowe wskaźniki trafności treściowej

Content Validity Index — CVI

Jednym z najczęściej stosowanych wskaźników jest indeks trafności treściowej (Content Validity Index, CVI). Dla pojedynczej pozycji oblicza się zwykle I-CVI, czyli odsetek ekspertów, którzy ocenili ją jako adekwatną. Przy czteropunktowej skali za oceny pozytywne często uznaje się kategorie 3 i 4.

Wzór można zapisać następująco:

I-CVI = na / N

• n_a — liczba ekspertów, którzy przyznali pozycji ocenę kwalifikowaną jako adekwatna;
• N — całkowita liczba ekspertów oceniających pozycję.

Jeżeli 8 z 10 ekspertów uznało pozycję za adekwatną, I-CVI wynosi 0,80. Nie należy jednak automatycznie stosować jednego progu niezależnie od liczby ekspertów. Przy małym panelu nawet jedna zmiana oceny istotnie wpływa na wynik. Warto też podać dokładną liczbę zgodnych ocen, a nie wyłącznie zaokrąglony odsetek.

Na poziomie całej skali spotyka się co najmniej dwa sposoby obliczania S-CVI:

• S-CVI/Ave — średnia wartości I-CVI dla wszystkich pozycji;
• S-CVI/UA — odsetek pozycji, dla których wszyscy eksperci przyznali ocenę kwalifikowaną jako adekwatną.

Wskaźniki te nie są równoważne. S-CVI/UA jest bardziej rygorystyczny i silnie zależy od liczby ekspertów. Polit i Beck (2006) zwrócili uwagę, że autorzy publikacji nie zawsze jasno wskazują, którą metodę zastosowali, przez co wartości S-CVI bywają trudne do porównywania.

Content Validity Ratio — CVR

Inną procedurą zaproponował Lawshe (1975). Eksperci klasyfikują każdą pozycję jako:

• niekonieczną;
• przydatną, ale niekonieczną;
• konieczną.

Współczynnik CVR ma postać:

CVR = (ne − N/2) / (N/2)

• n_e — liczba ekspertów uznających pozycję za konieczną;
• N — liczba wszystkich ekspertów.

CVR przyjmuje wartości od −1 do 1. Wartość dodatnia oznacza, że pozycję za konieczną uznało więcej niż połowa ekspertów. Wartość 1 pojawia się wtedy, gdy wszyscy eksperci wybiorą kategorię „konieczna”. Ocena, czy uzyskany CVR jest wystarczający, wymaga odniesienia do liczby ekspertów i odpowiednich wartości krytycznych. Nie należy używać jednego progu dla każdego panelu.

CVI i CVR odpowiadają na nieco inne pytania. CVI koncentruje się na adekwatności lub relewancji pozycji, natomiast CVR na tym, czy pozycja jest uznawana za niezbędną. Wybór wskaźnika powinien wynikać z projektu badania, a nie z poszukiwania procedury, która da najwyższy wynik.

Przykład 1: skala kompetencji w edukacji pacjenta

Załóżmy, że zespół tworzy 12-pozycyjną skalę kompetencji pielęgniarek w zakresie edukacji osób z cukrzycą typu 2. Na podstawie literatury wyróżniono cztery domeny: wiedza kliniczna, komunikacja, indywidualizacja zaleceń oraz sprawdzanie zrozumienia przez pacjenta.

Pozycja brzmi: „Potrafię wyjaśnić pacjentowi, jak dostosować zalecenia dotyczące diety do jego codziennego trybu życia”. Dziewięciu z dziesięciu ekspertów przyznało ocenę 3 lub 4, więc:

I-CVI = 9 / 10 = 0,90

W komentarzach dwóch ekspertów wskazało jednak, że pozycja może mieszać umiejętność komunikacji z wiedzą dietetyczną. Zespół może ją rozdzielić na dwie pozycje albo doprecyzować, czy chodzi o umiejętność wyjaśniania, czy o dobór treści. Wysoki I-CVI nie zwalnia z analizy jakościowej.

Inna pozycja brzmi: „Zawsze przekazuję pacjentowi pełny zestaw informacji dotyczących możliwych powikłań cukrzycy”. Eksperci ocenili ją wysoko pod względem ważności, ale przedstawiciele pacjentów uznali ją za zbyt ogólną i potencjalnie lękotwórczą. To sygnał, że trafność treściowa wymaga uwzględnienia zarówno perspektywy specjalistów, jak i odbiorców narzędzia.

Przykład 2: kwestionariusz obciążenia opiekuna

Badacz przygotował kwestionariusz obciążenia osób opiekujących się pacjentami po udarze. Pierwsza wersja zawiera 15 pozycji, z czego 12 dotyczy zmęczenia i braku snu. Eksperci przyznają tym pozycjom wysokie oceny, ponieważ są one ważnym elementem opieki. Jednak mapa konstruktu wskazuje również na obciążenie emocjonalne, ograniczenie aktywności społecznej, trudności finansowe oraz poczucie braku wpływu na sytuację.

W tym przypadku problemem nie musi być niska wartość I-CVI. Wszystkie pozycje mogą być adekwatne, ale zakres treści pozostaje niekompletny. To przykład różnicy między adekwatnością pojedynczych pozycji a kompletnością całej skali. Badacz powinien dodać pozycje reprezentujące pominięte domeny, a następnie ponownie przeprowadzić ocenę.

Jak poprawiać pozycje po ocenie ekspertów?

Po zebraniu ocen nie należy mechanicznie usuwać każdej pozycji z niższym wskaźnikiem. Najpierw trzeba ustalić przyczynę problemu. Pozycja może być:

• nieadekwatna do konstruktu;
• zbyt ogólna albo zbyt szczegółowa;
• niejednoznaczna językowo;
• podwójna, czyli zawierająca dwa różne zachowania;
• powtarzalna względem innych pozycji;
• ważna dla konstruktu, lecz trudna do zrozumienia;
• nieodpowiednia dla populacji docelowej.

Rozsądny proces może obejmować rundę pierwszą, rewizję pozycji, rundę drugą oraz pilotaż z udziałem osób z populacji docelowej. Jeżeli stosuje się metodę Delphi, trzeba wcześniej określić zasady anonimowości, liczbę rund, sposób przekazywania informacji zwrotnej i kryterium zakończenia. Konsensus nie powinien oznaczać wyłącznie osiągnięcia wysokiego odsetka zgodnych ocen; ważne jest również udokumentowanie dyskusji merytorycznej.

Najczęstsze błędy

1. Traktowanie ekspertów jako jedynego źródła dowodów. Eksperci są ważni, ale ich opinie nie zastępują wywiadów poznawczych, pilotażu i dalszych analiz psychometrycznych.
2. Brak definicji konstruktu. Bez jasnej definicji ocena pozycji staje się intuicyjna i niespójna.
3. Mylenie trafności treściowej z rzetelnością. Wysoka alfa Cronbacha nie dowodzi, że skala obejmuje cały konstrukt.
4. Raportowanie samej średniej ocen. Średnia może ukrywać różnice między ekspertami. Warto podać rozkład odpowiedzi, I-CVI lub CVR oraz komentarze i decyzje rewizyjne.
5. Niepodawanie sposobu obliczania S-CVI. S-CVI/Ave i S-CVI/UA mogą dawać odmienne wyniki.
6. Stosowanie arbitralnego progu. Wymagany poziom akceptacji zależy między innymi od liczby ekspertów, celu narzędzia i konsekwencji decyzji.
7. Pomijanie populacji docelowej. Pozycja zrozumiała dla lekarza może być niejasna dla pacjenta albo osoby starszej.
8. Usuwanie pozycji tylko po to, by podnieść wskaźnik. Eliminacja pozycji może zmniejszyć kompletność treściową skali.
9. Używanie języka przyczynowego. Trafność treściowa nie dowodzi, że narzędzie przewiduje wynik kliniczny ani że badany konstrukt powoduje określone zachowanie.

Jak opisać ocenę trafności treściowej w publikacji?

Opis powinien umożliwić czytelnikowi odtworzenie procedury. Należy podać: definicję konstruktu, źródła wykorzystane do budowy domen, sposób tworzenia pozycji, charakterystykę ekspertów, liczbę zaproszonych i odpowiadających osób, skalę ocen, kryterium uznania oceny za pozytywną, zastosowany wzór, wyniki dla poszczególnych pozycji oraz decyzje dotyczące rewizji.

Przykładowy opis może brzmieć: „Dziesięciu ekspertów oceniło 18 pozycji w czteropunktowej skali adekwatności. Za ocenę pozytywną uznano kategorię 3 lub 4. Dla każdej pozycji obliczono I-CVI jako proporcję ekspertów, którzy przyznali ocenę pozytywną. Pozycje z niskim I-CVI poddano analizie komentarzy i zrewidowano przed pilotażem. Kompletność treści oceniono dodatkowo podczas wywiadów poznawczych z osobami z populacji docelowej”.

Co warto zapamiętać?

• Trafność treściowa dotyczy tego, czy treść narzędzia adekwatnie i kompletnie reprezentuje badany konstrukt.
• Ocena zaczyna się od definicji konstruktu i mapy domen, a nie od obliczania wskaźników.
• Warto łączyć ocenę ekspertów z opiniami osób z populacji docelowej.
• I-CVI opisuje odsetek ekspertów uznających pozycję za adekwatną, natomiast CVR odnosi się do konieczności pozycji.
• S-CVI/Ave i S-CVI/UA są różnymi wskaźnikami i trzeba jasno wskazać, który zastosowano.
• Wysoki CVI nie potwierdza rzetelności, trafności konstruktu ani trafności kryterialnej.
• Nie należy usuwać pozycji wyłącznie na podstawie wskaźnika; trzeba uwzględnić znaczenie pozycji dla kompletności konstruktu.
• Dobra ocena trafności treściowej jest procesem dokumentowanym, iteracyjnym i związanym z konkretnym zastosowaniem narzędzia.

W praktyce trafność treściowa stanowi fundament dalszej walidacji. Jeżeli narzędzie nie obejmuje tego, co ma mierzyć, późniejsze analizy — nawet bardzo zaawansowane — nie naprawią błędu definicyjnego. Dlatego staranne zaplanowanie domen, konsultacja z kompetentnymi osobami i przejrzyste raportowanie są równie ważne jak późniejsze obliczenia statystyczne.

Źródła i dalsza lektura

1. American Educational Research Association, American Psychological Association, & National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing. American Educational Research Association, American Psychological Association, and National Council on Measurement in Education. Źródło.
2. Lawshe, C. H. (1975). A Quantitative Approach to Content Validity. Personnel Psychology, 28(4), 563–575. DOI: 10.1111/j.1744-6570.1975.tb01393.x.
3. Lynn, M. R. (1986). Determination and Quantification of Content Validity. Nursing Research, 35(6), 382–386. DOI: 10.1097/00006199-198611000-00017.
4. Polit, D. F., & Beck, C. T. (2006). The Content Validity Index: Are You Sure You Know What’s Being Reported? Critique and Recommendations. Research in Nursing & Health, 29(5), 489–497. DOI: 10.1002/nur.20147.
5. Terwee, C. B., Prinsen, C. A. C., Chiarotto, A., Westerman, M. J., Patrick, D. L., Alonso, J., Bouter, L. M., de Vet, H. C. W., & Mokkink, L. B. (2018). COSMIN Methodology for Evaluating the Content Validity of Patient-Reported Outcome Measures: A Delphi Study. Quality of Life Research, 27(5), 1159–1170. DOI: 10.1007/s11136-018-1829-0.