106. Jak operacjonalizować wiedzę w badaniu ankietowym?

Wiedza jest konstruktem teoretycznym, którego nie obserwujemy bezpośrednio. W badaniu ankietowym możemy natomiast obserwować odpowiedzi osoby badanej na pytania dotyczące faktów, zasad, procedur albo rozwiązywania problemów. Zadaniem operacjonalizacji jest zatem zaprojektowanie takiego pomiaru, aby odpowiedzi możliwie trafnie odzwierciedlały zakres i poziom wiedzy, a nie na przykład pewność siebie, pamięć krótkotrwałą, umiejętność czytania lub skłonność do zgadywania.

W tej lekcji, stanowiącej część publicznego szkolenia dostępnego na statystyka.edu.pl, skupimy się na wiedzy mierzonej za pomocą ankiety. Nie chodzi więc o ogólne pytanie „czy respondent zna temat?”, lecz o przemyślane przejście od konstruktu do zestawu zadań, reguł punktowania i interpretacji wyniku.

1. Czym jest wiedza jako konstrukt?

Wiedza może być rozumiana jako uporządkowany zasób informacji, pojęć, reguł lub zależności, które osoba potrafi rozpoznać, odtworzyć, zastosować albo wykorzystać do rozwiązania problemu. Taka definicja jest jednak zbyt szeroka, aby od razu stworzyć dobry kwestionariusz. Najpierw trzeba określić, jakiego rodzaju wiedzę mierzymy.

• Wiedza deklaratywna obejmuje fakty, pojęcia i zależności, na przykład znajomość objawów udaru.
• Wiedza proceduralna dotyczy znajomości sposobu postępowania, na przykład kolejności czynności podczas udzielania pierwszej pomocy.
• Wiedza interpretacyjna polega na rozumieniu znaczenia informacji, na przykład interpretacji wyniku pomiaru ciśnienia tętniczego.
• Wiedza aplikacyjna oznacza zdolność zastosowania reguły w konkretnej sytuacji, na przykład wyboru właściwej reakcji w opisanym przypadku klinicznym.

Te rodzaje wiedzy mogą wymagać odmiennych zadań. Pytanie o definicję mierzy przede wszystkim rozpoznanie lub odtworzenie informacji. Krótki opis sytuacji i prośba o wybór właściwego działania jest bliższa pomiarowi zastosowania wiedzy. Nie należy automatycznie traktować wszystkich takich zadań jako równoważnych.

2. Od definicji konstruktu do planu pomiaru

Operacjonalizacja wiedzy powinna rozpocząć się od definicji zakresu treści. W praktyce warto odpowiedzieć na pięć pytań:

1. Jaki obszar wiedzy jest przedmiotem badania?
2. Kogo uznajemy za osobę, która powinna tę wiedzę posiadać?
3. Jaki jest kontekst użycia wiedzy?
4. Jaki poziom poznawczy chcemy zmierzyć?
5. Jakie treści powinny być reprezentowane w kwestionariuszu?

Dobrym narzędziem jest specyfikacja treści testu, nazywana także tabelą planu testu. W wierszach można umieścić dziedziny tematyczne, a w kolumnach poziomy poznawcze lub typy zadań. Przykładowo, kwestionariusz wiedzy studentów pielęgniarstwa o zapobieganiu zakażeniom może obejmować: higienę rąk, środki ochrony osobistej, zasady aseptyki i postępowanie po ekspozycji zawodowej. Dla każdej dziedziny można zaplanować pytania o fakty, rozumienie i zastosowanie.

Takie planowanie ogranicza ryzyko, że wynik będzie zależał od przypadkowego doboru kilku pytań. Trafność treściowa wymaga bowiem, aby zadania były istotne dla konstruktu, obejmowały jego ważne składniki i były zrozumiałe dla populacji docelowej (Mokkink et al., 2010; Terwee et al., 2018).

3. Wskaźniki wiedzy w ankiecie

Wiedza może być reprezentowana przez różne wskaźniki. Najczęściej stosuje się:

• liczbę poprawnych odpowiedzi;
• odsetek poprawnych odpowiedzi;
• wynik ważony, gdy niektóre zadania mają większe znaczenie;
• poziom opanowania określonego zakresu treści;
• wskaźnik wiedzy obiektywnej lub subiektywnej.

Wiedza obiektywna jest oceniana na podstawie wcześniej ustalonego klucza odpowiedzi. Respondent wybiera odpowiedź, a badacz ocenia ją jako poprawną lub niepoprawną. Wiedza subiektywna oznacza natomiast samoocenę, na przykład odpowiedź na pytanie: „Jak oceniasz swoją znajomość zasad resuscytacji?”. Są to różne konstrukty. Samoocena może być użyteczna, ale nie powinna być przedstawiana jako bezpośredni pomiar faktycznej wiedzy.

Dla prostego testu zadań punktowanych dychotomicznie można zastosować wzór:

W = (S / K) × 100%

• W oznacza procentowy wynik wiedzy;
• S oznacza liczbę uzyskanych punktów;
• K oznacza maksymalną możliwą liczbę punktów.

Jeżeli respondent odpowiedział poprawnie na 16 z 20 pytań, wynik wynosi (16 / 20) × 100% = 80%. Warto pamiętać, że wynik procentowy jest transformacją liczby punktów, a nie dowodem, że respondent posiada „80% całej wiedzy” w danej dziedzinie. Znaczenie wyniku zależy od zakresu treści, trudności zadań i populacji, w której test stosowano.

4. Jak konstruować pytania sprawdzające wiedzę?

4.1. Jedno pytanie powinno dotyczyć jednej treści

Pytanie nie powinno łączyć kilku niezależnych problemów. Formuła „Czy znasz objawy i zasady leczenia nadciśnienia?” jest niejednoznaczna, ponieważ respondent może znać objawy, ale nie znać zasad leczenia. Lepszym rozwiązaniem są dwa osobne zadania.

4.2. Treść pytania powinna być jednoznaczna

Należy unikać nieostrych określeń, takich jak „zwykle”, „często” lub „właściwe postępowanie”, chyba że zostaną zdefiniowane. Trzeba również wskazać ramę czasową i kontekst, jeśli mogą zmienić odpowiedź.

4.3. Odpowiedzi powinny być rozłączne i możliwie wyczerpujące

W pytaniu jednokrotnego wyboru tylko jedna odpowiedź powinna być najlepsza według przyjętego klucza. Dystraktory, czyli odpowiedzi niepoprawne, powinny być wiarygodne, lecz jednoznacznie błędne w świetle wiedzy naukowej. Nie należy tworzyć dystraktorów absurdalnych, ponieważ pytanie staje się wtedy testem zdrowego rozsądku, a nie wiedzy.

4.4. Należy ostrożnie stosować przeczenia

Pytania typu „Które z poniższych działań nie jest niewłaściwe?” zwiększają obciążenie poznawcze i sprzyjają pomyłkom niezwiązanym z merytoryczną wiedzą. Jeśli przeczenie jest konieczne, powinno być wyraźnie zaznaczone i sprawdzone podczas pilotażu.

4.5. Trzeba odróżnić wiedzę od opinii i intencji

Zdanie „Uważam, że szczepienia są skuteczne” mierzy przekonanie. Zdanie „Czy szczepienia zmniejszają ryzyko zachorowania na określoną chorobę?” może mierzyć wiedzę, o ile istnieje jednoznaczna odpowiedź oparta na przyjętym źródle. Z kolei „Czy zaszczepisz się w przyszłym roku?” dotyczy intencji behawioralnej.

5. Przykład 1: wiedza pacjentów o udarze mózgu

Załóżmy, że celem badania jest ocena wiedzy dorosłych mieszkańców o rozpoznawaniu objawów udaru i właściwej reakcji. Samo pytanie „Czy mieszkańcy wiedzą, czym jest udar?” byłoby niewystarczające. Można zdefiniować dwa wymiary:

• rozpoznawanie typowych objawów;
• znajomość właściwego działania po ich wystąpieniu.

Przykładowe zadanie dotyczące objawów mogłoby brzmieć: „Który zestaw objawów powinien skłonić do pilnego wezwania pomocy medycznej?”. Odpowiedzi powinny przedstawiać różne kombinacje objawów, a nie jedynie pojedyncze słowa. Zadanie dotyczące działania mogłoby brzmieć: „Co należy zrobić w pierwszej kolejności, gdy u osoby nagle pojawi się opadanie kącika ust, osłabienie ręki i zaburzenia mowy?”.

W tym przypadku nie wystarczy policzyć poprawnych odpowiedzi. Należy również sprawdzić, czy pytania obejmują istotne elementy wiedzy, czy są zrozumiałe dla osób o różnym poziomie wykształcenia oraz czy nie sugerują odpowiedzi. Jeżeli badanie ma służyć planowaniu edukacji zdrowotnej, szczególnie wartościowe mogą być zadania dotyczące decyzji w sytuacji opisanej w krótkim scenariuszu.

6. Przykład 2: wiedza studentów pielęgniarstwa o higienie rąk

Wiedza o higienie rąk nie powinna być mierzona wyłącznie pytaniem o deklarowaną znajomość procedury. Można zaplanować trzy obszary:

1. znajomość wskazań do higieny rąk;
2. znajomość prawidłowej techniki;
3. rozumienie sytuacji, w których należy zastosować określoną procedurę.

Pytanie o wskazania może mieć formę wyboru kilku poprawnych odpowiedzi. Pytanie o technikę może wymagać uporządkowania etapów. Pytanie sytuacyjne może przedstawiać kontakt z pacjentem, użycie rękawic i przejście do kolejnej czynności. Takie zadania lepiej reprezentują praktyczny charakter wiedzy niż seria pytań definicyjnych.

Trzeba jednak jasno określić zasady punktowania. Czy częściowo poprawna kolejność otrzymuje zero punktów, czy punkty częściowe? Czy wybór dodatkowej, błędnej odpowiedzi powoduje utratę całego punktu? Reguły te powinny być ustalone przed analizą danych, opisane w planie badania i zastosowane jednakowo wobec wszystkich respondentów.

7. Trafność, rzetelność i interpretowalność wyniku

Trafność treściowa dotyczy tego, czy zadania właściwie reprezentują badany zakres wiedzy. Można ją oceniać na podstawie przeglądu literatury, programu kształcenia, wytycznych klinicznych oraz opinii ekspertów. Ważne jest także badanie z udziałem przedstawicieli populacji docelowej, którzy oceniają zrozumiałość pytań.

Trafność konstruktu odnosi się do zgodności wyników z teoretycznym rozumieniem wiedzy. Jeżeli kwestionariusz ma mierzyć wiedzę obiektywną, jego wynik powinien różnicować osoby o odmiennym przygotowaniu merytorycznym, ale nie powinien być silnie zależny od nieistotnych cech, takich jak preferowany styl odpowiedzi.

Rzetelność oznacza względną precyzję pomiaru. W przypadku testów wiedzy można analizować między innymi spójność odpowiedzi, trudność zadań i ich moc różnicującą. Współczynnik alfa Cronbacha nie jest automatycznie właściwą miarą dla każdego testu wiedzy. Jeśli zadania dotyczą różnych, lecz ważnych dziedzin, niska spójność może wynikać z wielowymiarowości testu, a nie z jego bezużyteczności. Ocena narzędzia powinna być dopasowana do jego konstrukcji i celu (Boateng et al., 2018; Mokkink et al., 2010).

Interpretowalność oznacza możliwość nadania wynikowi praktycznego znaczenia. Możemy interpretować wynik opisowo, na przykład jako odsetek poprawnych odpowiedzi, albo przyjąć poziomy kompetencji. Progi typu „poniżej 50% — niski poziom wiedzy” nie powinny być ustalane arbitralnie bez uzasadnienia. Próg może wynikać z kryteriów eksperckich, wymagań programu kształcenia lub celu decyzyjnego, ale powinien być przedstawiony jako konwencja badawcza, a nie naturalna granica w populacji.

8. Pilotaż i badanie poznawcze pytań

Przed właściwym badaniem warto przeprowadzić pilotaż. Respondenci powinni nie tylko zaznaczyć odpowiedzi, ale także powiedzieć, jak rozumieli pytanie, jakie informacje uznali za najważniejsze i dlaczego wybrali określoną odpowiedź. Taka procedura pomaga wykryć pytania zbyt trudne językowo, niejednoznaczne lub zależne od wiedzy spoza zaplanowanego zakresu.

Po pilotażu można analizować rozkład odpowiedzi. Zadanie, na które niemal wszyscy odpowiadają poprawnie, może być zbyt łatwe i słabo różnicować respondentów. Zadanie, na które niemal nikt nie odpowiada poprawnie, może być zbyt trudne, niejasne albo dotyczyć treści niewchodzącej w zakres nauczania. Nie oznacza to, że każde trudne pytanie należy usunąć. Jeśli mierzy ono ważną kompetencję, może pozostać, ale jego funkcja powinna być świadoma i uzasadniona.

Najczęstsze błędy

• Traktowanie samooceny jako pomiaru wiedzy. Osoba może mieć dużą pewność siebie przy niskim poziomie wiedzy albo odwrotnie.
• Budowanie testu z przypadkowych pytań. Kilka atrakcyjnych pytań nie zastępuje planu reprezentacji treści.
• Łączenie wiedzy, postaw i zachowań w jeden wynik. Są to odrębne konstrukty, które wymagają odmiennych wskaźników.
• Niejasny klucz odpowiedzi. Jeśli więcej niż jedna odpowiedź może być uznana za poprawną, reguła punktowania powinna to uwzględniać.
• Wprowadzanie pytań wymagających aktualnych informacji bez podania daty odniesienia. Wiedza medyczna i zalecenia mogą się zmieniać, dlatego należy wskazać wersję wytycznych lub moment pomiaru.
• Nadmierne poleganie na jednym współczynniku rzetelności. Wskaźnik liczbowy nie zastępuje analizy treści i sposobu funkcjonowania pozycji.
• Ustalanie arbitralnych kategorii. Podział wyniku na „niski”, „średni” i „wysoki” wymaga uzasadnienia metodologicznego.
• Używanie języka przyczynowego. Sam fakt, że osoby po szkoleniu uzyskały wyższy wynik, nie dowodzi skuteczności szkolenia, jeśli nie zastosowano odpowiedniego schematu porównawczego.

Przykład praktyczny: projekt kwestionariusza wiedzy o pierwszej pomocy

Badacz chce ocenić wiedzę uczniów szkół ponadpodstawowych o reagowaniu w sytuacji nagłego zatrzymania krążenia. Najpierw definiuje konstrukt jako znajomość podstawowych zasad rozpoznania zagrożenia, wezwania pomocy, rozpoczęcia resuscytacji i użycia automatycznego defibrylatora zewnętrznego. Następnie tworzy tabelę planu testu, w której przewiduje po cztery pytania dla każdego obszaru.

Wstępna wersja zawiera 16 zadań: pytania jednokrotnego wyboru, jedno zadanie porządkowania czynności oraz dwa krótkie scenariusze. Ekspert medyczny sprawdza zgodność klucza z aktualnymi zaleceniami, a kilku uczniów uczestniczy w badaniu poznawczym. Uczniowie wskazują, że skrót użyty w jednym pytaniu jest dla nich niezrozumiały, dlatego badacz zastępuje go pełnym określeniem.

Wynik główny obliczany jest jako odsetek poprawnych odpowiedzi. Oprócz niego badacz raportuje wyniki cząstkowe dla czterech obszarów. Dzięki temu można stwierdzić nie tylko, że średni wynik wyniósł na przykład 68%, ale także że uczniowie najlepiej rozpoznawali konieczność wezwania pomocy, a najsłabiej radzili sobie z kolejnością czynności. Taka informacja jest bardziej użyteczna dydaktycznie niż pojedynczy wynik ogólny.

Co warto zapamiętać?

• Wiedza jest konstruktem teoretycznym, który trzeba przełożyć na obserwowalne zadania i jasno opisane reguły punktowania.
• Najpierw należy zdefiniować zakres i rodzaj wiedzy, a dopiero potem pisać pytania.
• Test wiedzy powinien reprezentować ważne treści, a nie tylko te, które łatwo sformułować.
• Wiedza obiektywna, wiedza deklarowana, postawy i zachowania nie są tym samym.
• Wynik procentowy opisuje wykonanie konkretnego testu; nie oznacza procentu całej wiedzy człowieka.
• Pilotaż, wywiady poznawcze i ocena ekspertów są częścią operacjonalizacji, a nie zbędnym dodatkiem.
• Istotność statystyczna ewentualnych różnic między grupami nie przesądza o jakości pomiaru ani o praktycznym znaczeniu wyniku.
• Dobry kwestionariusz wiedzy powinien być oceniany jednocześnie pod względem trafności treściowej, rzetelności, zrozumiałości i użyteczności interpretacyjnej.

\n

Źródła i dalsza lektura

\n

1. DeVellis, R. F. (2017). Scale Development: Theory and Applications. 4th edition. SAGE Publications.
2. Boateng, G. O., Neilands, T. B., Frongillo, E. A., Melgar-Quiñonez, H. R., & Young, S. L. (2018). Best Practices for Developing and Validating Scales for Health, Social, and Behavioral Research: A Primer. Frontiers in Public Health, 6, 149. DOI: 10.3389/fpubh.2018.00149.
3. Artino, A. R., Jr., La Rochelle, J. S., Dezee, K. J., & Gehlbach, H. (2014). Developing questionnaires for educational research: AMEE Guide No. 87. Medical Teacher, 36(6), 463–474. DOI: 10.3109/0142159X.2014.889814.
4. Mokkink, L. B., Terwee, C. B., Patrick, D. L., Alonso, J., Stratford, P. W., Knol, D. L., Bouter, L. M., & de Vet, H. C. W. (2010). The COSMIN checklist for assessing the methodological quality of studies on measurement properties of health status measurement instruments: an international Delphi study. Quality of Life Research, 19(4), 539–549. DOI: 10.1007/s11136-010-9606-8.
5. Mokkink, L. B., Terwee, C. B., Patrick, D. L., Alonso, J., Stratford, P. W., Knol, D. L., Bouter, L. M., & de Vet, H. C. W. (2010). The COSMIN study reached international consensus on taxonomy, terminology, and definitions of measurement properties for health-related patient-reported outcomes. Journal of Clinical Epidemiology, 63(7), 737–745. DOI: 10.1016/j.jclinepi.2010.02.006.
6. Terwee, C. B., Prinsen, C. A. C., Chiarotto, A., De Vet, H. C. W., Bouter, L. M., Alonso, J., Westerman, M. J., Patrick, D. L., & Mokkink, L. B. (2018). COSMIN methodology for evaluating the content validity of patient-reported outcome measures: a Delphi study. Quality of Life Research, 27(5), 1159–1170. DOI: 10.1007/s11136-018-1829-0.

\n

Więcej kolejnych lekcji publicznego szkolenia znajdziesz na statystyk.edu.pl.