212. Test wiedzy – jak tworzyć poprawne pytania jednokrotnego wyboru?

W tej lekcji przechodzimy od ogólnych zasad projektowania kwestionariusza do szczególnego rodzaju narzędzia: testu wiedzy z pytaniami jednokrotnego wyboru. Taki format może być użyteczny w badaniach edukacyjnych, ewaluacji szkoleń, badaniach kompetencji personelu medycznego oraz w ankietach sprawdzających znajomość zaleceń zdrowotnych. Nie wystarczy jednak przygotować pytania, wskazać jednej odpowiedzi i uznać, że powstał dobry test. Każde pytanie powinno mieć określony cel pomiarowy, poprawny klucz, wiarygodne odpowiedzi błędne oraz formę ograniczającą wpływ przypadkowych wskazówek.

W szkoleniu na statystyk.edu.pl warto traktować konstrukcję pytania jako część całego procesu pomiarowego. Wynik testu jest interpretowany dopiero wtedy, gdy wiadomo, jaką wiedzę miał mierzyć, dla kogo był przeznaczony i jakie ograniczenia ma zastosowany format.

Czym jest pytanie jednokrotnego wyboru?

Pytanie jednokrotnego wyboru, nazywane także zadaniem wielokrotnego wyboru z jedną poprawną odpowiedzią, składa się zwykle z trzech elementów:

• trzonu pytania – opisu problemu lub pytania właściwego;
• klucza odpowiedzi – jednej odpowiedzi uznanej za poprawną;
• dystraktorów – odpowiedzi niepoprawnych, ale potencjalnie wybieranych przez osoby, które nie opanowały materiału albo popełniły określony błąd.

Przykładowo:

Trzon: Który objaw najczęściej wskazuje na hipoglikemię u przytomnego pacjenta?

A. Zimna, spocona skóra
B. Sucha skóra i silne pragnienie
C. Jednostronne poszerzenie źrenicy
D. Ból w prawym podżebrzu

W tym przykładzie odpowiedź A jest kluczem, natomiast B–D pełnią funkcję dystraktorów. Dobre pytanie nie polega na tym, aby trzy odpowiedzi były przypadkowymi błędami. Powinny one reprezentować typowe nieporozumienia, pomyłki diagnostyczne albo alternatywy możliwe do rozważenia przez osobę, która nie zna poprawnej odpowiedzi.

Od czego zacząć konstruowanie pytania?

1. Określ cel pomiaru

Najpierw trzeba ustalić, co dokładnie ma zostać zmierzone. Celem może być rozpoznawanie faktów, rozumienie zależności, zastosowanie reguły w sytuacji praktycznej albo wybór właściwego postępowania. Samo sformułowanie „sprawdzić wiedzę z pierwszej pomocy” jest zbyt ogólne. Lepszy cel brzmi: „ocenić, czy respondent potrafi wskazać właściwe działanie przy podejrzeniu udaru u osoby dorosłej”.

Takie doprecyzowanie ogranicza ryzyko, że pytanie będzie badało coś innego niż zamierzano. Jeżeli celem jest zastosowanie wiedzy, pytanie powinno zawierać krótką sytuację kliniczną lub społeczną. Jeżeli celem jest zapamiętanie definicji, rozbudowany opis przypadku może być zbędnym obciążeniem językowym.

2. Ustal poziom poznawczy

Warto zadecydować, czy zadanie wymaga przypomnienia informacji, interpretacji, porównania, obliczenia czy podjęcia decyzji. Pytania o wyższym poziomie poznawczym nie muszą być długie. Ważniejsze jest to, aby respondent musiał wykorzystać wiedzę, a nie tylko rozpoznać znajome słowo.

Porównajmy dwa przykłady:

• Rozpoznawanie: „Który parametr jest miarą częstości występowania nowych przypadków choroby?”
• Zastosowanie: „W mieście liczącym 100 000 mieszkańców w ciągu roku odnotowano 500 nowych przypadków choroby. Który wskaźnik opisuje tę sytuację?”

Drugie pytanie może być lepsze, jeżeli celem jest rozróżnianie zapadalności i chorobowości, ale tylko wtedy, gdy dane liczbowe są potrzebne do rozwiązania zadania. Nie należy dodawać liczb wyłącznie po to, aby pytanie wyglądało bardziej naukowo.

3. Zdefiniuj poprawną odpowiedź przed napisaniem dystraktorów

Klucz powinien wynikać z aktualnej i jednoznacznej podstawy merytorycznej. W obszarze medycyny, pielęgniarstwa i zdrowia publicznego trzeba zwrócić uwagę na datę wytycznych, populację oraz warunki kliniczne. Odpowiedź poprawna w jednym kontekście może być niepoprawna w innym, jeśli pytanie nie określa wieku pacjenta, stanu świadomości, ciąży, chorób współistniejących albo dostępnych zasobów.

Jak budować dobry trzon pytania?

Trzon powinien zawierać wszystkie informacje potrzebne do rozwiązania zadania, ale nie powinien ujawniać odpowiedzi przez formę językową. Najczęściej zaleca się, aby był sformułowany jako pełne pytanie albo jasne zdanie do uzupełnienia. Wytyczne dotyczące pisania zadań wskazują między innymi na potrzebę unikania niepotrzebnie skomplikowanej składni, wskazówek gramatycznych i informacji niezwiązanych z celem pomiaru (Haladyna, Downing i Rodriguez, 2002).

Praktyczna kontrola trzonu obejmuje pięć pytań:

1. Czy osoba znająca materiał może zrozumieć problem bez czytania odpowiedzi?
2. Czy wszystkie dane zawarte w trzonie są potrzebne?
3. Czy pytanie dotyczy jednego głównego problemu?
4. Czy nie użyto niejasnych określeń, takich jak „zwykle”, „często” lub „najlepiej”, bez zdefiniowania kontekstu?
5. Czy pytanie nie zawiera przeczenia, które można łatwo przeoczyć?

Jeżeli konieczne jest użycie przeczenia, należy je wyróżnić typograficznie, na przykład przez zapis „Które działanie NIE jest zalecane?”. Jeszcze lepiej jest, gdy pytanie można przeformułować pozytywnie: zamiast pytać, czego nie robić, zapytać, jakie działanie należy podjąć.

Jak konstruować odpowiedzi i dystraktory?

Odpowiedzi powinny być możliwie jednorodne pod względem formy, długości i poziomu szczegółowości. Jeżeli trzy odpowiedzi są krótkimi nazwami, a jedna jest długim, precyzyjnym opisem, respondent może odgadnąć klucz bez znajomości treści. Podobnym problemem jest regularne umieszczanie poprawnych odpowiedzi pod tą samą literą.

Dystraktor powinien być wiarygodny, ale jednoznacznie niepoprawny w przedstawionym kontekście. Nie warto tworzyć odpowiedzi absurdalnych, żartobliwych ani całkowicie niezwiązanych z pytaniem. Badania nad pytaniami egzaminacyjnymi wskazują, że wady konstrukcyjne, w tym nieprawdopodobne dystraktory, mogą wpływać na trudność zadania i jego zdolność do różnicowania osób o różnym poziomie przygotowania (Tarrant i Ware, 2008; Tarrant, Knierim, Hayes i Ware, 2006).

Nie ma obowiązku stosowania zawsze czterech lub pięciu odpowiedzi. Jeżeli można przygotować tylko dwa dobre dystraktory, lepiej użyć trzech odpowiedzi wysokiej jakości niż dodawać czwartą, oczywiście błędną. Metaanaliza Rodrigueza (2005) wskazuje, że trzy funkcjonalne opcje mogą być wystarczające, a większa liczba odpowiedzi nie gwarantuje lepszego pomiaru.

Przykład 1: zdrowie publiczne

Wersja słaba:

Co jest ważne w profilaktyce chorób zakaźnych?

A. Higiena
B. Szczepienia
C. Zdrowy styl życia
D. Wszystkie odpowiedzi są prawidłowe

To pytanie ma kilka problemów. Jest bardzo szerokie, a trzy pierwsze odpowiedzi mogą być prawdziwe. Odpowiedź „wszystkie powyższe” staje się technicznym skrótem, a nie rzeczywistym sprawdzianem rozumowania. Nie wiadomo także, o jaką chorobę zakaźną, populację i rodzaj profilaktyki chodzi.

Wersja poprawiona:

W ramach profilaktyki pierwotnej grypy sezonowej u osób dorosłych największe znaczenie dla zmniejszenia ryzyka zachorowania ma:

A. coroczne szczepienie zgodne z aktualnymi zaleceniami;
B. wykonanie badania poziomu glukozy we krwi;
C. rozpoczęcie antybiotykoterapii przed pojawieniem się objawów.

Wersja poprawiona określa chorobę, populację i rodzaj działania. Odpowiedzi są krótkie, należą do podobnej kategorii i wymagają rozróżnienia profilaktyki szczepiennej od działań nieadekwatnych do wirusowej etiologii grypy. W realnym narzędziu trzeba oczywiście zweryfikować brzmienie klucza względem aktualnych zaleceń i przyjętego zakresu edukacyjnego.

Przykład 2: pielęgniarstwo i ratownictwo

Wersja słaba:

Co należy zrobić, gdy pacjent ma problemy z oddychaniem?

A. Wezwać lekarza
B. Ułożyć pacjenta
C. Podać tlen
D. Wszystkie powyższe

Pytanie nie wskazuje, czy pacjent jest przytomny, jakie ma objawy ani jaki jest poziom kompetencji osoby odpowiadającej. Wszystkie odpowiedzi mogą być właściwe w niektórych sytuacjach, ale niekoniecznie w każdej. W takiej postaci zadanie bada raczej domyślanie się intencji autora.

Wersja poprawiona:

Przytomny pacjent siedzi, mówi pojedynczymi słowami, ma sinicę centralną i narastającą duszność. Po zapewnieniu bezpieczeństwa i wezwaniu pomocy pierwszym działaniem osoby udzielającej pomocy powinno być:

A. monitorowanie stanu pacjenta i przygotowanie do dalszej oceny ABCDE;
B. podanie doustnego płynu, aby zapobiec odwodnieniu;
C. pozostawienie pacjenta samego na czas oczekiwania na zespół ratownictwa.

W tym zadaniu oceniane jest pierwsze działanie w opisanej sytuacji, a nie znajomość pojedynczej procedury. Jeżeli odpowiedź zależy od lokalnego protokołu, trzeba to jasno zaznaczyć w instrukcji lub kluczu. W pytaniach klinicznych należy unikać sytuacji, w której dwie odpowiedzi są możliwe, lecz jedna jest uznawana za poprawną tylko dlatego, że autor miał na myśli nieujawnione założenie.

Instrukcja, klucz i punktowanie

Test powinien zawierać jasną instrukcję, na przykład: „W każdym pytaniu wybierz jedną najlepszą odpowiedź”. Warto poinformować, czy za błędną odpowiedź przyznaje się zero punktów, czy stosuje się karę za zgadywanie. W prostym teście wiedzy najczęściej stosuje się punktację dychotomiczną:

X_i = 1, gdy odpowiedź na pytanie i jest poprawna;
X_i = 0, gdy odpowiedź jest niepoprawna, pominięta albo niezgodna z instrukcją.

Wynik surowy można zapisać jako:

S = Σ X_i

gdzie S oznacza liczbę uzyskanych punktów, X_i jest wynikiem dla pojedynczego pytania, a suma obejmuje wszystkie pytania testu. Jeśli test zawiera k zadań, wynik procentowy można obliczyć następująco:

P = 100 × S / k

Symbol P oznacza odsetek poprawnych odpowiedzi, S – liczbę odpowiedzi poprawnych, a k – liczbę wszystkich zadań. Wynik procentowy opisuje wykonanie testu, ale sam w sobie nie mówi, czy test jest trafny, rzetelny ani sprawiedliwy.

Weryfikacja pytania przed użyciem

Każde pytanie powinno przejść przegląd merytoryczny i redakcyjny. Dobrą praktyką jest poproszenie drugiej osoby, najlepiej znającej treść i zasady pomiaru, o odpowiedź na pytania:

• Czy klucz jest rzeczywiście jedyną poprawną odpowiedzią?
• Czy dystraktory są wiarygodne dla osoby częściowo przygotowanej?
• Czy treść nie zależy od niepotrzebnych umiejętności językowych?
• Czy pytanie nie faworyzuje osób znających sposób myślenia autora?
• Czy nie zawiera stereotypów, przykładów stygmatyzujących albo informacji naruszających prywatność?

Po pilotażu można przeanalizować częstość wyboru poszczególnych opcji. Jeżeli jeden dystraktor nie jest wybierany przez nikogo, może być zbyt oczywiście błędny. Jeżeli natomiast bardzo wiele osób wybiera dystraktor, trzeba sprawdzić, czy pytanie nie jest niejednoznaczne albo czy nauczana treść nie była przedstawiona w sposób budzący uzasadnione wątpliwości.

Wskaźniki trudności i różnicowania są użyteczne, ale nie zastępują oceny merytorycznej. Bardzo trudne pytanie może być wartościowe, jeśli mierzy ważną kompetencję, a łatwe pytanie może być potrzebne do pokrycia podstawowego zakresu treści. Statystyka pozycji jest dowodem pomocniczym, nie automatycznym wyrokiem o jakości zadania. Takie podejście jest zgodne z szerszym rozumieniem trafności jako uzasadnienia interpretacji wyników, a nie jako pojedynczej cechy samego pytania (AERA, APA i NCME, 2014).

Najczęstsze błędy

1. Dwie poprawne odpowiedzi. Pytanie nie określa warunków, w których jedna z nich ma być uznana za najlepszą.
2. Brak poprawnej odpowiedzi. Autor tworzy odpowiedzi przybliżone, ale żadna nie odpowiada aktualnej wiedzy.
3. Dystraktory absurdalne. Osoba może zdobyć punkt dzięki eliminacji, bez znajomości materiału.
4. Odpowiedź poprawna jest najdłuższa. Nadmiar szczegółów lub ostrożne zastrzeżenia tworzą wskazówkę formalną.
5. Używanie „zawsze” i „nigdy”. Absolutne określenia często czynią odpowiedź łatwą do odrzucenia.
6. Przeczenie ukryte w trzonie. Respondent może pominąć słowo „nie”, a wynik będzie odzwierciedlał nieuwagę, nie wiedzę.
7. Niepotrzebne „wszystkie powyższe”. Taka opcja może ujawniać zależności między odpowiedziami i ułatwiać strategię testową.
8. Sprawdzanie ciekawostek zamiast celów. Pytanie może być trudne, ale nie mieć znaczenia dla badanej kompetencji.
9. Zmienna liczba odpowiedzi bez uzasadnienia. Sama standaryzacja liczby opcji nie jest ważniejsza od ich jakości.
10. Wnioskowanie o kompetencji na podstawie jednego pytania. Pojedyncze zadanie jest tylko obserwacją; stabilniejszy pomiar wymaga odpowiedniej liczby dobrze skonstruowanych pozycji.

Przykład praktyczny: mini-plan budowy trzech pytań

Załóżmy, że celem jest ocena wiedzy studentów zdrowia publicznego o podstawowych miarach epidemiologicznych. Najpierw rozpisujemy trzy cele: rozpoznanie definicji zapadalności, odróżnienie zapadalności od chorobowości oraz zastosowanie wzoru w prostym przypadku. Dopiero potem tworzymy po jednym pytaniu dla każdego celu.

Pytanie pierwsze może sprawdzać terminologię, drugie – rozumienie różnicy między miarami, a trzecie – obliczenie. Każde powinno mieć jedną odpowiedź poprawną i dystraktory wynikające z typowych błędów, na przykład pomylenia liczby nowych przypadków z liczbą wszystkich osób chorujących. Po napisaniu pytań dwóch ekspertów niezależnie ocenia zgodność pozycji z celami. Następnie przeprowadzamy pilotaż na grupie podobnej do przyszłych respondentów.

Jeżeli w pilotażu większość osób wybiera tę samą błędną odpowiedź, nie należy od razu uznawać respondentów za nieprzygotowanych. Najpierw trzeba sprawdzić, czy pytanie nie używa terminu w sposób odbiegający od zajęć, czy dane są wystarczające oraz czy klucz został poprawnie ustalony. Dopiero po takiej analizie można decydować o pozostawieniu, poprawieniu lub usunięciu pozycji.

Co warto zapamiętać?

• Dobre pytanie jednokrotnego wyboru mierzy określony cel, a nie ogólną „wiedzę z tematu”.
• Trzon powinien być jasny, samowystarczalny i wolny od zbędnych informacji.
• Klucz musi być jedyną poprawną odpowiedzią w dokładnie opisanym kontekście.
• Dystraktory powinny być wiarygodne i wynikać z typowych błędów, nie z fantazji autora.
• Trzy dobre opcje mogą być lepsze niż pięć, z których część jest oczywiście niepoprawna.
• W pytaniach klinicznych trzeba określić populację, sytuację i zakres kompetencji osoby odpowiadającej.
• Analiza statystyczna pozycji jest ważna, ale nie zastępuje oceny merytorycznej i etycznej.
• Wynik testu jest podstawą interpretacji tylko wtedy, gdy procedura konstrukcji, punktowania i użycia narzędzia jest odpowiednio uzasadniona.

Najważniejsza zasada brzmi: pytanie powinno pozwalać odróżnić osobę, która rozumie badaną treść, od osoby, która jedynie rozpoznaje wskazówki formalne albo zgaduje intencję autora. Taki standard wymaga planowania, recenzji i – gdy to możliwe – pilotażu oraz analizy odpowiedzi.

Źródła i dalsza lektura

1. Thomas M. Haladyna; Steven M. Downing; Michael C. Rodriguez (2002). A Review of Multiple-Choice Item-Writing Guidelines for Classroom Assessment. Applied Measurement in Education, 15(3), 309–333. DOI: 10.1207/S15324818AME1503_5.
2. Michael C. Rodriguez (2005). Three Options Are Optimal for Multiple-Choice Items: A Meta-Analysis of 80 Years of Research. Educational Measurement: Issues and Practice, 24(2), 3–13. DOI: 10.1111/j.1745-3992.2005.00006.x.
3. Marie Tarrant; James Ware (2008). Impact of item-writing flaws in multiple-choice questions on student achievement in high-stakes nursing assessments. Medical Education, 42(2), 198–206. DOI: 10.1111/j.1365-2923.2007.02957.x.
4. Marie Tarrant; Andrea Knierim; Sarah K. Hayes; James Ware (2006). The frequency of item writing flaws in multiple-choice questions used in high stakes nursing assessments. Nurse Education Today, 26(7), 662–671. DOI: 10.1016/j.nedt.2006.07.006.
5. American Educational Research Association; American Psychological Association; National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing. American Educational Research Association. Informacja wydawcy / źródło.
6. National Board of Medical Examiners (2025). NBME Item-Writing Guide. National Board of Medical Examiners. Źródło.