214. Jak tworzyć dystraktory w teście wiedzy?

W dobrze skonstruowanym pytaniu wielokrotnego wyboru poprawna odpowiedź nie powinna być jedyną opcją, która brzmi fachowo, szczegółowo i wiarygodnie. Pozostałe odpowiedzi, czyli dystraktory, mają odzwierciedlać realne błędy, niepełne rozumienie pojęcia albo typowe sposoby rozumowania osób, które nie opanowały jeszcze danego zagadnienia. Ich zadaniem nie jest „łapanie” osoby badanej, lecz zwiększenie wartości diagnostycznej pytania.

W tej lekcji pokazano, jak tworzyć dystraktory od podstaw, jak odróżniać je od odpowiedzi absurdalnych oraz jak oceniać ich funkcjonowanie po przeprowadzeniu testu. Zagadnienie jest naturalnym rozwinięciem wcześniejszych lekcji kursu na statystyk.edu.pl, dotyczących konstrukcji pytań jednokrotnego wyboru, punktacji i analizy pozycji testowych.

Czym jest dystraktor?

Dystraktor to niepoprawna odpowiedź zamieszczona w pytaniu wyboru, która powinna być wystarczająco wiarygodna, aby mogła zostać wybrana przez osobę niemającą pełnej wiedzy lub stosującą błędny schemat rozumowania. W klasycznym pytaniu jednokrotnego wyboru występuje jedna odpowiedź prawidłowa oraz co najmniej dwa dystraktory.

Warto odróżnić trzy sytuacje:

• dobry dystraktor – jest merytorycznie błędny, ale odpowiada prawdopodobnemu nieporozumieniu;
• dystraktor nieskuteczny – jest wybierany bardzo rzadko, na przykład przez mniej niż kilka procent osób, i nie różnicuje osób o różnym poziomie wiedzy;
• dystraktor wadliwy – jest niejednoznaczny, częściowo poprawny, oparty na błędzie autora albo zawiera wskazówkę językową ujawniającą, że nie jest odpowiedzią właściwą.

Dystraktor nie powinien być zatem „dowolną nieprawdą”. Musi pozostawać w obrębie treści pytania i reprezentować błąd, który rzeczywiście może popełnić osoba badana. Literatura poświęcona tworzeniu pozycji testowych podkreśla, że jakość opcji odpowiedzi wpływa na trafność interpretacji wyniku, ponieważ test powinien mierzyć wiedzę lub umiejętność, a nie zdolność rozpoznawania technicznych sztuczek konstrukcyjnych (Haladyna, 2004; Haladyna i Rodriguez, 2013).

Po co tworzyć wiarygodne dystraktory?

Dystraktory pełnią kilka funkcji pomiarowych. Po pierwsze, ograniczają możliwość udzielenia poprawnej odpowiedzi na podstawie eliminacji odpowiedzi absurdalnych. Po drugie, pozwalają wykrywać konkretne nieporozumienia. Jeżeli wielu uczestników wybiera dystraktor oparty na typowym błędzie, autor testu otrzymuje informację, że dane zagadnienie wymaga dodatkowego wyjaśnienia.

Po trzecie, dobre dystraktory mogą zwiększać różnicowanie pozycji testowej. Osoby o większej wiedzy częściej wybierają odpowiedź prawidłową, natomiast osoby o mniejszej wiedzy częściej rozkładają swoje wybory między dystraktory. Nie oznacza to jednak, że każda odpowiedź wybrana przez niewielką grupę jest automatycznie dobra. Dystraktor może być rzadko wybierany dlatego, że jest niedorzeczny, a nie dlatego, że trafnie reprezentuje trudny błąd.

Współczesne standardy konstruowania testów wymagają, aby interpretacja wyników była oparta na dowodach dotyczących treści, procesu odpowiadania i funkcjonowania pozycji w konkretnej grupie badanej (AERA, APA i NCME, 2014). Analiza dystraktorów jest jednym z elementów takiej oceny.

Zasada pierwsza: zacznij od błędu, nie od przypadkowej odpowiedzi

Najlepszy sposób tworzenia dystraktorów polega na określeniu, jakie błędne rozumowania są prawdopodobne. Autor powinien najpierw sformułować poprawną odpowiedź, a następnie sporządzić listę typowych nieporozumień.

Źródłem dystraktorów mogą być:

• błędy ujawnione w poprzednich sprawdzianach lub egzaminach;
• odpowiedzi z pilotażowych pytań otwartych;
• typowe pomyłki opisywane przez nauczycieli, klinicystów lub ekspertów dziedzinowych;
• mylenie podobnych pojęć, leków, objawów, procedur lub wskaźników;
• przenoszenie reguły poprawnej w jednym kontekście do innego kontekstu;
• pomijanie ważnego warunku zawartego w treści zadania.

Przykładowo, jeśli pytanie dotyczy pierwszego postępowania u osoby z objawami hipoglikemii, dystraktory można budować na podstawie realnych pomyłek: podania insuliny, zalecenia wysiłku fizycznego albo odroczenia interwencji do czasu wykonania pełnej diagnostyki. Każda z tych odpowiedzi jest związana z tematem, ale wynika z innego błędnego schematu.

Zasada druga: dystraktor powinien być jednowymiarowy

Każda opcja odpowiedzi powinna odnosić się do tego samego problemu. Nie należy zestawiać odpowiedzi reprezentujących różne poziomy szczegółowości, różne typy obiektów albo różne części materiału. Jeżeli pytanie dotyczy rozpoznania, wszystkie opcje powinny być rozpoznaniami. Jeżeli dotyczy postępowania, wszystkie powinny być czynnościami.

Przykład wadliwy:

• A. podać tlen;
• B. zawał mięśnia sercowego;
• C. wykonać elektrokardiogram;
• D. obserwować pacjenta.

W tym zestawie pomieszano diagnozę z czynnościami. Osoba badana może odgadnąć, że tylko jedna opcja należy do innej kategorii. To nie jest pomiar wiedzy klinicznej, lecz rozpoznawanie formatu odpowiedzi.

Lepsza wersja powinna zawierać wyłącznie czynności, na przykład: wykonanie elektrokardiogramu, podanie tlenu przy określonych wskazaniach, podanie leku przeciwbólowego lub pozostawienie pacjenta bez monitorowania. Następnie należy sprawdzić, czy wszystkie opcje są zgodne z poziomem kompetencji i zakresem pytania.

Zasada trzecia: dystraktory muszą być jednoznacznie niepoprawne

W pytaniu jednokrotnego wyboru tylko jedna odpowiedź powinna być najlepsza w świetle podanych informacji. Dystraktor nie może być „prawie poprawny”, jeżeli nie wyjaśniono, dlaczego w danym kontekście jest błędny.

Jest to szczególnie istotne w medycynie, pielęgniarstwie i ratownictwie, gdzie wiele decyzji zależy od stanu pacjenta, kolejności działań, przeciwwskazań lub dostępnych zasobów. Odpowiedź może być prawidłowa w innym przypadku, ale nie w przypadku przedstawionym w pytaniu. Jeśli autor chce wykorzystać taki wariant, musi dostarczyć informacje rozstrzygające.

Nie należy także stosować dystraktorów, które są merytorycznie dopuszczalne, lecz mniej szczegółowe niż klucz. W takim przypadku pytanie może mieć więcej niż jedną odpowiedź akceptowalną. Rozwiązaniem jest albo doprecyzowanie treści zadania, albo zmiana formatu na pytanie o „najlepsze” postępowanie i dokładne zdefiniowanie kryterium najlepszego rozwiązania.

Zasada czwarta: wykorzystuj typowe nieporozumienia

Dystraktor jest szczególnie wartościowy, gdy pozwala zidentyfikować konkretną lukę w rozumieniu. W psychologii może to być utożsamianie korelacji z przyczynowością. W zdrowiu publicznym – mylenie zapadalności z chorobowością. W pielęgniarstwie – utożsamianie dezynfekcji z pełną sterylizacją.

Przykład 1: zdrowie publiczne

Pytanie: „Który wskaźnik określa liczbę wszystkich osób żyjących z daną chorobą w populacji w określonym momencie lub okresie?”

• A. Zapadalność.
• B. Chorobowość.
• C. Śmiertelność.
• D. Ryzyko względne.

Poprawna odpowiedź to B. Dystraktor A jest dobry, ponieważ zapadalność i chorobowość są często mylone. Dystraktor C także może być wiarygodny dla osoby kojarzącej epidemiologię wyłącznie z umieralnością. D jest mniej bezpośrednio związany z definicją, ale może być użyteczny, jeśli test obejmuje miary porównawcze.

Gorszą opcją byłoby dodanie odpowiedzi „temperatura ciała pacjenta”, ponieważ jest ona absurdalna i nie reprezentuje typowego błędu pojęciowego.

Przykład 2: pielęgniarstwo i medycyna

Pytanie: „U dorosłego pacjenta z zachowanym kontaktem, który może bezpiecznie połykać i ma objawy łagodnej hipoglikemii, jakie działanie jest właściwe w pierwszej kolejności?”

• A. Podać szybko wchłanialne węglowodany doustnie.
• B. Podać dodatkową dawkę insuliny.
• C. Zalecić intensywny wysiłek fizyczny.
• D. Podać wyłącznie wodę i ponownie ocenić stan za godzinę.

Poprawna odpowiedź to A. Dystraktory B–D wynikają z różnych błędów: pomylenia hipoglikemii z hiperglikemią, niewłaściwego zastosowania aktywności fizycznej oraz zbagatelizowania stanu. Aby pytanie było rzetelne, należy jednak upewnić się, że nie pominięto informacji o możliwości połykania, poziomie świadomości i ciężkości objawów. Bez tych danych odpowiedź mogłaby zależeć od dodatkowych okoliczności klinicznych.

Jak oceniać funkcjonowanie dystraktorów?

Po przeprowadzeniu testu można analizować częstość wyboru poszczególnych opcji. Podstawowym wskaźnikiem jest odsetek osób, które wybrały dany dystraktor. Przydatne jest również porównanie wyborów między osobami o wysokim i niskim wyniku całkowitym.

Dla opcji j można zapisać prosty wskaźnik wyboru:

fj = nj / N

gdzie:

• f_j oznacza odsetek osób wybierających opcję j;
• n_j oznacza liczbę osób, które wybrały tę opcję;
• N oznacza liczbę wszystkich osób odpowiadających na pytanie.

Nie istnieje jedna uniwersalna granica, po której przekroczeniu dystraktor należy uznać za dobry. W praktyce edukacyjnej często sprawdza się, czy każda niepoprawna opcja była wybierana przez więcej niż kilka procent osób, ale próg powinien być interpretowany zależnie od liczebności próby, trudności pytania i celu testu. Przy małej próbie nawet dobry dystraktor może nie zostać wybrany często.

Warto obliczyć także efektywność dystraktorów. W uproszczeniu dystraktor jest funkcjonalny, jeżeli jest wybierany przez dostatecznie dużą część osób oraz częściej przez osoby o niższym poziomie ogólnej wiedzy niż przez osoby o wysokim wyniku. Badania w edukacji medycznej pokazują, że nieskuteczne dystraktory często współwystępują z wadami konstrukcyjnymi pozycji, takimi jak niejednorodność opcji, wskazówki gramatyczne lub odpowiedzi zbyt odległe od treści pytania (Musa, Shaheen i Ahmed, 2020; Tarrant i Ware, 2008).

Jeżeli dystraktor jest wybierany głównie przez osoby z wysokimi wynikami, może to oznaczać błąd w kluczu, niejednoznaczność pytania albo szczególną interpretację, której autor nie przewidział. Taki sygnał wymaga przeglądu merytorycznego, a nie mechanicznego usunięcia opcji.

Ile dystraktorów powinno mieć pytanie?

Większa liczba odpowiedzi nie zawsze oznacza lepsze pytanie. Każdy dystraktor powinien być funkcjonalny i merytorycznie uzasadniony. Jeżeli autor potrafi stworzyć tylko dwa dobre dystraktory, pytanie trzyopcyjne może być lepsze niż pytanie pięcioopcyjne z dwiema odpowiedziami absurdalnymi.

Metaanaliza Rodrigueza (2005) wskazywała, że trzy opcje często stanowią praktyczne rozwiązanie, zwłaszcza gdy dodatkowe odpowiedzi są nieskuteczne. Nie jest to jednak reguła bez wyjątków. W niektórych testach, szczególnie przy bardzo szerokim zakresie treści, można wykorzystać cztery opcje, o ile każda ma uzasadnienie.

Najważniejsza zasada brzmi: nie twórz dystraktora tylko po to, aby zwiększyć liczbę odpowiedzi. Lepiej zastosować mniej opcji, ale zadbać o ich jakość, równoległość i zgodność z celem pomiaru.

Przykład praktyczny: analiza pytania po pilotażu

Załóżmy, że w pilotażowym teście wiedzy o pierwszej pomocy uczestniczyło 100 osób. Pytanie brzmiało: „Co należy zrobić w pierwszej kolejności u osoby nieprzytomnej, która nie oddycha prawidłowo?”

• A. Rozpocząć ocenę i postępowanie zgodne z algorytmem zatrzymania krążenia.
• B. Podać poszkodowanemu wodę.
• C. Ułożyć poszkodowanego w pozycji bocznej bez dalszej oceny.
• D. Poczekać na samoistne odzyskanie przytomności.

Załóżmy, że odpowiedź A wybrało 72% osób, B – 3%, C – 22%, a D – 3%. Dystraktor C funkcjonuje najlepiej, ponieważ reprezentuje realny błąd: zastosowanie pozycji bocznej bez rozstrzygnięcia, czy występuje prawidłowy oddech. Opcje B i D są prawdopodobnie zbyt absurdalne. Ich niewielka częstość nie świadczy o wysokiej jakości pytania; przeciwnie, sugeruje, że nie wnoszą wiele do pomiaru.

Autor może zastąpić B i D dystraktorami opartymi na realnych pomyłkach, na przykład: „rozpocząć wyłącznie od pomiaru ciśnienia tętniczego” oraz „wykonać pełny wywiad przed wezwaniem pomocy”. Trzeba jednak zachować ostrożność, aby nie tworzyć odpowiedzi częściowo poprawnych. Jeżeli pytanie ma badać kolejność czynności, jego treść musi jasno wskazywać punkt decyzyjny.

Najczęstsze błędy

• Dystraktory absurdalne. Odpowiedzi całkowicie niezwiązane z tematem pozwalają zgadywać bez wiedzy.
• Dwie odpowiedzi poprawne. Zwykle wynika to z niedoprecyzowanego pytania albo zbyt szerokiego klucza.
• Odpowiedź prawidłowa jest najdłuższa. Szczegółowość lub bardziej fachowe brzmienie może stać się wskazówką.
• Nierównoległa forma gramatyczna. Jeśli trzy opcje są czynnościami, a jedna jest diagnozą, forma ujawnia konstrukcję pytania.
• Stosowanie „zawsze” i „nigdy”. Takie słowa często czynią dystraktor łatwym do odrzucenia, chyba że są merytorycznie uzasadnione.
• Dystraktory różniące się tylko jednym słowem. Może to być uzasadnione przy badaniu subtelnej różnicy pojęciowej, ale często prowadzi do niepotrzebnej niejednoznaczności.
• Tworzenie opcji na podstawie własnych intuicji. Dystraktory powinny wynikać z materiału, błędów uczących się albo ekspertyzy dziedzinowej.
• Usuwanie dystraktora wyłącznie na podstawie niskiej częstości wyboru. Mała liczebność próby i wysoka trudność pytania mogą zniekształcać ocenę.
• Ignorowanie kontekstu grupy. Dystraktor dobry dla studentów pierwszego roku może być zbyt łatwy dla specjalistów.

Jak pracować nad dystraktorami krok po kroku?

1. Zdefiniuj kompetencję, którą ma mierzyć pytanie.
2. Sformułuj poprawną odpowiedź niezależnie od dystraktorów.
3. Wypisz typowe błędy i nieporozumienia związane z treścią.
4. Wybierz te błędy, które można jednoznacznie powiązać z pytaniem.
5. Zapisz dystraktory w tej samej formie gramatycznej i na podobnym poziomie szczegółowości.
6. Sprawdź, czy tylko jedna opcja jest najlepsza w podanym kontekście.
7. Poproś eksperta dziedzinowego oraz osobę niezależną o krytyczny przegląd.
8. Przeprowadź pilotaż i przeanalizuj częstości wyborów, trudność oraz różnicowanie pozycji.
9. Zrewiduj pytanie, dokumentując powód zmiany każdej opcji.

Warto prowadzić bank pytań zawierający nie tylko treść pozycji i klucz, lecz także źródło dystraktorów, poziom poznawczy, grupę docelową, wyniki pilotażu oraz decyzję o dalszym wykorzystaniu pytania. Takie postępowanie ułatwia kontrolę jakości i ogranicza przypadkowe powielanie wadliwych pozycji.

Co warto zapamiętać?

• Dystraktor jest narzędziem pomiarowym, a nie ozdobnikiem pytania.
• Dobry dystraktor reprezentuje realny błąd lub typowe nieporozumienie.
• Wszystkie opcje powinny dotyczyć tego samego rodzaju odpowiedzi i mieć podobną formę.
• W pytaniu jednokrotnego wyboru tylko jedna odpowiedź może być jednoznacznie najlepsza w podanym kontekście.
• Więcej opcji nie musi oznaczać lepszego pomiaru; lepiej mieć mniej funkcjonalnych dystraktorów niż wiele przypadkowych.
• Analiza po pilotażu jest konieczna, ale nie zastępuje oceny merytorycznej.
• Istotność statystyczna wyników analizy pozycji nie rozstrzyga sama przez się o wartości praktycznej dystraktora.
• Wnioski z testu należy odnosić do konkretnej populacji, celu pomiaru i warunków badania.

Najkrócej: najpierw określ, jaki błąd chcesz rozpoznać, a dopiero potem zapisz dystraktor. Dzięki temu pytanie nie tylko sprawdza, czy badany zna poprawną odpowiedź, lecz także pokazuje, jakiego rodzaju nieporozumienia występują w badanej grupie.

Źródła i dalsza lektura

1. American Educational Research Association, American Psychological Association, and National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing. American Educational Research Association. Źródło.
2. Thomas M. Haladyna (2004). Developing and Validating Multiple-Choice Test Items. 3rd edition. Lawrence Erlbaum Associates. Informacja wydawcy / źródło.
3. Thomas M. Haladyna and Michael C. Rodriguez (2013). Developing and Validating Test Items. Routledge. Informacja wydawcy / źródło.
4. Michael C. Rodriguez (2005). Three Options Are Optimal for Multiple-Choice Items: A Meta-Analysis of 80 Years of Research. Educational Measurement: Issues and Practice, 24(2), 3–13. DOI: 10.1111/j.1745-3992.2005.00006.x.
5. Marie Tarrant and James S. Ware (2008). Impact of item-writing flaws in multiple-choice questions on student achievement in high-stakes nursing assessments. Medical Education, 42(2), 198–206. DOI: 10.1111/j.1365-2923.2007.02957.x.
6. Afraa Musa, Samir Shaheen, and Ammar Ahmed (2020). Distractor analysis of multiple choice questions: A descriptive study of physiology examinations at the Faculty of Medicine, University of Khartoum. Khartoum Medical Journal, 11(1). DOI: 10.53332/kmj.v11i1.619.
7. Andrew S. G. Simpson, Richard J. G. W. W. et al. (2015). An investigation into the optimal number of distractors in single-best answer exams. Advances in Health Sciences Education, 21, 571–585. DOI: 10.1007/s10459-015-9652-7.