209. Kolejność pytań i efekt kontekstu

W dobrze zaprojektowanym kwestionariuszu znaczenie ma nie tylko treść pytania, lecz także to, co respondent przeczytał chwilę wcześniej. To samo pytanie może wywołać nieco inną odpowiedź, gdy poprzedza je pytanie o objawy, koszty leczenia, zaufanie do personelu albo własne doświadczenia. Zjawisko to nazywa się efektem kontekstu. Jednym z jego źródeł jest efekt kolejności pytań, czyli systematyczna zmiana odpowiedzi wynikająca z tego, w jakiej sekwencji przedstawiono pytania.

W tej lekcji wyjaśnimy, dlaczego kolejność pytań jest elementem pomiaru, a nie wyłącznie kwestią redakcyjną. Omówimy mechanizmy poznawcze, praktyczne zasady budowy kwestionariusza, sposoby testowania efektu kolejności oraz przykłady z badań zdrowotnych i społecznych. Jest to naturalne rozwinięcie wcześniejszych lekcji dostępnego szkolenia na statystyka.edu.pl dotyczących konstrukcji pytań, kafeterii i skal odpowiedzi.

Czym jest efekt kontekstu?

Efekt kontekstu występuje wtedy, gdy odpowiedź na dane pytanie zależy częściowo od informacji, pytań lub instrukcji przedstawionych wcześniej. Kontekst może obejmować:

• kolejność pytań i całych bloków tematycznych;
• sformułowanie pytań poprzedzających;
• przywołane wcześniej doświadczenia, problemy lub wartości;
• rodzaj skali i kolejność wariantów odpowiedzi;
• informację o celu badania oraz podmiotach, które je prowadzą;
• tryb badania, na przykład ankietę internetową, rozmowę telefoniczną albo wywiad bezpośredni.

W konsekwencji odpowiedź nie jest wyłącznie funkcją cechy respondenta. Można ją schematycznie zapisać jako:

Y = f(T, Q, C, M, E)

• Y oznacza zaobserwowaną odpowiedź na pytanie;
• T oznacza rzeczywisty stan, opinię, doświadczenie lub zachowanie respondenta;
• Q oznacza treść i formę pytania;
• C oznacza kontekst, w tym wcześniejsze pytania;
• M oznacza tryb pomiaru, na przykład online lub telefoniczny;
• E oznacza pozostałe źródła zmienności i błędu pomiaru.

Nie jest to model estymacyjny, lecz użyteczny zapis pojęciowy. Pokazuje, że kwestionariusz nie działa jak przezroczyste okno na „prawdziwą” opinię. Sposób pomiaru może współtworzyć uzyskaną odpowiedź.

Dlaczego kolejność pytań może zmieniać odpowiedzi?

Aktywizacja określonych informacji

Respondent nie analizuje każdej odpowiedzi w całkowitym oderwaniu od wcześniejszej rozmowy. Pytanie może uaktywnić wspomnienia, emocje albo kryteria oceny. Jeżeli przed pytaniem o ogólną ocenę zdrowia pojawi się długa lista pytań o ból, ograniczenia funkcjonalne i choroby przewlekłe, respondent może zacząć oceniać swoje zdrowie przez pryzmat tych problemów. Nie musi to oznaczać świadomej manipulacji. Jest to raczej zmiana dostępności określonych informacji w pamięci.

Badania dotyczące samooceny zdrowia wskazują, że umieszczenie pytania o ogólny stan zdrowia pod koniec baterii pytań zdrowotnych może nieznacznie zmienić odpowiedzi w porównaniu z umieszczeniem go na początku (Bowling i Windsor, 2008). W przypadku takich pytań nawet niewielka różnica może mieć znaczenie, jeśli badacz porównuje poziom samooceny między populacjami lub falami badania.

Asymilacja i kontrast

Wpływ wcześniejszych pytań może przebiegać w dwóch przeciwstawnych kierunkach.

• Efekt asymilacji oznacza, że odpowiedź na kolejne pytanie staje się bardziej podobna do odpowiedzi lub treści pytania wcześniejszego. Po serii pytań o konkretne problemy zdrowotne respondent może ocenić ogólny stan zdrowia jako gorszy.
• Efekt kontrastu oznacza, że kolejne pytanie jest oceniane w opozycji do wcześniejszego punktu odniesienia. Po bardzo szczegółowym pytaniu o ciężkie objawy pytanie o umiarkowany problem może zostać uznane za mniej istotne niż w zwykłym kontekście.

Nie da się z góry zagwarantować, że określona kolejność zawsze wywoła asymilację albo zawsze kontrast. Kierunek efektu zależy od treści pytań, podobieństwa konstruktów, siły opinii respondenta, długości baterii oraz trybu badania. Dlatego zalecenie „zawsze zaczynaj od pytań ogólnych” jest użyteczną regułą domyślną, ale nie zastępuje pilotażu.

Tworzenie ramy interpretacyjnej

Pytania poprzedzające mogą podpowiadać respondentowi, jak rozumieć pytanie następne. Pytanie „Czy w ostatnich 30 dniach występował u Pani/Pana ból ograniczający codzienne funkcjonowanie?” ustanawia ramę zdrowotną i funkcjonalną. Pytanie „Czy jest Pani/Pan zadowolony ze swojego życia?” zadane bezpośrednio po nim może zostać zinterpretowane jako pytanie o życie z perspektywy zdrowia, chociaż badacz zamierzał mierzyć dobrostan ogólny.

Właśnie dlatego zmiana kolejności może zmieniać nie tylko wartość odpowiedzi, lecz także zakres konstruktu, do którego respondent się odnosi. Jest to problem trafności pomiaru.

Najważniejsze rodzaje efektu kolejności

Pytanie szczegółowe przed ogólnym

Klasyczny problem dotyczy relacji między pytaniem szczegółowym a ogólnym. Załóżmy, że ankieta zawiera pytania:

1. „Jak ocenia Pani/Pan ogólną jakość opieki w poradni?”
2. „Jak ocenia Pani/Pan czas oczekiwania, sposób komunikacji i dostępność wizyt?”

Jeśli pytanie ogólne pojawi się pierwsze, respondent może oprzeć ocenę na własnym spontanicznym bilansie doświadczeń. Jeśli najpierw zobaczy trzy szczegółowe aspekty, mogą one stać się dominującymi kryteriami oceny ogólnej.

Nie oznacza to, że pytania szczegółowe są niepożądane. Ich kolejność powinna jednak wynikać z celu badania. Jeżeli badacz chce zmierzyć ogólną, niesugerowaną ocenę, zwykle korzystne jest zadanie pytania ogólnego przed szczegółowymi. Jeżeli celem jest świadome zbudowanie oceny na podstawie wymiarów jakości, kolejność odwrotna może być uzasadniona, ale należy ją opisać i ewentualnie przetestować.

Efekt pierwszeństwa i świeżości

W pytaniach zamkniętych kolejność wariantów odpowiedzi może wpływać na wybór. W samodzielnie wypełnianych ankietach respondent częściej może zauważać wcześniejsze warianty, natomiast w wywiadzie odczytywanym przez ankietera znaczenie może mieć także ostatnia usłyszana opcja. Jest to odrębny problem od kolejności pytań, ale oba zjawiska mogą się nakładać.

Jeżeli badacz zmienia kolejność odpowiedzi, powinien odróżnić:

• randomizację — losowanie kolejności dla poszczególnych respondentów;
• rotację — stosowanie z góry ustalonych wariantów, na przykład połowa respondentów otrzymuje listę od „bardzo źle” do „bardzo dobrze”, a druga połowa odwrotnie;
• stałą kolejność — identyczne przedstawienie wariantów wszystkim osobom.

AAPOR zaleca rozważenie rotacji lub randomizacji wtedy, gdy warianty odpowiedzi mogą być podatne na efekt kolejności. Jednocześnie nie należy randomizować bezrefleksyjnie: kategorie muszą pozostać logiczne, a „nie dotyczy” lub „nie wiem” powinny być umieszczone zgodnie z funkcją pytania, a nie losowo (AAPOR, 2021).

Jak projektować kolejność pytań?

Rozpocznij od pytań łatwych i neutralnych

Początek ankiety powinien pomóc respondentowi zrozumieć zadanie. Zwykle warto umieścić tam pytania dotyczące doświadczenia, zdarzeń lub prostych faktów, o ile nie aktywizują one niepożądanego kontekstu dla późniejszych pomiarów. Zbyt trudne, intymne lub wymagające obliczeń pytania na początku mogą zwiększać obciążenie poznawcze i rezygnacje.

Nie oznacza to jednak, że pytania wrażliwe należy zawsze umieszczać na końcu. W badaniu klinicznym pytanie o aktualne objawy alarmowe musi pojawić się odpowiednio wcześnie, jeśli jego funkcją jest bezpieczeństwo uczestnika lub kwalifikacja do dalszej ścieżki ankiety. Tutaj priorytetem nie jest wyłącznie neutralność pomiaru, lecz także dobro uczestnika i poprawność procedury.

Twórz bloki tematyczne, ale kontroluj ich wpływ

Logiczne grupowanie pytań ułatwia odpowiadanie i zmniejsza dezorientację. Przykładowe bloki to: dane o doświadczeniu zdrowotnym, korzystanie ze świadczeń, satysfakcja, bariery dostępu i dane socjodemograficzne. Jednak blokowanie pytań może wzmacniać określony kontekst. Długa bateria pytań o problemy systemu ochrony zdrowia poprzedzająca pytanie o zaufanie do lekarza może sprawić, że respondent uwzględni więcej negatywnych doświadczeń.

Praktyczne rozwiązanie polega na rozdzielaniu bloków, gdy konstrukty są szczególnie podatne na wzajemne oddziaływanie, oraz na stosowaniu krótkich neutralnych przejść. Samo dodanie nagłówka „Opinie o systemie” może również zmienić interpretację kolejnych pytań, dlatego nagłówki powinny być informacyjne, a nie wartościujące.

Oddziel pomiar wyniku od pytań, które mogą go sugerować

Jeżeli głównym wynikiem jest ogólna satysfakcja z leczenia, nie należy bez uzasadnienia poprzedzać jej pytaniami o konkretne zaniedbania, koszty i skargi. Jeśli natomiast głównym wynikiem jest gotowość do korzystania z programu profilaktycznego, trzeba rozważyć, czy wcześniejsze pytania o ryzyko choroby nie stanowią zamierzonej części interwencji.

W tym miejscu ważne jest rozróżnienie między kwestionariuszem pomiarowym a narzędziem eksperymentalnym. W badaniu eksperymentalnym aktywizacja określonych informacji może być manipulacją badawczą. W zwykłej ankiecie obserwacyjnej może natomiast stanowić nieplanowane źródło błędu.

Jak badać efekt kolejności?

Najbardziej przejrzystym rozwiązaniem jest zaplanowanie eksperymentu typu split-ballot. Respondentów losowo przydziela się do co najmniej dwóch wersji kwestionariusza:

• wersja A: blok X, następnie blok Y;
• wersja B: blok Y, następnie blok X.

Losowy przydział sprawia, że przeciętnie grupy powinny być podobne pod względem wieku, płci, wykształcenia, stanu zdrowia i innych cech. Różnica w odpowiedziach może więc wskazywać na wpływ kolejności, choć nie należy automatycznie przypisywać jej wyłącznie temu czynnikowi, jeśli równocześnie zmieniono inne elementy ankiety.

Dla odpowiedzi liczbowej można porównać średnie lub mediany między wersjami. Dla odpowiedzi kategorycznej można użyć tabeli krzyżowej i modelu regresji. Przykładowy model dla odpowiedzi binarnej ma postać:

logit[P(Y = 1)] = β0 + β1Order + β2Z1 + ... + βkZk

• Y = 1 oznacza wybraną odpowiedź, na przykład „tak”;
• Order oznacza wersję kolejności, na przykład 0 dla A i 1 dla B;
• Z₁ … Z_k oznaczają zmienne kontrolne, takie jak wiek lub płeć;
• β₁ opisuje związek między kolejnością a logarytmem szansy udzielenia odpowiedzi Y = 1.

Wynik należy raportować wraz z wielkością efektu i przedziałem ufności, a nie tylko z wartością p. Statystycznie istotna różnica o bardzo małej wielkości może nie mieć znaczenia praktycznego. Z kolei brak istotności statystycznej przy małej próbie nie dowodzi, że efektu nie ma. Warto podać różnicę odsetków, iloraz szans albo różnicę średnich wraz z interpretacją w jednostkach użytej skali.

Przykłady z badań zdrowotnych i społecznych

Przykład 1: samoocena zdrowia osób starszych

Badacz chce zmierzyć samoocenę zdrowia osób w wieku 65 lat i więcej. Wersja A zaczyna się od pytania: „Jak ogólnie ocenia Pani/Pan swoje zdrowie?”. Dopiero później pojawiają się pytania o choroby przewlekłe, ból, ograniczenia ruchowe i wizyty lekarskie. Wersja B odwraca tę kolejność.

Hipoteza metodologiczna brzmi: osoby w wersji B mogą częściej wybierać odpowiedzi gorsze, ponieważ pytania szczegółowe zwiększają dostępność informacji o problemach zdrowotnych. Jeśli różnica będzie niewielka, lecz powtarzalna, badacz może zdecydować, że pytanie ogólne powinno być zadawane na początku. Taki wybór musi być jednak zgodny z celem badania. Gdy projekt ma odtworzyć istniejący sondaż, ważniejsza może być porównywalność z poprzednimi falami niż teoretycznie optymalna kolejność.

Przykład 2: satysfakcja pacjentów z opieki pielęgniarskiej

W ankiecie po wypisie ze szpitala znajdują się pytania o:

• życzliwość pielęgniarek;
• jasność przekazywanych informacji;
• reakcję na zgłaszany ból;
• czas oczekiwania na pomoc;
• ogólną ocenę opieki pielęgniarskiej.

Jeśli cztery pytania szczegółowe poprzedzą ocenę ogólną, respondent może potraktować je jako listę kryteriów i obliczyć ocenę na ich podstawie. Jeśli pytanie ogólne pojawi się pierwsze, będzie bardziej zbliżone do spontanicznego osądu. Obie wersje odpowiadają na nieco inne pytania badawcze.

Rozsądny projekt obejmuje randomizację kolejności dwóch elementów: pytania ogólnego oraz bloku szczegółowego. Kolejność pytań wewnątrz bloku można pozostawić stałą, jeśli zachowuje ona logiczny przebieg lub jeśli pytania odnoszą się do różnych etapów opieki. W analizie należy sprawdzić, czy wersja kwestionariusza wiąże się z oceną ogólną, a także czy efekt jest podobny wśród pacjentów o krótkim i długim pobycie.

Analiza przypadku: ankieta o szczepieniach

Załóżmy, że celem badania jest ocena gotowości rodziców do zaszczepienia dziecka przeciw grypie. Zespół badawczy przygotował dwa warianty.

Wariant A: najpierw pytania o wcześniejsze szczepienia i zaufanie do lekarza, następnie pytanie o gotowość do szczepienia.

Wariant B: najpierw pytanie o gotowość do szczepienia, następnie pytania o zaufanie i wcześniejsze doświadczenia.

Jeśli badacze chcą zmierzyć spontaniczną deklarację, wariant B może lepiej odpowiadać temu celowi. Jeśli chcą ocenić gotowość po przywołaniu doświadczeń z systemem opieki, wariant A jest uzasadniony, ale pytanie nie mierzy już dokładnie tej samej sytuacji pomiarowej. Nie wolno później opisywać obu wyników jako całkowicie bezpośredniego pomiaru „prawdziwej gotowości”.

W analizie należy porównać odsetek deklaracji „zdecydowanie tak” i „raczej tak” w obu grupach, przedstawić różnicę wraz z przedziałem ufności oraz sprawdzić, czy wpływ kolejności zależy od wcześniejszego doświadczenia szczepiennego. Możliwa jest interakcja: osoby z silnie ukształtowaną opinią mogą być mniej podatne na kontekst niż osoby niezdecydowane.

Najczęstsze błędy

• Traktowanie kolejności jako wyłącznie problemu estetycznego. Układ pytań jest częścią procedury pomiarowej.
• Bezrefleksyjne umieszczanie wszystkich pytań szczegółowych przed pytaniem ogólnym. Taki układ może narzucać kryteria oceny.
• Randomizowanie całego kwestionariusza. Może to utrudnić zrozumienie, zerwać logiczne przejścia i zwiększyć liczbę błędów.
• Mylenie randomizacji kolejności z randomizacją próby. Pierwsza dotyczy prezentacji pytań, druga doboru uczestników lub przydziału do warunków.
• Wnioskowanie wyłącznie na podstawie wartości p. Należy podać kierunek i wielkość różnicy oraz ocenić jej znaczenie praktyczne.
• Zmiana kilku elementów naraz. Jeżeli między wersjami zmieniono kolejność, treść instrukcji i skalę, nie wiadomo, co wywołało różnicę.
• Brak pilotażu poznawczego. Respondenci mogą rozumieć nagłówki i przejścia inaczej, niż zakłada badacz.
• Ignorowanie celu badania. Najlepsza kolejność do pomiaru spontanicznej opinii nie musi być najlepsza do badania opinii po dostarczeniu informacji.
• Nieujawnianie wersji kwestionariusza. Publikacja powinna opisywać kolejność bloków, randomizację, rotację i ewentualne wersje językowe.

Jak opisać kolejność pytań w pracy naukowej?

W części metody warto podać:

• kolejność głównych bloków tematycznych;
• które pytania były stałe, a które randomizowane;
• czy randomizacja dotyczyła pytań, bloków czy wariantów odpowiedzi;
• zasady umieszczenia pytań wrażliwych i socjodemograficznych;
• czy przeprowadzono pilotaż, wywiady kognitywne lub eksperyment split-ballot;
• jak analizowano różnice między wersjami kwestionariusza.

Jeśli efekt kolejności wykryto po rozpoczęciu badania, nie należy ukrywać tej informacji. Trzeba opisać, które wyniki mogły być podatne na kontekst, czy przeprowadzono analizę wrażliwości oraz czy wnioski dotyczą wszystkich respondentów, czy tylko określonego wariantu ankiety.

Co warto zapamiętać?

1. Kolejność pytań może wpływać na interpretację i odpowiedzi respondenta.
2. Efekt kontekstu jest szczególnie prawdopodobny, gdy pytania dotyczą podobnych konstruktów.
3. Pytania szczegółowe przed ogólnym mogą dostarczać kryteriów, według których respondent oceni później całość.
4. Nie istnieje jedna uniwersalna kolejność dobra dla każdego celu badawczego.
5. Randomizacja lub rotacja są narzędziami kontroli, ale nie zastępują logicznego projektu i pilotażu.
6. Efekt kolejności należy oceniać na podstawie wielkości różnicy, przedziału ufności i znaczenia praktycznego, a nie samej wartości p.
7. W publikacji trzeba jasno opisać kolejność bloków, wersje kwestionariusza i sposób testowania efektu.

Dobrze zaprojektowana ankieta nie eliminuje całkowicie wpływu kontekstu — jest to często niemożliwe. Pozwala jednak przewidzieć jego źródła, ograniczyć niezamierzone oddziaływanie oraz sprawdzić, czy uzyskane wyniki są odporne na rozsądne warianty organizacji pomiaru.

Źródła i dalsza lektura

1. Roger Tourangeau, Eleanor Singer, Stanley Presser (2003). Context Effects in Attitude Surveys: Effects on Remote Items and Impact on Predictive Validity. Sociological Methods & Research, 31(4), 486–513. DOI: 10.1177/0049124103251950.
2. David W. Moore (1988). The Effect of the Question on Survey Responses: A Review. Journal of the Royal Statistical Society: Series A (Statistics in Society), 145(1), 42–57. DOI: 10.2307/2981421.
3. Ann Bowling, John Windsor (2008). The effects of question order and response-choice on self-rated health status in the English Longitudinal Study of Ageing (ELSA). Journal of Epidemiology and Community Health, 62(1), 81–85. DOI: 10.1136/jech.2006.058214.
4. Sophie J. Staniszewska, Bridget J. Haywood, Nicola J. Brett, et al. (2018). Impact of question order on prioritisation of outcomes in the development of a core outcome set: a randomised controlled trial. Trials, 19(1), 66. DOI: 10.1186/s13063-018-2452-5.
5. Howard W. Schuman, Stanley Presser (1996). Questions and Answers in Attitude Surveys: Experiments on Question Form, Wording, and Context. SAGE Publications. Informacja wydawcy / źródło.
6. Roger Tourangeau, Lance J. Rips, Kenneth A. Rasinski (2000). The Psychology of Survey Response. Cambridge University Press. Informacja wydawcy / źródło.
7. American Association for Public Opinion Research (2021). Best Practices for Survey Research. American Association for Public Opinion Research. Źródło.

Więcej kolejnych lekcji publicznego szkolenia znajdziesz na statystyk.edu.pl.