220. Jak opisać autorski kwestionariusz w metodach badania?

Autorski kwestionariusz nie powinien być opisany w pracy naukowej jednym zdaniem: „zastosowano kwestionariusz własnej konstrukcji”. Taki zapis nie pozwala ocenić, co rzeczywiście mierzono, jak powstawały pytania, jakie odpowiedzi mogli zaznaczyć badani ani w jaki sposób z odpowiedzi utworzono zmienne do analizy. Dobry opis narzędzia jest częścią uzasadnienia jakości pomiaru. W tej lekcji pokazujemy, jak przedstawić autorski kwestionariusz w sekcji metod tak, aby opis był przejrzysty, odtwarzalny i adekwatny do celu badania. Temat rozwija praktyczne zagadnienia omawiane w szkoleniu metodologicznym na statystyk.edu.pl.

1. Czym jest autorski kwestionariusz?

Autorski kwestionariusz to narzędzie opracowane przez zespół badawczy na potrzeby konkretnego projektu. Nie należy automatycznie utożsamiać go z narzędziem psychometrycznym. Kwestionariusz może służyć do zebrania danych faktograficznych, na przykład informacji o liczbie wizyt u lekarza, sposobie korzystania z teleporad albo znajomości objawów udaru. Może też zawierać skalę do pomiaru konstruktu, takiego jak lęk przed hospitalizacją, poczucie kompetencji lub zaufanie do personelu medycznego.

To rozróżnienie ma konsekwencje dla opisu. W przypadku pytań faktograficznych najważniejsze będą: definicja zmiennej, okres odniesienia, kategorie odpowiedzi i sposób kodowania. W przypadku skali dodatkowo trzeba opisać konstrukcję wymiaru, źródła pozycji, procedurę oceny trafności treściowej, rzetelność, strukturę czynnikową oraz sposób obliczania wyniku.

Autorski charakter narzędzia nie oznacza, że badacz tworzy pytania całkowicie bez oparcia w literaturze. Pozycje mogą wynikać z przeglądu publikacji, modeli teoretycznych, wytycznych klinicznych, konsultacji eksperckich, wywiadów jakościowych, istniejących narzędzi lub doświadczeń praktycznych. Należy jednak jasno wskazać, które elementy zostały przejęte, zaadaptowane, przetłumaczone albo opracowane od podstaw.

2. Co powinien zawierać opis narzędzia?

Najbezpieczniej budować opis według stałej kolejności. Czytelnik powinien najpierw dowiedzieć się, co mierzono, następnie jak skonstruowano narzędzie, jak je zastosowano i wreszcie jak odpowiedzi przekształcono w dane analizowane statystycznie.

2.1. Cel i zakres pomiaru

Opis należy rozpocząć od celu. Nie wystarczy nazwa typu „kwestionariusz wiedzy zdrowotnej”. Trzeba doprecyzować, czy chodzi o wiedzę deklaratywną, rozpoznawanie objawów, znajomość zaleceń, umiejętność interpretacji informacji czy gotowość do działania.

Przykładowe sformułowanie: „Autorski kwestionariusz opracowano w celu pomiaru deklarowanej wiedzy dorosłych mieszkańców na temat objawów i zasad postępowania w przypadku podejrzenia udaru mózgu. Narzędzie odnosiło się do wiedzy respondentów, a nie do rzeczywistych umiejętności wykonania procedury medycznej”.

Takie doprecyzowanie ogranicza ryzyko nadinterpretacji. Osoba, która poprawnie odpowiada na pytania testowe, nie musi rzeczywiście zachować się właściwie w sytuacji zagrożenia życia.

2.2. Podstawa teoretyczna i źródła pozycji

Należy wskazać, z czego wynikała treść pytań. W opisie można wymienić: model teoretyczny, przegląd literatury, zalecenia instytucji zdrowia publicznego, analizę istniejących kwestionariuszy, konsultacje z ekspertami oraz wyniki badań jakościowych.

Jeżeli wykorzystano istniejące narzędzie, trzeba podać jego pełną nazwę i źródło oraz wyjaśnić, czy zastosowano je w wersji oryginalnej, tłumaczeniu, adaptacji kulturowej czy po modyfikacji. Po zmianie pozycji lub kategorii odpowiedzi nie należy przedstawiać narzędzia jako identycznego z oryginałem.

W przypadku tworzenia skali warto sporządzić tabelę specyfikacji. Powinna ona łączyć badany konstrukt z jego wymiarami, wskaźnikami i konkretnymi pozycjami. Taki dokument pomaga sprawdzić, czy pytania obejmują cały zakres pojęcia, a nie tylko najłatwiejszy do zmierzenia fragment.

2.3. Liczba pozycji i struktura kwestionariusza

W metodach należy podać liczbę wszystkich pytań oraz liczbę pytań przeznaczonych do analizy. Trzeba opisać kolejność części, na przykład: instrukcja, pytania przesiewowe, główna skala, pytania o zachowania zdrowotne i metryczka.

Warto przedstawić liczbę pozycji w każdym wymiarze. Jeżeli kwestionariusz zawiera 24 stwierdzenia dotyczące barier w korzystaniu z profilaktyki, można napisać, że 8 pozycji dotyczyło barier organizacyjnych, 7 finansowych, a 9 psychologicznych. Sama liczba pytań nie dowodzi jednak jakości narzędzia. Nadmiar podobnych pozycji może zwiększać obciążenie respondenta bez poprawy pomiaru.

2.4. Treść pytań i format odpowiedzi

Opis powinien informować, czy pytania były zamknięte, półotwarte czy otwarte. W przypadku pytań zamkniętych należy podać kategorie odpowiedzi, ich kolejność oraz informację, czy respondent mógł zaznaczyć jedną, czy wiele odpowiedzi.

Trzeba także określić ramę czasową. Pytanie „Jak często korzysta Pan/Pani z podstawowej opieki zdrowotnej?” jest niejednoznaczne, jeśli nie wiadomo, czy chodzi o ostatni miesiąc, rok czy całe życie. Lepsze będzie: „Ile razy w ciągu ostatnich 12 miesięcy korzystał(a) Pan/Pani z wizyty u lekarza podstawowej opieki zdrowotnej?”.

W przypadku skal typu Likerta trzeba podać liczbę kategorii i ich etykiety. Przykład: „Każde stwierdzenie oceniano na pięciostopniowej skali od 1 — zdecydowanie się nie zgadzam do 5 — zdecydowanie się zgadzam”. Jeżeli zastosowano odpowiedzi „nie wiem”, „nie dotyczy” lub „brak odpowiedzi”, należy wyjaśnić, czy były traktowane jako brak danych, osobna kategoria czy odpowiedź wskazująca określony stan.

3. Jak opisać proces opracowania kwestionariusza?

Opis powinien przedstawiać nie tylko produkt końcowy, ale także najważniejsze etapy jego powstawania. W literaturze dotyczącej rozwoju kwestionariuszy często wyróżnia się określenie konstruktu, przygotowanie puli pozycji, ocenę ekspercką, testy poznawcze, pilotaż oraz ocenę właściwości pomiarowych (Artino et al., 2014; Boateng et al., 2018).

3.1. Przygotowanie puli pozycji

Pierwsza wersja kwestionariusza może zawierać więcej pytań niż wersja końcowa. W metodach warto napisać, ile pozycji utworzono początkowo i na jakiej podstawie je usuwano lub modyfikowano. Kryteria mogą obejmować: niejasność językową, powtarzalność treści, brak zgodności z definicją konstruktu, zbyt małą zmienność odpowiedzi, niski związek z pozostałymi pozycjami albo obciążenie respondentów.

Nie należy jednak usuwać pozycji wyłącznie dlatego, że obniżają współczynnik alfa Cronbacha. Decyzja powinna uwzględniać treść pytania, teorię pomiaru i zakres konstruktu. Mechaniczne zwiększanie jednorodności może prowadzić do sytuacji, w której skala jest wąska i pomija ważne aspekty badanego zjawiska.

3.2. Ocena ekspercka i trafność treściowa

Jeżeli kwestionariusz oceniali eksperci, należy podać ich liczbę, kompetencje oraz sposób oceny. Warto opisać, czy oceniali zgodność pozycji z konstruktem, zrozumiałość, jednoznaczność, adekwatność kategorii odpowiedzi i kompletność narzędzia.

Trafność treściowa nie oznacza, że eksperci „udowodnili trafność kwestionariusza”. Oznacza raczej, że istnieją przesłanki, iż treść pozycji adekwatnie reprezentuje definiowany zakres pojęcia. Wnioski powinny być formułowane ostrożnie.

3.3. Wywiad kognitywny i pilotaż

Wywiad kognitywny służy sprawdzeniu, jak badani rozumieją pytania, odtwarzają informacje, wybierają odpowiedź i oceniają, czy dana kategoria pasuje do ich sytuacji. Jest szczególnie przydatny przy pytaniach o objawy, zachowania wrażliwe, terminy medyczne i pojęcia, które mogą mieć różne znaczenia potoczne oraz specjalistyczne (Willis, 2005; Willis i Miller, 2011).

W opisie należy podać, kto uczestniczył w testowaniu, ile osób przebadano, jakie problemy wykryto i jakie zmiany wprowadzono. Samo zdanie „kwestionariusz poddano pilotażowi” jest zbyt ogólne.

Pilotaż ilościowy może służyć ocenie czasu wypełniania, odsetka braków danych, rozkładu odpowiedzi, działania instrukcji i wstępnej rzetelności. Nie powinien być przedstawiany jako pełna walidacja, zwłaszcza gdy próba pilotażowa jest mała lub niereprezentatywna.

4. Jak opisać punktację i tworzenie zmiennych?

Opis punktacji musi pozwalać odtworzyć sposób obliczenia wyniku. Należy wyjaśnić, które odpowiedzi otrzymywały punkty, czy stosowano odwrócone kodowanie oraz jak traktowano brakujące odpowiedzi.

W przypadku testu wiedzy można użyć prostego kodowania:

Wynik całkowity = suma punktów za poprawne odpowiedzi

Jeżeli jest 15 pytań, a każda poprawna odpowiedź otrzymuje 1 punkt, wynik może mieścić się w zakresie od 0 do 15. Trzeba jednak wskazać, czy pytania bez odpowiedzi otrzymywały 0 punktów, czy wynik obliczano tylko wtedy, gdy respondent odpowiedział na określoną część pozycji.

Dla skali z pozycjami ocenianymi od 1 do 5 można obliczyć średnią:

S = (x₁ + x₂ + ... + xₖ) / k

gdzie S oznacza wynik skali, x₁, x₂, …, xₖ są odpowiedziami na poszczególne pozycje, a k jest liczbą pozycji uwzględnionych w obliczeniu. Jeśli część pozycji ma odwrotny kierunek, przed obliczeniem wyniku trzeba zastosować rekodowanie. Dla skali od 1 do 5 wynik odwrócony można obliczyć jako:

xᵣ = 6 − x

gdzie x oznacza pierwotną odpowiedź, a xᵣ odpowiedź po odwróceniu. Wzór zależy od liczby kategorii, dlatego zawsze należy podać pełną skalę odpowiedzi.

Nie wolno tworzyć arbitralnych kategorii typu „niska”, „umiarkowana” i „wysoka” bez uzasadnienia. Punkty odcięcia powinny wynikać z teorii, norm, rozkładu wyników, kryterium zewnętrznego albo jasno opisanej decyzji analitycznej. Sam podział według mediany nie tworzy klinicznie znaczących grup.

5. Jak opisać rzetelność i trafność?

Rzetelność dotyczy precyzji i powtarzalności pomiaru, natomiast trafność odnosi się do tego, czy sposób interpretacji wyników jest uzasadniony w określonym celu. Nie są to synonimy. Wysoka rzetelność nie gwarantuje, że narzędzie mierzy właściwy konstrukt.

Dla skali wielopozycyjnej można przedstawić spójność wewnętrzną, na przykład współczynnik alfa Cronbacha lub współczynnik omega. Należy podać jego wartość dla całej skali i — jeśli ma to sens — dla podskal. Warto również podać liczbę pozycji oraz próbę, na której obliczono współczynnik. Sama wartość alfa nie powinna być interpretowana jako uniwersalny dowód jakości.

Jeżeli badano stabilność w czasie, trzeba opisać odstęp między pomiarami i użyty współczynnik, na przykład korelację wewnątrzklasową. Jeśli narzędzie było oceniane względem zewnętrznego kryterium, należy wskazać, czym było kryterium i dlaczego uznano je za odpowiednie.

W przypadku autorskiego kwestionariusza ważne jest rozdzielenie etapów. Jeżeli w badaniu głównym jedynie opisano rozkład odpowiedzi, nie należy twierdzić, że narzędzie zostało zwalidowane. Można napisać, że przeprowadzono wstępną ocenę jego właściwości pomiarowych.

6. Przykład praktyczny: kwestionariusz wiedzy pacjentów

Załóżmy, że celem badania jest ocena wiedzy pacjentów oddziału kardiologicznego o czynnikach ryzyka niewydolności serca. Autorski kwestionariusz obejmuje 18 pytań jednokrotnego wyboru. Opracowano go na podstawie zaleceń klinicznych, publikacji dotyczących edukacji pacjentów oraz konsultacji z kardiologiem i pielęgniarką edukacyjną.

W metodach można opisać narzędzie następująco: „Kwestionariusz składał się z 18 pytań dotyczących objawów pogorszenia stanu zdrowia, regularnego przyjmowania leków, ograniczenia soli, aktywności fizycznej i konieczności kontaktu z personelem medycznym. Każde pytanie miało jedną odpowiedź prawidłową oraz trzy dystraktory. Za odpowiedź prawidłową przyznawano 1 punkt, a za błędną lub brak odpowiedzi — 0 punktów. Wynik całkowity mieścił się w zakresie 0–18; wyższy wynik oznaczał większą liczbę poprawnych odpowiedzi, nie zaś potwierdzenie prawidłowych zachowań pacjenta”.

Następnie należy dodać informacje o testowaniu: „Przed badaniem głównym przeprowadzono ocenę zrozumiałości pytań z udziałem 10 pacjentów. Na tej podstawie uproszczono trzy terminy medyczne i doprecyzowano okres odniesienia w dwóch pytaniach. Pilotaż obejmował 30 osób i służył ocenie czasu wypełniania, kompletności danych oraz rozkładu odpowiedzi”.

Taki opis jest znacznie bardziej informacyjny niż deklaracja, że „zastosowano autorski kwestionariusz wiedzy”.

7. Przykład praktyczny: skala doświadczeń pacjenta

Drugim przykładem może być skala oceniająca doświadczenia pacjentów podczas kontaktu z ratownikiem medycznym. Narzędzie zawiera 12 stwierdzeń ocenianych od 1 — zdecydowanie się nie zgadzam do 5 — zdecydowanie się zgadzam. Pozycje obejmują trzy obszary: jasność komunikacji, poczucie szacunku oraz poczucie bezpieczeństwa.

W tym przypadku sam opis liczby pytań nie wystarcza. Trzeba podać, że trzy podskale zostały zdefiniowane przed analizą, że dwie pozycje miały odwrócony kierunek oraz że wynik podskali obliczano jako średnią odpowiedzi, jeżeli respondent udzielił odpowiedzi na co najmniej 80% pozycji danej podskali.

Jeżeli analizę czynnikową przeprowadzono dopiero po zebraniu danych, należy to wyraźnie zaznaczyć. Nie należy przedstawiać uzyskanej struktury jako wcześniej potwierdzonej. W raporcie warto podać także liczebność próby, sposób obchodzenia się z brakami oraz uzasadnienie wyboru metody analitycznej.

Najczęstsze błędy

• Zbyt ogólna nazwa narzędzia. Określenie „ankieta dotycząca zdrowia” nie mówi, jakie zmienne mierzono.
• Brak informacji o źródłach pytań. Czytelnik nie wie, czy pozycje wynikały z teorii, literatury, wytycznych czy intuicji autorów.
• Mylenie pilotażu z walidacją. Krótkie sprawdzenie zrozumiałości nie dowodzi pełnej trafności i rzetelności.
• Brak zakresu wyników i reguł punktacji. Nie można odtworzyć zmiennej analizowanej statystycznie.
• Usuwanie pozycji wyłącznie na podstawie alfa. Wynik liczbowy nie zastępuje oceny treści i teorii.
• Niejasny okres odniesienia. Pytania o zachowania bez informacji „kiedy” mogą mierzyć różne doświadczenia respondentów.
• Nieuzasadnione punkty odcięcia. Podział wyniku na kategorie wymaga podstawy metodologicznej.
• Język przyczynowy. Sam fakt, że wynik kwestionariusza koreluje z inną zmienną, nie dowodzi, że jedna cecha powoduje drugą.
• Brak załącznika lub przykładowych pozycji. Jeśli pełny kwestionariusz nie może być opublikowany, warto przedstawić jego strukturę i przykładowe pytania, z poszanowaniem praw autorskich i zasad etycznych.

Jak sprawdzić kompletność opisu?

Przydatna jest krótka lista kontrolna. Po przeczytaniu sekcji metod czytelnik powinien znać:

1. cel i zakres pomiaru;
2. definicję najważniejszych konstruktów;
3. źródła i sposób tworzenia pozycji;
4. liczbę części i pytań;
5. format odpowiedzi oraz okres odniesienia;
6. procedurę oceny eksperckiej, wywiadu kognitywnego i pilotażu;
7. zasady kodowania, rekodowania i obliczania wyników;
8. sposób postępowania z brakami danych;
9. informacje o rzetelności i innych dowodach trafności;
10. ograniczenia narzędzia.

Wytyczna CROSS dotycząca raportowania badań ankietowych podkreśla znaczenie przejrzystego opisu projektu, populacji, procedury zbierania danych, narzędzia i ograniczeń badania (Sharma et al., 2021). W praktyce warto wykorzystać ją jako listę kontrolną na etapie redakcji manuskryptu, nawet jeśli badanie nie jest klasycznym sondażem populacyjnym.

Co warto zapamiętać?

• Autorski kwestionariusz trzeba opisać jako narzędzie pomiarowe, a nie tylko jako listę pytań.
• Należy rozdzielić pytania faktograficzne od pozycji tworzących skalę.
• Opis powinien obejmować cel, podstawę teoretyczną, źródła pozycji, strukturę, odpowiedzi i punktację.
• Wywiad kognitywny i pilotaż dostarczają ważnych informacji o działaniu pytań, ale nie zastępują pełnej oceny właściwości pomiarowych.
• Rzetelność, trafność treściowa, struktura czynnikowa i znaczenie praktyczne to różne aspekty jakości narzędzia.
• Nie należy interpretować wyniku kwestionariusza szerzej, niż pozwala na to jego konstrukcja i sposób walidacji.
• Najlepszy opis umożliwia innemu badaczowi odtworzenie sposobu uzyskania analizowanej zmiennej.

W następnych etapach pracy warto zachować dokumentację wersji narzędzia: kolejne redakcje pytań, uwagi ekspertów, wyniki pilotażu, decyzje o usunięciu pozycji oraz reguły kodowania. Taki materiał ułatwia raportowanie, obronę decyzji metodologicznych i późniejsze doskonalenie kwestionariusza.

Źródła i dalsza lektura

1. Artino, A. R., Jr., La Rochelle, J. S., Dezee, K. J., & Gehlbach, H. (2014). Developing questionnaires for educational research: AMEE Guide No. 87. Medical Teacher, 36(6), 463–474. DOI: 10.3109/0142159X.2014.889814.
2. Boateng, G. O., Neilands, T. B., Frongillo, E. A., Melgar-Quiñonez, H. R., & Young, S. L. (2018). Best Practices for Developing and Validating Scales for Health, Social, and Behavioral Research: A Primer. Frontiers in Public Health, 6, Article 149. DOI: 10.3389/fpubh.2018.00149.
3. Sharma, A., Minh Duc, N. T., Luu Lam Thang, T., Nam, N. H., Ng, S. J., Abbas, K. S., Huy, N. T., Marušić, A., Paul, C. L., Kwok, J., Karbwang, J., de Waure, C., Drummond, F. J., Kizawa, Y., Taal, E., Vermeulen, J., Lee, G. H. M., Gyedu, A., To, K. G., Verra, M. L., Jacqz-Aigrain, É., Leclercq, W. K. G., Salminen, S. T., Sherbourne, C. D., Mintzes, B., Lozano, S., Tran, U. S., Matsui, M., & Karamouzian, M. (2021). A Consensus-Based Checklist for Reporting of Survey Studies (CROSS). Journal of General Internal Medicine, 36(10), 3179–3187. DOI: 10.1007/s11606-021-06737-1.
4. Willis, G. B., & Miller, K. (2011). Cross-Cultural Cognitive Interviewing: Seeking Comparability and Enhancing Understanding. Field Methods, 23(4), 369–383. DOI: 10.1177/1525822X11416092.
5. Willis, G. B. (2005). Cognitive Interviewing: A Tool for Improving Questionnaire Design. SAGE Publications. Informacja wydawcy / źródło.
6. Presser, S., Rothgeb, J. M., Couper, M. P., Lessler, J. T., Martin, E., Martin, J., & Singer, E. (eds.) (2004). Methods for Testing and Evaluating Survey Questionnaires. Wiley-Interscience. Informacja wydawcy / źródło.