217. Ankieta papierowa i internetowa – różnice metodologiczne

Ankieta papierowa i ankieta internetowa mogą wykorzystywać identyczny kwestionariusz, tę samą skalę odpowiedzi i tę samą populację badaną. Nie oznacza to jednak, że są metodologicznie równoważne. Zmiana sposobu administracji wpływa na to, kto otrzyma zaproszenie, kto zdecyduje się odpowiedzieć, jak respondent przejdzie przez pytania oraz jak badacz zarejestruje dane. Dlatego wybór między papierem a internetem jest elementem projektu badania, a nie wyłącznie decyzją organizacyjną.

W tej lekcji, będącej częścią publicznego szkolenia metodologii badań i statystyki na statystyk.edu.pl, analizujemy ankietę papierową i internetową od podstaw, ale z uwzględnieniem wymagań badań akademickich, medycznych i społecznych. Najważniejsza zasada brzmi: nie pytamy, który tryb jest „zawsze lepszy”, lecz który lepiej odpowiada populacji, pytaniu badawczemu i warunkom realizacji badania.

1. Czym różni się tryb administracji ankiety?

Tryb administracji oznacza sposób, w jaki respondent otrzymuje kwestionariusz, udziela odpowiedzi i przekazuje je badaczowi. W ankiecie papierowej osoba badana zaznacza odpowiedzi na wydrukowanym formularzu, a następnie oddaje go osobiście, przesyła pocztą albo przekazuje członkowi zespołu badawczego. W ankiecie internetowej respondent korzysta z formularza dostępnego w przeglądarce internetowej, zwykle po kliknięciu indywidualnego lub ogólnego odnośnika.

Oba rozwiązania mogą być samodzielnie wypełniane, czyli bez obecności ankietera. To odróżnia je od wywiadu bezpośredniego lub telefonicznego. Różnica między papierem a internetem polega jednak na stopniu kontroli nad przebiegiem pomiaru. Formularz papierowy jest statyczny: każdy respondent widzi zasadniczo tę samą stronę, a przejście do kolejnego pytania zależy od jego uwagi i instrukcji. Formularz internetowy może automatycznie stosować filtry, losować kolejność odpowiedzi, pomijać nieadekwatne pytania i rejestrować dane techniczne, takie jak czas wypełniania.

2. Najważniejsze różnice metodologiczne

2.1. Dobór próby i zasięg populacji

Najpierw należy odróżnić tryb zbierania danych od źródła próby. Ankieta internetowa nie musi oznaczać próby ochotników z mediów społecznościowych. Można zaprosić do niej osoby wylosowane z rejestru, panelu probabilistycznego albo listy pacjentów, a następnie wysłać im indywidualny link. Z drugiej strony ankieta papierowa także może być niereprezentatywna, jeżeli rozdaje się ją wyłącznie osobom obecnym w jednej placówce.

W praktyce internet może ograniczać udział osób starszych, osób o niskich kompetencjach cyfrowych, osób z niepełnosprawnościami utrudniającymi korzystanie z urządzeń oraz osób z niestabilnym dostępem do sieci. Papier może natomiast ograniczać udział osób, które często zmieniają miejsce zamieszkania, nie odbierają korespondencji lub nie mają możliwości spokojnego wypełnienia formularza. Problem ten określa się jako błąd pokrycia: część populacji ma mniejszą albo zerową szansę znalezienia się w operacie lub skutecznego udziału w badaniu.

Nie należy więc wyciągać wniosku, że ankieta internetowa jest z definicji mniej reprezentatywna. Reprezentatywność zależy od sposobu utworzenia próby, procedury kontaktu, odsetka odpowiedzi i ewentualnych korekt, a nie od samego faktu użycia przeglądarki. AAPOR zaleca opisywanie osobno ramy doboru, sposobu rekrutacji, trybu administracji oraz działań podejmowanych wobec osób nieodpowiadających (AAPOR, 2023).

2.2. Błąd pomiaru i efekt trybu

Efekt trybu to systematyczna różnica w odpowiedziach wynikająca z tego, czy respondent korzysta z papieru, internetu, telefonu lub innego sposobu udzielania odpowiedzi. W porównaniu papier–internet oba tryby są zwykle samodzielne, więc różnica może być mniejsza niż w porównaniu ankiety internetowej z wywiadem prowadzonym przez ankietera. Nadal jednak występują istotne mechanizmy.

• Na ekranie respondent może widzieć jedno pytanie naraz, natomiast na papierze może ogarniać wzrokiem całą stronę.
• Formularz internetowy może wymuszać odpowiedź, ostrzegać o pominięciu pytania albo blokować przejście dalej.
• Na papierze respondent może zaznaczyć kilka odpowiedzi przez pomyłkę lub pominąć filtr.
• W internecie możliwe jest automatyczne losowanie odpowiedzi, co zmienia pozycję kategorii i potencjalnie wpływa na wybór.
• Wrażenie anonimowości może być inne, gdy papier oddaje się pracownikowi placówki, a inne, gdy ankieta internetowa nie wymaga podania danych identyfikacyjnych.

Efekt trybu trzeba odróżnić od efektu selekcji. Jeżeli osoby odpowiadające przez internet są młodsze, lepiej wykształcone albo bardziej zainteresowane tematem, różnica wyników może wynikać z cech respondentów, a nie z samego formularza. Najmocniejszym sposobem rozdzielenia tych mechanizmów jest randomizowane przypisanie uczestników do trybu papierowego lub internetowego, przy zachowaniu możliwie identycznych pytań i instrukcji.

2.3. Kompletność danych i kontrola logiczna

W ankiecie papierowej kompletność zależy głównie od jakości instrukcji, czytelności układu i motywacji respondenta. Badacz musi później wprowadzić odpowiedzi do bazy, co tworzy ryzyko błędów kodowania. Trudniejsze są także pytania filtrujące, na przykład: „Jeżeli w pytaniu 5 zaznaczono odpowiedź «nie», przejdź do pytania 9”. Respondent może nie zauważyć takiej instrukcji.

Ankieta internetowa umożliwia zastosowanie logiki formularza. Osoba, która nie korzysta z danego świadczenia, może automatycznie pominąć pytania dotyczące jego oceny. Zmniejsza to obciążenie respondenta i liczbę odpowiedzi nieadekwatnych. Jednocześnie automatyzacja może stworzyć nowe problemy: błędnie zaprogramowany filtr, nieprawidłową walidację lub obowiązkowe pytania, na które respondent nie chce odpowiadać.

Wymuszenie odpowiedzi nie jest bezwarunkowo korzystne. Jeżeli respondent nie zna odpowiedzi lub nie chce ujawnić informacji, może wybrać przypadkową kategorię tylko po to, aby przejść dalej. W ankiecie internetowej należy więc przewidzieć opcje „nie wiem”, „nie dotyczy” i „wolę nie odpowiadać”, gdy są uzasadnione treścią pytania. Dotyczy to szczególnie zdrowia psychicznego, zachowań seksualnych, używania substancji, przemocy i sytuacji ekonomicznej.

2.4. Koszt, czas i kontrola procesu

Ankieta internetowa zwykle pozwala szybko rozpocząć zbieranie danych i ograniczyć koszty druku, kopert, przesyłek oraz ręcznego wprowadzania odpowiedzi. Można też śledzić liczbę rozpoczętych i zakończonych formularzy. Nie oznacza to jednak, że internet zawsze jest tańszy. Koszty obejmują przygotowanie platformy, testy na różnych urządzeniach, zabezpieczenia, zgodę komisji bioetycznej lub instytucjonalnej oraz ochronę danych.

Ankieta papierowa bywa bardziej praktyczna w miejscach, w których badacz ma bezpośredni dostęp do populacji, na przykład podczas wizyty pacjenta w poradni, szkolenia pielęgniarek albo zajęć w małej grupie. Może też zwiększać udział osób, które niechętnie korzystają z formularzy online. Jej wadą jest większy nakład pracy przy dystrybucji, odbiorze, kontroli kompletności i wprowadzaniu danych.

3. Porównanie ankiety papierowej i internetowej

Obszar	Ankieta papierowa	Ankieta internetowa
Rekrutacja	Łatwa w miejscu kontaktu bezpośredniego; wymaga druków i organizacji odbioru.	Szybka przy dostępie do adresów e-mail lub panelu; podatna na selekcję ochotników.
Kontrola przejścia	Oparta na instrukcjach drukowanych; większe ryzyko pominięcia filtrów.	Możliwa automatyczna logika pytań i walidacja.
Braki danych	Respondent może pominąć pytanie bez natychmiastowej informacji.	Można ostrzegać o braku odpowiedzi, ale wymuszanie może zwiększyć losowe zaznaczenia.
Wprowadzanie danych	Najczęściej ręczne, z ryzykiem błędów transkrypcji.	Zapis automatyczny, lecz wymagający kontroli kodowania i eksportu.
Dostępność	Nie wymaga urządzenia ani internetu.	Wymaga odpowiedniego sprzętu, łącza i użytecznego interfejsu.
Raportowanie	Łatwo policzyć rozdane i zwrócone formularze.	Trzeba jasno zdefiniować wyświetlenie, rozpoczęcie i ukończenie ankiety.

4. Jak rozumieć wskaźniki odpowiedzi?

W ankiecie papierowej często oblicza się odsetek zwróconych formularzy:

Odsetek odpowiedzi = liczba zwróconych formularzy / liczba formularzy przekazanych osobom uprawnionym × 100%

W tym zapisie licznik oznacza formularze zwrócone, a mianownik wszystkie formularze rozdane właściwym osobom. Jeżeli rozdano 250 formularzy, a zwrócono 175, odsetek odpowiedzi wynosi 70%.

W ankiecie internetowej sytuacja jest mniej jednoznaczna. Można liczyć udział osób, które otworzyły stronę, rozpoczęły formularz albo przesłały ostatnią stronę. Są to różne mianowniki. W klasycznej propozycji CHERRIES rozróżnia się między innymi view rate, participation rate i completion rate oraz zaleca opisanie, jak zdefiniowano każdy wskaźnik (Eysenbach, 2004).

Przykładowo, jeżeli 1000 osób otrzymało zaproszenie, 400 otworzyło formularz, 320 rozpoczęło ankietę, a 280 ją ukończyło, można obliczyć:

• udział otwarć względem wysłanych zaproszeń: 400/1000 = 40%;
• udział rozpoczęć względem osób, które otworzyły formularz: 320/400 = 80%;
• ukończenie względem osób, które rozpoczęły: 280/320 = 87,5%.

Nie wolno bez wyjaśnienia nazwać każdego z tych wskaźników „odsetkiem odpowiedzi”. W raporcie trzeba podać licznik, mianownik, liczbę zaproszeń niedostarczonych oraz regułę uznania ankiety za ukończoną.

5. Przykład praktyczny: satysfakcja pacjentów poradni

Załóżmy, że zespół chce ocenić satysfakcję pacjentów poradni diabetologicznej. Kwestionariusz ma 20 pytań, w tym ocenę komunikacji z personelem, zrozumiałość zaleceń, czas oczekiwania i poczucie udziału w decyzjach. Populację stanowią osoby dorosłe, które odbyły wizytę w ciągu ostatnich trzech miesięcy.

Wariant papierowy

Formularz jest wręczany po wizycie i składany do zamkniętej urny. Zaletą jest możliwość objęcia osób starszych oraz pacjentów, którzy nie korzystają regularnie z poczty elektronicznej. Wadą jest to, że pacjent może spieszyć się po wizycie, a pracownik poradni może być postrzegany jako osoba oceniająca odpowiedzi. Należy zadbać o anonimowe oddawanie formularzy i jasne wyjaśnienie, że odpowiedź nie wpłynie na dalsze leczenie.

Wariant internetowy

Pacjent otrzymuje kartę z kodem QR i indywidualnym kodem dostępu. Formularz można wypełnić w domu, a pytania dotyczące wizyty są wyświetlane tylko osobom, które potwierdzą, że odbyły ją w wymaganym okresie. System zapisuje odpowiedzi bez ręcznej transkrypcji. Trzeba jednak sprawdzić, czy kody nie pozwalają niepotrzebnie identyfikować pacjentów, czy strona działa na telefonie oraz czy osoby słabiej cyfrowo kompetentne nie są wykluczane.

Lepszy projekt mieszany

Rozsądnym rozwiązaniem może być projekt mieszany: każdemu pacjentowi proponuje się internet, ale na życzenie udostępnia się wersję papierową. W analizie należy odnotować tryb odpowiedzi i porównać podstawowe cechy respondentów. Jeżeli pacjenci papierowi są wyraźnie starsi, sama różnica średniej satysfakcji nie pozwala stwierdzić, że papier zmienił odpowiedzi. Można rozważyć analizę z korektą o wiek, wykształcenie, płeć, ciężkość choroby i inne wcześniej uzasadnione zmienne, ale nie zastępuje to dobrego planu rekrutacji.

Badania randomizowane porównujące wersje papierowe i internetowe pokazują, że wyniki zależą od populacji, tematu, sposobu kontaktu i liczby przypomnień. W jednym z badań medycznych porównanie obu trybów dotyczyło odpowiedzi i kompletności danych, a inne badania wykazały, że wśród lekarzy internetowy tryb nie musi osiągać takiego samego udziału odpowiedzi jak papierowy (Kongsved et al., 2007; Leece et al., 2004). Wniosek nie brzmi „papier jest lepszy”, lecz „tryb trzeba oceniać w konkretnym kontekście”.

6. Jak zaprojektować badanie poprawnie?

1. Zdefiniuj populację i ramę próby. Zapisz, kogo chcesz opisać, kto może zostać zaproszony i kto zostanie wykluczony.
2. Ustal, czy tryb jest częścią pytania badawczego. Jeżeli porównujesz doświadczenia osób odpowiadających papierowo i online, tryb jest zmienną analityczną. Jeżeli tryb ma być tylko narzędziem, staraj się ograniczyć jego wpływ.
3. Zbuduj równoważne wersje. Zachowaj treść pytań, kolejność, instrukcje i skale, chyba że zmiana jest konieczna dla czytelności ekranu.
4. Przetestuj każdy tryb oddzielnie. Formularz internetowy wymaga testu na komputerze, telefonie i tablecie. Formularz papierowy wymaga sprawdzenia układu, wielkości czcionki, instrukcji filtrów i miejsca na odpowiedzi.
5. Zapobiegaj wielokrotnym wpisom, ale nie twórz nadmiernej identyfikowalności. Indywidualny kod może ograniczać duplikaty, jednak powinien być oddzielony od odpowiedzi, jeżeli badanie ma być anonimowe.
6. Raportuj przebieg rekrutacji. Podaj liczbę osób zaproszonych, niedostarczonych zaproszeń, rozpoczętych i ukończonych formularzy oraz liczbę braków danych.

W badaniach internetowych pomocna jest checklista CHERRIES, która porządkuje opis projektu, rekrutacji, zgody, kontroli wielokrotnych wpisów, wskaźników uczestnictwa i analizy (Eysenbach, 2004). W badaniach obserwacyjnych warto ponadto zadbać o przejrzyste raportowanie zgodne z właściwymi zaleceniami dla danego projektu.

7. Najczęstsze błędy

• Traktowanie trybu jako wyłącznie kwestii technicznej. Tryb wpływa na dostęp, zachowanie i jakość danych.
• Porównywanie wyników bez kontroli różnic w próbie. Osoby wybierające internet i papier mogą różnić się przed rozpoczęciem badania.
• Wymuszanie odpowiedzi na wszystkie pytania. Może zmniejszyć liczbę braków, ale zwiększyć odpowiedzi przypadkowe.
• Brak definicji odsetka odpowiedzi. W ankiecie internetowej trzeba wyjaśnić, czy mianownikiem są zaproszenia, otwarcia, rozpoczęcia czy osoby uprawnione.
• Nieprawidłowe przeniesienie ankiety papierowej na ekran. Duża tabela, wiele kolumn i długie instrukcje mogą być czytelne na papierze, lecz nie na telefonie.
• Ignorowanie prywatności. Adres e-mail, adres IP, kod dostępu i odpowiedzi zdrowotne mogą razem umożliwiać identyfikację.
• Brak wersji alternatywnej dla osób wykluczonych cyfrowo. Jeżeli populacja jest zróżnicowana, warto rozważyć tryb mieszany albo uzasadnić ograniczenie.
• Przypisywanie różnic samemu formularzowi. Różnica średnich może wynikać z selekcji respondentów, rekrutacji, przypomnień lub sposobu kontaktu.

8. Co warto zapamiętać?

• Ankieta papierowa i internetowa są różnymi trybami pomiaru, nawet gdy zawierają identyczne pytania.
• Najważniejsze zagrożenia to błąd pokrycia, selekcja uczestników, brak odpowiedzi, błędy pomiaru i błędy wprowadzania danych.
• Ankieta internetowa daje większe możliwości automatyzacji, ale wymaga kontroli logiki formularza, dostępności, prywatności i wielokrotnych wpisów.
• Ankieta papierowa nie jest automatycznie bardziej reprezentatywna ani bardziej wiarygodna.
• Wskaźniki odpowiedzi muszą mieć jasno określony licznik i mianownik.
• Jeśli tryb nie jest przedmiotem badania, należy dążyć do równoważności wersji i odnotować tryb odpowiedzi w bazie.
• W przypadku populacji zróżnicowanej pod względem wieku, zdrowia lub dostępu do technologii często warto rozważyć projekt mieszany.
• Wyniki ankiety opisują odpowiedzi uczestników; sam tryb administracji nie uzasadnia wniosków przyczynowych.

Zasada praktyczna: wybierz ten tryb, który zapewnia najlepsze pokrycie populacji, najmniejsze obciążenie respondenta i najbardziej wiarygodny zapis odpowiedzi — a następnie opisz jego ograniczenia tak szczegółowo, aby czytelnik mógł ocenić ryzyko błędu.

Źródła i dalsza lektura

1. Kongsved, S. M., Basnov, M., Holm-Christensen, K., & Hjollund, N. H. (2007). Response Rate and Completeness of Questionnaires: A Randomized Study of Internet Versus Paper-and-Pencil Versions. Journal of Medical Internet Research, 9(3), e25. DOI: 10.2196/jmir.9.3.e25.
2. Ritter, P., Lorig, K., Laurent, D., & Matthews, K. (2004). Internet Versus Mailed Questionnaires: A Randomized Comparison. Journal of Medical Internet Research, 6(3), e29. DOI: 10.2196/jmir.6.3.e29.
3. Leece, P., Bhandari, M., Sprague, S., Swiontkowski, M. F., Schemitsch, E. H., Tornetta, P., Devereaux, P. J., & Guyatt, G. H. (2004). Internet Versus Mailed Questionnaires: A Randomized Comparison (2). Journal of Medical Internet Research, 6(3), e30. DOI: 10.2196/jmir.6.3.e30.
4. Eysenbach, G. (2004). Improving the Quality of Web Surveys: The Checklist for Reporting Results of Internet E-Surveys (CHERRIES). Journal of Medical Internet Research, 6(3), e34. DOI: 10.2196/jmir.6.3.e34.
5. Rindskopf, D., & Harel, O. (2024). Should We Offer Web, Paper, or Both? A Comparison of Single- and Mixed-Response Mode Treatments in a Mail Survey. Journal of Survey Statistics and Methodology, 12(3), 593–623. DOI: 10.1093/jssam/smae021.
6. American Association for Public Opinion Research (2023). Best Practices for Survey Research. American Association for Public Opinion Research. Źródło.

Jeżeli potrzebujesz indywidualnego wsparcia w doborze metod, przygotowaniu bazy lub opracowaniu wyników badań, sprawdź analiza statystyczna.