168. Próba wygodna – jakie ograniczenia wprowadza?

W poprzednich lekcjach omawialiśmy dobór losowy, warstwowy, systematyczny i celowy. Kolejnym ważnym pojęciem jest próba wygodna, nazywana także doborem dogodnym lub przypadkowym w znaczeniu potocznym. Badacz włącza do badania osoby, do których ma najłatwiejszy dostęp: pacjentów jednego oddziału, studentów jednej uczelni, obserwujących profil internetowy albo użytkowników konkretnej platformy. Takie rozwiązanie bywa szybkie i tanie, lecz wprowadza ograniczenia, które trzeba uwzględnić już na etapie planowania, a nie dopiero w części „Ograniczenia badania”.

Czym jest próba wygodna?

Próba wygodna jest rodzajem doboru nieprobabilistycznego. Oznacza to, że nie znamy dokładnego prawdopodobieństwa włączenia każdej jednostki z populacji docelowej do badania. W doborze losowym można przynajmniej formalnie określić, jakie szanse ma każda osoba lub jednostka badania. W próbie wygodnej o włączeniu decyduje przede wszystkim dostępność, szybkość rekrutacji, gotowość do udziału albo miejsce, w którym badacz prowadzi pomiar.

Przykładami prób wygodnych są:

• pacjenci, którzy w określonym czasie zgłosili się do jednego szpitala;
• studenci zapisani na zajęcia prowadzone przez badacza;
• osoby, które dobrowolnie odpowiedziały na ankietę zamieszczoną w mediach społecznościowych;
• użytkownicy panelu internetowego dostępnego dla badacza;
• uczestnicy rekrutowani z jednej poradni, szkoły, firmy lub organizacji.

Nie każda próba rekrutowana w jednym miejscu jest automatycznie błędna. Kluczowe pytanie brzmi: do jakiej populacji chcemy odnosić wyniki i czy sposób rekrutacji pozwala wiarygodnie uzasadnić takie odniesienie? Próba pacjentów jednego oddziału może być odpowiednia do opisu organizacji pracy tego oddziału, ale znacznie mniej odpowiednia do szacowania częstości choroby w całym kraju.

Najważniejsze ograniczenie: nieznana selekcja uczestników

Podstawowym problemem próby wygodnej jest ryzyko błędu selekcji. Do badania mogą częściej trafiać osoby różniące się od tych, które nie miały dostępu do badania albo nie zdecydowały się w nim uczestniczyć. Różnice mogą dotyczyć wieku, płci, wykształcenia, stanu zdrowia, motywacji, sytuacji ekonomicznej, dostępu do internetu, nasilenia objawów lub gotowości do ujawniania informacji.

W rezultacie średnia lub odsetek uzyskany w próbie wygodnej może systematycznie odbiegać od wartości w populacji docelowej. Większa liczebność próby nie usuwa tego problemu. Jeśli mechanizm selekcji pozostaje taki sam, badanie 1000 łatwo dostępnych osób może być mniej trafne dla populacji niż badanie 300 osób dobranych lepiej pod względem projektu.

Błąd losowy a błąd selekcji

Warto odróżnić dwa rodzaje niepewności. Błąd losowy wynika z tego, że badamy część populacji, a nie wszystkie jej jednostki. Zwykle zmniejsza się on wraz ze wzrostem liczebności próby. Błąd selekcji pojawia się wtedy, gdy sposób włączenia uczestników powoduje systematyczne niedoreprezentowanie lub nadreprezentowanie pewnych grup. Duża próba może zmniejszyć błąd losowy, ale nie musi zmniejszyć błędu selekcji.

Uproszczony zapis można przedstawić następująco:

obciążenie wyniku ≈ różnica między średnią w próbie a średnią w populacji

W praktyce źródłem tej różnicy nie jest wyłącznie przypadek. Może ją powodować także to, że osoby o określonych cechach miały większą szansę znaleźć się w próbie. Ponieważ w próbie wygodnej prawdopodobieństwa włączenia są zwykle nieznane, nie można bez dodatkowych założeń wiarygodnie obliczyć klasycznego błędu standardowego wynikającego z planu losowania.

Ograniczona reprezentatywność i generalizacja

Próba wygodna może być wystarczająca do badania zależności, testowania procedury albo opracowania hipotez, ale utrudnia generalizację, czyli przenoszenie wyników na osoby spoza próby. Szczególnej ostrożności wymagają twierdzenia o częstości zjawisk, średnich populacyjnych i różnicach między grupami.

W badaniu eksperymentalnym trzeba rozdzielić dwie kwestie. Randomizacja może poprawiać porównywalność grup wewnątrz badania, czyli wspierać trafność wewnętrzną. Nie sprawia jednak automatycznie, że uczestnicy są reprezentatywni dla całej populacji. Jeżeli eksperyment przeprowadzono na ochotnikach z jednej uczelni, randomizacja leczenia może uzasadniać ostrożny wniosek o różnicy między warunkami w podobnej grupie, ale niekoniecznie o efekcie u wszystkich dorosłych.

Bornstein, Jager i Putnick (2013) zwracają uwagę, że problem doboru próby dotyczy nie tylko psychologii rozwojowej. W wielu dziedzinach badania prowadzi się na uczestnikach łatwo dostępnych, a następnie formułuje wnioski szersze niż pozwala na to plan badania.

Przykłady zastosowania i ograniczeń

Przykład 1: pacjenci izby przyjęć

Załóżmy, że zespół chce ocenić ból podczas zakładania wkłucia dożylnego. Rekrutuje 200 dorosłych pacjentów w jednym szpitalnym oddziale ratunkowym, w godzinach 8:00–16:00, od poniedziałku do piątku. Jest to próba wygodna, ponieważ uczestnicy pochodzą z jednego dostępnego miejsca i okresu.

Wyniki mogą być użyteczne do oceny procedury w tym oddziale. Nie należy jednak bezpośrednio zakładać, że średni ból będzie taki sam w małych szpitalach, nocnej opiece medycznej,śród pacjentów pediatrycznych albo u osób z innym profilem chorób. W godzinach objętych rekrutacją mogą dominować pacjenci planowi, natomiast nocą częściej mogą pojawiać się osoby z urazami lub ostrymi objawami. Różnice w składzie próby mogą zmieniać zarówno poziom bólu, jak i trudność wykonania procedury.

Sedgwick (2013), omawiając przykład badania klinicznego z rekrutacją wygodną, podkreśla potrzebę sprawdzenia, kogo rzeczywiście obejmuje próba i jak szeroko można interpretować wynik. Sam fakt przeprowadzenia badania w warunkach klinicznych nie zapewnia reprezentatywności.

Przykład 2: ankieta o zdrowiu psychicznym studentów

Badacz publikuje internetową ankietę o stresie i objawach depresyjnych na grupie uczelnianej. Odpowiadają głównie osoby zainteresowane tematem, mające czas na wypełnienie kwestionariusza i korzystające z danego kanału komunikacji. Osoby z bardzo nasilonymi objawami mogą częściej szukać informacji i wypełniać ankietę, ale część z nich może również unikać udziału z powodu zmęczenia, wstydu lub obaw o poufność. Nie znamy kierunku obciążenia bez dodatkowych danych.

Wynik może opisywać grupę respondentów, lecz nie powinien być przedstawiany jako „odsetek depresji wśród wszystkich studentów”. Jeżeli badacz chce uogólniać, powinien porównać strukturę próby z populacją, opisać sposób rekrutacji, zbadać brak odpowiedzi i ograniczyć język wniosków.

Przykład 3: badania internetowe i platformy crowdsourcingowe

Próby internetowe mogą być bardzo sprawne organizacyjnie, ale ich uczestnicy nie stanowią automatycznie przekroju społeczeństwa. W badaniu Jeong i współpracowników (2018) porównano internetową próbę wygodną z próbą probabilistyczną w badaniach dotyczących używania tytoniu. Wzory części zależności eksperymentalnych i korelacyjnych były podobne, natomiast próby wyraźnie różniły się demografią i oszacowaniami częstości używania produktów tytoniowych. To ważna lekcja: próba wygodna może być przydatna do badania pewnych relacji, ale mniej wiarygodna przy estymacji rozpowszechnienia.

Chandler i Shapiro (2016) opisują podobne zagadnienia w odniesieniu do badań klinicznych wykorzystujących platformy crowdsourcingowe. Wskazują między innymi na potrzebę kontroli jakości danych, sprawdzania unikalności respondentów, dokumentowania wynagrodzenia i uwzględniania specyfiki populacji użytkowników platformy.

Czy próba wygodna zawsze dyskwalifikuje badanie?

Nie. Ocena zależy od celu badania. Próba wygodna może być uzasadniona, gdy:

• badanie ma charakter pilotażowy i służy dopracowaniu procedury;
• celem jest badanie mechanizmu lub związku w jasno określonej, dostępnej grupie;
• populacja jest trudna do osiągnięcia, a alternatywa byłaby niewykonalna;
• badanie ma charakter eksploracyjny i jego ograniczenia są wyraźnie opisane;
• badacz nie przedstawia próby jako reprezentatywnej bez odpowiednich podstaw.

W badaniach jakościowych dobór dogodny może być połączony z celowym poszukiwaniem osób o określonych doświadczeniach. Wtedy należy precyzyjnie nazwać strategię doboru, kryteria włączenia i kontekst, zamiast używać ogólnego określenia „losowo wybrani uczestnicy”.

Problemem nie jest więc samo użycie próby wygodnej, lecz niejawne traktowanie jej jak próby losowej. Raport AAPOR dotyczący doboru nieprobabilistycznego zaleca szczegółowe przedstawianie źródła uczestników, zasad rekrutacji, kryteriów kwalifikacji, braków danych i sposobu uzasadniania wniosków (Baker i in., 2013).

Jak ograniczać negatywne konsekwencje?

1. Zdefiniuj populację i zakres wnioskowania

Najpierw zapisz, do kogo mają odnosić się wyniki: do pacjentów konkretnego oddziału, wszystkich pacjentów w danym mieście, studentów określonej uczelni czy dorosłych mieszkańców kraju. Im szersza populacja docelowa, tym silniejszego uzasadnienia wymaga sposób rekrutacji.

2. Opisz mechanizm rekrutacji

Podaj miejsce, czas, kanał zaproszeń, liczbę osób zaproszonych, liczbę zakwalifikowanych i liczbę kompletnych obserwacji. Zamiast pisać „zebrano reprezentatywną próbę”, napisz, kto faktycznie mógł odpowiedzieć i jakie grupy mogły zostać pominięte.

3. Porównaj próbę z dostępnymi danymi populacyjnymi

Jeżeli znane są rozkłady wieku, płci, regionu, wykształcenia lub innych istotnych cech, przedstaw porównanie. Taka analiza nie dowodzi reprezentatywności, ale może ujawnić oczywiste różnice. Ważne jest także sprawdzenie, czy brakujące grupy są powiązane z głównym wynikiem badania.

4. Rozważ rekrutację wielokanałową

Jeżeli badacz musi zastosować dobór wygodny, może ograniczać zależność od jednego źródła, rekrutując uczestników z kilku placówek, różnych godzin, kanałów i środowisk. Nie tworzy to automatycznie próby losowej, ale może zmniejszyć ryzyko, że wynik odzwierciedla wyłącznie specyfikę jednego miejsca.

5. Stosuj analizy wrażliwości

Można sprawdzić, czy wnioski zmieniają się po wyłączeniu określonych podgrup, przy zastosowaniu różnych definicji wyniku albo po uwzględnieniu zmiennych związanych z prawdopodobieństwem udziału. Takie analizy nie naprawiają całkowicie błędu selekcji, lecz pokazują, jak stabilny jest wynik wobec rozsądnych założeń.

Wielkość próby a jakość doboru

W próbie wygodnej nie należy używać dużej liczebności jako argumentu, że wynik jest reprezentatywny. Można mieć bardzo precyzyjne oszacowanie dla grupy, która została niewłaściwie wybrana. Wzrost liczebności zwykle zwiększa precyzję opisową, lecz nie usuwa systematycznego obciążenia.

Podobnie wartość p nie mówi, jakie jest prawdopodobieństwo, że hipoteza zerowa jest prawdziwa. Nie informuje także, czy próba była reprezentatywna ani czy efekt ma znaczenie praktyczne. W próbie wygodnej należy raportować wielkość efektu, przedziały ufności z odpowiednim zastrzeżeniem oraz zakres populacji, którego dotyczy interpretacja. Nie powinno się twierdzić, że wynik „dotyczy populacji”, jeśli sposób doboru nie zapewnia podstaw do takiego uogólnienia.

Najczęstsze błędy

• Nazywanie próby wygodnej losową. Obecność kryteriów włączenia nie oznacza losowania.
• Uogólnianie na całą populację. Wynik uzyskany w jednej poradni, szkole lub platformie nie jest automatycznie wynikiem populacyjnym.
• Przekonanie, że duża próba rozwiązuje problem. Duża liczebność zmniejsza przede wszystkim błąd losowy.
• Pomijanie osób, które nie odpowiedziały. Brak odpowiedzi może mieć związek z badanym zjawiskiem.
• Stosowanie wag bez uzasadnienia. Ważenie może częściowo korygować znane różnice, ale nie odtwarza samoistnie probabilistycznego planu badania.
• Ukrywanie ograniczenia w końcowym zdaniu. Sposób doboru powinien być opisany w metodach i uwzględniony przy interpretacji każdego głównego wyniku.
• Mylenie randomizacji leczenia z losowym doborem pacjentów. Są to dwa różne etapy projektu badania.

Analiza przypadku

Zespół pielęgniarski bada satysfakcję pacjentów po wypisie. Ankiety rozdaje osobom, które opuszczają oddział w dni robocze między 10:00 a 14:00. Po miesiącu uzyskano 180 odpowiedzi i średnią satysfakcję 4,5 w skali od 1 do 5.

Pierwszy wniosek może dotyczyć respondentów: „Wśród osób, które wypełniły ankietę, średnia satysfakcja wyniosła 4,5”. Ostrożniejszy wniosek brzmi: „W badanej grupie pacjentów, rekrutowanej na jednym oddziale i w określonych godzinach, odnotowano wysoką deklarowaną satysfakcję”. Nie należy bez dalszych danych pisać, że „pacjenci szpitala są bardzo zadowoleni”.

Jak poprawić projekt? Można objąć rekrutacją wszystkie dni tygodnia, różne pory, kilka oddziałów i kontakt po wypisie. Należy odnotować liczbę osób, które odmówiły, oraz porównać podstawowe dane dostępne w dokumentacji. Jeżeli pacjenci z krótkim pobytem, ciężkim stanem zdrowia lub trudnościami językowymi rzadziej odpowiadają, wynik może być zawyżony.

Co warto zapamiętać?

1. Próba wygodna obejmuje osoby łatwo dostępne, a nie osoby wylosowane z pełnej populacji.
2. Jej głównym ograniczeniem jest ryzyko błędu selekcji i nieznane prawdopodobieństwa włączenia.
3. Duża liczebność próby nie gwarantuje reprezentatywności.
4. Randomizacja uczestników do grup nie jest tym samym co losowy dobór uczestników z populacji.
5. Próba wygodna może być użyteczna w badaniach pilotażowych, eksploracyjnych i w określonych kontekstach klinicznych.
6. Zakres wniosków musi odpowiadać rzeczywistemu sposobowi rekrutacji.
7. Najlepszą praktyką jest pełne opisanie źródła uczestników, odmów, braków danych i ograniczeń generalizacji.

W szkoleniu na statystyk.edu.pl warto traktować dobór próby jako część rozumowania naukowego, a nie wyłącznie techniczny etap zbierania danych. Pytanie „kogo udało się zbadać?” powinno zawsze poprzedzać pytanie „jaki test statystyczny zastosować?”.

Źródła i dalsza lektura

1. Bornstein, M. H.; Jager, J.; Putnick, D. L. (2013). Sampling in developmental science: Situations, shortcomings, solutions, and standards. Developmental Review, 33(4), 357–370. DOI: 10.1016/j.dr.2013.08.003.
2. Chandler, J.; Shapiro, D. (2016). Conducting Clinical Research Using Crowdsourced Convenience Samples. Annual Review of Clinical Psychology, 12(1), 53–81. DOI: 10.1146/annurev-clinpsy-021815-093623.
3. Baker, R.; Brick, J. M.; Bates, N. A.; Battaglia, M.; Goerge, A. C.; Couper, M. P.; Dever, J. A.; Gile, K. J.; Tourangeau, R. (2013). Report of the AAPOR Task Force on Non-Probability Sampling. Journal of Survey Statistics and Methodology. American Association for Public Opinion Research; Oxford University Press. Źródło.
4. Tyrer, S.; Heyman, B. (2016). Sampling in epidemiological research: issues, hazards and pitfalls. BJPsych Bulletin, 40(2), 57–60. DOI: 10.1192/pb.bp.114.050203.
5. Jeong, M.; Zhang, D.; Morgan, J. C.; Ross, J. C.; Brewer, N. T. (2018). Similarities and Differences in Tobacco Control Research Findings From Convenience and Probability Samples. Annals of Behavioral Medicine, 53(5), 476–485. DOI: 10.1093/abm/kay059.
6. Sedgwick, P. (2013). Convenience sampling. The BMJ, 347, f6304. DOI: 10.1136/bmj.f6304.

Jeżeli potrzebujesz indywidualnego wsparcia w doborze metod, przygotowaniu bazy lub opracowaniu wyników badań, sprawdź analiza statystyczna.