169. Samoselekcja uczestników – jak powstaje selection bias?

Sam fakt, że ktoś zgodził się uczestniczyć w badaniu, może być informacją metodologiczną, a nie tylko formalnym etapem rekrutacji. Osoby, które odpowiadają na zaproszenie, zapisują się do badania internetowego albo zgłaszają się jako wolontariusze, mogą różnić się od osób, które nie odpowiadają. Jeżeli te różnice są związane z badanym narażeniem, wynikiem lub obiema tymi zmiennymi, powstaje ryzyko selection bias, czyli błędu selekcji. W tej lekcji pokazujemy, jak działa samoselekcja uczestników, dlaczego nawet duża próba nie gwarantuje trafnych wniosków oraz jak projektować badanie i raportować rekrutację zgodnie z dobrymi praktykami metodologicznymi.

Czym jest samoselekcja uczestników?

Samoselekcja występuje wtedy, gdy udział w badaniu zależy w istotnej mierze od decyzji osoby zaproszonej, a prawdopodobieństwo udziału nie jest jednakowe dla wszystkich jednostek populacji. Nie oznacza to, że dobrowolna zgoda jest błędem etycznym. Dobrowolność jest podstawowym warunkiem udziału ludzi w badaniach. Problem metodologiczny polega na tym, że osoby wyrażające zgodę mogą systematycznie różnić się od osób nieuczestniczących.

Różnice mogą dotyczyć między innymi wieku, wykształcenia, stanu zdrowia, dochodu, stylu życia, poziomu wiedzy, zaufania do instytucji, dostępności czasu, motywacji albo osobistego doświadczenia badanego problemu. W badaniu dotyczącym depresji chętniej mogą odpowiadać osoby, które miały kontakt z pomocą psychologiczną lub silnie interesują się zdrowiem psychicznym. W badaniu dotyczącym szczepień większą gotowość do udziału mogą wykazywać zarówno osoby szczególnie przekonane do szczepień, jak i osoby zdecydowanie im przeciwne.

Samoselekcja jest więc mechanizmem powstawania próby, a selection bias jest konsekwencją tego mechanizmu dla estymacji lub wnioskowania. Nie każda samoselekcja musi doprowadzić do istotnego zniekształcenia. Jeżeli uczestnicy i nieuczestniczący są podobni pod względem cech ważnych dla danego pytania, wpływ może być niewielki. Nie można jednak ocenić tego wyłącznie na podstawie liczebności próby lub odsetka odpowiedzi.

Jak powstaje selection bias?

Rozważmy trzy grupy:

• populację docelową – wszystkie osoby, do których mają odnosić się wnioski;
• osoby zaproszone lub osiągalne – część populacji, do której badacz faktycznie dociera;
• uczestników – osoby, które ostatecznie dostarczają danych.

Przejście od populacji docelowej do próby może być opisane jako proces selekcji. Jeżeli udział jest niezależny od zmiennych istotnych dla wyniku, straty reprezentatywności mogą być ograniczone. Jeżeli natomiast prawdopodobieństwo udziału zależy od ekspozycji E lub wyniku Y, a szczególnie od ich wspólnego układu, uzyskana próba może prowadzić do obciążonej oceny.

W uproszczeniu można zapisać, że badacz obserwuje wynik warunkowy:

P(Y | E, S = 1)

gdzie:

• Y oznacza badany wynik, na przykład występowanie objawów depresji;
• E oznacza ekspozycję lub czynnik wyjaśniający, na przykład pracę zmianową;
• S = 1 oznacza, że osoba została włączona do próby i dostarczyła danych.

Wniosek o populacji dotyczy jednak zwykle rozkładu P(Y | E), czyli zależności w populacji docelowej. Gdy warunkowanie na uczestnictwie S zmienia relację między E i Y, pojawia się błąd selekcji.

W języku przyczynowym można powiedzieć, że uczestnictwo jest zmienną selekcyjną. Jeśli na prawdopodobieństwo udziału wpływają jednocześnie czynniki związane z ekspozycją i wynikiem, analiza ograniczona do uczestników może nie odtwarzać zależności obecnej w populacji. To wyjaśnienie nie oznacza automatycznie, że uzyskany związek jest całkowicie fałszywy. Oznacza natomiast, że jego wartość może być zawyżona, zaniżona, odwrócona albo trudna do uogólnienia.

Dlaczego niski odsetek odpowiedzi zwiększa ryzyko, ale go nie dowodzi?

Odsetek odpowiedzi jest ważnym wskaźnikiem procesu rekrutacji, lecz nie jest samodzielnym testem braku lub obecności błędu. Badanie z odpowiedzią 80% może być obciążone, jeśli brakujące 20% obejmuje osoby systematycznie różniące się od uczestników. Z kolei badanie z odpowiedzią 35% może dawać względnie trafne oszacowanie określonego parametru, jeśli uczestnicy są podobni do nieuczestniczących pod względem zmiennych istotnych dla tego parametru.

Metaanaliza badań kohortowych wskazała, że w wielu badaniach odsetek udziału jest umiarkowany i że problem nieuczestnictwa powinien być rozpoznawany już przed rozpoczęciem kosztownego badania (Galea i Tracy, 2007). W praktyce ważniejsze od samej wartości procentowej jest pytanie: kto nie uczestniczył i czy jego nieuczestnictwo jest powiązane z badanym problemem?

Wytyczne STROBE zalecają raportowanie liczby osób na kolejnych etapach: potencjalnie kwalifikujących się, ocenionych pod kątem kwalifikacji, włączonych, obserwowanych do końca i uwzględnionych w analizie, wraz z przyczynami nieuczestnictwa (von Elm i in., 2007). Taki przepływ pozwala czytelnikowi ocenić, gdzie mogła powstać selekcja.

Mechanizmy samoselekcji

Motywacja związana z tematem badania

Osoby szczególnie zainteresowane tematem mogą częściej odpowiadać na zaproszenie. W ankiecie o wypaleniu zawodowym pielęgniarek mogą dominować osoby bardzo zmęczone albo przeciwnie – szczególnie zaangażowane i zadowolone z pracy. Jeżeli do udziału przystępują głównie osoby o skrajnych doświadczeniach, średni wynik może nie opisywać typowego pracownika.

Stan zdrowia i dostępność

Osoby ciężko chore mogą nie mieć siły, czasu lub możliwości technicznych, aby uczestniczyć. W badaniach internetowych wykluczone mogą zostać osoby bez odpowiedniego sprzętu, o niskich kompetencjach cyfrowych albo mieszkające w miejscach ze słabym dostępem do internetu. Powstaje wtedy nie tylko samoselekcja, lecz także selekcja związana z dostępnością kanału rekrutacji.

Zaufanie, stygmatyzacja i koszty udziału

W badaniach dotyczących uzależnień, przemocy, statusu migracyjnego lub zdrowia psychicznego udział może zależeć od poczucia bezpieczeństwa i obawy przed ujawnieniem informacji. Wynagrodzenie może zwiększać uczestnictwo osób o mniejszych zasobach finansowych, ale może też zmieniać strukturę próby, jeśli wysokość rekompensaty przyciąga określone grupy.

Samowykluczenie osób najbardziej obciążonych

Nieuczestniczenie nie zawsze oznacza brak zainteresowania. Osoby z nasilonymi objawami, zaburzeniami poznawczymi, niestabilną sytuacją mieszkaniową lub obowiązkami opiekuńczymi mogą częściej nie odpowiadać albo przerywać udział. W kohortach długoterminowych selekcja może zachodzić także podczas obserwacji, gdy prawdopodobieństwo pozostania w badaniu zależy od stanu zdrowia.

Przykład 1: internetowa ankieta o szczepieniach

Załóżmy, że badacz publikuje w mediach społecznościowych ankietę o szczepieniu przeciw grypie. Po dwóch tygodniach uzyskuje 10 000 odpowiedzi. W próbie 72% osób deklaruje zaszczepienie, a autor formułuje wniosek, że podobny odsetek występuje w populacji dorosłych.

Problem polega na tym, że do ankiety mogły częściej trafiać osoby śledzące profile medyczne, aktywne w dyskusjach o szczepieniach i posiadające silne przekonania w tym kierunku. Osoby obojętne wobec tematu, lub mające negatywne doświadczenia z takimi preparatami mogły nie kliknąć w zaproszenie. Ponadto algorytm platformy mógł kierować informację do użytkowników podobnych do tych, którzy wcześniej reagowali na treści zdrowotne.

Liczebność 10 000 nie usuwa tego problemu. Mała niepewność losowa wokół odsetka 72% nie oznacza, że odsetek jest trafnym oszacowaniem populacyjnym. Przedział ufności opisuje przede wszystkim niepewność wynikającą z losowania lub modelu, a nie systematyczną różnicę między uczestnikami a nieuczestniczącymi.

Lepszy projekt mógłby wykorzystywać losowanie z rejestru lub panelu populacyjnego, wielokanałowe zaproszenia, przypomnienia oraz ważenie obserwacji według znanych rozkładów wieku, płci, regionu i wykształcenia. Ważenie nie gwarantuje usunięcia błędu, ponieważ koryguje tylko te różnice, które są znane i odpowiednio zmierzone.

Przykład 2: badanie dobrostanu ratowników medycznych

Badacz zaprasza ratowników medycznych do udziału w badaniu stresu zawodowego. Rekrutacja odbywa się przez grupy internetowe i wiadomości rozsyłane przez organizacje zawodowe. Wśród uczestników średni poziom stresu jest bardzo wysoki. Czy można stwierdzić, że ratownicy jako grupa mają taki poziom stresu?

Nie bez dodatkowych informacji. Do udziału mogły przystąpić osoby po trudnych zdarzeniach, poszukujące wsparcia lub chcące nagłośnić problem warunków pracy. Z drugiej strony osoby najbardziej przeciążone mogły nie znaleźć czasu na wypełnienie kwestionariusza. Możliwe jest zatem jednoczesne przyciąganie osób o wysokim zainteresowaniu tematem i wykluczanie osób o największym obciążeniu.

W tym przypadku samoselekcja może wpływać zarówno na średni poziom stresu, jak i na związek między liczbą dyżurów a objawami. Jeżeli uczestnictwo zależy od stresu oraz liczby dyżurów, oszacowane nachylenie regresji może nie odpowiadać zależności w całej populacji ratowników.

Samoselekcja a trafność wewnętrzna i zewnętrzna

Samoselekcja jest często kojarzona z problemem trafności zewnętrznej, czyli możliwością uogólnienia wyników na populację docelową. To skojarzenie jest uzasadnione, ale nie wyczerpuje tematu. Selekcja może również zniekształcać porównania wewnątrz badania, zwłaszcza gdy uczestnictwo zależy od ekspozycji i wyniku lub od ich przyczyn.

W badaniu obserwacyjnym dotyczącym aktywności fizycznej osoby aktywne mogą częściej zgłaszać udział, a jednocześnie mieć lepszy stan zdrowia. Jeśli w próbie porównamy osoby aktywne i nieaktywne, zależność może być inna niż w populacji, ponieważ część osób nieaktywnych – szczególnie z ograniczeniami funkcjonalnymi – nie weszła do badania. Nie należy więc automatycznie zakładać, że samoselekcja dotyczy wyłącznie uogólniania średnich i częstości.

Badania nad ochotnikami wskazywały, że uczestnicy mogą być między innymi lepiej wykształceni, mieć lepsze wyniki poznawcze i niższą śmiertelność niż osoby wybrane losowo z tej samej społeczności (Ganguli i in., 1998). Zjawisko określane jako efekt wolontariusza zdrowego (healthy volunteer effect) jest szczególnym przykładem różnicy między ochotnikami a populacją źródłową.

Jak rozpoznać ryzyko selection bias?

Przed analizą warto odpowiedzieć na kilka pytań:

1. Czy każda osoba z populacji miała znane i niezerowe prawdopodobieństwo zaproszenia?
2. Czy uczestnictwo wymagało aktywnej reakcji na ogłoszenie?
3. Czy kanał rekrutacji był dostępny dla wszystkich grup populacji?
4. Czy temat badania mógł szczególnie przyciągać osoby z określonym doświadczeniem?
5. Czy osoby nieuczestniczące różniły się od uczestników pod względem wieku, płci, zdrowia, wykształcenia lub ekspozycji?
6. Czy utrata podczas obserwacji była związana ze stanem zdrowia albo nasileniem wyniku?

Pomocne może być porównanie danych uczestników z informacjami o populacji źródłowej. Należy jednak pamiętać, że zgodność pod względem kilku cech demograficznych nie dowodzi braku błędu. Różnice mogą dotyczyć cech niezmierzonych, na przykład motywacji, zaufania do badaczy albo nasilenia objawów.

Jak ograniczać skutki samoselekcji?

Poprawa ramy doboru

Najsilniejszym rozwiązaniem jest rozpoczęcie od możliwie kompletnej listy populacji i zastosowanie procedury probabilistycznej. Losowanie nie usuwa nieuczestnictwa, ale oddziela błąd losowania od problemu późniejszej zgody i umożliwia analizę procesu rekrutacji.

Wielokanałowa rekrutacja

Warto łączyć pocztę, telefon, kontakt bezpośredni, komunikację elektroniczną i współpracę z instytucjami lokalnymi. W badaniach osób starszych można zapewnić papierową wersję kwestionariusza, rozmowę telefoniczną lub pomoc przeszkolonego ankietera. Celem nie jest wywieranie presji, lecz ograniczenie barier niezwiązanych z merytoryczną gotowością do udziału.

Przypomnienia i monitorowanie

Należy rejestrować liczbę zaproszeń, odpowiedzi, odmów, nieudanych kontaktów i rezygnacji. W miarę możliwości warto porównywać podstawowe dane dostępne dla uczestników i nieuczestniczących. Raport powinien jasno opisywać przepływ osób, a nie prezentować wyłącznie końcową liczebność próby.

Ważenie i kalibracja

Jeżeli znane są rozkłady cech w populacji, można zastosować wagi korygujące. Dla osoby lub grupy o prawdopodobieństwie uczestnictwa πi podstawowa waga może mieć postać:

wi = 1 / πi

gdzie wi oznacza wagę analityczną, a πi – prawdopodobieństwo znalezienia się osoby i w analizowanej próbie. Jeżeli prawdopodobieństwo udziału jest małe, osoba lub grupa otrzymuje większą wagę. W praktyce prawdopodobieństwa mogą być szacowane na podstawie dostępnych cech, a wagi mogą być stabilizowane lub przycinane, aby ograniczyć nadmierny wpływ pojedynczych obserwacji.

Ważenie nie jest magiczną naprawą. Nie skoryguje różnic w cechach niezmierzonych ani błędnego modelu uczestnictwa. Powinno być połączone z analizą wrażliwości i jawnym opisem założeń.

Analiza wrażliwości

Jeśli nie znamy cech osób nieuczestniczących, można sprawdzić, jak bardzo musiałyby różnić się od uczestników, aby zmienić wniosek. Analiza wrażliwości nie dowodzi, że określony scenariusz jest prawdziwy, ale pokazuje odporność wyników na założenia dotyczące selekcji.

Przykład praktyczny: analiza procesu rekrutacji

Załóżmy, że populacja źródłowa obejmuje 4000 pacjentów poradni podstawowej opieki zdrowotnej. Do badania jakości snu wylosowano 1000 osób. Skontaktowano się z 940, ponieważ 60 adresów było nieaktualnych. Zgodziło się 470 osób, a kompletną ankietę oddało 430.

Badacz powinien raportować co najmniej następujący przepływ:

Etap	Liczba osób
Wylosowane	1000
Skutecznie osiągalne	940
Udział zaakceptowany	470
Kompletne dane	430

Następnie warto porównać dostępne dane wyjściowe: wiek, płeć, rozpoznania przewlekłe i liczbę wizyt. Jeśli osoby z nieaktualnymi adresami, odmawiające i niekompletne mają więcej chorób przewlekłych, średnia jakość snu w próbie może być zawyżona. Nie wolno po prostu uznać 430 kompletnych ankiet za reprezentatywnych, ponieważ reprezentatywność jest własnością procesu doboru i uczestnictwa, a nie samej liczby obserwacji.

W raporcie należy oddzielić: ograniczenia ramy doboru, brak kontaktu, odmowę, rezygnację i brakujące dane. Każdy z tych etapów może mieć inny mechanizm oraz inne znaczenie dla obciążenia wyniku.

Najczęstsze błędy

• „Próba jest duża, więc musi być reprezentatywna”. Duża próba zmniejsza przede wszystkim przypadkową niepewność, ale nie usuwa systematycznej selekcji.
• „Wysoki odsetek odpowiedzi gwarantuje brak biasu”. Wysoki odsetek jest korzystny, lecz nie zastępuje porównania uczestników i nieuczestniczących.
• „Ochotnicy są neutralni, bo sami zdecydowali”. Dobrowolność udziału może wiązać się z motywacją, zdrowiem, czasem i zaufaniem, czyli cechami ważnymi dla wyników.
• „Ważenie zawsze rozwiązuje problem”. Wagi działają tylko w zakresie informacji wykorzystanych do ich wyznaczenia i wymagają rozsądnych założeń.
• „Odmowa to zwykłe brakujące dane”. Odmowa może być elementem procesu selekcji, a nie przypadkowym brakiem obserwacji.
• „Można nazwać wynik populacyjnym bez wskazania populacji”. Każdy wniosek powinien określać populację docelową, źródłową i zakres uogólnienia.
• „Porównanie demografii wystarcza”. Podobieństwo wieku i płci nie wyklucza różnic w stanie zdrowia, zachowaniach, motywacji lub nasileniu objawów.
• „Selection bias oznacza, że wszystkie wyniki są bezużyteczne”. Ryzyko błędu należy ocenić w odniesieniu do konkretnego parametru, populacji i pytania badawczego.

Co warto zapamiętać?

• Samoselekcja uczestników polega na tym, że udział w badaniu zależy od decyzji i cech osoby, a nie jest jednakowo prawdopodobny dla wszystkich.
• Selection bias powstaje wtedy, gdy mechanizm uczestnictwa wiąże się z ekspozycją, wynikiem lub ich przyczynami.
• Duża liczebność próby i mały przedział ufności nie gwarantują trafności populacyjnej.
• Niski odsetek odpowiedzi jest sygnałem ostrzegawczym, ale sam nie mierzy wielkości biasu.
• Należy raportować cały przepływ uczestników: od populacji osiągalnej do osób uwzględnionych w analizie.
• Najlepszą ochroną jest dobry projekt rekrutacji, ograniczanie barier udziału, analiza nieuczestnictwa, ważenie oraz analiza wrażliwości.
• Wnioski trzeba formułować na poziomie uzasadnionym schematem badania; samoselekcja dodatkowo ogranicza możliwość uogólniania rezultatów.

W ramach publicznego szkolenia na statystyk.edu.pl warto połączyć tę lekcję z wcześniejszymi tematami dotyczącymi próby wygodnej, doboru celowego i reprezentatywności. Razem tworzą one podstawę oceny, czy uzyskane dane odpowiadają populacji, o której badacz chce wnioskować.

Źródła i dalsza lektura

1. Keiding, N.; Louis, T. A. (2016). Perils and Potentials of Self-Selected Entry to Epidemiological Studies and Surveys. Journal of the Royal Statistical Society: Series A (Statistics in Society), 179(2), 319–376. DOI: 10.1111/rssa.12136.
2. Galea, S.; Tracy, M. (2007). Participation rates in epidemiologic studies. Annals of Epidemiology, 17(9), 643–653. DOI: 10.1016/j.annepidem.2007.03.013.
3. Ganguli, M.; Lytle, M. E.; Reynolds, M. D.; Dodge, H. H. (1998). Random versus volunteer selection for a community-based study. The Journals of Gerontology: Series A, Biological Sciences and Medical Sciences, 53(1), M39–M46. DOI: 10.1093/gerona/53a.1.m39.
4. Pahwa, P.; Karunanayake, C.; Hagel, L.; Janzen, B.; Rennie, D.; Lawson, J.; Pickett, W.; Dosman, J. A. (2012). Self-selection bias in an epidemiological study of respiratory health of a rural population. Journal of Agromedicine, 17(3), 316–325. DOI: 10.1080/1059924X.2012.686381.
5. Kho, M. E.; Duffett, M.; Willison, D. J.; Cook, D. J.; Brouwers, M. C. (2009). Written informed consent and selection bias in observational studies using medical records: systematic review. BMJ, 338, b866. DOI: 10.1136/bmj.b866.
6. von Elm, E.; Altman, D. G.; Egger, M.; Pocock, S. J.; Gøtzsche, P. C.; Vandenbroucke, J. P. (2007). The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) statement: guidelines for reporting observational studies. The Lancet, 370(9596), 1453–1457. DOI: 10.1016/S0140-6736(07)61602-X.
7. Michaud, K.; Stiefel, M.; Stalder, O.; et al. (2018). Bias due to differential participation in case-control studies and review of available approaches for adjustment. European Journal of Epidemiology, 33(7), 685–695. DOI: 10.1007/s10654-018-0397-0.