180. Jak ocenić, do jakiej populacji można uogólnić wyniki?

Wynik badania zawsze pochodzi od określonych osób, w określonym miejscu, czasie i układzie organizacyjnym. Najważniejsze pytanie nie brzmi więc wyłącznie: „czy wynik jest statystycznie istotny?”, lecz także: „dla kogo ten wynik jest wiarygodną informacją?”. Uogólnianie wyników wymaga porównania populacji, w której przeprowadzono badanie, z populacją, do której chcemy odnieść wnioski. W tej lekcji uporządkujemy sposób takiej oceny. Jest to naturalne rozwinięcie tematów doboru uczestników, kryteriów kwalifikacji, braku odpowiedzi i selekcji omawianych wcześniej w szkoleniu na statystyk.edu.pl.

1. Dwie populacje, których nie wolno utożsamiać

Populacja badana, nazywana również populacją źródłową, to zbiorowość, z której faktycznie rekrutowano uczestników. Może to być na przykład populacja pacjentów jednego szpitala, mieszkańców wybranych gmin albo studentów jednej uczelni.

Populacja docelowa to zbiorowość, wobec której badacz chce formułować wnioski. Może obejmować wszystkich pacjentów z daną chorobą w kraju, osoby starsze mieszkające w określonym regionie albo uczniów szkół ponadpodstawowych.

Między populacją badaną a docelową występuje jeszcze próba, czyli faktycznie obserwowany zbiór uczestników. Schemat można zapisać następująco:

populacja docelowa → populacja źródłowa → próba zaproszona → próba analizowana

Na każdym przejściu może pojawić się selekcja. Nie wszyscy członkowie populacji docelowej należą do populacji źródłowej, nie wszystkie osoby z populacji źródłowej zostają zaproszone, nie wszyscy zaproszeni wyrażają zgodę, a część uczestników może później nie dostarczyć kompletnych danych.

Dlatego zdanie „badanie obejmowało 500 osób” nie mówi jeszcze, do kogo można uogólnić wynik. Potrzebujemy informacji o tym, kto mógł wziąć udział, kto rzeczywiście wziął udział i w jakich warunkach zbierano dane.

2. Czym jest zewnętrzna trafność?

Zewnętrzna trafność oznacza stopień, w jakim wyniki badania mogą być stosowane poza bezpośrednio obserwowaną próbą. Obejmuje ona między innymi możliwość uogólnienia na inne osoby, miejsca, okresy, systemy opieki lub sposoby realizacji interwencji.

W literaturze spotykamy pojęcia generalizowalności i transportowalności. Generalizowalność dotyczy zwykle przeniesienia wyniku z próby na większą populację, której próba jest częścią. Transportowalność odnosi się do zastosowania wyniku w populacji zewnętrznej, na przykład do pacjentów leczonych w innym systemie ochrony zdrowia. W praktyce granica między tymi pojęciami bywa używana różnie, ale oba terminy podkreślają konieczność jawnego wskazania populacji docelowej (Rothwell, 2005; Inoue et al., 2021).

Ocena zewnętrznej trafności nie polega na sprawdzeniu, czy próba jest „idealnie reprezentatywna”. W badaniach naukowych takie wymaganie często jest nierealistyczne. Chodzi raczej o ocenę, czy różnice między próbą a populacją docelową mogą zmieniać badany wynik albo wielkość efektu.

3. Najważniejsze pytanie: czy różnice mają znaczenie dla wyniku?

Nie każda różnica między próbą i populacją docelową ogranicza uogólnianie. Jeżeli w próbie jest więcej kobiet niż w populacji docelowej, nie musi to być problemem, jeżeli płeć nie wpływa na częstość badanego zdarzenia ani na działanie analizowanej interwencji. Jeżeli jednak efekt leczenia zależy od płci, proporcja kobiet i mężczyzn może mieć zasadnicze znaczenie.

W takich sytuacjach mówimy o modyfikatorze efektu. Jest to cecha, przy której efekt ekspozycji, leczenia lub programu różni się między podgrupami. Przykładami mogą być wiek, stadium choroby, wcześniejsze leczenie, poziom ryzyka, status socjoekonomiczny lub dostęp do opieki.

Przy ocenie możliwości uogólnienia należy zatem zadać dwa pytania:

1. Czy próba i populacja docelowa różnią się pod względem ważnych cech?
2. Czy te cechy mogą zmieniać częstość wyniku, bezpieczeństwo interwencji albo jej skuteczność?

Jeżeli odpowiedź na oba pytania jest twierdząca, proste uogólnienie może być nieuzasadnione.

4. Pięć wymiarów porównania próby z populacją docelową

4.1. Charakterystyka uczestników

Najpierw porównujemy podstawowe cechy osób: wiek, płeć, miejsce zamieszkania, wykształcenie, status ekonomiczny, pochodzenie, choroby współistniejące, ciężkość objawów, stosowane leki i wcześniejsze doświadczenia z leczeniem.

Warto zwrócić uwagę nie tylko na średnią wieku, ale także na rozkład wieku. Próba ze średnią 55 lat może składać się głównie z osób w wieku 50–60 lat albo z dwóch grup: młodszej i bardzo starszej. Te sytuacje mogą mieć odmienne znaczenie kliniczne.

4.2. Kryteria włączenia i wyłączenia

Kryteria kwalifikacji definiują granice populacji, o której badanie dostarcza bezpośrednich informacji. Jeżeli z badania wykluczono osoby z niewydolnością nerek, wielochorobowością, zaburzeniami poznawczymi lub niestabilnym stanem klinicznym, nie należy automatycznie zakładać, że wynik dotyczy także tych grup.

Rothwell (2005) zwracał uwagę, że kryteria włączenia często są ważnym wskaźnikiem zewnętrznej trafności, ale nie wyczerpują problemu. Znaczenie mają także miejsce badania, sposób realizacji procedury, doświadczenie personelu oraz charakterystyka opieki.

4.3. Miejsce i organizacja badania

Wynik uzyskany w wysokospecjalistycznym centrum może nie powtórzyć się w podstawowej opiece zdrowotnej. Różnić się mogą dostępność diagnostyki, kwalifikacje personelu, liczba pacjentów, czas oczekiwania, przestrzeganie procedur i możliwość monitorowania uczestników.

W badaniach interwencyjnych trzeba sprawdzić, czy interwencja była wykonywana przez specjalnie przeszkolony zespół, czy wymagała dodatkowych zasobów i czy w rutynowej praktyce będzie stosowana z podobną intensywnością.

4.4. Czas i kontekst społeczny

Wyniki mogą zmieniać się wraz z czasem. Dotyczy to między innymi dostępności leków, organizacji systemu, rozpowszechnienia wariantów choroby, poziomu wyszczepienia, stylu życia i norm społecznych. Wynik badania przeprowadzonego w jednym okresie nie musi automatycznie obowiązywać w innym.

4.5. Definicja wyniku i sposób pomiaru

Uogólnienie zależy także od tego, co rzeczywiście zmierzono. Skuteczność oceniana na podstawie biomarkera nie musi oznaczać identycznego wpływu na hospitalizacje, sprawność lub jakość życia. Jeżeli w badaniu psychologicznym użyto specjalistycznego wywiadu, a w praktyce dostępny jest krótki kwestionariusz przesiewowy, porównywalność wyników może być ograniczona.

5. Reprezentatywność nie jest jedynym kryterium

W języku potocznym często mówi się, że próba powinna być „reprezentatywna”. W sensie statystycznym reprezentatywność może oznaczać zgodność rozkładu wybranych cech próby i populacji. Wnioskowanie zależy jednak nie tylko od podobieństwa opisowego.

W randomizowanym badaniu klinicznym losowy przydział leczenia zwiększa wiarygodność porównania grup i wspiera trafność wewnętrzną. Nie gwarantuje jednak, że uczestnicy są podobni do wszystkich pacjentów, których interesuje klinicysta. Trafność wewnętrzna i zewnętrzna to odrębne właściwości.

Próba może być mało reprezentatywna demograficznie, ale pozwalać na wiarygodne oszacowanie efektu w jasno zdefiniowanej populacji. Z drugiej strony duża próba może być bardzo precyzyjna, lecz obciążona selekcją. Precyzja nie naprawia błędu systematycznego.

6. Prosty schemat oceny możliwości uogólnienia

Przed sformułowaniem wniosku można zastosować następującą procedurę:

1. Zdefiniuj populację docelową. Określ osoby, miejsce, czas i warunki, których dotyczy pytanie.
2. Opisz populację źródłową i próbę. Uwzględnij sposób rekrutacji, ośrodki, odsetek odpowiedzi i utratę uczestników.
3. Porównaj kluczowe cechy. Nie ograniczaj się do wieku i płci; uwzględnij czynniki kliniczne i organizacyjne.
4. Wskaż potencjalne modyfikatory efektu. Zapytaj, czy różnice mogą zmieniać rezultat.
5. Oceń kompletność danych. Brak informacji o osobach wykluczonych lub nieodpowiadających utrudnia ocenę selekcji.
6. Sformułuj wniosek warunkowy. Napisz, dla kogo wynik jest dobrze uzasadniony, a dla kogo pozostaje niepewny.

W badaniach bardziej zaawansowanych można zastosować standaryzację lub ważenie. Ogólna idea polega na dostosowaniu rozkładu cech próby do rozkładu tych cech w populacji docelowej.

Przykładowo, standaryzowany wynik można zapisać jako:

μtarget = Σk=1K wk μk

• μtarget – przewidywana średnia lub częstość wyniku w populacji docelowej;
• K – liczba wyróżnionych podgrup;
• wk – udział podgrupy k w populacji docelowej;
• μk – średnia lub częstość wyniku oszacowana dla podgrupy k w badaniu.

Wzór jest użyteczny tylko wtedy, gdy podgrupy są sensownie zdefiniowane, dane są dostatecznie wiarygodne, a najważniejsze modyfikatory efektu zostały zmierzone. Sama korekta statystyczna nie usuwa problemu cech nieobserwowanych ani różnic w sposobie realizacji interwencji. Metody generalizowania wyników badań klinicznych do populacji docelowych omawiają między innymi Cole i Stuart (2010) oraz Stuart i współpracownicy (2018).

7. Przykład 1: program rehabilitacji po udarze

Badacze oceniają program tele-rehabilitacji u 240 pacjentów po udarze. Uczestników rekrutowano w dwóch szpitalach uniwersyteckich. Do badania włączano osoby samodzielnie korzystające z wideorozmów, stabilne neurologicznie i bez istotnych zaburzeń poznawczych.

Wynik wskazuje na poprawę sprawności w porównaniu ze standardową opieką. Czy można uogólnić go na wszystkich pacjentów po udarze?

Nie bez zastrzeżeń. Próba może różnić się od populacji docelowej pod względem ciężkości udaru, wieku, dostępu do internetu, wsparcia rodziny i kompetencji cyfrowych. Jeżeli program wymaga regularnego wykonywania ćwiczeń z pomocą opiekuna, jego skuteczność w grupie osób mieszkających samotnie może być mniejsza. Uogólnienie powinno więc brzmieć na przykład: „wynik dotyczy przede wszystkim stabilnych pacjentów po udarze, zdolnych do korzystania z technologii, leczonych w warunkach zbliżonych do badanych ośrodków”.

8. Przykład 2: badanie zdrowia psychicznego studentów

Załóżmy, że ankietę dotyczącą lęku i depresji wypełniło 1800 studentów jednej uczelni. Zaproszenie wysłano pocztą elektroniczną, a udział był dobrowolny. W badaniu uczestniczyły głównie osoby zainteresowane zdrowiem psychicznym.

Nie należy przedstawiać wyniku jako oszacowania rozpowszechnienia zaburzeń wśród wszystkich młodych dorosłych. Populacja docelowa jest znacznie szersza niż populacja studentów tej uczelni, a samoselekcja może zwiększać udział osób z osobistym doświadczeniem objawów. Wynik może być użyteczny jako opis sytuacji w badanej grupie, ale wymaga ostrożności przy odnoszeniu go do studentów innych uczelni, osób nieuczących się czy młodych dorosłych pracujących zawodowo.

9. Analiza przypadku: lek działa, ale dla kogo?

W badaniu nowego leku przeciwmigrenowego uczestniczyły osoby w wieku 18–55 lat, bez chorób sercowo-naczyniowych i bez ciąży. Badanie przeprowadzono w specjalistycznych poradniach, a uczestnicy otrzymywali regularne przypomnienia o dawkowaniu. Stwierdzono zmniejszenie liczby dni z migreną.

Przed zastosowaniem wyniku u konkretnej pacjentki należy porównać co najmniej: wiek, choroby współistniejące, przyjmowane leki, nasilenie migreny, wcześniejsze leczenie, możliwość przestrzegania schematu oraz ryzyko działań niepożądanych. Nie można automatycznie uznać, że brak osób starszych lub osób z chorobami serca jest wyłącznie formalnym ograniczeniem. Te cechy mogą wpływać zarówno na bezpieczeństwo, jak i na bilans korzyści i ryzyka.

Warto odróżnić dwa pytania: „czy lek był skuteczny w badanej próbie?” oraz „jaki efekt i jakie ryzyko wystąpią u tej pacjentki?”. Pierwsze pytanie dotyczy wyników badania, drugie wymaga oceny możliwości ich zastosowania w określonym kontekście klinicznym.

10. Jak raportować możliwość uogólnienia?

Autorzy powinni szczegółowo opisać populację, sposób rekrutacji, kryteria kwalifikacji, miejsce badania, charakterystykę uczestników, liczbę osób odrzuconych oraz przyczyny nieuczestniczenia lub utraty w obserwacji. W badaniach obserwacyjnych pomocne są zalecenia STROBE, które wspierają kompletne raportowanie projektu, uczestników i procedur (von Elm et al., 2007).

W badaniach pragmatycznych szczególne znaczenie ma raportowanie warunków, w których interwencja może być stosowana w codziennej praktyce. Rozszerzenie CONSORT dotyczące badań pragmatycznych zaleca między innymi przedstawienie informacji o uczestnikach, interwencji, ośrodkach, przepływie uczestników i możliwości zastosowania wyników (Zwarenstein et al., 2008).

Dobry raport nie powinien kończyć się zdaniem „wyniki można uogólnić”. Powinien wskazywać: na jaką populację, w jakich warunkach, z jakim poziomem pewności i przy jakich założeniach.

Najczęstsze błędy

• Utożsamianie dużej próby z reprezentatywną próbą. Liczebność zwiększa precyzję, ale nie gwarantuje braku selekcji.
• Uogólnianie na wszystkich ludzi. Każdy wynik ma określone granice populacji, miejsca i czasu.
• Pomijanie osób wykluczonych. Nadmiernie restrykcyjne kryteria mogą ograniczać zastosowanie wyniku.
• Traktowanie randomizacji jako gwarancji generalizowalności. Randomizacja dotyczy przede wszystkim porównania interwencji w badaniu.
• Porównywanie wyłącznie wieku i płci. Równie ważne mogą być ciężkość choroby, choroby współistniejące, zasoby i sposób opieki.
• Mylenie braku istotności z brakiem różnic. Nieistotny wynik testu nie dowodzi, że próba i populacja są identyczne.
• Ukrywanie niepewności za językiem przyczynowym. Jeżeli projekt nie pozwala na wnioskowanie przyczynowe, nie należy przedstawiać wyniku jako dowodu działania w każdej populacji.
• Pomijanie kontekstu realizacji interwencji. Program skuteczny w ośrodku specjalistycznym może wymagać innych zasobów w praktyce podstawowej.

Co warto zapamiętać?

• Najpierw zdefiniuj populację docelową, a dopiero potem oceniaj próbę.
• Uogólnianie wymaga porównania osób, miejsc, czasu, procedur i sposobu pomiaru wyników.
• Największe znaczenie mają różnice dotyczące cech, które mogą modyfikować efekt lub ryzyko.
• Trafność wewnętrzna nie jest tym samym co zewnętrzna trafność.
• Duża i precyzyjna próba może nadal być obciążona selekcją.
• Wniosek powinien określać, komu wynik dotyczy bezpośrednio, komu może dotyczyć warunkowo, a dla kogo pozostaje niepewny.
• Standaryzacja i ważenie mogą pomóc dostosować wyniki do populacji docelowej, ale nie zastępują dobrego projektu i pełnych danych.
• Najbardziej wiarygodne uogólnienia są jawne, warunkowe i oparte na podobieństwie istotnych mechanizmów, a nie tylko na podobieństwie powierzchownych cech.

W praktyce metodologicznej warto traktować pytanie „do kogo można uogólnić wynik?” jako obowiązkowy element interpretacji każdego badania. Dzięki temu wynik nie jest oderwaną liczbą, lecz informacją osadzoną w konkretnej populacji, systemie i sytuacji klinicznej.

Źródła i dalsza lektura

1. Rothwell, P. M. (2005). External validity of randomised controlled trials: “To whom do the results of this trial apply?”. The Lancet, 365(9453), 82–93. DOI: 10.1016/S0140-6736(04)17670-8.
2. Cole, S. R.; Stuart, E. A. (2010). Generalizing Evidence From Randomized Clinical Trials to Target Populations: The ACTG 320 Trial. American Journal of Epidemiology, 172(1), 107–115. DOI: 10.1093/aje/kwq084.
3. Inoue, K.; Hsu, W.; Arah, O. A.; Prosper, A. E.; Aberle, D. R.; Bui, A. A. T. (2021). Generalizability and Transportability of the National Lung Screening Trial Data: Extending Trial Results to Different Populations. Cancer Epidemiology, Biomarkers & Prevention, 30(12), 2227–2234. DOI: 10.1158/1055-9965.EPI-21-0585.
4. Stuart, E. A.; Bradman, M. J.; Green, K. M.; Osgood, D. W.; Leaf, P. J. (2018). Generalizability of randomized trial results to target populations: Design and analysis possibilities. Prevention Science, 19(5), 601–610. DOI: 10.1007/s11121-014-0513-z.
5. von Elm, E.; Altman, D. G.; Egger, M.; Pocock, S. J.; Gøtzsche, P. C.; Vandenbroucke, J. P.; for the STROBE Initiative (2007). The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) statement: guidelines for reporting observational studies. The Lancet, 370(9596), 1453–1457. DOI: 10.1016/S0140-6736(07)61602-X.
6. Zwarenstein, M.; Treweek, S.; Gagnier, J. J.; Altman, D. G.; Tunis, S.; Haynes, B.; Oxman, A. D.; Moher, D.; for the CONSORT and Pragmatic Trials in Healthcare (Practihc) groups (2008). Improving the reporting of pragmatic trials: an extension of the CONSORT statement. BMJ, 337, a2390. DOI: 10.1136/bmj.a2390.