173. Rekrutacja pacjentów w jednym ośrodku – ograniczenia zewnętrznej trafności

Badanie prowadzone w jednym szpitalu, poradni, oddziale lub ośrodku badawczym bywa organizacyjnie prostsze niż projekt wieloośrodkowy. Ułatwia standaryzację procedur, szkolenie personelu, kontrolę jakości danych i nadzór nad przebiegiem badania. Nie oznacza to jednak, że uzyskane wyniki można automatycznie odnieść do wszystkich pacjentów z daną chorobą. Kluczowym problemem staje się trafność zewnętrzna, czyli możliwość uzasadnionego przeniesienia wyników poza badaną próbę i poza miejsce, w którym zebrano dane.

W tej lekcji, będącej częścią publicznego szkolenia metodologii badań i statystyki na statystyk.edu.pl, skupimy się na sytuacji, w której wszyscy lub niemal wszyscy uczestnicy są rekrutowani w jednym ośrodku. Zobaczymy, dlaczego sama liczebność próby nie rozwiązuje problemu uogólniania, jakie cechy ośrodka mogą modyfikować wyniki oraz jak opisywać ograniczenia bez nieuzasadnionego podważania wartości całego badania.

Czym jest trafność zewnętrzna?

Trafność zewnętrzna odnosi się do zakresu, w jakim wyniki badania można zastosować do innych osób, miejsc, okresów, organizacji lub warunków niż te, które bezpośrednio objęto badaniem. W literaturze spotyka się również określenia generalizowalność, uogólnianie oraz stosowalność wyników. W przypadku badań klinicznych pytanie brzmi nie tylko: „czy zaobserwowano różnicę w tej próbie?”, lecz także: „czy podobnej różnicy można oczekiwać u pacjentów leczonych w innych warunkach?” (Rothwell, 2005).

Trafność zewnętrzna nie jest cechą zero-jedynkową. Nie można zwykle powiedzieć po prostu, że badanie jest albo „reprezentatywne”, albo „niereprezentatywne”. Trafniejsze jest określenie, dla jakiej populacji, w jakich warunkach i przy jakich założeniach wnioski są uzasadnione.

Przykładowo, badanie skuteczności programu edukacyjnego przeprowadzone w jednym uniwersyteckim centrum medycznym może dobrze odpowiadać na pytanie, czy program działa w tym centrum, wśród pacjentów spełniających określone kryteria i przy zaangażowaniu konkretnego zespołu. Nie musi natomiast uzasadniać twierdzenia, że identyczny efekt wystąpi w małych przychodniach, szpitalach powiatowych lub placówkach o mniejszej obsadzie personelu.

Dlaczego jeden ośrodek ogranicza uogólnianie?

Selekcja pacjentów przez system opieki

Pacjenci trafiający do danego ośrodka nie są zwykle losową próbą wszystkich osób z określonym rozpoznaniem. Ośrodek może być placówką podstawową, regionalną albo wysokospecjalistyczną. Może przyjmować pacjentów kierowanych z innych szpitali, osoby z cięższym przebiegiem choroby lub pacjentów, którzy mają dostęp do transportu i specjalistycznej opieki.

W rezultacie rozkład wieku, chorób współistniejących, zaawansowania choroby, statusu społeczno-ekonomicznego i wcześniejszego leczenia może różnić się od rozkładu obserwowanego w populacji docelowej. Jest to przykład selekcji związanej z miejscem rekrutacji. Nawet jeśli wszyscy kwalifikujący się pacjenci w danym ośrodku zostali zaproszeni do badania, nie oznacza to, że ośrodek sam w sobie reprezentuje całą populację.

Specyfika organizacyjna i kompetencje personelu

Ośrodek może dysponować wyjątkowo doświadczonym personelem, nowoczesnym sprzętem, krótkim czasem oczekiwania na diagnostykę albo wyspecjalizowanym zespołem badawczym. Takie warunki mogą wpływać zarówno na wyniki leczenia, jak i na bezpieczeństwo oraz wykonalność interwencji.

Jeżeli badanie ocenia procedurę wymagającą wysokich kompetencji, efekt obserwowany w ośrodku referencyjnym może być większy niż efekt osiągalny w placówkach, które nie mają podobnego doświadczenia. W drugą stronę działa także brak zasobów: program, który okazał się wykonalny w dobrze finansowanym centrum, może mieć niższą skuteczność w miejscu z mniejszą liczbą pielęgniarek lub ograniczonym dostępem do konsultacji.

Wpływ lokalnych ścieżek diagnostycznych i terapeutycznych

Wyniki zależą nie tylko od samej interwencji, lecz również od tego, co dzieje się przed jej rozpoczęciem i po jej zakończeniu. Różne ośrodki mogą stosować odmienne kryteria kwalifikacji, schematy badań, terminy wizyt kontrolnych, procedury wypisu oraz zasady kierowania pacjentów do dalszego leczenia.

W badaniach obserwacyjnych lokalna praktyka może być szczególnie ważnym źródłem zmienności. Ośrodek, który rutynowo wykonuje więcej badań obrazowych, może rozpoznawać łagodniejsze przypadki niż placówka o ograniczonym dostępie do diagnostyki. Wtedy różnica w częstości rozpoznań może wynikać częściowo z organizacji opieki, a nie wyłącznie z rzeczywistego rozpowszechnienia choroby.

Jednorodność geograficzna i społeczna

Jeden ośrodek często rekrutuje pacjentów z określonego regionu. Ograniczenie geograficzne może mieć znaczenie, gdy wyniki zależą od stylu życia, środowiska, struktury wieku, dochodów, transportu publicznego, języka lub lokalnych zwyczajów zdrowotnych.

Nie należy jednak zakładać, że różnica geograficzna zawsze unieważnia wynik. Trzeba ocenić, czy zmienna związana z lokalizacją może modyfikować badane zjawisko. Na przykład badanie dotyczące wpływu aplikacji mobilnej na przestrzeganie zaleceń może dawać inne rezultaty w populacji o wysokim poziomie dostępu do internetu niż w grupie, w której część pacjentów nie korzysta ze smartfonów.

Jeden ośrodek a liczebność próby

Duża próba nie gwarantuje wysokiej trafności zewnętrznej. Jeśli 2000 pacjentów pochodzi z jednego wysoko wyspecjalizowanego centrum, problem ograniczonego zakresu uogólniania nadal może występować. Duża liczebność poprawia zwykle precyzję oszacowań w badanej populacji, ale nie usuwa systematycznej różnicy między pacjentami danego ośrodka a populacją, do której chcemy odnieść wnioski.

Można to ująć schematycznie:

populacja docelowa → populacja dostępna → pacjenci jednego ośrodka → uczestnicy badania → uczestnicy z kompletnymi danymi

Na każdym przejściu może pojawić się selekcja. W praktyce oznacza to, że trzeba osobno rozważyć:

• czy pacjenci ośrodka należą do populacji, którą chcemy opisać;
• czy wszyscy kwalifikujący się pacjenci mieli podobną możliwość udziału;
• czy udział zależał od zgody, dostępności, języka, stanu zdrowia lub innych cech;
• czy osoby, które nie ukończyły obserwacji, różniły się od osób pozostających w badaniu.

Właśnie dlatego w raportowaniu należy dokładnie opisać miejsce badania, okres rekrutacji, źródło pacjentów, kryteria kwalifikacji i liczby osób na kolejnych etapach. Takie informacje są zgodne z zaleceniami STROBE dla badań obserwacyjnych oraz CONSORT dla badań randomizowanych (von Elm i wsp., 2007; Schulz i wsp., 2010).

Przykład 1: badanie leczenia w oddziale intensywnej terapii

Załóżmy, że w jednym uniwersyteckim oddziale intensywnej terapii oceniono nowy protokół wczesnej rehabilitacji pacjentów po ciężkiej niewydolności oddechowej. Badacze wykazali skrócenie czasu wentylacji mechanicznej i poprawę sprawności przy wypisie.

Wynik może być wiarygodny dla pacjentów leczonych w tym oddziale, ale jego zastosowanie w innych miejscach wymaga ostrożności. Uniwersytecki ośrodek może mieć całodobowy dostęp do fizjoterapeuty, specjalistyczny sprzęt, większe doświadczenie w sedacji oraz możliwość szybkiej konsultacji neurologicznej. W mniejszym szpitalu protokół może być wykonywany rzadziej albo z opóźnieniem.

Nie wynika z tego, że badanie jest bezwartościowe. Wniosek powinien być po prostu precyzyjniejszy: „w badanym ośrodku, wśród pacjentów spełniających określone kryteria, protokół wiązał się z poprawą określonych wyników”. Kolejnym krokiem może być badanie wieloośrodkowe lub zewnętrzna walidacja w placówkach o odmiennym poziomie referencyjności.

Przykład 2: badanie psychologiczne w poradni akademickiej

Wyobraźmy sobie badanie skuteczności krótkiej interwencji poznawczo-behawioralnej u osób z objawami lękowymi. Uczestników rekrutuje jedna poradnia działająca przy uniwersytecie. Większość badanych to osoby młode, z wyższym wykształceniem, znające język używany w materiałach i gotowe do udziału w kilku spotkaniach.

Wynik może nie uogólniać się na osoby starsze, pacjentów z mniejszymi zasobami, osoby z ograniczonym dostępem do transportu, pacjentów wymagających tłumacza albo osoby z cięższymi zaburzeniami współwystępującymi. W tym przypadku ograniczenie wynika nie tylko z jednego miejsca rekrutacji, lecz także z połączenia lokalizacji, sposobu zgłaszania się do poradni i wymagań uczestnictwa.

Raport powinien więc opisywać charakterystykę próby, źródło pacjentów i warunki realizacji interwencji. Samo stwierdzenie, że „interwencja działa u osób z lękiem”, byłoby szersze niż uzasadniają dane.

Jak oceniać możliwość uogólniania?

1. Zdefiniuj populację docelową

Najpierw trzeba ustalić, do kogo ma odnosić się wniosek. Czy chodzi o wszystkich dorosłych z określonym rozpoznaniem? Pacjentów podstawowej opieki zdrowotnej? Osoby hospitalizowane? Populację konkretnego województwa? Bez jasnej populacji docelowej nie da się ocenić, czy pojedynczy ośrodek jest wystarczającym źródłem uczestników.

2. Opisz ośrodek, a nie tylko jego nazwę

Nazwa szpitala niewiele mówi o warunkach badania. Warto podać poziom referencyjności, liczbę łóżek, zakres świadczeń, typ pacjentów, dostępność specjalistów, sposób kierowania chorych oraz okres rekrutacji. W badaniach interwencyjnych należy opisać także doświadczenie osób prowadzących procedurę i zasoby potrzebne do jej wykonania.

3. Porównaj próbę z populacją, jeśli są dostępne dane

Pomocne może być zestawienie wieku, płci, ciężkości choroby, chorób współistniejących i innych zmiennych z rejestrem, statystykami publicznymi albo charakterystyką pacjentów z kilku ośrodków. Takie porównanie nie dowodzi pełnej reprezentatywności, ale pozwala wskazać najważniejsze różnice.

4. Rozważ modyfikatory efektu

Szczególne znaczenie mają cechy, które mogą zmieniać działanie interwencji lub związek między ekspozycją a wynikiem. Mogą to być wiek, stopień zaawansowania choroby, choroby współistniejące, doświadczenie personelu, intensywność opieki lub dostęp do technologii. Jeżeli takie cechy różnią ośrodek od populacji docelowej, uogólnianie wymaga dodatkowych założeń.

Przykład praktyczny: jak napisać ograniczenie?

Załóżmy, że badanie obejmowało 146 pacjentów z przewlekłą niewydolnością serca, rekrutowanych w jednym klinicznym oddziale kardiologii. Badacze chcą ocenić możliwość zastosowania wyników w praktyce.

Sformułowanie zbyt szerokie: „Wyniki dowodzą, że analizowany program poprawia rokowanie pacjentów z przewlekłą niewydolnością serca”.

Sformułowanie ostrożniejsze: „Wyniki wskazują, że w badanym oddziale, wśród pacjentów spełniających przyjęte kryteria, analizowany program wiązał się z poprawą ocenianego wyniku. Możliwość przeniesienia rezultatów na pacjentów leczonych w ośrodkach o innym poziomie referencyjności, z odmienną strukturą wieku lub innym dostępem do rehabilitacji wymaga dalszej oceny”.

Drugie sformułowanie nie pomniejsza wartości badania. Rozdziela to, co wynika bezpośrednio z danych, od tego, co wymaga dodatkowej weryfikacji.

Jak ograniczać problem jednego ośrodka?

• Rekrutuj kolejnych uczestników w więcej niż jednym ośrodku, jeżeli zasoby i pytanie badawcze na to pozwalają.
• Wybieraj ośrodki o zróżnicowanych cechach, np. różnym poziomie referencyjności, wielkości i położeniu.
• Stosuj jasne, możliwie szerokie kryteria kwalifikacji, o ile nie zagraża to bezpieczeństwu uczestników ani jakości pomiaru.
• Dokumentuj osoby niewłączone i powody odmowy, ponieważ pozwala to ocenić selekcję uczestników.
• Planuj zewnętrzną walidację dla skal, modeli predykcyjnych i procedur klinicznych.
• Opisuj kontekst realizacji, aby inni badacze mogli ocenić podobieństwo własnego środowiska.

Badanie jednoośrodkowe może być właściwym etapem pilotażowym, eksploracyjnym lub mechanistycznym. Nie każdy projekt wymaga od początku wielu lokalizacji. Ważne jest jednak, aby zakres wniosków odpowiadał rzeczywistemu zakresowi danych.

Najczęstsze błędy

• Mylenie dużej próby z reprezentatywnością. Liczebność zwiększa precyzję, ale nie usuwa selekcji ośrodka.
• Traktowanie jednego szpitala jako „typowego” bez uzasadnienia. Typowość wymaga porównania z populacją docelową.
• Pomijanie poziomu referencyjności. Ośrodek wysokospecjalistyczny często przyjmuje pacjentów odmiennych od pacjentów podstawowej opieki.
• Uogólnianie efektu na inne systemy bez analizy kontekstu. Różnice w personelu, sprzęcie i organizacji mogą zmieniać wynik.
• Opisywanie ograniczenia dopiero w jednym zdaniu dyskusji. Źródło pacjentów powinno być jasno przedstawione już w metodach.
• Używanie języka przyczynowego w badaniu obserwacyjnym. Rekrutacja w jednym ośrodku nie uzasadnia sama w sobie wniosku o przyczynowości.
• Zakładanie, że brak różnic statystycznych między próbą a populacją dowodzi podobieństwa. Niewykazanie różnicy może wynikać z małej mocy testu; potrzebna jest ocena kliniczna i opisowa.

Co warto zapamiętać?

• Rekrutacja w jednym ośrodku ogranicza przede wszystkim możliwość uogólniania wyników na inne miejsca i populacje.
• Trafność zewnętrzna zależy od podobieństwa uczestników, ośrodka, organizacji opieki i warunków realizacji.
• Duża liczebność próby nie kompensuje systematycznej selekcji związanej z jednym ośrodkiem.
• Badanie jednoośrodkowe może mieć wysoką wartość naukową, jeśli jego wnioski są odpowiednio zawężone i dobrze opisane.
• Najlepszą praktyką jest przedstawienie populacji docelowej, źródła pacjentów, charakterystyki ośrodka, kryteriów kwalifikacji i ograniczeń uogólniania.
• Wnioski o zastosowaniu wyników w innych placówkach powinny być traktowane jako hipoteza wymagająca oceny, a nie jako automatyczny rezultat badania.

W metodologii badań nie chodzi o to, aby każde badanie obejmowało całą populację. Chodzi o to, aby granice poznawcze projektu były rozpoznane i uczciwie zakomunikowane. Jednoośrodkowa rekrutacja może zapewnić dobrą kontrolę procedur, ale równocześnie zawężać zakres, w którym wynik można bezpiecznie zastosować. Świadoma ocena tego kompromisu jest elementem dojrzałego planowania i interpretowania badań.

Źródła i dalsza lektura

1. Rothwell, P. M. (2005). External validity of randomised controlled trials: “To whom do the results of this trial apply?”. The Lancet, 365(9453), 82–93. DOI: 10.1016/S0140-6736(04)17670-8.
2. Rothwell, P. M. (2006). Factors That Can Affect the External Validity of Randomised Controlled Trials. PLoS Clinical Trials, 1(1), e9. DOI: 10.1371/journal.pctr.0010009.
3. von Elm, E., Altman, D. G., Egger, M., Pocock, S. J., Gøtzsche, P. C., Vandenbroucke, J. P.; STROBE Initiative (2007). The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) statement: guidelines for reporting observational studies. The Lancet, 370(9596), 1453–1457. DOI: 10.1016/S0140-6736(07)61602-X.
4. Schulz, K. F., Altman, D. G., Moher, D.; CONSORT Group (2010). CONSORT 2010 Statement: updated guidelines for reporting parallel group randomised trials. BMJ, 340, c332. DOI: 10.1136/bmj.c332.
5. Moher, D., Hopewell, S., Schulz, K. F., Montori, V., Gøtzsche, P. C., Devereaux, P. J., Elbourne, D., Egger, M., Altman, D. G. (2010). CONSORT 2010 Explanation and Elaboration: updated guidelines for reporting parallel group randomised trials. BMJ, 340, c869. DOI: 10.1136/bmj.c869.
6. STROBE Initiative (2007). STROBE Statement—checklist of items that should be included in reports of observational studies. STROBE Initiative. Źródło.