146. Badanie quasi-eksperymentalne – kiedy randomizacja nie jest możliwa?

Randomizowane badanie eksperymentalne pozostaje ważnym punktem odniesienia w ocenie skutków interwencji, ale w praktyce badawczej nie zawsze można losowo przydzielić osoby do grup. Czasem byłoby to nieetyczne, na przykład gdy nowe rozwiązanie stało się obowiązującym standardem opieki. Innym razem interwencja dotyczy całej placówki, województwa, szkoły albo populacji, więc nie da się jej wiarygodnie zastosować tylko u części losowo wybranych osób. W takich sytuacjach użyteczne może być badanie quasi-eksperymentalne.

W tej lekcji, będącej częścią publicznego szkolenia na statystyk.edu.pl, wyjaśniamy, czym różni się ono od klasycznego eksperymentu, jakie ma odmiany i jak ograniczać ryzyko błędnych wniosków. Najważniejsza zasada brzmi: brak randomizacji nie oznacza automatycznie braku wartości naukowej, ale wymaga dokładniejszego uzasadnienia projektu, pomiarów i założeń analizy.

Czym jest badanie quasi-eksperymentalne?

Badanie quasi-eksperymentalne to projekt, w którym badacz ocenia skutki określonej interwencji lub ekspozycji, lecz nie dysponuje pełną randomizacją jednostek do warunku badanego i kontrolnego. Jednocześnie projekt zawiera element pozwalający porównywać sytuację przed i po interwencji, między grupami albo wokół określonego progu.

W klasycznym eksperymencie randomizacja zwiększa porównywalność grup. Jeżeli przydział jest prawidłowy i próba dostatecznie duża, różnice między grupami dotyczące znanych i nieznanych cech powinny przeciętnie się równoważyć. W badaniu quasi-eksperymentalnym takiej gwarancji nie ma. Grupy mogą różnić się już przed rozpoczęciem programu, a różnice te mogą wpływać na wynik.

Dlatego określenie „quasi-eksperymentalne” nie oznacza po prostu „badanie bez randomizacji”. Chodzi o projekt, który wykorzystuje strukturę danych lub zewnętrzne zdarzenie, aby możliwie wiarygodnie odtworzyć logikę porównania eksperymentalnego. Klasyczne opracowanie Shadisha, Cooka i Campbella obejmuje między innymi grupy nierównoważne, przerwane szeregi czasowe oraz regresję z nieciągłością (Shadish, Cook i Campbell, 2002). W literaturze zdrowia publicznego projekty quasi-eksperymentalne traktuje się jako ważne uzupełnienie, a nie prosty zamiennik randomizowanych badań klinicznych (Handley et al., 2018).

Kiedy randomizacja nie jest możliwa?

Ograniczenia etyczne

Nie można losowo przydzielać pacjentów do postępowania, którego szkodliwość jest dobrze udokumentowana, ani odmawiać interwencji uznanej za konieczną. Problem może wystąpić również wtedy, gdy decyzja o zastosowaniu świadczenia wynika z indywidualnych potrzeb klinicznych. Losowe przydzielanie mogłoby wówczas naruszać zasadę dobra pacjenta.

Interwencje na poziomie organizacji lub populacji

Program szkolenia personelu, reorganizacja oddziału, nowy system triage, zmiana prawa albo kampania zdrowia publicznego często oddziałują na całe jednostki organizacyjne. Losowanie pojedynczych osób mogłoby prowadzić do zanieczyszczenia warunków: pracownik przeszkolony w jednym ramieniu przekazywałby wiedzę osobom z grupy kontrolnej.

Ograniczenia praktyczne i polityczne

Władze publiczne, dyrekcja szpitala lub szkoły mogą wdrażać zmianę według wcześniej ustalonego harmonogramu. Badacz nie kontroluje tego przydziału, ale może zaplanować pomiary przed i po wdrożeniu oraz zdefiniować, jakie wyniki będą interpretowane jako zgodne z hipotezą.

Rzadkie lub nagłe zdarzenia

Wypadek masowy, zmiana refundacji, epidemia albo nagła zmiana przepisów mogą stworzyć naturalną okazję do porównania sytuacji przed i po zdarzeniu. W takim przypadku badacz nie manipuluje ekspozycją, lecz wykorzystuje jej niezależne od badania wystąpienie. Należy jednak szczególnie ostrożnie rozważyć inne wydarzenia zachodzące w tym samym czasie.

Najważniejsze typy projektów quasi-eksperymentalnych

Badanie przed–po bez grupy kontrolnej

Najprostszy wariant polega na pomiarze wyniku przed wdrożeniem interwencji i po nim. Przykładem może być ocena liczby błędów lekowych w oddziale przed szkoleniem pielęgniarek i trzy miesiące po szkoleniu.

Projekt jest łatwy do przeprowadzenia, lecz słabo chroni przed alternatywnymi wyjaśnieniami. Poprawa mogła wynikać z sezonowości, zmiany personelu, równoległego audytu albo naturalnego trendu. Sama różnica między średnią po interwencji i średnią przed interwencją nie dowodzi więc jej skuteczności.

Grupy nierównoważne z pomiarem przed i po

Silniejszy projekt obejmuje grupę interwencyjną i grupę porównawczą. Grupy nie są losowane, lecz można zmierzyć ich wynik przed rozpoczęciem programu. Analiza uwzględnia zarówno różnice początkowe, jak i zmianę w czasie.

Przykładowo jeden szpital wdraża elektroniczny system przypominający o profilaktyce przeciwzakrzepowej, a drugi podobny szpital jeszcze go nie wdraża. Porównanie częstości właściwego zastosowania profilaktyki w obu placówkach przed i po zmianie jest bardziej przekonujące niż analiza jednego szpitala. Nadal trzeba sprawdzić, czy placówki miały podobne trendy przed interwencją i czy nie wprowadzono innych zmian.

Przerwana seria czasowa

W przerwanej serii czasowej wynik jest mierzony wielokrotnie przed interwencją i wielokrotnie po niej. Zamiast dwóch pojedynczych średnich analizuje się poziom oraz trend wyniku. Projekt może być wartościowy przy ocenie polityk zdrowotnych, zmian organizacyjnych i programów wdrażanych w całej populacji.

Przykładem jest analiza miesięcznej liczby hospitalizacji z powodu zatruć w okresie 24 miesięcy przed wprowadzeniem ograniczeń sprzedaży określonego produktu i 18 miesięcy po zmianie. Model może sprawdzać, czy po interwencji nastąpiła nagła zmiana poziomu oraz czy zmieniło się nachylenie trendu.

Jedna z uproszczonych postaci modelu może wyglądać następująco:

Y_t = β_0 + β_1 czas_t + β_2 interwencja_t + β_3 czas_po_interwencji_t + ε_t

• Y_t – wartość wyniku w punkcie czasowym t;
• β_0 – oczekiwany poziom wyniku na początku obserwacji;
• czas_t – zmienna opisująca upływ czasu;
• interwencja_t – wskaźnik przyjmujący zwykle wartość 0 przed interwencją i 1 po niej;
• czas_po_interwencji_t – liczba jednostek czasu od momentu wdrożenia, równa 0 przed wdrożeniem;
• β_2 – szacowana nagła zmiana poziomu po interwencji;
• β_3 – zmiana trendu po interwencji;
• ε_t – składnik losowy, obejmujący wpływ czynników niewyjaśnionych przez model.

W analizie trzeba uwzględnić autokorelację, sezonowość, wartości odstające i możliwe opóźnienie działania interwencji. Zwykła regresja zakładająca niezależność wszystkich obserwacji czasowych może prowadzić do zbyt małych błędów standardowych i nadmiernie optymistycznych wartości p.

Różnica w różnicach

Metoda różnicy w różnicach porównuje zmianę w czasie w grupie objętej interwencją ze zmianą w czasie w grupie kontrolnej. Jej intuicję można zapisać wzorem:

DiD = (Y_interwencja, po − Y_interwencja, przed) − (Y_kontrola, po − Y_kontrola, przed)

Pierwsza różnica opisuje zmianę w grupie interwencyjnej, druga zmianę w grupie kontrolnej. Różnica między nimi jest szacunkiem dodatkowej zmiany przypisywanej interwencji, jeśli spełnione jest kluczowe założenie równoległych trendów. Oznacza ono, że bez interwencji obie grupy zmieniałyby się w podobny sposób.

Założenia tej metody powinny być oceniane na podstawie kilku pomiarów przed interwencją, a nie wyłącznie jednego punktu czasowego. Należy także prawidłowo obliczać błędy standardowe, ponieważ obserwacje w obrębie jednostek i okresów mogą być skorelowane (Bertrand, Duflo i Mullainathan, 2004).

Regresja z nieciągłością

W tym projekcie przydział do interwencji zależy od wartości zmiennej progowej. Na przykład pacjenci z wynikiem ryzyka co najmniej 20 punktów otrzymują intensywny program rehabilitacji, a osoby z wynikiem poniżej 20 punktów – standardową opiekę. Jeżeli osoby tuż poniżej i tuż powyżej progu są podobne, nagła różnica wyników w pobliżu progu może dostarczać informacji o efekcie programu.

Wymaga to między innymi wiarygodnego progu, braku manipulowania wynikiem przez uczestników oraz wystarczającej liczby obserwacji w jego otoczeniu. Wniosek dotyczy zwykle osób znajdujących się blisko granicy, a nie automatycznie całej populacji.

Jak wzmacniać wiarygodność wnioskowania?

Najpierw należy jasno określić interwencję, populację, jednostkę analizy, punkt rozpoczęcia działania i wynik główny. Następnie trzeba opisać mechanizm, dzięki któremu porównanie ma przybliżać kontrfaktyczną sytuację: co stałoby się z tą samą populacją, gdyby interwencji nie wdrożono?

Pomocne są: pomiary bazowe, grupa kontrolna, kilka punktów czasowych, kontrola sezonowości, analiza wyników negatywnych lub placebo, analiza wrażliwości oraz wcześniejsze określenie planu analizy. Warto również monitorować, czy interwencja była faktycznie realizowana i czy nie wystąpiło zjawisko przenikania jej elementów do grupy kontrolnej.

W raporcie trzeba oddzielić trzy kwestie: wielkość efektu, jego niepewność oraz znaczenie praktyczne. Statystycznie istotna różnica może być klinicznie mała, a brak istotności statystycznej może wynikać z małej precyzji oszacowania. Warto podawać estymatę efektu, przedział ufności i interpretację w jednostkach zrozumiałych dla odbiorcy.

Przykład praktyczny: ograniczenie zakażeń w szpitalu

Załóżmy, że szpital wprowadza pakiet działań zapobiegających zakażeniom związanym z cewnikowaniem: szkolenie, listę kontrolną i codzienny audyt. Randomizacja oddziałów nie jest możliwa, ponieważ dyrekcja wdraża pakiet jednocześnie we wszystkich oddziałach.

Badacz zbiera miesięczną liczbę zakażeń na 1000 osobodni przez 18 miesięcy przed wdrożeniem i 12 miesięcy po wdrożeniu. Dodatkowo pozyskuje dane z podobnego szpitala, który w tym czasie nie zmienił procedury. Najlepszym punktem wyjścia może być przerwana seria czasowa z grupą porównawczą albo model różnicy w różnicach.

Przed analizą należy sprawdzić, czy przed wdrożeniem trendy w obu szpitalach były zbliżone, czy nie zmieniły się definicje zakażenia, czy nie wystąpiła epidemia oraz czy różniła się struktura pacjentów. Jeżeli po wdrożeniu zakażenia spadły w szpitalu interwencyjnym, ale podobnie spadły także w szpitalu kontrolnym, przypisanie całej poprawy pakietowi byłoby nieuzasadnione.

Ostateczny wniosek powinien być ostrożny: „po wdrożeniu pakietu zaobserwowano zmianę częstości zakażeń większą niż zmiana w szpitalu porównawczym, przy założeniu podobnych trendów przed interwencją”. Taki język jest bardziej poprawny niż kategoryczne stwierdzenie, że pakiet na pewno spowodował spadek.

Najczęstsze błędy

• Traktowanie braku randomizacji jako drobnego szczegółu. Brak losowania zwiększa ryzyko różnic początkowych i zakłócenia.
• Wnioskowanie na podstawie prostego porównania przed–po. Taki wynik nie odróżnia efektu interwencji od trendu, sezonowości i innych zmian.
• Brak grupy kontrolnej mimo jej dostępności. Grupa porównawcza nie musi być idealna, ale może ujawnić wspólne zmiany niezwiązane z programem.
• Niezweryfikowane założenie równoległych trendów. W metodzie różnicy w różnicach jest ono centralne, a nie opcjonalne.
• Ignorowanie autokorelacji w szeregu czasowym. Prowadzi to do błędnych błędów standardowych i zbyt wąskich przedziałów ufności.
• Nadmierne uogólnianie. Wynik regresji z nieciągłości dotyczy przede wszystkim osób blisko progu, a efekt programu w jednym szpitalu nie musi wystąpić w każdym innym.
• Mylenie wartości p z prawdopodobieństwem hipotezy zerowej. Wartość p nie mówi, jakie jest prawdopodobieństwo, że H0 jest prawdziwa.
• Język przyczynowy bez uzasadnienia projektu. Sama obserwacja zmiany po interwencji nie wystarcza do stwierdzenia przyczynowości.

Co warto zapamiętać?

• Badanie quasi-eksperymentalne ocenia skutki interwencji bez pełnej randomizacji.
• Stosuje się je między innymi wtedy, gdy randomizacja jest nieetyczna, niewykonalna albo dotyczy całej organizacji lub populacji.
• Najważniejsze projekty to grupy nierównoważne z pomiarem przed–po, przerwana seria czasowa, różnica w różnicach i regresja z nieciągłością.
• Wiarygodność wyniku zależy od jawnie określonych założeń, jakości pomiarów, właściwej grupy porównawczej i poprawnej analizy zależności w czasie.
• Brak randomizacji oznacza większe wymagania wobec kontroli zakłóceń, analiz wrażliwości i ostrożności języka.
• Istotność statystyczną trzeba interpretować razem z wielkością efektu, przedziałem ufności i znaczeniem praktycznym.

Dobrze zaprojektowane badanie quasi-eksperymentalne może dostarczyć ważnych danych o skuteczności programów klinicznych, decyzji organizacyjnych i polityk zdrowotnych. Nie usuwa wszystkich problemów znanych z badań obserwacyjnych, lecz pozwala je uporządkować i częściowo ograniczyć dzięki świadomemu wykorzystaniu czasu, grup porównawczych lub reguł przydziału.

Źródła i dalsza lektura

1. Shadish, William R.; Cook, Thomas D.; Campbell, Donald T. (2002). Experimental and Quasi-Experimental Designs for Generalized Causal Inference. 2nd edition. Houghton Mifflin Company. Informacja wydawcy / źródło.
2. Handley, Margaret A.; Lyles, Courtney R.; McCulloch, Charles; Karter, Andrew J. (2018). Selecting and Improving Quasi-Experimental Designs in Effectiveness and Implementation Research. Annual Review of Public Health, 39, 5–25. DOI: 10.1146/annurev-publhealth-040617-014128.
3. Bernal, James L.; Cummins, Steven; Gasparrini, Antonio (2017). Interrupted time series regression for the evaluation of public health interventions: a tutorial. International Journal of Epidemiology, 46(1), 348–355. DOI: 10.1093/ije/dyw098.
4. Bertrand, Marianne; Duflo, Esther; Mullainathan, Sendhil (2004). How Much Should We Trust Differences-in-Differences Estimates?. The Quarterly Journal of Economics, 119(1), 249–275. DOI: 10.1162/003355304772839588.
5. Harris, Anthony D.; McGregor, Jessina C.; Perencevich, Eli E.; Furono, Joseph P.; Zhu, Jing; Peterson, David E.; Finkelstein, Joseph (2006). The Use and Interpretation of Quasi-Experimental Design in Infectious Diseases Research. Clinical Infectious Diseases, 43(3), 338–342. DOI: 10.1086/505122.
6. Maciejewski, Matthew L. (2020). Quasi-experimental design. Biostatistics and Epidemiology, 4(1), 38–44. DOI: 10.1080/24709360.2019.1668293.