147. Badanie przed–po – jak uniknąć prostych błędów interpretacji?

Badanie przed–po jest jednym z najprostszych sposobów oceny, czy po wprowadzeniu interwencji zmienił się stan zdrowia, poziom wiedzy, zachowanie albo funkcjonowanie badanych osób. Ta prostota bywa jednak zwodnicza. Jeżeli po szkoleniu pielęgniarki uzyskują wyższe wyniki testu, a po uruchomieniu programu profilaktycznego spada liczba wizyt na oddziale ratunkowym, nie oznacza to jeszcze, że właśnie interwencja spowodowała zaobserwowaną zmianę.

W tej lekcji wyjaśnimy, jak poprawnie interpretować badanie przed–po, jakie zagrożenia dla trafności wniosków pojawiają się w takim schemacie oraz jak planować analizę, aby nie mylić zwykłej różnicy pomiarów z efektem przyczynowym. Jest to naturalne rozwinięcie tematów dotyczących schematów badań omawianych w szkoleniu na statystyk.edu.pl.

Na czym polega badanie przed–po?

W klasycznym badaniu przed–po te same osoby, oddziały lub instytucje są obserwowane co najmniej dwa razy: przed rozpoczęciem interwencji i po jej zakończeniu. Pierwszy pomiar oznaczamy zwykle jako pre, a drugi jako post. Interwencją może być na przykład program edukacyjny, terapia, zmiana procedury organizacyjnej, kampania zdrowotna albo wdrożenie nowego wyposażenia.

Najprostszy wskaźnik zmiany dla osoby i ma postać:

Δ_i = Y_post,i − Y_pre,i

• Δ_i – zmiana wyniku u osoby i;
• Y_post,i – wynik tej osoby po interwencji;
• Y_pre,i – wynik tej samej osoby przed interwencją.

Średnia zmiana w próbie wynosi:

Δ̄ = (1/n) Σ(Y_post,i − Y_pre,i)

n oznacza liczbę osób, które mają oba pomiary, a symbol Σ oznacza sumowanie zmian dla wszystkich uczestników. Dodatnia wartość Δ̄ oznacza wzrost średniego wyniku, a ujemna – jego spadek. W przypadku skali bólu spadek może być korzystny, natomiast w przypadku testu wiedzy zwykle oczekujemy wzrostu. Kierunek interpretacji zawsze zależy od znaczenia skali.

Ważną zaletą tego schematu jest porównywanie osoby z nią samą. Ogranicza to wpływ niektórych stałych cech uczestników, takich jak wiek, płeć czy przewlekłe predyspozycje. Nie eliminuje jednak zmian zachodzących niezależnie od interwencji.

Różnica przed–po nie jest automatycznie efektem interwencji

W badaniu jednoramiennym, bez grupy porównawczej, obserwujemy zmianę po czasie, ale nie mamy bezpośredniej informacji o tym, co stałoby się z tymi samymi osobami, gdyby interwencji nie zastosowano. Ten nieobserwowany stan nazywa się kontrfaktycznym wynikiem kontrolnym.

Można więc zapisać problem w następujący sposób:

obserwowana różnica = efekt interwencji + zmiana naturalna + błędy i czynniki zakłócające

Jest to schemat pojęciowy, a nie równanie do mechanicznego obliczania. Pokazuje jednak, że zmiana wyniku może obejmować kilka składników. Wśród nich znajdują się: naturalny przebieg choroby, efekt uczenia się, zmiana sezonowa, wydarzenia zewnętrzne, selekcja uczestników, utrata części próby oraz błąd pomiaru.

Najważniejsze zagrożenia interpretacyjne

Regresja do średniej

Regresja do średniej jest zjawiskiem statystycznym polegającym na tym, że wynik skrajnie wysoki lub skrajnie niski przy kolejnym pomiarze często przesuwa się w kierunku średniej populacyjnej, nawet jeśli nie zastosowano skutecznej terapii (Barnett, van der Pols i Dobson, 2005).

Wyobraźmy sobie poradnię, która kwalifikuje pacjentów do programu wtedy, gdy ich ciśnienie tętnicze jest wyjątkowo wysokie. Część tych osób będzie miała niższy wynik podczas kolejnej wizyty tylko dlatego, że pierwszy pomiar przypadł na nietypowo niekorzystny dzień, wystąpił chwilowy stres albo zadziałał losowy błąd pomiaru. Jeżeli po tym nastąpi program edukacyjny, spadek ciśnienia może zostać niesłusznie przypisany programowi.

Ryzyko regresji do średniej jest szczególnie duże, gdy uczestników wybiera się na podstawie pojedynczego, ekstremalnego pomiaru. Klasyczne badania pokazywały, że poprawa po zgłoszeniu się z nasileniem objawów może w znacznym stopniu odzwierciedlać powrót do typowego poziomu, a nie wyłącznie działanie leczenia (Whitney i Von Korff, 1992).

Historia i wydarzenia zewnętrzne

Między pomiarem początkowym a końcowym może wydarzyć się coś, co wpływa na wynik niezależnie od badanej interwencji. W badaniu zdrowia psychicznego będzie to na przykład zmiana sytuacji zawodowej, kryzys rodzinny albo wydarzenie społeczne. W ewaluacji programu zdrowotnego może to być nowa refundacja, kampania medialna lub zmiana dostępności świadczeń.

Sezonowość i trend czasowy

Wyniki zależne od pory roku nie powinny być porównywane bez uwzględnienia kalendarza. Liczba infekcji dróg oddechowych, hospitalizacji z powodu zaostrzeń astmy lub zgłoszeń do poradni może naturalnie różnić się między zimą a latem. Jeżeli interwencję wdrożono w okresie wysokiej zachorowalności, a pomiar końcowy wykonano w sezonie łagodniejszym, sama różnica czasowa może stworzyć pozór skuteczności.

Efekt testowania i uczenia się

Powtórzenie tego samego testu może poprawić wynik, ponieważ uczestnicy pamiętają pytania, poznali format narzędzia albo nauczyli się strategii rozwiązywania zadań. W badaniu psychologicznym wzrost wyniku po treningu może więc częściowo odzwierciedlać znajomość procedury, a nie zmianę badanej cechy.

Zmiana narzędzia lub sposobu pomiaru

Nie wolno interpretować różnicy jako zmiany merytorycznej, jeśli między pomiarem przed i po zmieniła się skala, instrukcja, osoba oceniająca albo warunki badania. Dotyczy to między innymi pomiaru bólu, oceny ran, klasyfikacji zachowań oraz testów wiedzy.

Utrata uczestników

Jeżeli do analizy trafiają wyłącznie osoby, które ukończyły badanie, wyniki mogą być obciążone. Uczestnicy rezygnujący z udziału mogą różnić się od pozostałych poziomem zdrowia, motywacją, nasileniem objawów lub sytuacją życiową. Dlatego należy raportować liczbę osób włączonych, zbadanych przed interwencją i zbadanych po niej, a także przyczyny brakujących pomiarów.

Jak analizować wyniki?

Wybór analizy zależy od typu zmiennej, liczby pomiarów, rozkładu różnic oraz planu badania. Dla dwóch pomiarów ilościowych u tych samych osób można rozważyć test t dla prób zależnych, jeżeli różnice są w przybliżeniu zgodne z założeniami tego testu. Alternatywą nieparametryczną jest test rangowanych znaków Wilcoxona. Nie należy jednak wybierać testu wyłącznie na podstawie tego, który daje mniejszą wartość p.

Warto raportować co najmniej: średnią lub medianę przed interwencją i po niej, oszacowanie zmiany, 95-procentowy przedział ufności, miarę zmienności oraz wielkość efektu. Wartość p informuje o zgodności danych z określonym modelem przy założeniu hipotezy zerowej; nie jest prawdopodobieństwem, że hipoteza zerowa jest prawdziwa. Istotność statystyczna nie jest tym samym co duża zmiana ani jej znaczenie kliniczne.

Przy dwóch pomiarach można wykorzystać model z czasem jako czynnikiem i osobą jako jednostką powtarzanych obserwacji. Przy większej liczbie punktów czasowych lepszym rozwiązaniem bywa model mieszany albo analiza szeregu czasowego. W przypadku danych obserwacyjnych trzeba rozważyć także zmienne zakłócające, takie jak wiek, ciężkość choroby, sezon czy różnice między oddziałami.

Przykład 1: szkolenie pielęgniarek z rozpoznawania sepsy

W szpitalu przeprowadzono dwugodzinne szkolenie dla 42 pielęgniarek. Przed szkoleniem i tydzień po nim uczestniczki rozwiązały test składający się z 20 pytań. Średni wynik wzrósł z 12,1 do 15,8 punktu.

Najprostszy wniosek brzmi: „szkolenie poprawiło wiedzę”. Jest on jednak zbyt mocny, jeśli badanie nie miało grupy porównawczej. Wzrost może częściowo wynikać z zapamiętania pytań, rozmów między uczestniczkami, dodatkowych materiałów udostępnionych przez oddział albo naturalnego przygotowania do powtórnego testu.

Lepszy opis brzmi: „Po szkoleniu zaobserwowano wzrost wyników testu wiedzy; w badaniu jednoramiennym nie można oddzielić efektu szkolenia od efektu powtórnego pomiaru i innych zmian zachodzących w tym czasie”. Jeszcze lepszy projekt obejmowałby grupę porównawczą, alternatywną wersję testu oraz pomiar odroczony, na przykład po trzech miesiącach.

Przykład 2: program ograniczania wizyt na oddziale ratunkowym

Przychodnia wdrożyła program koordynacji opieki dla 100 pacjentów, którzy w poprzednim miesiącu często korzystali z oddziału ratunkowego. Po sześciu miesiącach średnia liczba wizyt spadła z 3,2 do 1,6 na osobę.

Wynik wygląda przekonująco, ale pacjenci zostali wybrani właśnie dlatego, że mieli wyjątkowo dużo wizyt w krótkim okresie. Część spadku może być więc regresją do średniej. Mogły też zmienić się zasady kierowania do szpitala, dostępność lekarzy rodzinnych, sezon zachorowań albo sytuacja życiowa uczestników.

W analizie warto porównać ich wyniki z grupą podobnych pacjentów, którzy nie zostali objęci programem, albo zastosować analizę przerwanego szeregu czasowego z wieloma pomiarami przed i po wdrożeniu. Proste porównanie jednej średniej przed i jednej po interwencji jest słabszym dowodem.

Przykład praktyczny: jak zaplanować wiarygodniejsze badanie?

Załóżmy, że celem jest ocena programu redukcji stresu u studentów pielęgniarstwa. Badacz może przygotować następujący plan:

1. Zdefiniować główny wynik, na przykład wynik zwalidowanej skali stresu.
2. Wykonać co najmniej dwa pomiary przed rozpoczęciem programu, aby ocenić naturalną zmienność i ograniczyć wpływ pojedynczego nietypowego wyniku.
3. Wykonać pomiar bezpośrednio po programie oraz pomiar odroczony.
4. Jeżeli to możliwe, utworzyć grupę porównawczą oczekującą na udział w programie.
5. Z góry określić główną hipotezę, sposób obliczenia zmiany oraz reguły postępowania z brakami danych.
6. Raportować zarówno zmianę średnią, jak i indywidualne rozkłady wyników, a nie tylko odsetek osób z istotnym statystycznie wynikiem.

Jeżeli badacz ma grupę interwencyjną i porównawczą, interesująca staje się różnica różnic:

efekt względny = (Y_post,I − Y_pre,I) − (Y_post,K − Y_pre,K)

• I oznacza grupę interwencyjną;
• K oznacza grupę kontrolną lub porównawczą;
• Y_pre i Y_post oznaczają odpowiednio pomiar przed i po.

Interpretacja takiej różnicy wymaga jednak założenia, że bez interwencji obie grupy miałyby podobny trend zmian. W badaniach nierandomizowanych założenie to powinno być uzasadnione, a nie przyjmowane bez sprawdzenia.

Najczęstsze błędy

• „Po interwencji jest lepiej, więc interwencja zadziałała”. Pomija to historię, sezonowość, regresję do średniej i efekt pomiaru.
• Wykonywanie wielu testów bez planu. Im więcej analiz i punktów końcowych, tym większe ryzyko przypadkowego wyniku istotnego statystycznie.
• Raportowanie wyłącznie wartości p. Czytelnik potrzebuje także wielkości zmiany i przedziału ufności.
• Analizowanie tylko osób, które ukończyły badanie. Może to prowadzić do błędu selekcji.
• Ignorowanie wartości wyjściowej. Wysoki wynik początkowy, szczególnie skrajny, może sam sprzyjać późniejszemu spadkowi.
• Używanie języka przyczynowego w badaniu bez grupy porównawczej. Bezpieczniej pisać „zaobserwowano zmianę po wdrożeniu” niż „interwencja spowodowała zmianę”.
• Niepełny opis pomiarów. Trzeba podać odstęp między pomiarami, warunki badania, narzędzie, osoby oceniające i sposób obchodzenia się z brakami.

Jak raportować badanie przed–po?

W publikacji należy jasno określić, czy badanie było eksperymentalne, quasi-eksperymentalne czy obserwacyjne. Trzeba opisać kryteria kwalifikacji, sposób rekrutacji, momenty pomiarów, interwencję, główny wynik i analizę statystyczną. W badaniach obserwacyjnych pomocna może być lista STROBE, która porządkuje raportowanie badań kohortowych, kliniczno-kontrolnych i przekrojowych (von Elm i in., 2007). Sama lista kontrolna nie zastępuje dobrego projektu, ale ułatwia ujawnienie ograniczeń.

Warto przedstawić tabelę z wynikami przed i po, wykres indywidualnych zmian oraz informację o liczbie osób z kompletnymi danymi. Jeżeli występują pomiary wielokrotne, należy wskazać, czy analizowano korelację obserwacji u tej samej osoby. Publikując wyniki, należy oddzielić opis danych od interpretacji mechanizmu.

Co warto zapamiętać?

• Badanie przed–po pokazuje, że wynik zmienił się między dwoma momentami; samo w sobie nie dowodzi, że zmiana została spowodowana interwencją.
• Najważniejszym zagrożeniem jest regresja do średniej, szczególnie po kwalifikacji uczestników na podstawie skrajnego wyniku.
• Trzeba uwzględniać historię, sezonowość, efekt uczenia się, zmianę pomiaru, utratę uczestników i naturalny przebieg zjawiska.
• Warto raportować wielkość zmiany, przedział ufności, zmienność i znaczenie praktyczne, a nie tylko wartość p.
• Grupa porównawcza, wiele pomiarów przed i po oraz wcześniej określony plan analizy zwiększają wiarygodność wniosków.
• Wnioski przyczynowe powinny odpowiadać sile schematu badania.

Najbezpieczniejsza zasada brzmi: najpierw opisz zmianę, potem rozważ jej możliwe wyjaśnienia, a dopiero na końcu oceń, czy projekt pozwala przypisać ją interwencji. Taka kolejność chroni przed jednym z najczęstszych błędów metodologicznych: zamianą następstwa czasowego w dowód przyczynowości.

Źródła i dalsza lektura

1. Barnett, A. G., van der Pols, J. C., & Dobson, A. J. (2005). Regression to the mean: what it is and how to deal with it. International Journal of Epidemiology, 34(1), 215–220. DOI: 10.1093/ije/dyh299.
2. Bland, J. M., & Altman, D. G. (1994). Statistics Notes: Some examples of regression towards the mean. BMJ, 309(6957), 780. DOI: 10.1136/bmj.309.6957.780.
3. Whitney, C. W., & Von Korff, M. (1992). Regression to the mean in treated versus untreated chronic pain. Pain, 50(3), 281–285. DOI: 10.1016/0304-3959(92)90032-7.
4. Kirkwood, B. R., & Sterne, J. A. C. (2003). Essential Medical Statistics. 2nd edition. Blackwell Publishing.
5. von Elm, E., Altman, D. G., Egger, M., Pocock, S. J., Gøtzsche, P. C., & Vandenbroucke, J. P.; for the STROBE Initiative (2007). The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) Statement: guidelines for reporting observational studies. PLoS Medicine, 4(10), e296. DOI: 10.1371/journal.pmed.0040296.
6. Peacock, J. L., Kerry, S. M., & Balise, R. R. (2017). Presenting Medical Statistics from Proposal to Publication. 2nd edition. Oxford University Press. Informacja wydawcy / źródło.

Jeżeli potrzebujesz indywidualnego wsparcia w doborze metod, przygotowaniu bazy lub opracowaniu wyników badań, sprawdź analiza statystyczna.