019. Transparentność badań: prerejestracja, protokół i plan analizy

W poprzednich lekcjach kursu rozróżnialiśmy między innymi badania eksploracyjne i konfirmacyjne oraz omawialiśmy znaczenie założeń teoretycznych. Kolejnym krokiem jest pytanie praktyczne: kiedy i jak zapisać decyzje dotyczące badania, aby później można było ocenić, które elementy były zaplanowane, a które wyniknęły z kontaktu z danymi? Temu służą trzy powiązane narzędzia: protokół, prerejestracja i plan analizy statystycznej.

Dlaczego transparentność jest problemem metodologicznym?

Badacz podejmuje w toku projektu wiele decyzji: określa populację, liczebność próby, główny punkt końcowy, sposób pomiaru, kryteria wykluczania obserwacji, metodę analizy oraz sposób postępowania z brakami danych. Jeżeli decyzje te są podejmowane dopiero po obejrzeniu wyników, mogą zostać nieświadomie dostosowane do tego, co w danych wygląda korzystnie lub interesująco.

Nie oznacza to, że każda decyzja podjęta po rozpoczęciu badania jest niewłaściwa. Czasami pojawia się problem techniczny, nieoczekiwane zdarzenie kliniczne albo uzasadniona potrzeba zastosowania dodatkowej analizy. Problemem nie jest sama zmiana, lecz ukrycie zmiany albo przedstawienie jej tak, jakby od początku była zaplanowana.

Transparentność nie eliminuje błędów, ale pozwala je rozpoznać, ocenić i właściwie zinterpretować. Zwiększa też rozdzielenie dwóch rodzajów pracy naukowej: sprawdzania wcześniej sformułowanej hipotezy oraz generowania nowych hipotez na podstawie danych (Nosek et al., 2018).

Protokół, prerejestracja i plan analizy – trzy różne dokumenty

Protokół badania

Protokół jest pełnym opisem planowanego badania. Obejmuje uzasadnienie naukowe, pytania i hipotezy, projekt badania, charakterystykę uczestników, procedury rekrutacji, interwencję lub sposób obserwacji, pomiary, kwestie etyczne, ochronę danych, harmonogram oraz ogólne zasady analizy.

W badaniach klinicznych protokół powinien umożliwiać ocenę, czy badanie jest wykonalne, etyczne i adekwatne do postawionego pytania. Wytyczne SPIRIT wskazują minimalny zakres informacji, które powinny znaleźć się w protokole badania interwencyjnego, w tym cele, punkty końcowe, harmonogram ocen, zasady rekrutacji, monitorowania i analizy (Chan et al., 2013). Protokół może być dokumentem wewnętrznym, dokumentem przedkładanym komisji bioetycznej albo publikowanym artykułem protokołowym.

Prerejestracja

Prerejestracja to publiczne lub kontrolowane czasowo zapisanie planu badania przed rozpoczęciem określonego etapu, najczęściej przed rozpoczęciem zbierania danych lub przed ich analizą. Dokument otrzymuje znacznik czasu, a w wielu systemach także trwały identyfikator.

Prerejestracja nie musi zawierać całego protokołu. W prostym badaniu ankietowym może obejmować hipotezy, zmienne, liczebność próby i plan analiz. W badaniu klinicznym część informacji może być zawarta w protokole, a szczegółowy plan analizy może zostać zarejestrowany jako osobny dokument.

Najważniejszą funkcją prerejestracji jest nie tyle „związanie rąk” badaczowi, ile umożliwienie późniejszego rozróżnienia analiz konfirmacyjnych i eksploracyjnych. Zarejestrowany plan jest punktem odniesienia, a nie gwarancją, że projekt zostanie zrealizowany bez żadnych zmian.

Statystyczny plan analizy

Statistical Analysis Plan, SAP, czyli statystyczny plan analizy, jest szczegółowym dokumentem opisującym sposób przygotowania i analizy danych. Powinien określać między innymi populacje analityczne, definicje zmiennych, główny model, kontrast porównawczy, sposób prezentacji efektu, przedziały ufności, procedury dla braków danych, analizy wrażliwości, korektę dla wielokrotnych porównań oraz reguły dotyczące obserwacji odstających.

Ważne jest odróżnienie deklaracji „zbadamy zależność między X i Y” od konkretnego planu: „głównym wynikiem będzie różnica średnich między grupami, oszacowana za pomocą modelu liniowego z korektą o wyjściowy poziom wyniku; przedstawimy estymatę, 95-procentowy przedział ufności i wartość p”. Im bardziej szczegółowy plan, tym łatwiej ocenić zgodność analizy z pytaniem badawczym.

Co powinno zostać zapisane przed analizą?

Zakres prerejestracji zależy od projektu, ale użyteczna lista kontrolna obejmuje następujące elementy:

• Pytanie badawcze i hipoteza: co dokładnie ma zostać sprawdzone i jaki kierunek efektu jest przewidywany?
• Projekt: badanie przekrojowe, kohortowe, kliniczne, quasi-eksperymentalne, jakościowe lub inny schemat.
• Populacja i próba: kryteria włączenia i wyłączenia, sposób rekrutacji, planowana liczebność oraz reguła zakończenia rekrutacji.
• Zmienne: główny wynik, wyniki drugorzędowe, predyktory, zmienne zakłócające i sposób ich pomiaru.
• Procedury: kolejność pomiarów, interwencje, randomizacja, zaślepienie i kontrola jakości danych.
• Analiza: test lub model, skala pomiaru, kontrast, kowariaty, sposób oceny założeń i analizy dodatkowe.
• Braki danych i wykluczenia: kiedy obserwacja zostanie uznana za niekompletną i jak będzie analizowana.
• Raportowanie: jakie estymaty, przedziały ufności, tabele i wykresy będą przedstawione.

W przypadku wielu punktów końcowych należy określić, który jest główny, które są drugorzędowe, a które eksploracyjne. Bez takiego rozróżnienia rośnie ryzyko selektywnego podkreślania korzystnych wyników. Problem wielokrotnego testowania wymaga niekiedy zaplanowania hierarchii hipotez albo odpowiedniej kontroli błędu wynikającego z wielokrotnych porównań (FDA, 2022).

Przykład 1: badanie kliniczne dotyczące bólu pooperacyjnego

Załóżmy, że zespół chce ocenić, czy dodatkowa edukacja pacjenta przed operacją zmniejsza natężenie bólu 24 godziny po zabiegu. Pacjenci zostają losowo przydzieleni do standardowej informacji albo standardowej informacji połączonej z krótką sesją edukacyjną.

W protokole można zapisać pełny przebieg interwencji, zasady randomizacji i harmonogram pomiarów. W prerejestracji należy dodatkowo jasno określić, że:

• głównym wynikiem będzie natężenie bólu w skali 0–10 po 24 godzinach;
• główne porównanie będzie dotyczyło średniej różnicy między grupami;
• analiza obejmie wszystkich zrandomizowanych pacjentów, o ile dostępny będzie pomiar wyniku;
• braki danych zostaną opisane, a przy określonym odsetku braków zostanie wykonana analiza wrażliwości;
• wynikiem drugorzędowym będzie zużycie opioidów w pierwszych 24 godzinach;
• analiza podgrup według rodzaju zabiegu będzie eksploracyjna, chyba że została wcześniej uzasadniona i zaplanowana.

Jeśli po wstępnej analizie okaże się, że różnica w bólu jest mała, ale zużycie opioidów jest wyraźnie mniejsze, badacz może ten wynik opisać. Nie powinien jednak przedstawiać zużycia opioidów jako głównego punktu końcowego, jeżeli pierwotnie zaplanowano nim ból. Właściwe sformułowanie brzmi: „wynik dotyczący zużycia opioidów był drugorzędowy”, a nie: „to był główny rezultat badania”.

Przykład 2: badanie psychologiczne i problem elastyczności analizy

Badacz analizuje, czy deprywacja snu wiąże się z gorszą kontrolą uwagi u studentów. Przed zebraniem danych deklaruje, że główną zmienną będzie liczba błędów w teście komputerowym, a analizę przeprowadzi za pomocą modelu liniowego z uwzględnieniem wieku jako kowariaty.

Po zebraniu danych zauważa jednak, że efekt jest wyraźniejszy dla czasu reakcji niż dla liczby błędów. Może przeprowadzić analizę czasu reakcji, ale powinien oznaczyć ją jako analizę dodatkową lub eksploracyjną, jeśli nie była zarejestrowana. Następnie może sformułować nową hipotezę do przyszłego badania.

Takie postępowanie jest metodologicznie silniejsze niż przemilczenie pierwotnego planu. Wynik eksploracyjny może być wartościowy, lecz jego status wpływa na siłę wniosku. Prerejestracja nie sprawia, że analizę eksploracyjną należy odrzucić; pomaga jedynie prawidłowo określić, czym ona jest.

Zmiany w protokole i planie analizy

W praktyce zmiany są nieuniknione. Mogą wynikać z trudności rekrutacyjnych, zmiany dostępności narzędzia, błędu w kodowaniu, nowych informacji o bezpieczeństwie albo naruszenia założeń pierwotnego modelu. Dobra dokumentacja powinna zawierać:

1. datę i opis zmiany;
2. powód jej wprowadzenia;
3. informację, czy zmiana nastąpiła przed czy po obejrzeniu danych wynikowych;
4. ocenę możliwych konsekwencji dla interpretacji;
5. wersję poprzednią i wersję zmienioną dokumentu, jeśli jest to technicznie możliwe.

W badaniach randomizowanych szczególnie ważne jest, aby nie zmieniać po obejrzeniu wyników głównego punktu końcowego, populacji analitycznej lub reguł wykluczania w sposób zwiększający szansę uzyskania korzystnego wyniku. Jeżeli zmiana jest konieczna, powinna być ujawniona. Wytyczne CONSORT podkreślają znaczenie jasnego raportowania punktów końcowych, metod analizy, uczestników uwzględnionych w analizie oraz odstępstw od protokołu (Schulz et al., 2010; Moher et al., 2010).

Przykład praktyczny: jak zapisać plan w skróconej formie?

Przykładowy fragment planu może wyglądać następująco:

Hipoteza główna: uczestnicy programu aktywności fizycznej uzyskają po 12 tygodniach niższy średni poziom ciśnienia skurczowego niż uczestnicy grupy kontrolnej.

Wynik główny: ciśnienie skurczowe w mm Hg po 12 tygodniach.

Model: analiza kowariancji, w której wynikiem będzie ciśnienie po 12 tygodniach, a predyktorami grupa oraz wyjściowe ciśnienie skurczowe.

Efekt: skorygowana różnica średnich między grupą programu i kontrolną wraz z 95-procentowym przedziałem ufności.

Braki danych: zostaną opisane według grup; analiza główna zostanie uzupełniona analizą wrażliwości przy założeniu danych brakujących losowo warunkowo.

Analizy dodatkowe: porównania według płci i wieku będą traktowane jako eksploracyjne.

Plan nie musi przewidywać każdego możliwego szczegółu, ale powinien zawierać decyzje, które mogłyby istotnie zmienić wynik lub jego interpretację. Warto unikać sformułowań nieoperacyjnych, takich jak „zastosujemy odpowiednie testy” albo „w razie potrzeby usuniemy wartości odstające”. Należy wskazać, co oznacza „odpowiedni” i według jakiej reguły obserwacja zostanie uznana za odstającą.

Najczęstsze błędy

• Przerejestrowanie po rozpoczęciu analizy. Dokument utworzony po obejrzeniu danych nie pełni już tej samej funkcji co prerejestracja wykonana wcześniej.
• Traktowanie prerejestracji jako gwarancji poprawności. Zły projekt można zarejestrować równie starannie jak dobry. Prerejestracja zwiększa przejrzystość, ale nie zastępuje oceny metodologicznej.
• Brak reguły zakończenia rekrutacji. Wielokrotne sprawdzanie wyników i kończenie badania w dogodnym momencie może zwiększać ryzyko przypadkowych wniosków.
• Niejasne określenie głównego wyniku. Lista kilkunastu „głównych” punktów końcowych utrudnia interpretację i zwiększa problem wielokrotnych porównań.
• Ukrywanie zmian. Odstępstwo od planu nie jest samo w sobie przewinieniem, ale jego zatajenie narusza transparentność.
• Mieszanie analiz konfirmacyjnych i eksploracyjnych. Odkryty po fakcie interesujący wzorzec należy oznaczyć jako nową obserwację, a nie przedstawiać jako wcześniej potwierdzoną hipotezę.
• Nadmierna szczegółowość bez uzasadnienia. Plan powinien być precyzyjny, lecz nie powinien zawierać pozornie technicznych decyzji, których zespół nie potrafi uzasadnić.
• Brak wersjonowania. Bez dat, numerów wersji i historii zmian trudno ustalić, kiedy podjęto daną decyzję.

Jak wdrożyć transparentność w małym projekcie?

1. Najpierw napisz krótki protokół: pytanie, populacja, pomiary, procedury i harmonogram.
2. Następnie przygotuj osobny plan analizy: główny wynik, model, kontrast, braki danych i analizy dodatkowe.
3. Przed rozpoczęciem zbierania danych zarejestruj plan w odpowiednim repozytorium lub rejestrze.
4. Zachowaj kopię dokumentu oraz identyfikator i znacznik czasu.
5. Po zakończeniu badania porównaj raport z prerejestracją.
6. Każde odstępstwo opisz w osobnej tabeli lub akapicie raportu.
7. Wyniki nieplanowane przedstaw jako eksploracyjne i wykorzystaj je do budowania kolejnych hipotez.

W ramach publicznego szkolenia na statystyk.edu.pl warto traktować prerejestrację nie jako formalność, lecz jako ćwiczenie z logicznego projektowania badania. Jeżeli nie potrafimy jasno zapisać, jaki wynik jest główny, kogo analizujemy i jaki kontrast odpowiada hipotezie, prawdopodobnie projekt wymaga doprecyzowania jeszcze przed zebraniem danych.

Co warto zapamiętać?

• Protokół opisuje całe badanie: jego cel, organizację, procedury i podstawowe zasady analizy.
• Prerejestracja zapisuje plan przed poznaniem wyników i pomaga odróżnić analizy konfirmacyjne od eksploracyjnych.
• Plan analizy statystycznej uszczegóławia, jak dane zostaną przygotowane, modelowane i raportowane.
• Przejrzystość nie polega na zakazie zmian, lecz na ich dokumentowaniu i ujawnianiu.
• Warto wcześniej określić główny punkt końcowy, populację analityczną, regułę zakończenia rekrutacji, postępowanie z brakami danych i sposób raportowania efektu.
• Istotność statystyczna nie zastępuje oceny wielkości efektu, przedziału ufności ani znaczenia praktycznego.
• Analiza eksploracyjna może być cenna, ale nie powinna być przedstawiana jako wynik wcześniej potwierdzonej hipotezy.

\n

Źródła i dalsza lektura

\n

1. Brian A. Nosek, Jeffrey R. Spies, Matt Motyl (2018). The Preregistration Revolution. Proceedings of the National Academy of Sciences of the United States of America, 115(11), 2600–2606. DOI: 10.1073/pnas.1708274114.
2. An-Wen Chan, Jennifer M. Tetzlaff, Douglas G. Altman, et al. (2013). SPIRIT 2013 Explanation and Elaboration: Guidance for Protocols of Clinical Trials. The BMJ, 346, e7586. DOI: 10.1136/bmj.e7586.
3. Kenneth F. Schulz, Douglas G. Altman, David Moher, for the CONSORT Group (2010). CONSORT 2010 Statement: Updated Guidelines for Reporting Parallel Group Randomised Trials. The BMJ, 340, c332. DOI: 10.1136/bmj.c332.
4. Douglas G. Altman, Kenneth F. Schulz, David Moher, et al. (2010). CONSORT 2010 Explanation and Elaboration: Updated Guidelines for Reporting Parallel Group Randomised Trials. The BMJ, 340, c869. DOI: 10.1136/bmj.c869.
5. U.S. Food and Drug Administration (2022). Multiple Endpoints in Clinical Trials: Guidance for Industry. U.S. Food and Drug Administration. Źródło.

\n