040. Od protokołu do publikacji – jak zachować zgodność między planem a raportem?
Między zatwierdzonym protokołem badania a opublikowanym artykułem powinna istnieć możliwa do prześledzenia ciągłość. Protokół określa, co badacze zamierzają zrobić, natomiast publikacja pokazuje, co rzeczywiście wykonano, jakie dane uzyskano i jak je zinterpretowano. Zgodność nie oznacza jednak, że w badaniu nie wolno niczego zmienić. Oznacza raczej, że każda istotna zmiana jest rozpoznana, uzasadniona, datowana i odpowiednio przedstawiona w raporcie.
Problem ten ma znaczenie zarówno dla rzetelności naukowej, jak i dla oceny wiarygodności wyników. Czytelnik powinien móc odróżnić hipotezę zaplanowaną przed zebraniem danych od interpretacji sformułowanej dopiero po ich obejrzeniu. Właśnie dlatego w publicznym szkoleniu na statystyk.edu.pl tak ważne jest przejście całej ścieżki: od pytania badawczego i protokołu, przez realizację projektu, aż do transparentnego raportu.
1. Co oznacza zgodność między protokołem a publikacją?
Zgodność protokołu z raportem to zgodność dotycząca przede wszystkim celu badania, populacji, interwencji lub ekspozycji, punktów końcowych, sposobu pomiaru, czasu obserwacji, planu analizy oraz sposobu przedstawienia wyników. Nie chodzi o mechaniczne przepisanie protokołu do artykułu. Publikacja jest krótszym dokumentem, ale powinna zachować sens metodologiczny pierwotnego planu.
W badaniu interwencyjnym protokół powinien na przykład określać główny punkt końcowy, sposób randomizacji, grupy porównawcze, liczebność próby, zasady postępowania z brakami danych oraz plan analizy. SPIRIT 2013 wskazuje, że protokół powinien zawierać między innymi wersję dokumentu, datę, cele, kryteria kwalifikacji, interwencje, punkty końcowe, plan liczebności próby i plan analizy statystycznej (Chan et al., 2013).
W badaniu obserwacyjnym analogiczna zgodność obejmuje pytanie badawcze, definicję ekspozycji i wyniku, kryteria doboru uczestników, źródła danych, zmienne zakłócające oraz zaplanowane metody analizy. Dla takich badań pomocna jest deklaracja STROBE, która porządkuje wymagania dotyczące raportowania badań kohortowych, kliniczno-kontrolnych i przekrojowych (von Elm et al., 2007).
Protokół, plan analizy i raport – trzy różne dokumenty
W praktyce warto rozróżniać trzy poziomy dokumentacji:
- Protokół opisuje pełny zamysł badania i sposób jego realizacji.
- Plan analizy statystycznej uszczegóławia operacje wykonywane na danych: definicje populacji analitycznych, modele, kontrasty, sposoby postępowania z brakami danych i analizy dodatkowe.
- Raport lub publikacja przedstawia wykonane badanie, wyniki oraz ich ograniczenia w formie dostosowanej do czasopisma lub odbiorców.
Dokumenty te nie muszą mieć identycznej objętości. Muszą jednak być ze sobą logicznie powiązane. Jeśli w protokole zapisano, że głównym wynikiem będzie zmiana ciśnienia skurczowego po 12 tygodniach, a artykuł jako główny wynik przedstawia odsetek osób osiągających określony próg ciśnienia, należy wyjaśnić, kiedy i dlaczego zmieniono definicję wyniku.
2. Dlaczego zgodność jest problemem metodologicznym?
Po zakończeniu zbierania danych badacze znają już rozkłady zmiennych, liczebność grup, wyniki testów i wielkości efektów. Wiedza ta może nieświadomie wpływać na wybór analiz i sposób narracji. Jeżeli spośród wielu zaplanowanych punktów końcowych szczególnie eksponuje się tylko te, które osiągnęły istotność statystyczną, powstaje ryzyko selektywnego raportowania wyników.
Selektywne raportowanie może dotyczyć nie tylko pomijania całych wyników. Może obejmować także:
- zamianę wyniku głównego i drugorzędowego;
- zmianę czasu pomiaru, na przykład z 12 na 8 tygodni;
- wybór korzystniejszej podgrupy uczestników;
- prezentowanie tylko jednego z kilku sposobów analizy;
- pomijanie niekorzystnych zdarzeń niepożądanych;
- zmianę modelu statystycznego bez wyjaśnienia;
- formułowanie hipotezy po analizie tak, jakby była zaplanowana wcześniej.
Badania porównujące protokoły z publikacjami wykazały, że niekompletne i wybiórcze raportowanie wyników występuje w praktyce. W jednym z badań istotne wyniki dotyczące skuteczności częściej były raportowane kompletnie niż wyniki nieistotne, co wskazuje na ryzyko zniekształcenia obrazu dowodów naukowych (Chan et al., 2004). W innym badaniu pierwotne punkty końcowe różniły się między protokołami a publikacjami w znacznej części analizowanych prób (Chan et al., 2004b).
Nie oznacza to, że każda rozbieżność jest oszustwem. Zmiany mogą wynikać z problemów z pomiarem, zmian organizacyjnych, nowych informacji o bezpieczeństwie, niedostępności określonego narzędzia albo decyzji regulatora czy komisji bioetycznej. Kluczowe jest jednak to, aby rozbieżność nie została ukryta.
3. Jak zbudować ścieżkę identyfikowalności badania?
Identyfikowalność oznacza możliwość prześledzenia, skąd pochodzi każda istotna decyzja metodologiczna i wynik przedstawiony w publikacji. Najprostszym narzędziem jest tabela zgodności.
| Element | Protokół | Wykonanie | Publikacja | Wyjaśnienie rozbieżności |
|---|---|---|---|---|
| Główny punkt końcowy | Zmiana wyniku po 12 tygodniach | Pomiar wykonano w 12. tygodniu | Raportowano zmianę po 12 tygodniach | Brak |
| Populacja analityczna | Intention-to-treat | Uwzględniono wszystkich zrandomizowanych | Analiza główna ITT | Analiza per-protocol jako dodatkowa |
| Model | ANCOVA z wartością wyjściową | Model zastosowano | Opisano w metodach | Brak |
| Analiza podgrup | Wiek i płeć | Wykonano także analizę według ośrodka | Ośrodek pokazano jako eksploracyjny | Dodano po ocenie heterogeniczności |
Tabela nie zastępuje protokołu, ale pozwala wykryć różnice przed złożeniem manuskryptu. Powinna obejmować co najmniej: cele, hipotezy, populację, liczebność próby, zmienne, punkty końcowe, terminy pomiarów, populacje analityczne, metody statystyczne, analizy podgrup, sposób prezentacji braków danych i zdarzenia niepożądane.
Wersjonowanie dokumentów
Każda wersja protokołu i planu analizy powinna mieć numer, datę oraz krótką informację o zmianach. Przykładowo: „Protokół wersja 2.0, 14 marca 2026 r. – zmiana definicji drugorzędowego punktu końcowego po konsultacji z komisją bioetyczną”. Nie należy nadpisywać starych wersji bez pozostawienia archiwum.
Jeżeli badanie jest zarejestrowane w publicznym rejestrze, numer rejestracyjny i podstawowe informacje powinny być zgodne z protokołem oraz publikacją. ICMJE podkreśla znaczenie prospektywnej rejestracji badań interwencyjnych oraz konieczność wyjaśniania rozbieżności między rejestrem a artykułem.
4. Jak postępować ze zmianą planu?
Zmiana planu powinna przejść przez cztery etapy:
- Rozpoznanie zmiany – należy dokładnie opisać, co różni się od pierwotnego planu.
- Uzasadnienie – trzeba wskazać przyczynę, na przykład problem z jakością pomiaru, zmianę dostępności narzędzia lub względy bezpieczeństwa.
- Ocena momentu zmiany – należy ustalić, czy decyzję podjęto przed rozpoczęciem analizy wyników, czy po jej rozpoczęciu.
- Raportowanie – w publikacji należy odróżnić analizę zaplanowaną od zmodyfikowanej i eksploracyjnej.
Ważne jest rozróżnienie między analizą potwierdzającą a analizą eksploracyjną. Analiza potwierdzająca odpowiada na pytanie określone przed obejrzeniem wyników. Analiza eksploracyjna może być bardzo cenna, ale służy przede wszystkim generowaniu hipotez. Nie powinna być przedstawiana tak, jakby jej wynik był pierwotnie przewidzianym testem hipotezy.
Przykładowo, jeśli protokół przewidywał analizę wpływu interwencji na lęk, a po zakończeniu badania badacze analizują dodatkowo jakość snu, nie ma potrzeby usuwać tej analizy. Należy jednak oznaczyć ją jako dodatkową lub eksploracyjną oraz zachować ostrożność w interpretacji.
5. Jak raportować wyniki zgodnie z projektem?
W badaniach randomizowanych pomocna jest deklaracja CONSORT 2010. Obejmuje ona między innymi sposób przedstawienia uczestników, randomizacji, liczebności analizowanych grup, wyników dla wszystkich zaplanowanych punktów końcowych oraz przepływu uczestników przez badanie (Schulz et al., 2010). Schemat przepływu nie jest ozdobnikiem. Umożliwia ocenę, ile osób zakwalifikowano, ile przydzielono do grup, ile utracono z obserwacji i ile uwzględniono w analizie.
Raport powinien wyraźnie rozdzielać:
- metody zaplanowane – co miało zostać wykonane;
- metody wykonane – co rzeczywiście wykonano;
- wyniki główne – odpowiedzi na podstawowe pytanie badawcze;
- wyniki dodatkowe – analizy drugorzędowe, podgrupowe lub eksploracyjne;
- odstępstwa i ograniczenia – elementy, które mogą wpływać na interpretację.
Wynik statystyczny powinien być przedstawiany razem z wielkością efektu i miarą niepewności, na przykład przedziałem ufności. Wartość p nie jest prawdopodobieństwem prawdziwości hipotezy zerowej ani prawdopodobieństwem, że wynik powstał „przypadkiem”. Informuje o zgodności danych z określonym modelem i założeniami przy założeniu hipotezy zerowej. O znaczeniu wyniku decydują także wielkość efektu, precyzja oszacowania, jakość badania oraz znaczenie praktyczne.
Dla zmiany średniego ciśnienia skurczowego można zastosować model:
Yi,12 = β0 + β1Gi + β2Yi,0 + εi
- Yi,12 – wynik ciśnienia skurczowego u osoby i po 12 tygodniach;
- Gi – przynależność do grupy, na przykład 0 dla kontroli i 1 dla interwencji;
- Yi,0 – wartość wyjściowa ciśnienia;
- β1 – różnica między grupami po uwzględnieniu wartości wyjściowej;
- β0 – wyraz wolny modelu;
- β2 – współczynnik związany z wartością wyjściową;
- εi – składnik resztowy, czyli część zmienności niewyjaśniona przez model.
Jeżeli protokół zapowiadał analizę ANCOVA, a publikacja przedstawia wyłącznie test różnicy średnich bez korekty o wartość wyjściową, nie musi to automatycznie oznaczać, że analiza jest błędna. Jest to jednak rozbieżność wymagająca wyjaśnienia, zwłaszcza gdy zmiana modelu wpływa na wynik lub precyzję oszacowania.
6. Przykład praktyczny: program edukacyjny dla pacjentów z nadciśnieniem
Załóżmy, że w badaniu randomizowanym oceniano sześciotygodniowy program edukacyjny dla pacjentów z nadciśnieniem. W protokole określono:
- główny punkt końcowy: zmiana skurczowego ciśnienia tętniczego po 12 tygodniach;
- drugorzędowe punkty końcowe: adherencja do leczenia i liczba wizyt w poradni;
- analizę główną: intention-to-treat;
- model: ANCOVA z korektą o wartość wyjściową;
- analizy podgrupowe: płeć i wiek, wyłącznie jako analizy dodatkowe.
Po zakończeniu badania okazało się, że część uczestników nie miała pomiaru w 12. tygodniu, ale miała pomiar w 8. tygodniu. Badacze mogliby zastąpić główny punkt końcowy wynikiem z 8. tygodnia, ponieważ w tej analizie różnica między grupami jest większa. Byłoby to jednak niedopuszczalne bez odpowiedniego wyjaśnienia.
Rzetelne postępowanie obejmuje trzy działania. Po pierwsze, analiza główna pozostaje zgodna z protokołem i wykorzystuje wynik z 12. tygodnia, z jasno opisanym postępowaniem wobec braków danych. Po drugie, wynik z 8. tygodnia można przedstawić jako analizę dodatkową, jeśli ma uzasadnienie kliniczne. Po trzecie, artykuł powinien wskazać, że analiza 8. tygodnia nie była główną analizą potwierdzającą.
Jeżeli natomiast narzędzie do pomiaru adherencji okazało się niewiarygodne, można zmienić sposób analizy. Trzeba wtedy opisać problem, podać moment decyzji, wskazać nową definicję zmiennej i omówić, czy zmiana mogła wpłynąć na wynik.
7. Przykład z psychologii i nauk społecznych
W badaniu dotyczącym stresu zawodowego pielęgniarek zaplanowano badanie podłużne z pomiarem stresu na początku oraz po trzech miesiącach. Główną hipotezą była zmiana średniego wyniku w kwestionariuszu stresu po szkoleniu z zakresu radzenia sobie.
Po analizie danych badacze zauważyli, że efekt jest wyraźniejszy wśród osób pracujących na oddziałach ratunkowych niż na innych oddziałach. Mogą przedstawić ten wynik jako analizę podgrupową, lecz nie powinni pisać, że szkolenie „działało tylko na ratowników”, jeśli podział według miejsca pracy nie był wcześniej zaplanowany i nie przeprowadzono formalnego testu interakcji.
Poprawny opis mógłby brzmieć: „W analizie eksploracyjnej zaobserwowano większą różnicę średnich w grupie osób pracujących na oddziałach ratunkowych. Wynik ten wymaga potwierdzenia w badaniu zaprojektowanym do oceny moderującej roli środowiska pracy”. Taki język nie ukrywa interesującej obserwacji, ale nie nadaje jej większej mocy dowodowej, niż wynika z projektu.
8. Najczęstsze błędy
- Przepisywanie protokołu bez sprawdzenia wykonania. Raport może wtedy opisywać plan, a nie rzeczywisty przebieg badania.
- Zmiana głównego punktu końcowego bez informacji. Jest to szczególnie problematyczne, gdy nowy punkt końcowy daje korzystniejszy wynik.
- Ukrywanie analiz eksploracyjnych. Analiza pochodząca z późniejszego pomysłu nie powinna być opisywana jako pierwotnie zaplanowana.
- Raportowanie wyłącznie wartości p. Taki zapis nie pokazuje wielkości efektu ani jego precyzji.
- Pomijanie wyników nieistotnych statystycznie. Brak istotności nie jest powodem do usunięcia wyniku z raportu.
- Brak informacji o brakach danych i utracie uczestników. Czytelnik nie może wtedy ocenić kompletności analiz.
- Traktowanie wytycznych raportowania jak podręcznika analizy. CONSORT i STROBE pomagają raportować badanie, ale nie zastępują właściwego projektu ani planu statystycznego.
- Nieodróżnianie błędu protokołu od odstępstwa od protokołu. Jeśli nie wykonano zaplanowanej procedury, trzeba określić konsekwencje dla analizy i interpretacji.
9. Lista kontrolna przed złożeniem publikacji
- Czy tytuł i cel artykułu odpowiadają rzeczywistemu projektowi?
- Czy główny punkt końcowy jest taki sam w protokole, rejestrze, planie analizy i publikacji?
- Czy opisano wszystkie istotne odstępstwa?
- Czy wiadomo, które analizy były potwierdzające, a które eksploracyjne?
- Czy populacja analizowana odpowiada populacji zaplanowanej?
- Czy przedstawiono liczebności, braki danych i utratę z obserwacji?
- Czy raport zawiera wielkości efektu i przedziały ufności?
- Czy wnioski nie wykraczają poza schemat badania?
- Czy zastosowano odpowiednią wytyczną raportowania, na przykład CONSORT lub STROBE?
- Czy rejestr badania, protokół, suplement i manuskrypt nie zawierają niewyjaśnionych sprzeczności?
Co warto zapamiętać?
- Protokół jest zobowiązaniem metodologicznym, a publikacja powinna pokazywać jego realizację oraz wszystkie ważne odstępstwa.
- Zgodność nie oznacza braku zmian; oznacza przejrzyste dokumentowanie, kiedy, dlaczego i z jakimi konsekwencjami zmieniono plan.
- Największe ryzyko zniekształcenia pojawia się wtedy, gdy wybór punktów końcowych lub analiz zależy od uzyskanych wyników.
- Analizy eksploracyjne są dopuszczalne i często wartościowe, ale należy je odróżnić od analiz potwierdzających.
- Wynik należy raportować razem z wielkością efektu, miarą niepewności, liczebnością i informacją o brakach danych.
- SPIRIT pomaga tworzyć kompletne protokoły, CONSORT raportować badania randomizowane, a STROBE – badania obserwacyjne.
- Najlepszym praktycznym narzędziem kontroli jest tabela zgodności obejmująca protokół, wykonanie, analizę i publikację.
\n
Źródła i dalsza lektura
\n
- Chan, A.-W., Tetzlaff, J. M., Altman, D. G., Laupacis, A., Gøtzsche, P. C., Krleža-Jerić, K., Hróbjartsson, A., Mann, H., Dickersin, K., Berlin, J. A., Doré, C. J., Parulekar, W. R., Summerskill, W. S., Groves, T., Schulz, K. F., Sox, H. C., Rockhold, F. W., Rennie, D., & Moher, D. (2013). SPIRIT 2013 Statement: Defining Standard Protocol Items for Clinical Trials. Annals of Internal Medicine, 158(3), 200–207. DOI: 10.7326/0003-4819-158-3-201302050-00583.
- Chan, A.-W., Tetzlaff, J. M., Altman, D. G., Dickersin, K., Moher, D. (2013). SPIRIT 2013 Explanation and Elaboration: Guidance for Protocols of Clinical Trials. BMJ, 346, e7586. DOI: 10.1136/bmj.e7586.
- Schulz, K. F., Altman, D. G., Moher, D.; CONSORT Group (2010). CONSORT 2010 Statement: Updated Guidelines for Reporting Parallel Group Randomised Trials. BMJ, 340, c332. DOI: 10.1136/bmj.c332.
- Moher, D., Hopewell, S., Schulz, K. F., Montori, V., Gøtzsche, P. C., Devereaux, P. J., Elbourne, D., Egger, M., Altman, D. G. (2010). CONSORT 2010 Explanation and Elaboration: Updated Guidelines for Reporting Parallel Group Randomised Trials. BMJ, 340, c869. DOI: 10.1136/bmj.c869.
- von Elm, E., Altman, D. G., Egger, M., Pocock, S. J., Gøtzsche, P. C., Vandenbroucke, J. P.; STROBE Initiative (2007). The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) Statement: Guidelines for Reporting Observational Studies. PLoS Medicine, 4(10), e296. DOI: 10.1371/journal.pmed.0040296.
- Chan, A.-W., Hróbjartsson, A., Haahr, M. T., Gøtzsche, P. C., & Altman, D. G. (2004). Empirical Evidence for Selective Reporting of Outcomes in Randomized Trials: Comparison of Protocols to Published Articles. JAMA, 291(20), 2457–2465. DOI: 10.1001/jama.291.20.2457.
- Chan, A.-W., Krleža-Jerić, K., Schmid, I., & Altman, D. G. (2004). Outcome Reporting Bias in Randomized Trials Funded by the Canadian Institutes of Health Research. CMAJ, 171(7), 735–740. DOI: 10.1503/cmaj.1041086.
- International Committee of Medical Journal Editors (2026). Clinical Trial Registration. ICMJE Recommendations. International Committee of Medical Journal Editors. Źródło.
\n