012. Replikowalność, reprodukowalność i powtarzalność badań – czym się różnią?

Wynik badania naukowego nie staje się wiarygodny wyłącznie dlatego, że został opublikowany albo osiągnął p < 0,05. Ważne jest również to, czy inni badacze mogą odtworzyć sposób analizy, powtórzyć badanie w podobnych warunkach i uzyskać wyniki zgodne co do kierunku oraz znaczenia. W tym kontekście używa się pojęć: reprodukowalność, replikowalność i powtarzalność. W języku naukowym bywają one stosowane zamiennie, ale takie mieszanie znaczeń utrudnia precyzyjną ocenę dowodów.

W tej lekcji, zgodnie z rozróżnieniem przedstawianym między innymi przez Goodman, Fanelli i Ioannidisa (2016) oraz National Academies of Sciences, Engineering, and Medicine (2019), przyjmiemy następującą konwencję: reprodukowalność dotyczy ponownego uzyskania wyników na podstawie tych samych danych i procedur analitycznych, replikowalność – uzyskania zgodnych wyników w nowym badaniu, a powtarzalność – stabilności pomiaru lub procedury przy wielokrotnym wykonaniu. Warto jednak pamiętać, że nazewnictwo nie jest całkowicie jednolite w różnych dyscyplinach.

Dlaczego te pojęcia są ważne?

Nauka jest przedsięwzięciem kumulatywnym. Kolejne badania powinny móc korzystać z wcześniejszych wyników, sprawdzać je, rozwijać albo ograniczać zakres ich zastosowania. Jeżeli wynik zależy od niedostępnych danych, nieujawnionego kodu, nieprecyzyjnego opisu procedury lub jednorazowego zbiegu okoliczności, inni badacze nie mogą właściwie ocenić jego wiarygodności.

Brak zgodności z wcześniejszym wynikiem nie musi oznaczać oszustwa ani tego, że pierwsze badanie było bezwartościowe. Różnica może wynikać z małej próby, niedostatecznej mocy statystycznej, odmiennej populacji, innej dawki interwencji, zmian kontekstu społecznego albo zwykłej zmienności losowej. Dlatego replikacja jest testem odporności wniosku, a nie mechanicznym egzaminem, który musi zakończyć się identyczną wartością liczbową.

Trzy pojęcia – trzy pytania

Reprodukowalność: czy da się ponownie uzyskać ten sam wynik?

Reprodukowalność oznacza możliwość uzyskania tych samych lub zasadniczo zgodnych wyników po zastosowaniu tych samych danych, kodu, procedur obliczeniowych i reguł analizy. Najczęściej odnosi się do badań obliczeniowych, analiz baz danych, metaanaliz i badań, w których wynik powstaje przez wieloetapowe przetwarzanie informacji.

Przykładowo, zespół publikuje analizę związku między poziomem aktywności fizycznej a ryzykiem hospitalizacji. Jeżeli udostępni plik z danymi, słownik zmiennych, kod analityczny oraz dokładny opis kryteriów wykluczenia, inny badacz może uruchomić tę samą procedurę i sprawdzić, czy otrzyma identyczny współczynnik regresji oraz przedział ufności. Jeżeli wynik się różni, trzeba ustalić, czy przyczyną był błąd w kodzie, inna wersja oprogramowania, brakujące reguły czyszczenia danych czy niewłaściwe odtworzenie analizy.

Reprodukowalność nie dowodzi jeszcze, że wynik jest prawdziwy. Można bowiem wielokrotnie powtórzyć błędną analizę, jeżeli błąd znajduje się w danych albo w kodzie. Reprodukowalność jest więc przede wszystkim warunkiem kontroli i audytu analizy.

Replikowalność: czy nowy zespół uzyska zgodne wyniki?

Replikowalność odnosi się do przeprowadzenia nowego badania, zwykle przez inny zespół, na nowych obserwacjach, ale z wykorzystaniem podobnego pytania badawczego i porównywalnej logiki projektu. Celem nie jest skopiowanie każdej liczby, lecz sprawdzenie, czy zasadniczy wniosek utrzymuje się poza pierwotną próbą.

Replikacja może być bezpośrednia, gdy możliwie wiernie odtwarza oryginalny protokół, albo konceptualna, gdy bada tę samą zależność za pomocą innej operacjonalizacji, populacji lub narzędzia. W psychologii szeroki projekt Open Science Collaboration (2015) objął replikacje wyników ze 100 badań. Autorzy nie sprowadzali oceny do jednego kryterium, lecz porównywali między innymi istotność statystyczną, wielkości efektu i przedziały ufności.

Nie należy twierdzić, że wynik „zreplikował się”, tylko dlatego, że w nowym badaniu uzyskano p < 0,05. Należy ocenić zgodność kierunku efektu, jego wielkości, niepewności oszacowania oraz podobieństwo procedur. Sam fakt, że jedno badanie ma p < 0,05, a drugie p > 0,05, nie wystarcza do stwierdzenia sprzeczności. To częsty błąd nazywany porównywaniem istotności zamiast porównywaniem efektów.

Powtarzalność: czy pomiar lub procedura daje stabilne wyniki?

Powtarzalność oznacza uzyskiwanie podobnych rezultatów przy wielokrotnym zastosowaniu tej samej procedury w tych samych lub bardzo podobnych warunkach. Dotyczy przede wszystkim pomiaru, aparatury, obserwatorów i procedur laboratoryjnych.

W pielęgniarstwie można badać, czy dwie osoby dokonujące pomiaru ciśnienia tętniczego zgodnie z tym samym protokołem uzyskują zbliżone wartości. W diagnostyce laboratoryjnej powtarzalność może oznaczać, że wielokrotna analiza tej samej próbki daje podobne stężenie biomarkera. W badaniach obserwacyjnych można oceniać, czy dwóch koderów niezależnie i zgodnie klasyfikuje dokumentację medyczną według tych samych kategorii.

Powtarzalność jest blisko związana z rzetelnością pomiaru, ale nie jest tym samym co trafność. Waga może wskazywać tę samą masę przy każdym pomiarze, a mimo to systematycznie zawyżać wynik. Pomiar może być zatem powtarzalny, lecz nietrafny.

Porównanie pojęć

Pojęcie	Co pozostaje takie samo?	Co się zmienia?	Główne pytanie
Reprodukowalność	Dane, kod i procedura analizy	Osoba wykonująca analizę lub środowisko obliczeniowe	Czy można uzyskać ten sam wynik z tych samych informacji?
Replikowalność	Pytanie, hipoteza i logika projektu	Próba, czas, miejsce, często także zespół	Czy w nowym badaniu pojawi się zgodny efekt?
Powtarzalność	Procedura pomiaru i warunki	Kolejne pomiary, obserwatorzy lub serie oznaczeń	Czy pomiar jest stabilny przy ponownym wykonaniu?

Co oznacza „zgodny wynik”?

Zgodność wyników nie oznacza identyczności wartości liczbowych. W badaniach empirycznych wyniki podlegają zmienności losowej. Ważniejsze są: kierunek efektu, jego wielkość, precyzja oszacowania oraz zgodność z wcześniej określoną hipotezą.

Jeżeli w badaniu klinicznym różnica średnich wyniosła 4 punkty w skali objawów, a w replikacji 3 punkty, oba wyniki mogą być zgodne, jeżeli przedziały ufności są szerokie i obejmują podobny zakres wartości. Z kolei efekt o przeciwnym kierunku może wskazywać na problem z replikacją, lecz również wymaga sprawdzenia, czy populacje i procedury były rzeczywiście porównywalne.

Nie należy traktować wartości p jako prawdopodobieństwa prawdziwości hipotezy zerowej. Wartość p opisuje zgodność danych z określonym modelem przy założeniu hipotezy zerowej. O replikowalności wniosku lepiej informują między innymi oszacowanie efektu, przedział ufności, moc badania replikacyjnego, prerejestracja i porównanie protokołów.

Przykład praktyczny: interwencja w ratownictwie medycznym

Załóżmy, że zespół badawczy ocenił szkolenie z komunikacji z pacjentem w kryzysie psychicznym. W badaniu pilotażowym uczestniczyło 30 ratowników. Po szkoleniu średni wynik testu wzrósł o 8 punktów, a różnica była statystycznie istotna.

Etap 1: reprodukowalność analizy

Inny badacz otrzymuje anonimowy zbiór danych, codebook i kod w R. Sprawdza, czy prawidłowo obliczono zmianę wyniku, czy uczestnicy z brakami danych byli traktowani zgodnie z protokołem i czy zastosowano zaplanowany test. Jeżeli uzyskuje tę samą średnią różnicę oraz ten sam przedział ufności, analiza jest reprodukowalna.

Etap 2: replikacja badania

Nowy zespół przeprowadza szkolenie w innej stacji pogotowia, obejmując 120 ratowników. Program, test i punkt pomiaru pozostają podobne, ale uczestnicy są inni. Wzrost wynosi średnio 6 punktów. To może być zgodna replikacja, mimo że wynik nie jest identyczny. Jeżeli przedział ufności obejmuje wartości zbliżone do efektu pierwotnego, można uznać, że dane wspierają stabilność wniosku.

Etap 3: powtarzalność pomiaru

Przed analizą trzeba ocenić, czy test wiedzy jest stabilny. Jeżeli ratownicy rozwiązują podobny test dwukrotnie w krótkim odstępie, można zbadać zgodność pomiarów. Przy ocenie zgodności dwóch egzaminatorów można zastosować na przykład współczynnik korelacji wewnątrzklasowej albo analizę zgodności odpowiednią dla rodzaju danych. Wysoka zgodność egzaminatorów nie gwarantuje jednak, że test mierzy rzeczywistą kompetencję komunikacyjną.

Ten przykład pokazuje, że trzy poziomy kontroli dotyczą różnych źródeł niepewności: obliczeń, nowej próby oraz samego pomiaru.

Jak zwiększać wiarygodność badań?

1. Prerejestruj projekt i plan analizy. Zapisz hipotezy, główne wyniki, kryteria wykluczenia i sposób postępowania z brakami danych przed obejrzeniem wyników.
2. Opisuj procedury wystarczająco szczegółowo. Podaj sposób rekrutacji, wersję narzędzia, warunki pomiaru, dawkę interwencji, czas obserwacji i wszystkie istotne odstępstwa od protokołu.
3. Udostępniaj materiały. Tam, gdzie pozwalają na to przepisy i zasady ochrony prywatności, udostępniaj dane, metadane, kod, formularze i materiały badawcze.
4. Stosuj wytyczne raportowania. Dla badań obserwacyjnych przydatny jest STROBE, dla randomizowanych prób klinicznych CONSORT, dla przeglądów systematycznych PRISMA. Biblioteka EQUATOR pomaga dobrać standard do projektu badania.
5. Planuj replikację z odpowiednią mocą. Mała próba może dać niestabilne oszacowanie efektu, nawet jeżeli wynik pierwotny jest statystycznie istotny.
6. Raportuj wyniki niezgodne z hipotezą. Selektywne publikowanie wyłącznie efektów korzystnych dla autora utrudnia ocenę całego korpusu dowodów.

Najczęstsze błędy

• Traktowanie pojęć jako idealnych synonimów. Warto zawsze wyjaśnić, czy autor ma na myśli ponowną analizę tych samych danych, nowe badanie czy stabilność pomiaru.
• Uznawanie braku istotności za dowód braku efektu. Wynik nieistotny statystycznie może wynikać z małej próby lub dużej niepewności.
• Porównywanie samych wartości p. Dwa efekty mogą być zgodne, mimo że tylko jeden przekroczył umowny próg istotności.
• Mylenie powtarzalności z trafnością. Stabilny pomiar może systematycznie mierzyć nie to, co powinien.
• Wnioskowanie o prawdziwości na podstawie jednej replikacji. Pojedyncza zgodna lub niezgodna próba nie rozstrzyga całego problemu.
• Ignorowanie różnic kontekstowych. Replikacja w innej populacji może ujawnić ograniczenia zakresu stosowalności, a nie prostą „porażkę” oryginalnej hipotezy.
• Przekonanie, że dostęp do danych automatycznie zapewnia reprodukowalność. Bez słownika zmiennych, wersji oprogramowania i opisu decyzji analitycznych dane mogą być niewystarczające.

Replikacja a generalizacja

Replikowalność nie jest równoznaczna z generalizowalnością. Badanie może być łatwe do odtworzenia, lecz obejmować wyłącznie wąską grupę uczestników. Można też uzyskać zgodny efekt w dwóch szpitalach, ale nie wiedzieć, czy dotyczy on podstawowej opieki zdrowotnej, innych grup wieku lub innych systemów organizacji świadczeń.

Generalizacja wymaga osobnego uzasadnienia: oceny podobieństwa populacji, warunków, ekspozycji, pomiarów i kontekstu. Wnioski przyczynowe wymagają ponadto odpowiedniego schematu badania i kontroli zakłóceń. Sam fakt, że wynik został zreplikowany, nie upoważnia jeszcze do języka przyczynowego.

Co warto zapamiętać?

• Reprodukowalność dotyczy ponownego uzyskania wyników z tych samych danych i procedur analitycznych.
• Replikowalność dotyczy zgodności wyników w nowym badaniu, zwykle na nowych danych i uczestnikach.
• Powtarzalność dotyczy stabilności pomiaru lub procedury przy wielokrotnym wykonaniu.
• Terminologia może różnić się między dziedzinami, dlatego autor powinien zdefiniować używane pojęcia.
• Zgodność wyników ocenia się na podstawie efektu, przedziału ufności, jakości projektu i podobieństwa procedur, a nie wyłącznie wartości p.
• Brak replikacji nie musi oznaczać błędu lub oszustwa, ale powinien skłonić do analizy różnic w próbie, pomiarze, procedurze i mocy statystycznej.
• Transparentny opis, prerejestracja, udostępnianie materiałów i właściwe wytyczne raportowania zwiększają możliwość niezależnej kontroli.

Najkrócej: reprodukowalność pyta, czy można powtórzyć analizę; replikowalność – czy można powtórzyć badanie na nowych danych; powtarzalność – czy pomiar zachowuje stabilność przy ponownym wykonaniu.

W dalszej części publicznego szkolenia na statystyk.edu.pl te rozróżnienia będą potrzebne do oceny jakości danych, pomiaru, analizy statystycznej i raportowania wyników. Dobra metodologia nie kończy się na uzyskaniu rezultatu; obejmuje także stworzenie warunków, w których inni mogą ten rezultat sprawdzić, zakwestionować albo rozsądnie rozwinąć.

\n

Źródła i dalsza lektura

\n

1. Steven N. Goodman, Daniele Fanelli, John P. A. Ioannidis (2016). What does research reproducibility mean?. Science Translational Medicine, 8(341), 341ps12. DOI: 10.1126/scitranslmed.aaf5027.
2. National Academies of Sciences, Engineering, and Medicine; Committee on Reproducibility and Replicability in Science (2019). Reproducibility and Replicability in Science. The National Academies Press. Źródło.
3. Open Science Collaboration (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. DOI: 10.1126/science.aac4716.
4. Marcus R. Munafò, Brian A. Nosek, Dorothy V. M. Bishop, Katherine S. Button, Christopher D. Chambers, Nathalie Percie du Sert, Uri Simonsohn, Eric-Jan Wagenmakers, Jennifer J. Ware, John P. A. Ioannidis et al. (2017). A manifesto for reproducible science. Nature Human Behaviour, 1, 0021. DOI: 10.1038/s41562-016-0021.
5. EQUATOR Network (2026). Library for health research reporting. EQUATOR Network. Nuffield Department of Orthopaedics, Rheumatology and Musculoskeletal Sciences, University of Oxford. Źródło.

\n