069. HARKing – dlaczego tworzenie hipotez po poznaniu wyników jest problemem?

W poprzednich lekcjach rozróżnialiśmy hipotezy potwierdzające od analiz eksploracyjnych. Dzisiejszy temat dotyczy sytuacji, w której granica między tymi podejściami zostaje zatarta: badacz najpierw analizuje dane, a dopiero później formułuje hipotezę i przedstawia ją w publikacji tak, jakby istniała przed rozpoczęciem badania. Praktykę tę określa się akronimem HARKing, pochodzącym od angielskiego Hypothesizing After the Results are Known, czyli „formułowanie hipotez po poznaniu wyników”.

Samo odkrywanie nieoczekiwanych zależności nie jest błędem. Nauka potrzebuje badań eksploracyjnych, generowania nowych pytań i poszukiwania nieprzewidzianych wzorców. Problem pojawia się wtedy, gdy proces odkrywania zostaje ukryty, a wynik eksploracji zostaje przedstawiony jako wcześniej zaplanowany test hipotezy. Wówczas czytelnik otrzymuje fałszywy obraz przebiegu badania, stopnia przewidywalności wyniku i siły uzyskanego dowodu.

Czym jest HARKing?

Norbert L. Kerr zdefiniował HARKing jako przedstawianie hipotezy post hoc, czyli sformułowanej po poznaniu wyników lub pod ich wpływem, tak jak gdyby była hipotezą aprioryczną, zaplanowaną przed analizą danych (Kerr, 1998). Kluczowy jest więc nie sam moment powstania pomysłu, lecz brak ujawnienia tego momentu.

W typowym badaniu potwierdzającym badacz określa przed zebraniem danych:

• główne pytanie badawcze;
• hipotezę lub hipotezy;
• pierwszorzędny punkt końcowy;
• populację i kryteria kwalifikacji;
• plan analizy statystycznej;
• sposób postępowania z brakami danych i obserwacjami odstającymi.

Jeżeli po obejrzeniu danych badacz zmienia hipotezę, wybiera inny wynik jako najważniejszy albo dodaje nową zależność, powinien opisać tę analizę jako eksploracyjną lub post hoc. Jeśli natomiast opisuje ją jako pierwotną predykcję, dochodzi do HARKing.

HARKing a uczciwa eksploracja

Warto odróżnić trzy sytuacje:

1. Hipoteza potwierdzająca: została określona przed poznaniem danych, a analiza została wykonana zgodnie z wcześniej ustalonym planem.
2. Analiza eksploracyjna: pomysł powstał po obejrzeniu danych; wynik służy do wygenerowania nowej hipotezy, którą należy sprawdzić w przyszłym, niezależnym badaniu.
3. HARKing: hipoteza powstała po poznaniu danych, ale zostaje przedstawiona tak, jakby była sformułowana wcześniej.

Najważniejsza różnica między drugą i trzecią sytuacją dotyczy transparentności. Analiza eksploracyjna może być bardzo wartościowa, ale jej status epistemiczny jest inny niż testu wcześniej określonej hipotezy. W badaniu eksploracyjnym prawdopodobieństwo znalezienia interesującego wzorca jest częściowo związane z liczbą sprawdzanych zmiennych, podgrup, modeli i sposobów kodowania danych.

Dlaczego HARKing jest problemem?

1. Zniekształca ocenę przewidywalności wyniku

Jeżeli czytelnik widzi hipotezę w części wprowadzającej artykułu, zwykle zakłada, że autor miał ją przed rozpoczęciem analizy. Gdy wynik jest zgodny z hipotezą, może uznać go za silniejsze potwierdzenie teorii, niż rzeczywiście stanowi. Hipoteza wygląda na trafną predykcję, chociaż w rzeczywistości była dopasowana do już zaobserwowanego wzorca.

To różnica między zdaniami: „przewidywaliśmy, że X będzie związane z Y” oraz „po analizie danych zauważyliśmy, że X było związane z Y, dlatego proponujemy hipotezę, że…”. Oba zdania mogą odnosić się do tego samego wyniku, ale przekazują inną informację o jego wiarygodności.

2. Zwiększa ryzyko fałszywie dodatnich wniosków

Każda analiza danych wiąże się z pewną przypadkową zmiennością. Jeżeli badacz sprawdza wiele hipotez, zmiennych i podgrup, część wyników może wyglądać interesująco wyłącznie wskutek przypadku. Następnie można zbudować wokół takiego wyniku przekonującą narrację teoretyczną.

W uproszczonym przypadku, gdy wykonuje się 20 niezależnych testów przy poziomie istotności α = 0,05, prawdopodobieństwo uzyskania co najmniej jednego wyniku istotnego statystycznie wynosi:

P(co najmniej jeden wynik istotny) = 1 - (1 - α)m

• α oznacza poziom istotności pojedynczego testu, np. 0,05;
• m oznacza liczbę przeprowadzonych testów;
• całe wyrażenie opisuje prawdopodobieństwo uzyskania przynajmniej jednego wyniku istotnego, jeśli wszystkie hipotezy zerowe są prawdziwe i testy byłyby niezależne.

Dla m = 20 wartość ta wynosi około 0,64. Nie oznacza to, że każdy zestaw 20 testów daje dokładnie 64% ryzyka, ponieważ testy mogą być zależne, a procedura analityczna bardziej złożona. Pokazuje jednak intuicję: im więcej możliwości poszukiwania, tym łatwiej znaleźć wynik, który wygląda przekonująco, choć nie był wcześniej przewidziany.

Nie należy przy tym traktować wartości p jako prawdopodobieństwa prawdziwości hipotezy zerowej. Wartość p opisuje zgodność danych z określonym modelem przy założeniu hipotezy zerowej, a nie prawdopodobieństwo, że hipoteza zerowa jest prawdziwa.

3. Utrudnia replikację

Jeżeli hipoteza została dopasowana do przypadkowego wzorca w jednym zbiorze danych, może nie powtórzyć się w nowej próbie. Kolejne badanie, przeprowadzone zgodnie z „odkrytą” hipotezą, może dać wynik zerowy. Wówczas problemem nie musi być błąd replikacji, lecz to, że pierwsza publikacja pomyliła generowanie hipotezy z jej potwierdzeniem.

HARKing jest więc częścią szerszego problemu przejrzystości badań. W literaturze dotyczącej rzetelności nauki podkreśla się znaczenie prerejestracji, udostępniania planów analiz, rozdzielania predykcji od postdykcji oraz pełniejszego raportowania wyników (Munafò et al., 2017; Nosek et al., 2018).

4. Sprzyja tworzeniu zbyt gładkich narracji

Rzeczywisty proces badawczy jest zwykle niejednoznaczny: niektóre hipotezy nie uzyskują potwierdzenia, część analiz jest nieplanowana, a wyniki bywają sprzeczne. HARKing usuwa tę niepewność z opisu i tworzy narrację, w której teoria od początku prowadziła dokładnie do uzyskanego wyniku. Taki tekst może być łatwiejszy do przeczytania, ale jest mniej informacyjny metodologicznie.

Przykład 1: badanie medyczne

Załóżmy, że zespół analizuje dane 600 pacjentów hospitalizowanych z powodu niewydolności serca. Pierwotnym celem jest sprawdzenie, czy aktywność fizyczna wiąże się z 30-dniowym ryzykiem ponownej hospitalizacji. Badacze mierzą również wiek, płeć, BMI, palenie tytoniu, liczbę chorób współistniejących, poziom hemoglobiny, porę przyjęcia do szpitala i kilka wskaźników laboratoryjnych.

Analiza główna nie wykazuje przekonującego związku między aktywnością fizyczną a ponowną hospitalizacją. Podczas dalszego przeglądania danych zespół zauważa jednak, że pacjenci przyjęci w godzinach nocnych mają niższy odsetek ponownych hospitalizacji. Po dodatkowych analizach związek okazuje się umiarkowany.

Jeżeli autorzy napiszą: „Postawiliśmy hipotezę, że przyjęcie nocne wiąże się z mniejszym ryzykiem ponownej hospitalizacji”, będzie to HARKing, jeśli taka hipoteza nie istniała przed analizą. Prawidłowy opis może brzmieć: „Analiza dotycząca pory przyjęcia była nieplanowana. Wykazała potencjalny związek, który należy traktować jako eksploracyjny”.

W badaniu obserwacyjnym nie należy ponadto automatycznie używać języka przyczynowego. Wynik nie dowodzi, że pora przyjęcia spowodowała mniejsze ryzyko. Możliwe są między innymi różnice w profilu pacjentów, organizacji pracy oddziału, dostępności diagnostyki lub selekcji osób kierowanych do hospitalizacji o określonej porze.

Przykład 2: psychologia i nauki społeczne

Badacz analizuje, czy jakość snu wiąże się z wynikami egzaminu u studentów. Przed rozpoczęciem badania zakłada, że lepszy sen będzie związany z wyższym wynikiem. Oprócz jakości snu zbiera dane o czasie korzystania z mediów społecznościowych, płci, roku studiów, liczbie godzin nauki, lęku egzaminacyjnym i chronotypie.

Po obejrzeniu danych okazuje się, że główny związek jest słaby, natomiast zależność między korzystaniem z mediów społecznościowych a wynikiem jest silniejsza u studentów pierwszego roku niż u studentów lat starszych. Badacz może uczciwie opisać tę obserwację jako wynik eksploracyjny i zaproponować nowe badanie moderacji. Nie powinien jednak przedstawiać interakcji jako pierwotnej hipotezy, jeżeli wcześniej jej nie sformułował.

W tym przykładzie szczególne znaczenie ma liczba możliwych analiz: kilka zmiennych, różne sposoby pomiaru snu, podział studentów na podgrupy oraz możliwość zastosowania wielu modeli regresji. Każda dodatkowa decyzja analityczna może być merytorycznie uzasadniona, ale powinna zostać opisana, zwłaszcza jeśli została podjęta po poznaniu wyników.

Przykład praktyczny: jak poprawić opis badania?

Rozważmy trzy fragmenty raportu:

Wersja problematyczna: „Na podstawie wcześniejszych badań przewidywaliśmy, że pielęgniarki pracujące zmianowo będą miały wyższy poziom wypalenia zawodowego w grupie osób z krótszym stażem pracy”.

Jeżeli badacze sprawdzili wiele możliwych moderatorów, a dopiero po analizie wybrali staż pracy, zdanie to przedstawia wynik eksploracyjny jako predykcję. Lepsza wersja brzmi:

Wersja transparentna: „Hipoteza dotycząca ogólnego związku między pracą zmianową a wypaleniem była określona przed analizą. Zależność różniąca się w zależności od stażu pracy została zauważona post hoc i ma charakter eksploracyjny”.

Jeszcze lepszym rozwiązaniem jest zaplanowanie drugiego badania, w którym moderacja przez staż pracy zostanie określona jako hipoteza główna. Wtedy nowy zbiór danych może służyć do testu potwierdzającego, a nie do ponownego opisywania tego samego odkrycia.

Jak zapobiegać HARKing?

Prerejestracja

Prerejestracja polega na zapisaniu planu badania i analizy przed poznaniem wyników. Nie musi oznaczać niezmiennego dokumentu, którego nie wolno aktualizować. Jej funkcją jest stworzenie punktu odniesienia: czytelnik może sprawdzić, które elementy były zaplanowane, a które pojawiły się później (Nosek et al., 2018).

W prerejestracji warto wskazać przede wszystkim hipotezy, zmienne główne, kryteria wykluczeń, liczebność próby, model statystyczny i sposób oceny braków danych. Zmiany są dopuszczalne, ale powinny być oznaczone i uzasadnione.

Rozdzielenie analiz potwierdzających i eksploracyjnych

W artykule można utworzyć osobne podsekcje: „Analizy potwierdzające” oraz „Analizy eksploracyjne”. To proste rozwiązanie pomaga uniknąć nadinterpretacji. W pierwszej części raportuje się analizy zaplanowane, w drugiej – nowe pytania wynikające z danych.

Pełniejszy zapis decyzji analitycznych

Warto dokumentować między innymi:

• które zmienne były rozważane;
• jakie modele zostały wypróbowane;
• czy analizowano podgrupy;
• czy zmieniano sposób kodowania zmiennych;
• dlaczego wybrano ostateczny model;
• które wyniki są pierwszorzędne, drugorzędne lub eksploracyjne.

W badaniach klinicznych i obserwacyjnych odpowiednie standardy raportowania, takie jak CONSORT dla randomizowanych badań równoległych oraz STROBE dla badań obserwacyjnych, pomagają uporządkować opis projektu, wyników i ograniczeń (Schulz, Altman, & Moher, 2010; von Elm et al., 2007). Nie zastępują one prerejestracji, ale zwiększają przejrzystość publikacji.

Najczęstsze błędy

• Traktowanie każdej hipotezy post hoc jako oszustwa. Samo wygenerowanie hipotezy po analizie jest dopuszczalną częścią eksploracji. Problemem jest jej zatajenie.
• Usuwanie hipotez, które nie uzyskały potwierdzenia. Pominięcie pierwotnie zaplanowanych, lecz niepotwierdzonych hipotez może dawać mylący obraz wyników.
• Używanie wartości p jako dowodu wcześniejszego przewidywania. Niska wartość p nie informuje, czy hipoteza powstała przed analizą.
• Opisywanie eksploracji językiem przyczynowym. Odkryty wzorzec nie staje się przyczynowy tylko dlatego, że został ujęty w przekonującą narrację.
• Mylenie prerejestracji z zakazem uczenia się na danych. Prerejestracja ogranicza niejawne dopasowywanie planu do wyników, ale nie zabrania prowadzenia dodatkowych analiz.
• Przekonanie, że duża próba całkowicie eliminuje HARKing. Większa próba może zwiększać precyzję oszacowań, ale nie usuwa problemu selektywnego wyboru hipotez ani wielu analiz.
• Brak niezależnej replikacji. Hipoteza wygenerowana na podstawie jednego zbioru danych powinna być testowana w nowej próbie, najlepiej z wcześniej określonym planem.

Co warto zapamiętać?

1. HARKing to przedstawianie hipotezy sformułowanej po poznaniu wyników tak, jakby była zaplanowana wcześniej.
2. Nie każda analiza post hoc jest błędem. Uczciwie oznaczona analiza eksploracyjna może prowadzić do wartościowych hipotez.
3. HARKing zniekształca ocenę przewidywalności wyniku i może zwiększać ryzyko fałszywie dodatnich interpretacji.
4. Wartość p nie mówi, czy hipoteza została sformułowana przed analizą, ani czy jest prawdziwa.
5. Najważniejszym zabezpieczeniem jest rozdzielenie analiz potwierdzających od eksploracyjnych oraz transparentne raportowanie zmian względem planu.
6. Hipoteza wygenerowana po obejrzeniu danych powinna być traktowana jako propozycja do sprawdzenia w niezależnym badaniu.

W praktyce metodologicznej dojrzałość nie polega na tym, że badacz zawsze przewiduje właściwy wynik. Polega na tym, że potrafi jasno wskazać, co przewidywał, czego nie przewidywał, jakie decyzje podjął po poznaniu danych oraz jaką rangę dowodową ma każdy z przedstawionych wyników. Takie rozróżnienie jest jednym z fundamentów rzetelnego projektowania badań omawianego w publicznym szkoleniu na statystyk.edu.pl.

\n

Źródła i dalsza lektura

\n

1. Kerr, N. L. (1998). HARKing: Hypothesizing after the results are known. Personality and Social Psychology Review, 2(3), 196–217. DOI: 10.1207/s15327957pspr0203_4.
2. Rubin, M. (2017). When Does HARKing Hurt? Identifying When Different Types of Undisclosed Post Hoc Hypothesizing Harm Scientific Progress. Review of General Psychology, 21(4), 308–320. DOI: 10.1037/gpr0000128.
3. Bosco, F. A., Aguinis, H., Field, J. G., Pierce, C. A., & Dalton, D. R. (2016). HARKing’s Threat to Organizational Research: Evidence From Primary and Meta-Analytic Sources. Personnel Psychology, 69(4), 709–750. DOI: 10.1111/peps.12111.
4. Munafò, M. R., Nosek, B. A., Bishop, D. V. M., Button, K. S., Chambers, C. D., Percie du Sert, N., Simonsohn, U., Wagenmakers, E.-J., Ware, J. J., & Ioannidis, J. P. A. (2017). A manifesto for reproducible science. Nature Human Behaviour, 1, 0021. DOI: 10.1038/s41562-016-0021.
5. Nosek, B. A., Ebersole, C. R., DeHaven, A. C., & Mellor, D. T. (2018). The preregistration revolution. Proceedings of the National Academy of Sciences of the United States of America, 115(11), 2600–2606. DOI: 10.1073/pnas.1708274114.
6. Schulz, K. F., Altman, D. G., Moher, D., & CONSORT Group (2010). CONSORT 2010 Statement: updated guidelines for reporting parallel group randomised trials. Trials. BioMed Central. Źródło.
7. von Elm, E., Altman, D. G., Egger, M., Pocock, S. J., Gøtzsche, P. C., Vandenbroucke, J. P., & STROBE Initiative (2007). The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) statement: guidelines for reporting observational studies. The Lancet. Elsevier. Źródło.

\n