339. p-hacking – jak powstaje i jak go ograniczać?

Lekcja 339 z 560. P-hacking należy do najważniejszych zagrożeń dla wiarygodności wnioskowania statystycznego. Nie oznacza wyłącznie jawnego fałszowania danych. Częściej powstaje wskutek wielu pozornie rozsądnych decyzji podejmowanych po obejrzeniu wyników: wyboru korzystnej zmiennej zależnej, dodatkowej analizy podgrup, zmiany sposobu kodowania obserwacji albo zakończenia rekrutacji dokładnie wtedy, gdy wartość p spadnie poniżej 0,05. Pojedyncza decyzja może wydawać się niewinna, ale ich kumulacja zwiększa ryzyko fałszywego odkrycia.

W tej lekcji uporządkujemy pojęcia, pokażemy mechanizm powstawania p-hackingu i omówimy sposoby jego ograniczania. Zagadnienie rozwija wcześniejsze lekcje kursu na statystyk.edu.pl dotyczące błędu I rodzaju, mocy, wielokrotnego testowania i korekt dla wielu porównań.

Czym jest p-hacking?

P-hacking to wykorzystywanie elastyczności decyzji badawczych w taki sposób, aby zwiększyć szansę uzyskania wyniku uznanego za „istotny statystycznie”, zwykle przy kryterium p < 0,05. Elastyczność może dotyczyć planowania badania, zbierania danych, przygotowania zbioru, wyboru modelu statystycznego, definiowania punktu końcowego lub sposobu prezentacji wyników.

Nie każda analiza wykonana po obejrzeniu danych jest błędem. Analizy eksploracyjne są wartościową częścią nauki, jeżeli zostaną opisane jako eksploracyjne, a nie przedstawione tak, jakby były wcześniej zaplanowanym testem potwierdzającym. Problem pojawia się wtedy, gdy badacz korzysta z informacji uzyskanej z danych, ale nie ujawnia tego faktu i interpretuje wynik tak, jakby pochodził z jednego, wcześniej określonego testu.

P-hacking należy odróżnić od oszustwa naukowego. Oszustwo obejmuje między innymi fabrykowanie lub fałszowanie danych. P-hacking może wystąpić bez zmiany żadnej obserwacji i bez intencji oszukania kogokolwiek. Jest jednak praktyką problematyczną, ponieważ zniekształca częstość błędów statystycznych i może prowadzić do nadmiernie optymistycznych wniosków.

Dlaczego p-hacking zwiększa ryzyko fałszywych odkryć?

W klasycznym pojedynczym teście, przy prawdziwej hipotezie zerowej i założonym poziomie istotności α = 0,05, prawdopodobieństwo odrzucenia prawdziwej hipotezy zerowej wynosi 5%. Jest to definicja błędu I rodzaju w danym schemacie testowym. Nie oznacza to, że w każdym badaniu istnieje dokładnie 5% szansy na błąd, ponieważ rzeczywiste ryzyko zależy od procedury, liczby testów i sposobu podejmowania decyzji.

Jeżeli wykonujemy wiele niezależnych testów, prawdopodobieństwo uzyskania co najmniej jednego wyniku p < 0,05 wynosi:

P(co najmniej jeden wynik istotny) = 1 − (1 − α)m

• α – poziom istotności pojedynczego testu, na przykład 0,05;
• m – liczba niezależnych testów;
• P – prawdopodobieństwo uzyskania przynajmniej jednego wyniku uznanego za istotny.

Dla 20 niezależnych testów i α = 0,05 otrzymujemy około 0,64, czyli około 64% szans na co najmniej jeden wynik istotny, mimo że wszystkie hipotezy zerowe są prawdziwe. W praktyce testy często nie są niezależne, ale intuicja pozostaje ważna: im więcej ścieżek analitycznych, tym większa możliwość znalezienia przypadkowego „sukcesu”.

Simmons, Nelson i Simonsohn pokazali, że elastyczność w doborze liczebności próby, zmiennych i warunków eksperymentalnych może znacząco zwiększyć częstość wyników fałszywie dodatnich (Simmons, Nelson, & Simonsohn, 2011). Z kolei Head i współautorzy opisali p-hacking jako problem związany nie tylko z pojedynczym badaczem, lecz także z systemem publikowania, w którym wyniki przekraczające próg istotności mogą być łatwiej zauważane i publikowane (Head et al., 2015). ([doi.org])

Jak p-hacking powstaje?

Wielokrotne testowanie bez ujawnienia

Badacz może analizować kilka punktów końcowych, wiele grup, różne momenty pomiaru i kilka modeli statystycznych, a następnie zaprezentować tylko wynik z najmniejszą wartością p. Każda analiza z osobna może być technicznie poprawna, ale końcowy komunikat „stwierdziliśmy istotny efekt” pomija fakt, że przeanalizowano także wiele wyników nieistotnych.

Opcjonalne zatrzymywanie lub przedłużanie rekrutacji

W badaniu prowadzonym sekwencyjnie badacz może sprawdzać wyniki po każdej kolejnej grupie uczestników. Jeżeli kończy rekrutację po uzyskaniu p < 0,05, a kontynuuje ją po wyniku nieistotnym, rzeczywisty poziom błędu I rodzaju jest większy niż deklarowany. Nie chodzi o samo monitorowanie danych, lecz o brak wcześniej określonej procedury i selektywne podejmowanie decyzji.

Wybór korzystnej definicji zmiennej

W badaniu zdrowia psychicznego można analizować wynik ciągły, jego zmianę względem wartości wyjściowej, odsetek osób poprawionych o 5 punktów, odsetek osób spełniających kryterium odpowiedzi albo czas do poprawy. Wszystkie te miary mogą być merytorycznie uzasadnione, ale wybór tej, która daje p < 0,05, bez wcześniejszego planu, zwiększa ryzyko selektywnego raportowania.

Usuwanie obserwacji po obejrzeniu wyników

Wykluczenie obserwacji może być zasadne, gdy wynika z obiektywnego kryterium, na przykład naruszenia protokołu lub awarii urządzenia. Jest problemem, gdy kryterium zostaje sformułowane dopiero po sprawdzeniu, które obserwacje wzmacniają lub osłabiają efekt. W takiej sytuacji analiza staje się zależna od wyniku.

HARKing i zmiana statusu hipotezy

HARKing oznacza przedstawianie hipotezy sformułowanej po zapoznaniu się z wynikami tak, jakby była hipotezą a priori. Samo generowanie hipotez na podstawie danych jest dopuszczalne i często potrzebne, ale powinno być wyraźnie odróżnione od potwierdzania wcześniej zarejestrowanych przewidywań.

Przykład 1: badanie kliniczne

Załóżmy, że zespół ocenia program edukacyjny dla pacjentów z nadciśnieniem. W protokole zapisano, że głównym punktem końcowym będzie skurczowe ciśnienie tętnicze po 12 tygodniach. Po zakończeniu badania zespół analizuje jednak również rozkurczowe ciśnienie, masę ciała, liczbę pominiętych dawek, jakość życia, wynik wiedzy zdrowotnej oraz wizyty na oddziale ratunkowym. Dla każdego wyniku sprawdza różnice po 4, 8 i 12 tygodniach, a następnie analizuje kilka podgrup.

Jeżeli w jednym z tych zestawień otrzymano p = 0,031, a pozostałe wyniki były nieistotne, publikacja wyłącznie tego rezultatu tworzy obraz silniejszego i bardziej jednoznacznego efektu, niż wynikałoby to z pełnego zbioru analiz. Szczególnie problematyczne byłoby nazwanie tego wyniku „głównym rezultatem”, mimo że wcześniej nim nie był.

W badaniach randomizowanych pomocne są publicznie dostępny protokół, rejestracja badania, plan analizy statystycznej i raportowanie wszystkich zaplanowanych punktów końcowych. CONSORT podkreśla znaczenie przejrzystego opisu wyników, populacji analizowanej i odstępstw od pierwotnego planu (Schulz, Altman, & Moher, 2010; Moher et al., 2010). ([pmc.ncbi.nlm.nih.gov])

Przykład 2: psychologia i wiele decyzji analitycznych

Badacz sprawdza, czy krótka interwencja mindfulness poprawia koncentrację studentów. Ma 80 osób, dwa warunki i test uwagi. Po analizie okazuje się, że wynik całkowity nie różni się istotnie między grupami. Badacz analizuje więc osobno szybkość reakcji, liczbę błędów, trzy podskale kwestionariusza, tylko osoby obecne na wszystkich zajęciach oraz osobno kobiety i mężczyzn. Następnie sprawdza jeszcze, czy efekt występuje tylko u osób z wysokim początkowym poziomem stresu.

Jeżeli któraś z tych analiz daje p = 0,047, można napisać, że „interwencja poprawiła szybkość reakcji w określonej podgrupie”, ale nie wolno bez dodatkowych wyjaśnień sugerować, że był to podstawowy, potwierdzony wynik badania. Właściwa interpretacja powinna wskazać, że była to analiza dodatkowa lub eksploracyjna i że jej wynik wymaga replikacji.

Badanie Johna, Loewensteina i Preleca pokazało, że badacze mogą angażować się w praktyki wątpliwe metodologicznie, niekoniecznie postrzegając je jako oszustwo. To ważne, ponieważ ograniczanie p-hackingu powinno opierać się nie tylko na kontroli, ale również na tworzeniu procedur ułatwiających uczciwe raportowanie niepewności (John, Loewenstein, & Prelec, 2012). ([pubmed.ncbi.nlm.nih.gov])

Jak ograniczać p-hacking?

1. Prerejestracja hipotez i planu analizy

Prerejestracja powinna określać pytanie badawcze, główny punkt końcowy, sposób kodowania zmiennych, populację analizowaną, model statystyczny, reguły postępowania z brakami danych oraz planowane analizy dodatkowe. Nie blokuje ona późniejszych analiz, lecz pozwala odróżnić wyniki potwierdzające od eksploracyjnych.

2. Rozdzielenie analiz potwierdzających i eksploracyjnych

W artykule należy jasno oznaczyć, które hipotezy były określone przed analizą danych, a które pojawiły się później. Analiza eksploracyjna nie jest „gorsza”. Jej status oznacza po prostu, że wynik służy do generowania hipotez i powinien być oceniony w kolejnym badaniu lub w replikacji.

3. Ustalenie jednego głównego punktu końcowego

Jeżeli badanie ma kilka ważnych celów, należy określić ich hierarchię albo zastosować odpowiednią procedurę kontroli wielokrotnego testowania. Można wskazać jeden punkt główny, a pozostałe oznaczyć jako drugorzędowe. W przypadku wielu hipotez trzeba rozważyć między innymi korektę Bonferroniego, metodę Holma lub kontrolę odsetka fałszywych odkryć.

4. Raportowanie wszystkich zaplanowanych analiz

Raport powinien zawierać nie tylko wyniki istotne statystycznie, lecz także wyniki nieistotne, liczebności, wielkości efektu i przedziały ufności. W badaniu klinicznym warto pokazać różnice między analizą zgodną z planem a analizami dodatkowymi. Brak istotności nie jest dowodem braku efektu, dlatego nie należy zastępować wartości p oceną wielkości i precyzji efektu.

5. Udostępnianie danych, kodu i materiałów

Udostępnienie danych, słownika zmiennych, kodu analitycznego i materiałów badawczych ułatwia kontrolę obliczeń oraz replikację. Nie zawsze można udostępnić dane indywidualne, zwłaszcza w badaniach medycznych. Wtedy warto udostępnić kod, dane zagregowane, opis ograniczeń dostępu i procedurę uzyskania danych przez uprawnionych badaczy.

6. Ślepa analiza danych

W niektórych projektach można analizować dane z zamaskowanym oznaczeniem grup, na przykład jako A i B, do czasu zatwierdzenia decyzji dotyczących przygotowania danych. Ogranicza to wpływ oczekiwań badacza na wybór obserwacji, transformacji i modelu.

7. Replikacja i ostrożna interpretacja

Pojedynczy wynik p < 0,05 nie powinien być traktowany jako rozstrzygający dowód. Wiarygodność zwiększają zgodność z hipotezą, sens biologiczny lub psychologiczny, odpowiednia precyzja, spójność z wcześniejszymi badaniami oraz niezależna replikacja.

Najczęstsze błędy

• Traktowanie progu 0,05 jak przełącznika prawdy. Wynik p = 0,049 nie jest jakościowo innym odkryciem niż p = 0,051.
• Raportowanie tylko korzystnych wyników. Czytelnik powinien wiedzieć, ile analiz wykonano i które były zaplanowane.
• Uznawanie analizy eksploracyjnej za potwierdzającą. Późniejsza hipoteza może być cenna, ale wymaga właściwego oznaczenia.
• Wybór modelu na podstawie najmniejszej wartości p. Model powinien wynikać z projektu, skali pomiaru, założeń i pytania badawczego.
• Usuwanie wartości odstających bez reguły. Należy przedstawić kryterium wykluczenia i, jeżeli to możliwe, analizę wrażliwości.
• Mylenie braku istotności z brakiem efektu. Potrzebne są oszacowanie efektu i przedział ufności.
• Automatyczne utożsamianie prerejestracji z gwarancją jakości. Prerejestracja ogranicza niektóre formy elastyczności, ale nie zastępuje dobrego projektu, kontroli jakości danych i transparentnego raportowania.

Przykład praktyczny: jak opisać wynik uczciwie?

W badaniu oceniającym aplikację przypominającą o przyjmowaniu leków zaplanowano główną analizę odsetka dawek przyjętych prawidłowo po 3 miesiącach. Wynik wyniósł 72% w grupie aplikacji i 68% w grupie kontrolnej, a przedział ufności dla różnicy obejmował zarówno niewielką korzyść, jak i brak korzyści. Analiza główna była nieistotna statystycznie.

Po analizie zespół znalazł istotną różnicę w podgrupie osób poniżej 40. roku życia. Poprawny opis może brzmieć: „W analizie głównej nie stwierdzono przekonujących dowodów różnicy między grupami. W analizie eksploracyjnej zaobserwowano większą zgodność w podgrupie młodszych uczestników; wynik ten nie był głównym punktem końcowym i wymaga potwierdzenia”.

Niepoprawny opis brzmiałby: „Aplikacja poprawia przestrzeganie zaleceń, szczególnie u młodszych pacjentów”, jeżeli podgrupa i sposób analizy nie były określone przed rozpoczęciem badania. Różnica dotyczy nie tylko stylu. Pierwsza wersja zachowuje zgodność między projektem a wnioskiem, druga może zawyżać pewność i znaczenie praktyczne odkrycia.

Co warto zapamiętać?

1. P-hacking polega na wykorzystywaniu elastyczności decyzji badawczych w celu uzyskania lub wyeksponowania istotnego wyniku.
2. Nie każda analiza po obejrzeniu danych jest błędem, ale każdą taką analizę trzeba oznaczyć jako eksploracyjną.
3. Wielokrotne testowanie, opcjonalne zatrzymywanie rekrutacji, selektywne wykluczanie obserwacji i wybór korzystnego punktu końcowego zwiększają ryzyko fałszywych odkryć.
4. Wartość p nie jest prawdopodobieństwem prawdziwości hipotezy zerowej ani miarą wielkości efektu.
5. Najważniejsze zabezpieczenia to prerejestracja, plan analizy, rozróżnianie analiz potwierdzających i eksploracyjnych, raportowanie wyników nieistotnych oraz udostępnianie materiałów.
6. Wniosek naukowy powinien uwzględniać wielkość efektu, przedział ufności, znaczenie praktyczne, ograniczenia i możliwość replikacji.

Ograniczanie p-hackingu nie polega na zakazaniu elastyczności ani na mechanicznym odrzucaniu wszystkich analiz dodatkowych. Chodzi o to, aby ścieżka prowadząca od pytania badawczego do wniosku była widoczna dla czytelnika. Transparentność nie eliminuje niepewności, ale pozwala ją uczciwie ocenić.

Źródła i dalsza lektura

1. Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant. Psychological Science, 22(11), 1359–1366. DOI: 10.1177/0956797611417632.
2. Head, M. L., Holman, L., Lanfear, R., Kahn, A. T., & Jennions, M. D. (2015). The Extent and Consequences of P-Hacking in Science. PLoS Biology, 13(3), e1002106. DOI: 10.1371/journal.pbio.1002106.
3. John, L. K., Loewenstein, G., & Prelec, D. (2012). Measuring the Prevalence of Questionable Research Practices with Incentives for Truth Telling. Psychological Science, 23(5), 524–532. DOI: 10.1177/0956797611430953.
4. Schulz, K. F., Altman, D. G., Moher, D., & the CONSORT Group (2010). CONSORT 2010 Statement: Updated Guidelines for Reporting Parallel Group Randomised Trials. BMC Medicine, 8, 18. DOI: 10.1186/1741-7015-8-18.
5. Moher, D., Hopewell, S., Schulz, K. F., Montori, V., Gøtzsche, P. C., Devereaux, P. J., Elbourne, D., Egger, M., & Altman, D. G.; CONSORT Group (2010). CONSORT 2010 Explanation and Elaboration: Updated Guidelines for Reporting Parallel Group Randomised Trials. BMJ, 340, c869. DOI: 10.1136/bmj.c869.
6. Page, M. J., Sterne, J. A. C., Higgins, J. P. T., & Egger, M. (2021). Investigating and Dealing with Publication Bias and Other Reporting Biases in Meta-Analyses of Health Research: A Review. Research Synthesis Methods, 12(2), 248–259. DOI: 10.1002/jrsm.1468.