339. p-hacking – jak powstaje i jak go ograniczać?
P-hacking to wykorzystywanie elastyczności zbierania, analizowania i raportowania danych w celu uzyskania istotnego wyniku. Lekcja pokazuje mechanizmy tego zjawiska oraz sposoby ograniczania ryzyka.
P-hacking to wykorzystywanie elastyczności zbierania, analizowania i raportowania danych w celu uzyskania istotnego wyniku. Lekcja pokazuje mechanizmy tego zjawiska oraz sposoby ograniczania ryzyka.
HARKing polega na przedstawianiu hipotezy sformułowanej po obejrzeniu wyników tak, jakby była zaplanowana przed rozpoczęciem badania. Lekcja wyjaśnia, dlaczego praktyka ta zniekształca interpretację dowodów, zwiększa ryzyko fałszywych wniosków i jak odróżnić ją od uczciwej analizy eksploracyjnej.
Hipoteza potwierdzająca wynika z założeń sformułowanych przed analizą danych, natomiast analiza eksploracyjna służy przede wszystkim odkrywaniu wzorców i generowaniu nowych hipotez. Lekcja pokazuje, jak rozróżniać oba podejścia, jak je raportować i jak unikać HARKingu.
Plan analizy statystycznej pozwala powiązać pytania badawcze, zmienne, punkty końcowe, wielkość próby i metody wnioskowania, zanim wyniki zaczną wpływać na decyzje analityczne.
Prerezjestracja, protokół i plan analizy pomagają oddzielić decyzje podjęte przed poznaniem danych od analiz wykonywanych po ich obejrzeniu. Lekcja wyjaśnia, jak projektować te dokumenty, jak postępować ze zmianami oraz jak odróżniać analizy konfirmacyjne od eksploracyjnych.
Badania eksploracyjne służą odkrywaniu wzorców i generowaniu hipotez, natomiast badania konfirmacyjne sprawdzają wcześniej określone przewidywania. Lekcja wyjaśnia różnice między tymi podejściami, rolę prerejestracji, analiz post hoc oraz zasady rzetelnego raportowania wyników.