013. Badania eksploracyjne i konfirmacyjne – kiedy odkrywamy, a kiedy sprawdzamy?

W nauce nie zawsze zaczynamy od precyzyjnej hipotezy. Czasem dysponujemy zbiorem danych, obserwacją kliniczną albo niejasnym problemem praktycznym i chcemy dopiero ustalić, jakie prawidłowości mogą się w nim kryć. Innym razem teoria jest już rozwinięta, a zadaniem badacza staje się sprawdzenie konkretnego przewidywania w sposób możliwie niezależny od oczekiwanego wyniku. Te dwa tryby pracy określa się najczęściej jako badania eksploracyjne i badania konfirmacyjne.

Rozróżnienie to nie oznacza podziału na badania „dobre” i „gorsze”. Oba podejścia są potrzebne, lecz odpowiadają na inne pytania i wymagają innego sposobu interpretacji wyników. Najważniejsze jest, aby nie przedstawiać odkrycia uzyskanego po obejrzeniu danych jako testu hipotezy, która rzekomo była sformułowana przed rozpoczęciem badania. Właśnie temu problemowi poświęcona jest ta lekcja, będąca częścią publicznego szkolenia na statystyk.edu.pl.

Dwa cele badań: odkrywanie i sprawdzanie

Badanie eksploracyjne

Badanie eksploracyjne ma na celu rozpoznanie problemu, opisanie danych, znalezienie możliwych zależności oraz wygenerowanie hipotez do dalszych badań. Badacz może analizować wiele zmiennych, porównywać różne sposoby kodowania danych, sprawdzać nietypowe obserwacje, poszukiwać podgrup lub badać alternatywne modele.

W eksploracji elastyczność jest zaletą, ponieważ pozwala reagować na to, co rzeczywiście pojawia się w materiale empirycznym. Jeżeli na przykład badacz analizuje dane pacjentów po udarze i zauważa, że związek między czasem rehabilitacji a sprawnością może różnić się zależnie od wieku, może potraktować tę obserwację jako podstawę do sformułowania nowej hipotezy o moderującej roli wieku.

Wynik eksploracyjny jest jednak przede wszystkim propozycją wyjaśnienia lub kierunku dalszych badań. Sam fakt, że wzorzec wystąpił w danym zbiorze danych, nie dowodzi jeszcze, że jest stabilny, uniwersalny ani przyczynowy.

Badanie konfirmacyjne

Badanie konfirmacyjne służy sprawdzeniu wcześniej określonego pytania lub hipotezy. Przed analizą danych badacz powinien możliwie dokładnie ustalić:

• główną hipotezę i jej kierunek, jeśli kierunek jest teoretycznie uzasadniony;
• populację, próbę i kryteria kwalifikacji uczestników;
• główną zmienną wynikową;
• porównywane grupy lub model statystyczny;
• zasady postępowania z brakami danych i obserwacjami odstającymi;
• planowaną liczebność próby oraz sposób kontroli wielokrotnego testowania.

W konfirmacji chodzi o ograniczenie wpływu decyzji podejmowanych po obejrzeniu wyników. Nie oznacza to, że badacz nie może wykonać analiz dodatkowych. Powinien jednak wyraźnie oddzielić analizy zaplanowane od analiz późniejszych i nazwać te drugie eksploracyjnymi.

Dlaczego kolejność ma znaczenie?

Jeżeli badacz sprawdza bardzo wiele hipotez, lecz raportuje tylko te, które dały interesujący wynik, rośnie ryzyko przypadkowych odkryć. Podobnie dzieje się wtedy, gdy po obejrzeniu danych wybiera najkorzystniejszy sposób analizy, usuwa niewygodne obserwacje albo zmienia główną zmienną wynikową.

W klasycznym teście hipotezy statystycznej poziom istotności α określa akceptowane z góry ryzyko odrzucenia prawdziwej hipotezy zerowej w pojedynczym teście, przy założeniach danego modelu. Gdy liczba testów rośnie, rośnie także prawdopodobieństwo uzyskania przynajmniej jednego „istotnego” wyniku przez przypadek. Dlatego wynik eksploracyjny powinien być traktowany ostrożnie, a jego sprawdzenie należy zaplanować w niezależnym badaniu lub w odrębnej części danych.

Warto podkreślić, że wartość p nie jest prawdopodobieństwem prawdziwości hipotezy zerowej. Nie informuje też sama przez się o wielkości efektu ani o jego znaczeniu klinicznym. W badaniach konfirmacyjnych należy raportować także estymatę efektu, przedział ufności i – gdy to możliwe – miarę znaczenia praktycznego.

Preregistracja i plan analizy

Preregistracja polega na zapisaniu planu badania przed zebraniem danych albo przed rozpoczęciem ich analizy. Może obejmować hipotezy, liczebność próby, definicję zmiennych, kryteria wyłączenia oraz plan analiz. Jej funkcją nie jest mechaniczne „zagwarantowanie prawdy”, lecz ułatwienie odróżnienia decyzji podjętych przed poznaniem wyników od decyzji wynikających z kontaktu z danymi (Nosek, Ebersole, DeHaven i Mellor, 2018).

Preregistracja jest szczególnie użyteczna w badaniach konfirmacyjnych, lecz może być pomocna także w eksploracji. Badacz może prerejestrować sposób rekrutacji, procedury pomiaru i podstawowe etapy przygotowania danych, pozostawiając otwartą część dotyczącą późniejszego poszukiwania wzorców. Nie należy więc rozumieć prerejestracji jako zakazu myślenia po zebraniu danych. Jest ona raczej narzędziem przejrzystości.

W jeszcze bardziej rygorystycznej formie plan jest oceniany przez recenzentów przed zebraniem danych, a publikacja nie zależy wyłącznie od uzyskania wyniku istotnego statystycznie. Taką procedurą są między innymi Registered Reports. Jej sens polega na tym, że jakość pytania i metody jest oceniana przed poznaniem rezultatów.

Eksploracja i konfirmacja w jednym programie badawczym

W praktyce oba podejścia często tworzą kolejne etapy jednego programu:

1. Etap eksploracyjny: badacz rozpoznaje problem i generuje możliwe hipotezy.
2. Etap projektowania: wybiera jedną lub kilka hipotez, definiuje zmienne i ustala plan badania.
3. Etap konfirmacyjny: sprawdza przewidywania w nowej próbie lub w niezależnej części materiału.
4. Etap replikacyjny: ocenia, czy wynik jest stabilny w innych warunkach, populacjach lub zespołach badawczych.

Nie jest konieczne, aby całe badanie było wyłącznie eksploracyjne albo wyłącznie konfirmacyjne. Jedno badanie może zawierać główną analizę konfirmacyjną oraz dodatkowe analizy eksploracyjne. Warunkiem jest jasne opisanie ich statusu. Zalecenia APA JARS wskazują na potrzebę rozdzielania hipotez, analiz i wniosków na główne, dodatkowe oraz eksploracyjne, aby czytelnik mógł właściwie ocenić siłę dowodów (APA, 2018).

Przykłady zastosowań

Przykład 1: pielęgniarstwo i zmęczenie personelu

Zespół badawczy analizuje ankiety 600 pielęgniarek i pielęgniarzy. W zbiorze znajdują się dane o liczbie dyżurów nocnych, długości snu, stażu pracy, satysfakcji zawodowej, objawach zmęczenia oraz zamiarze odejścia z pracy.

Jeśli badacze nie mają jeszcze sprecyzowanego modelu, mogą eksploracyjnie sprawdzić, które zmienne są ze sobą powiązane, czy zależności różnią się między oddziałami oraz czy występują potencjalne podgrupy pracowników. Takie analizy mogą doprowadzić do hipotezy, że wpływ dyżurów nocnych na zmęczenie jest silniejszy u osób śpiących krócej niż sześć godzin.

W kolejnym badaniu konfirmacyjnym badacze określają tę hipotezę przed analizą, wybierają główny wynik – wynik skali zmęczenia – oraz ustalają model z interakcją między liczbą dyżurów nocnych a długością snu. Dopiero wtedy testują, czy zaobserwowany wcześniej wzorzec powtarza się w nowej próbie.

Przykład 2: zdrowie publiczne i szczepienia

Badacz analizuje dane mieszkańców kilku gmin, aby rozpoznać czynniki związane z przyjęciem szczepienia przeciw grypie. Eksploracja może ujawnić, że znaczenie mają nie tylko wiek i choroby przewlekłe, lecz także zaufanie do lokalnych instytucji, łatwość dotarcia do punktu szczepień i wcześniejsze doświadczenia z opieką zdrowotną.

Takie odkrycia mogą prowadzić do projektu interwencji. W badaniu konfirmacyjnym można następnie sprawdzić, czy przypomnienia SMS połączone z informacją o bezpłatnym punkcie szczepień zwiększają odsetek zaszczepionych w porównaniu ze standardową informacją. Jeżeli badanie ma charakter randomizowany, jego raport powinien uwzględniać między innymi przepływ uczestników, przydział do grup, wyniki dla wcześniej określonych punktów końcowych oraz wszystkie istotne odstępstwa od protokołu, zgodnie z zasadami CONSORT (Schulz, Altman i Moher, 2010).

Przykład praktyczny: analiza przypadku

Wyobraźmy sobie badanie psychologiczne, w którym 200 studentów wypełnia skalę lęku, skalę jakości snu i test pamięci roboczej. Badacz sprawdza 15 korelacji oraz kilka modeli regresji. Najsilniejszy związek pojawia się między jakością snu a pamięcią roboczą, a wartość p wynosi 0,03.

Jeśli związek ten był wcześniej określony jako główny, a sposób analizy zapisano przed zebraniem danych, można mówić o wyniku konfirmacyjnym, choć nadal należy ocenić jego wielkość, precyzję i znaczenie praktyczne. Jeżeli natomiast badacz nie miał określonej hipotezy, a interesującą korelację wybrał spośród wielu analiz po obejrzeniu danych, jest to wynik eksploracyjny.

Poprawny opis mógłby brzmieć: „W analizie eksploracyjnej zaobserwowano ujemny związek między jakością snu a wynikiem testu pamięci roboczej. Wynik ten wymaga sprawdzenia w badaniu konfirmacyjnym, ponieważ analizowano wiele zależności.” Nie należy pisać, że badanie „potwierdziło hipotezę”, jeśli hipoteza została sformułowana dopiero po poznaniu rezultatów. Takie postępowanie bywa określane jako HARKing – przedstawianie hipotezy post hoc jako hipotezy a priori.

Jak raportować oba typy analiz?

Przejrzysty raport powinien informować:

• które hipotezy i analizy były określone przed analizą danych;
• czy badanie lub plan analizy zostały prerejestrowane;
• które wyniki były główne, a które dodatkowe;
• ile analiz wykonano, zwłaszcza gdy badano wiele zmiennych lub punktów końcowych;
• czy po poznaniu danych zmieniono model, kryteria wyłączenia albo sposób kodowania;
• jakie są ograniczenia generalizacji wyników;
• które obserwacje powinny zostać zweryfikowane w nowym badaniu.

W badaniach jakościowych eksploracyjność może być związana z iteracyjnym rozwijaniem kategorii, porównywaniem przypadków i modyfikacją pytań podczas pracy terenowej. Nie oznacza to braku rygoru. Rygor polega wtedy na dokumentowaniu decyzji, uzasadnianiu zmian i opisie roli badacza w procesie interpretacji.

Najczęstsze błędy

• Przedstawianie hipotezy post hoc jako hipotezy pierwotnej. Odkrycie może być wartościowe, ale powinno być nazwane eksploracyjnym.
• Traktowanie prerejestracji jako gwarancji poprawności. Zły projekt można prerejestrować równie łatwo jak dobry.
• Uznawanie każdego wyniku z małą wartością p za potwierdzenie teorii. Trzeba uwzględnić liczbę analiz, wielkość efektu, przedział ufności i sens praktyczny.
• Ukrywanie analiz niezgodnych z planem. Odstępstwo od protokołu nie musi być błędem, ale musi zostać opisane.
• Mylenie eksploracji z dowolnością. Eksploracyjne badanie nadal wymaga dobrego pomiaru, kontroli jakości danych i uzasadnionej interpretacji.
• Mylenie konfirmacji z udowodnieniem hipotezy. Badanie może dostarczyć argumentów zgodnych z hipotezą, ale wynik zawsze zależy od projektu, pomiaru i założeń modelu.
• Wyciąganie wniosków przyczynowych z badań obserwacyjnych. Związek między zmiennymi nie wystarcza do stwierdzenia, że jedna zmienna powoduje drugą.

Co warto zapamiętać?

• Badanie eksploracyjne przede wszystkim generuje pytania i hipotezy.
• Badanie konfirmacyjne przede wszystkim sprawdza wcześniej określone przewidywania.
• Eksploracja nie jest wadą, lecz jej wyniki mają zwykle słabszy status dowodowy niż wcześniej zaplanowany test.
• Jedno badanie może łączyć analizy konfirmacyjne i eksploracyjne, jeśli są one wyraźnie rozdzielone.
• Preregistracja pomaga ujawnić, które decyzje podjęto przed poznaniem danych.
• Analiza eksploracyjna powinna prowadzić do nowej, niezależnej próby konfirmacyjnej, gdy wynik ma mieć znaczenie teoretyczne, kliniczne lub organizacyjne.
• Rzetelny raport opisuje nie tylko wyniki, lecz także plan, odstępstwa, ograniczenia i niepewność wnioskowania.

Najkrótsza reguła: najpierw możemy odkrywać, ale zanim zaczniemy twierdzić, że coś sprawdziliśmy, musimy jasno wskazać, co było zaplanowane przed zobaczeniem danych.

\n

Źródła i dalsza lektura

\n

1. Nosek, B. A., Ebersole, C. R., DeHaven, A. C., & Mellor, D. T. (2018). The preregistration revolution. Proceedings of the National Academy of Sciences of the United States of America, 115(11), 2600–2606. DOI: 10.1073/pnas.1708274114.
2. Wagenmakers, E.-J., Wetzels, R., Borsboom, D., van der Maas, H. L. J., & Kievit, R. A. (2012). An agenda for purely confirmatory research. Perspectives on Psychological Science, 7(6), 632–638. DOI: 10.1177/1745691612463078.
3. Waldron, S., & Allen, C. (2022). Not all pre-registrations are equal. Neuropsychopharmacology, 47, 2181–2183. DOI: 10.1038/s41386-022-01418-x.
4. Schulz, K. F., Altman, D. G., & Moher, D.; CONSORT Group (2010). CONSORT 2010 statement: updated guidelines for reporting parallel group randomised trials. BMJ, 340, c332. DOI: 10.1136/bmj.c332.
5. American Psychological Association (2018). Journal Article Reporting Standards for Quantitative, Qualitative, and Mixed Methods Research in Psychology: The APA Publications and Communications Board Task Force Report. American Psychologist. American Psychological Association. Źródło.

\n