011. Falsyfikowalność i testowalność twierdzeń naukowych – jak ocenić dobrą hipotezę?

W poprzednich lekcjach kursu na statystyk.edu.pl omawialiśmy między innymi hipotezy, operacjonalizację zmiennych oraz różnicę między teorią a wskaźnikiem. Kolejny krok polega na sprawdzeniu, czy sformułowana hipoteza rzeczywiście może zostać poddana uczciwemu testowi empirycznemu. Temu służą dwa powiązane pojęcia: testowalność i falsyfikowalność.

Dobra hipoteza nie musi od razu okazać się prawdziwa. Powinna jednak określać, jakie obserwacje byłyby zgodne z jej przewidywaniami, a jakie przemawiałyby przeciwko niej. Hipoteza, której nie można narazić na możliwość niepowodzenia, nie dostarcza mocnego narzędzia poznawczego.

1. Czym jest testowalność?

Testowalność oznacza, że twierdzenie można powiązać z procedurą badawczą, która pozwala uzyskać dane istotne dla jego oceny. Nie chodzi wyłącznie o to, czy badacz potrafi wykonać pomiar. Trzeba jeszcze ustalić, co dokładnie będzie obserwowane, w jakiej populacji, w jakich warunkach, za pomocą jakiego narzędzia i według jakiego kryterium interpretacji.

Twierdzenie testowalne powinno zatem prowadzić do przewidywań obserwacyjnych. Można je przedstawić schematycznie:

Jeżeli H, to w warunkach C zaobserwujemy wynik O.

• H oznacza hipotezę lub model teoretyczny;
• C oznacza warunki badania, na przykład populację, interwencję, czas obserwacji i sposób pomiaru;
• O oznacza przewidywany wynik obserwacji, na przykład różnicę średnich, częstość zdarzeń lub zmianę wyniku skali.

Im precyzyjniej określono te elementy, tym łatwiej zaplanować badanie i ocenić, czy uzyskane dane są zgodne z przewidywaniem.

Testowalność nie oznacza łatwości badania

Hipoteza może być testowalna, ale trudna do zbadania. Przykładowo, hipoteza dotycząca wpływu wieloletniego narażenia środowiskowego na zachorowalność może wymagać dużej kohorty, długiej obserwacji i starannego pomiaru wielu czynników zakłócających. Trudność organizacyjna nie oznacza braku testowalności.

O testowalności decyduje przede wszystkim możliwość wskazania procedury, która w zasadzie mogłaby dostarczyć danych rozstrzygających lub przynajmniej wyraźnie zmieniających stopień poparcia dla hipotezy. W badaniach empirycznych rzadko otrzymujemy absolutne rozstrzygnięcie. Zwykle oceniamy, czy wyniki są bardziej, czy mniej zgodne z określonym wyjaśnieniem.

2. Falsyfikowalność – sens pojęcia

Falsyfikowalność jest własnością twierdzenia polegającą na tym, że można wskazać możliwe obserwacje, które pozostawałyby z nim w konflikcie. Karl Popper wykorzystywał tę ideę jako jedno z kryteriów odróżniania twierdzeń naukowych od takich, które są skonstruowane w sposób odporny na wszelką krytykę empiryczną (Popper, 2002; Ruse, 2024).

Ważne jest rozróżnienie między falsyfikowalnością logiczną a faktycznym obaleniem hipotezy. Twierdzenie może być falsyfikowalne, nawet jeśli dotychczas nie znaleziono danych przeciwko niemu. Falsyfikowalność mówi o możliwości wystąpienia kontrprzykładu, a nie o tym, że kontrprzykład już zaobserwowano.

Przykład falsyfikowalnego twierdzenia:

„U dorosłych pacjentów z nadciśnieniem tętniczym program aktywności fizycznej trwający 12 tygodni zmniejsza średnie skurczowe ciśnienie tętnicze bardziej niż standardowa edukacja, przy różnicy co najmniej 5 mmHg.”

Można zaplanować badanie, określić populację, czas, interwencję i wynik. Hipoteza może nie uzyskać potwierdzenia: różnica może być mniejsza niż 5 mmHg, może nie wystąpić wcale albo może pojawić się w przeciwnym kierunku.

Przykład twierdzenia pozornie naukowego, ale słabo falsyfikowalnego:

„Każdy człowiek poprawia swoje zdrowie, kiedy jest odpowiednio otwarty na energię organizmu.”

Nie wiadomo, czym jest „odpowiednia otwartość”, jak mierzyć „energię organizmu” ani jaki wynik wskazywałby, że twierdzenie jest błędne. Jeżeli każdą niepoprawę zdrowia można wyjaśnić „niewystarczającą otwartością”, twierdzenie staje się odporne na krytykę.

3. Dlaczego dobra hipoteza powinna podejmować ryzyko?

Hipoteza o dużej wartości poznawczej ogranicza zakres możliwych wyników. Twierdzenie „interwencja może mieć jakiś wpływ na zdrowie w pewnych warunkach” jest trudne do obalenia, ale niewiele przewiduje. Z kolei hipoteza określająca kierunek, wielkość lub warunki efektu naraża się na niezgodność z danymi.

Można powiedzieć, że dobra hipoteza wykonuje trzy zadania:

1. wiąże pojęcia teoretyczne z mierzalnymi wskaźnikami;
2. przewiduje wynik, który może wystąpić lub nie wystąpić;
3. określa, jakie dane osłabiłyby jej wiarygodność.

Nie oznacza to, że każda dobra hipoteza musi zawierać dokładną wartość liczbową. W wielu badaniach eksploracyjnych precyzyjna wielkość efektu nie jest jeszcze znana. Warto jednak określić przynajmniej kierunek zależności, populację, główny punkt końcowy oraz warunki, w których hipoteza ma obowiązywać.

4. Przykłady z nauk o zdrowiu i psychologii

Przykład 1: edukacja pacjentów z cukrzycą

Rozważmy hipotezę: „U dorosłych osób z cukrzycą typu 2 udział w sześciotygodniowym programie edukacji pielęgniarskiej zmniejsza wartość HbA1c po trzech miesiącach w porównaniu ze standardową opieką”.

Hipoteza jest testowalna, ponieważ można określić:

• populację: osoby dorosłe z cukrzycą typu 2;
• interwencję: sześciotygodniowy program edukacyjny;
• porównanie: standardową opiekę;
• wynik: zmianę HbA1c;
• czas pomiaru: trzy miesiące po rozpoczęciu programu.

Jest również falsyfikowalna. Wynik może nie wykazać różnicy między grupami albo może wskazać, że poprawa wystąpiła tylko w określonej podgrupie. Jeżeli badanie ma charakter randomizowany, można ostrożniej rozważać interpretację przyczynową, pod warunkiem odpowiedniej realizacji procedury. Jeżeli jest to badanie obserwacyjne, bezpieczniej mówić o związku lub różnicy między grupami, a nie o jednoznacznym wpływie programu.

Przykład 2: stres i decyzje ratowników medycznych

Hipoteza: „W symulowanych zdarzeniach z dużą liczbą poszkodowanych ratownicy medyczni z wyższym nasileniem ostrego stresu popełniają więcej błędów w segregacji medycznej niż ratownicy z niższym nasileniem stresu”.

Takie twierdzenie wymaga doprecyzowania. Jak mierzymy stres: częstością tętna, skalą samooceny, stężeniem kortyzolu czy kombinacją wskaźników? Co uznajemy za błąd? Czy oceniamy zgodność z kluczem eksperckim, czas decyzji, czy oba wyniki? Bez tych ustaleń hipoteza pozostaje ogólna.

Po operacjonalizacji może stać się hipotezą testowalną: „W scenariuszu symulacyjnym obejmującym 20 poszkodowanych ratownicy z wynikiem stresu przekraczającym ustalony próg popełnią średnio więcej niż dwa błędy klasyfikacji, a ich wynik będzie wyższy niż u ratowników poniżej tego progu”. Wtedy możliwe są zarówno wyniki zgodne z hipotezą, jak i takie, które ją osłabiają.

5. Falsyfikowalność a hipoteza statystyczna

Falsyfikowalność nie jest tym samym co test istotności statystycznej. Hipoteza naukowa dotyczy sensu merytorycznego, natomiast hipoteza statystyczna jest formalnym elementem modelu analizy. Na przykład:

• H₁: program edukacyjny wiąże się z niższym średnim HbA1c;
• H₀: w populacji nie ma różnicy średnich HbA1c między grupami, czyli μ₁ − μ₂ = 0.

Symbol μ₁ oznacza średnią w pierwszej grupie, a μ₂ średnią w drugiej grupie. Odrzucenie H₀ przy przyjętym modelu i założeniach analizy nie dowodzi automatycznie prawdziwości H₁. Nieodrzucenie H₀ również nie dowodzi, że różnicy nie ma.

Wartość p nie jest prawdopodobieństwem prawdziwości H₀. Jest miarą zgodności danych z H₀ w określonym modelu statystycznym. Wnioski powinny uwzględniać także przedział ufności, wielkość efektu, precyzję oszacowania, jakość pomiaru i znaczenie praktyczne (Altman i Bland, 1995).

6. Od falsyfikowalności do rzetelnego planu badania

Sama możliwość obalenia twierdzenia nie wystarcza. Badanie musi być zaprojektowane tak, aby wynik rzeczywiście informował o hipotezie, a nie głównie o błędach pomiaru, selekcji lub analizie.

Przed rozpoczęciem badania należy określić:

• populację i kryteria kwalifikacji;
• główną zmienną wynikową;
• moment lub okres pomiaru;
• porównywane grupy albo warunki;
• minimalnie ważną klinicznie lub społecznie różnicę;
• plan analizy i sposób postępowania z brakami danych;
• czynniki, które mogą zakłócać interpretację.

W badaniach obserwacyjnych szczególne znaczenie ma jawne opisanie źródła uczestników, sposobu pomiaru ekspozycji i wyniku oraz potencjalnych zmiennych zakłócających. Takie wymagania podkreśla STROBE, które służy poprawie przejrzystości raportowania badań obserwacyjnych (von Elm i in., 2007; Vandenbroucke i in., 2007). W badaniach randomizowanych pomocne są zalecenia CONSORT dotyczące opisu alokacji, uczestników, interwencji, wyników i przepływu osób w badaniu (Schulz, Altman i Moher, 2010; Moher i in., 2010).

7. Przykład praktyczny: ocena hipotezy krok po kroku

Załóżmy, że badacz formułuje zdanie: „Muzyka relaksacyjna zmniejsza lęk pacjentów przed zabiegiem”.

Krok 1: doprecyzowanie populacji

Zamiast „pacjentów” określamy, że chodzi o dorosłych pacjentów oczekujących na planowy zabieg ambulatoryjny.

Krok 2: określenie interwencji i porównania

Interwencją jest 20-minutowe słuchanie określonego nagrania przez słuchawki. Grupą porównawczą jest standardowe oczekiwanie bez muzyki.

Krok 3: wybór wyniku

Lęk mierzymy zwalidowaną skalą samooceny bezpośrednio przed zabiegiem. Można również zdefiniować wynik dodatkowy, na przykład częstość tętna, ale nie należy dowolnie zmieniać głównego punktu końcowego po obejrzeniu danych.

Krok 4: wskazanie możliwej falsyfikacji

Hipotezę osłabi wynik, w którym średnia różnica między grupami będzie bliska zeru, będzie mniejsza od minimalnie ważnej różnicy albo pojawi się w przeciwnym kierunku. Jeżeli badacz twierdzi, że muzyka działa „u każdego”, pojedyncze wyjątki podważają uniwersalność twierdzenia. Jeżeli hipoteza dotyczy średniego efektu w populacji, potrzebne jest natomiast odpowiednio zaplanowane porównanie grup, a nie pojedynczy przypadek.

Krok 5: ostrożna interpretacja

Jeżeli wynik jest niezgodny z przewidywaniem, nie zawsze oznacza to, że teoria jest definitywnie fałszywa. Możliwy jest błąd pomiaru, zbyt mała próba, niewłaściwie przeprowadzona interwencja lub nietrafnie określona populacja. Dlatego falsyfikacja w praktyce nauk empirycznych jest oceną całego układu: hipotezy, pomiaru, projektu i założeń analizy.

Najczęstsze błędy

1. Formułowanie twierdzeń odpornych na każdy wynik. Jeżeli każdą obserwację można wyjaśnić dodatkowym wyjątkiem, hipoteza traci wartość testową.
2. Mylenie braku istotności z dowodem braku efektu. Nieistotny wynik może wynikać z małej próby, dużej zmienności lub mało precyzyjnego pomiaru.
3. Utożsamianie falsyfikowalności z definitywnym obaleniem. Niezgodny wynik wymaga oceny jakości projektu i pomiaru.
4. Zmiana hipotezy po analizie danych. Eksploracyjne odkrycie może być wartościowe, ale powinno zostać oznaczone jako post hoc i sprawdzone w kolejnym badaniu.
5. Używanie pojęć bez wskaźników. „Dobrostan”, „stres” lub „motywacja” nie stają się mierzalne tylko dlatego, że występują w hipotezie.
6. Wyciąganie wniosków przyczynowych z każdego związku. W badaniu przekrojowym lub obserwacyjnym korelacja nie wystarcza do stwierdzenia, że jedna zmienna powoduje zmianę drugiej.
7. Przecenianie p. Wartość p nie określa wielkości efektu ani jego znaczenia klinicznego.

Co warto zapamiętać?

• Testowalność oznacza możliwość powiązania twierdzenia z konkretną procedurą obserwacji lub pomiaru.
• Falsyfikowalność oznacza, że można wskazać możliwe wyniki sprzeczne z twierdzeniem.
• Dobra hipoteza ogranicza zakres przewidywań i dopuszcza możliwość niepowodzenia.
• Hipoteza naukowa powinna być powiązana z populacją, warunkami, pomiarem i kryterium interpretacji.
• Nieodrzucenie hipotezy zerowej nie dowodzi braku efektu, a wartość p nie jest prawdopodobieństwem prawdziwości H₀.
• Ocena hipotezy wymaga jednocześnie analizy teorii, operacjonalizacji, projektu badania, jakości pomiaru i planu statystycznego.
• W praktyce naukowej pojedynczy wynik rzadko kończy dyskusję. Wiarygodność twierdzenia rośnie przede wszystkim wtedy, gdy przewidywania są przejrzyste, badania są rzetelne, a wyniki można niezależnie sprawdzać.

\n

Źródła i dalsza lektura

\n

1. Popper, K. R. (2002). The Logic of Scientific Discovery. 2nd ed.. Routledge. Informacja wydawcy / źródło.
2. Altman, D. G., & Bland, J. M. (1995). Absence of evidence is not evidence of absence. BMJ, 311(7003), 485. DOI: 10.1136/bmj.311.7003.485.
3. von Elm, E., Altman, D. G., Egger, M., Pocock, S. J., Gøtzsche, P. C., Vandenbroucke, J. P., & STROBE Initiative (2007). The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) Statement: Guidelines for Reporting Observational Studies. PLoS Medicine, 4(10), e296. DOI: 10.1371/journal.pmed.0040296.
4. Vandenbroucke, J. P., von Elm, E., Altman, D. G., Gøtzsche, P. C., Mulrow, C. D., Pocock, S. J., Poole, C., Schlesselman, J. M., & Egger, M. (2007). Strengthening the Reporting of Observational Studies in Epidemiology (STROBE): Explanation and Elaboration. PLoS Medicine, 4(10), e297. DOI: 10.1371/journal.pmed.0040297.
5. Schulz, K. F., Altman, D. G., & Moher, D., for the CONSORT Group (2010). CONSORT 2010 Statement: updated guidelines for reporting parallel group randomised trials. BMJ, 340, c332. DOI: 10.1136/bmj.c332.
6. Moher, D., Hopewell, S., Schulz, K. F., Montori, V., Gøtzsche, P. C., Devereaux, P. J., Elbourne, D., Egger, M., & Altman, D. G., for the CONSORT Group (2010). CONSORT 2010 Explanation and Elaboration: updated guidelines for reporting parallel group randomised trials. BMJ, 340, c869. DOI: 10.1136/bmj.c869.
7. Ruse, M. (2024). Science and Pseudo-Science. The Stanford Encyclopedia of Philosophy. Metaphysics Research Lab, Stanford University. Źródło.

\n