185. Jak wybrać oczekiwaną wielkość efektu do power analysis?

W poprzedniej lekcji omówiliśmy wielkość efektu jako podstawę planowania próby. Teraz przechodzimy do pytania bardziej praktycznego: skąd właściwie wziąć wartość efektu, którą należy wpisać do analizy mocy testu (power analisys)? Jest to jedna z najważniejszych decyzji projektowych, ponieważ oczekiwany efekt wpływa bezpośrednio na wymaganą liczebność próby. Przy założeniu tego samego poziomu istotności i tej samej mocy statystycznej mniejszy efekt wymaga zwykle większej próby, a większy efekt — mniejszej.

Nie oznacza to jednak, że wolno wybrać dowolną wartość tylko po to, aby uzyskać dogodną liczebność. Oczekiwana wielkość efektu powinna być uzasadniona pytaniem badawczym, właściwościami mierzonego wyniku, wcześniejszymi danymi oraz tym, jaka różnica byłaby istotna dla pacjenta, praktyka klinicznego, organizacji lub teorii. Właśnie dlatego w szkoleniu na statystyk.edu.pl traktujemy analizę mocy testu nie jako formalność techniczną, lecz jako element argumentacji naukowej.

Czym jest oczekiwana wielkość efektu?

W analizie mocy testu oczekiwana wielkość efektu oznacza wartość różnicy lub związku, który badanie powinno być zdolne wykryć, jeżeli rzeczywiście występuje w populacji. W zależności od projektu może być wyrażona jako:

• różnica średnich, na przykład 4 punkty w skali bólu;
• różnica odsetków, na przykład spadek częstości rehospitalizacji z 20% do 14%;
• iloraz szans, ryzyka lub hazardu;
• współczynnik korelacji;
• standaryzowana różnica średnich, na przykład d Cohena;
• odsetek wyjaśnionej wariancji, na przykład R² lub f²;
• różnica w czasie do zdarzenia albo w prawdopodobieństwie przeżycia.

Warto odróżnić dwa pojęcia. Efekt w jednostkach oryginalnych odnosi się bezpośrednio do pomiaru, np. 5 mmHg w ciśnieniu skurczowym. Efekt standaryzowany uwzględnia zmienność pomiaru, np. d = różnica średnich / odchylenie standardowe. Standaryzacja ułatwia porównywanie badań, ale może utrudniać ocenę praktycznego znaczenia. Różnica równa 0,4 odchylenia standardowego może brzmieć abstrakcyjnie, podczas gdy różnica 5 punktów w kwestionariuszu jest łatwiejsza do zinterpretowania.

W planowaniu badania należy przede wszystkim określić docelową różnicę, czyli taką różnicę między grupami lub warunkami, która jest ważna dla głównego celu badania. W literaturze dotyczącej badań randomizowanych określa się ją często jako target difference. Nie musi ona być równa największemu efektowi obserwowanemu w poprzednich publikacjach. Powinna raczej odpowiadać najmniejszemu efektowi, który uzasadniałby zmianę praktyki lub byłby ważny z punktu widzenia uczestników (Cook i in., 2015).

Podstawowa zależność między efektem a liczebnością próby

W uproszczonym przypadku porównania dwóch niezależnych średnich, przy jednakowych liczebnościach grup i znanym odchyleniu standardowym, można posłużyć się zależnością:

n na grupę ≈ 2 × (zα/2 + zβ)² × σ² / Δ²

gdzie:

• n — liczebność potrzebna w jednej grupie;
• z_α/2 — wartość rozkładu normalnego związana z dwustronnym poziomem istotności α;
• z_β — wartość związana z prawdopodobieństwem błędu II rodzaju β;
• σ — przewidywane odchylenie standardowe wyniku;
• Δ — oczekiwana, istotna z punktu widzenia badania różnica między grupami.

Jeżeli moc wynosi 80%, to β = 0,20. Jeżeli przyjmujemy dwustronne α = 0,05, używamy wartości odpowiadającej 1,96 dla poziomu istotności. Wzór jest jedynie przybliżeniem; rzeczywiste obliczenia zależą od projektu, rodzaju wyniku, sposobu analizy, korelacji pomiarów, liczby grup, strat w obserwacji i innych założeń. Jego dydaktyczna wartość polega jednak na pokazaniu, że liczebność rośnie wraz ze zmiennością σ i maleje wraz z kwadratem oczekiwanej różnicy Δ. Zmniejszenie zakładanej różnicy o połowę może więc wymagać około czterokrotnie większej próby, jeśli pozostałe warunki pozostają takie same.

Skąd brać wartość oczekiwanego efektu?

1. Z minimalnej różnicy ważnej praktycznie

Najlepszym punktem wyjścia jest odpowiedź na pytanie: jaka najmniejsza różnica miałaby znaczenie? W badaniu nad leczeniem nadciśnienia może to być spadek ciśnienia skurczowego o 5 mmHg względem grupy kontrolnej. W badaniu pielęgniarskim może to być skrócenie czasu oczekiwania na pomoc o 10 minut, jeśli taka zmiana poprawia bezpieczeństwo pacjentów i przepływ pracy. W psychologii może chodzić o różnicę w wyniku kwestionariusza, która przekłada się na zauważalną poprawę funkcjonowania.

Nie należy automatycznie utożsamiać tej wartości z minimal clinically important difference (MCID). MCID bywa definiowana na różne sposoby, a wartość ustalona dla zmiany wewnątrz jednej osoby nie zawsze nadaje się bezpośrednio do planowania różnicy między grupami. W badaniu porównawczym należy jasno określić, czy chodzi o zmianę w obrębie uczestnika, czy o różnicę między strategiami leczenia. Takie rozróżnienie podkreślają współczesne prace nad znaczeniem klinicznym efektów i projektowaniem badań randomizowanych (Kraemer i Kupfer, 2006; Keefe i in., 2013).

2. Z wcześniejszych badań

Poprzednie badania mogą dostarczyć informacji o średniej różnicy i odchyleniu standardowym. Trzeba jednak sprawdzić, czy ich populacja, interwencja, punkt końcowy i czas obserwacji są porównywalne z planowanym projektem. Efekt z małego, jednoośrodkowego badania może być zawyżony, zwłaszcza gdy raportowano wiele wyników, a wyeksponowano tylko najbardziej korzystny.

Warto analizować nie tylko oszacowanie punktowe, lecz także przedział ufności. Jeżeli wcześniejsze badanie wykazało różnicę 8 punktów, ale 95-procentowy przedział ufności wynosił od 1 do 15 punktów, nie należy bezrefleksyjnie przyjmować wartości 8 jako pewnego parametru. Rozsądne może być przeprowadzenie analizy wrażliwości dla kilku założeń, np. 4, 6 i 8 punktów.

3. Z metaanaliz i przeglądów systematycznych

Metaanaliza może dostarczyć stabilniejszego oszacowania niż pojedyncze badanie, ale także wymaga krytycznej oceny. Trzeba uwzględnić heterogeniczność efektów, różnice w populacjach, jakość badań i możliwość publikacyjnego zniekształcenia. Średni efekt z metaanalizy nie zawsze jest właściwą wartością do planowania nowego badania. Celem może być bowiem wykrycie efektu mniejszego niż średnia historyczna, ale nadal istotnego klinicznie.

4. Z badań pilotażowych i danych lokalnych

Badanie pilotażowe bywa użyteczne do oszacowania wykonalności, rozkładu wyników, odsetka braków danych i zmienności pomiaru. Zwykle nie powinno jednak służyć do bezpośredniego i bezkrytycznego wyznaczania oczekiwanego efektu. Małe próby dają niestabilne oszacowania i mogą przypadkowo sugerować bardzo duży albo bardzo mały efekt. Dane pilotażowe lepiej wykorzystywać do określenia realistycznego zakresu wartości i późniejszej analizy wrażliwości.

5. Z opinii ekspertów i interesariuszy

W niektórych obszarach brakuje dobrych wcześniejszych badań. Wówczas przydatne mogą być ustrukturyzowane konsultacje z klinicystami, pacjentami, opiekunami, personelem ratownictwa lub decydentami. Warto poprosić każdą grupę o wskazanie różnicy, która byłaby wystarczająca, aby uzasadnić zmianę postępowania. Takie podejście ogranicza ryzyko, że wielkość efektu zostanie określona wyłącznie przez wygodę badacza.

Dlaczego reguły Cohena nie powinny być jedynym źródłem decyzji?

W analizach psychologicznych i społecznych często spotyka się orientacyjne wartości d = 0,2, 0,5 i 0,8, opisywane jako efekt mały, średni i duży. Mogą one pomagać w orientacji, zwłaszcza gdy nie ma żadnych danych wstępnych, ale nie zastępują uzasadnienia merytorycznego. Efekt 0,2 może być bardzo ważny, jeśli dotyczy dużej populacji i taniej interwencji, a efekt 0,8 może mieć małe znaczenie, jeśli pomiar jest odległy od realnego funkcjonowania.

W medycynie jeszcze bardziej problematyczne jest mechaniczne przenoszenie progów „mały–średni–duży” między różnymi skalami. Odchylenie standardowe zależy od populacji, sposobu pomiaru i kryteriów włączenia. Dlatego wartość standaryzowana może zmieniać się bez zmiany rzeczywistej różnicy klinicznej. Cohenowskie reguły należy traktować jako heurystykę, a nie uniwersalne normy (Cohen, 1988).

Przykład 1: badanie interwencji pielęgniarskiej

Załóżmy, że badacze chcą ocenić, czy telefoniczny kontakt pielęgniarki po wypisie ze szpitala zmniejsza liczbę dni do pierwszego ponownego kontaktu z systemem ochrony zdrowia. Głównym wynikiem ma być wynik skali samoopieki, mieszczący się w zakresie 0–100 punktów.

Na podstawie wcześniejszych publikacji i konsultacji z pacjentami badacze uznają, że różnica 6 punktów byłaby praktycznie ważna. Przewidywane odchylenie standardowe wynosi 15 punktów. Standaryzowana różnica wynosi zatem:

d = Δ / σ = 6 / 15 = 0,40

Wartość 0,40 można określić jako umiarkowaną, ale ważniejsze jest to, że wynika z konkretnej interpretacji skali, a nie z arbitralnego wyboru „średniego efektu”. Następnie badacze określają α = 0,05, moc 90% i dwustronny test. Program statystyczny wylicza wymaganą próbę dla przyjętego modelu, a badacze zwiększają ją o przewidywane 15% strat w obserwacji.

Jeśli nie ma pewności, czy odchylenie standardowe wyniesie 15, czy raczej 18 punktów, należy wykonać analizę wrażliwości. Można przedstawić liczebność dla kilku kombinacji: Δ = 4, 6 i 8 punktów oraz σ = 15 i 18. Dzięki temu komisja etyczna i zespół badawczy widzą, jak krucha lub stabilna jest decyzja dotycząca próby.

Przykład 2: program zdrowia publicznego

Rozważmy badanie programu przypominającego o szczepieniach. W grupie kontrolnej oczekuje się, że pełny cykl szczepienia ukończy 60% osób. Zespół uznaje, że wzrost do 68% uzasadniałby wdrożenie programu na większą skalę. Oczekiwany efekt nie powinien być zapisany wyłącznie jako „duży wzrost”. Należy podać różnicę bezwzględną: 8 punktów procentowych, oraz ewentualnie różnicę względną lub iloraz szans.

W tym przypadku wybór efektu zależy od zasobów. Jeżeli program jest tani i łatwy do wdrożenia, nawet niewielki wzrost odsetka zaszczepionych może mieć znaczenie populacyjne. Jeżeli natomiast wymaga dużej liczby wizyt personelu, próg praktycznej użyteczności może być wyższy. Ocena powinna obejmować również koszty, akceptowalność i możliwe skutki uboczne, a nie tylko p-wartość.

Przykład praktyczny: jak zapisać uzasadnienie w protokole?

Dobre uzasadnienie mogłoby brzmieć następująco:

„Liczebność próby obliczono dla pierwszorzędowego wyniku, którym jest wynik skali samoopieki po 12 tygodniach. Za istotną praktycznie uznano różnicę 6 punktów między grupami. Wartość tę przyjęto na podstawie konsultacji z pacjentami i klinicystami oraz wcześniejszych badań, w których obserwowano podobny zakres zmienności wyniku. Przyjęto odchylenie standardowe 15 punktów, dwustronne α = 0,05, moc 90% oraz 15% rezerwy na utratę uczestników. W analizie wrażliwości rozważono różnice od 4 do 8 punktów.”

Taki zapis jest znacznie lepszy niż zdanie: „Założono średni efekt według Cohena”. Pokazuje, jaki jest główny wynik, jaka różnica ma znaczenie, skąd pochodzi założenie i jak potraktowano niepewność. Jest zgodny z dobrą praktyką raportowania planu analizy, która wymaga przejrzystego przedstawienia założeń dotyczących liczebności, efektu i mocy (APA, 2008).

Najczęstsze błędy

• Wybór efektu tylko po to, aby uzyskać „ładną” liczebność. To odwraca logikę planowania. Najpierw należy określić ważną różnicę, a dopiero potem obliczyć próbę.
• Mechaniczne użycie wartości 0,2, 0,5 lub 0,8. Reguły orientacyjne nie zastępują wiedzy o znaczeniu wyniku.
• Przyjmowanie największego efektu z wcześniejszej publikacji. Skrajne oszacowania są niestabilne i mogą prowadzić do niedoszacowania próby.
• Mylenie istotności statystycznej ze znaczeniem praktycznym. Bardzo duża próba może wykazać statystycznie istotną różnicę, która jest zbyt mała, aby mieć znaczenie dla pacjenta.
• Używanie MCID bez sprawdzenia, czego dotyczy. Wartość dla zmiany wewnątrz osoby nie zawsze jest właściwa dla różnicy między grupami.
• Brak analizy wrażliwości. Jeżeli efekt lub odchylenie standardowe są niepewne, należy pokazać, jak zmienia się liczebność przy alternatywnych założeniach.
• Pomijanie strat i niezgodności z protokołem. Próba obliczona dla danych kompletnych może być zbyt mała po uwzględnieniu wykruszania.
• Obliczanie próby dla drugorzędowego wyniku zamiast dla głównego pytania. Pierwszorzędowy punkt końcowy i jego oczekiwany efekt powinny kierować planowaniem.
• Traktowanie obserwowanego efektu pilotażowego jako pewnego. Pilot służy także ocenie wykonalności, a jego oszacowania mogą być bardzo nieprecyzyjne.

Jak postępować krok po kroku?

1. Określ główne pytanie badawcze i pierwszorzędowy wynik.
2. Ustal, jaki parametr efektu odpowiada temu pytaniu: różnica średnich, różnica odsetków, iloraz ryzyka, korelacja lub inny.
3. Zdefiniuj najmniejszą różnicę, która byłaby ważna praktycznie, klinicznie lub teoretycznie.
4. Poszukaj danych z badań podobnych pod względem populacji, pomiaru i czasu obserwacji.
5. Oceń nie tylko średni efekt, ale również jego niepewność i zmienność wyniku.
6. Rozważ kilka realistycznych scenariuszy w analizie wrażliwości.
7. Oblicz liczebność dla ustalonego α, mocy, modelu analizy i przewidywanego odsetka braków danych.
8. Zapisz uzasadnienie w protokole przed rozpoczęciem rekrutacji.

Co warto zapamiętać?

• Oczekiwana wielkość efektu w analizie mocy testu powinna oznaczać efekt, który badanie ma wykryć i który ma rzeczywiste znaczenie.
• Najlepiej uzasadniać ją poprzez minimalną ważną różnicę, wcześniejsze dane, opinie interesariuszy i analizę wrażliwości.
• Wartości „mały”, „średni” i „duży” są orientacyjne; nie powinny zastępować uzasadnienia merytorycznego.
• Efekt należy definiować w jednostkach zrozumiałych dla odbiorcy, a dopiero potem ewentualnie przeliczać na miarę standaryzowaną.
• MCID nie jest pojęciem uniwersalnym i trzeba sprawdzić, czy dotyczy zmiany wewnątrzosobniczej, czy różnicy między grupami.
• Niepewność co do efektu należy pokazać, a nie ukrywać. Analiza wrażliwości jest częścią rzetelnego planowania.
• Ostateczna liczebność próby wynika nie tylko z efektu, lecz także z mocy, poziomu α, zmienności, projektu, liczby analiz i przewidywanych strat.

Najkrótsza zasada brzmi: nie pytaj najpierw, jaki efekt zmieści się w dostępnej próbie; zapytaj, jaka różnica ma znaczenie, a następnie sprawdź, jakiej próby wymaga jej wiarygodne wykrycie. Tak zaplanowana analiza mocy testu staje się elementem dobrej metodologii, a nie wyłącznie obliczeniem wykonanym w programie statystycznym.

Źródła i dalsza lektura

1. Cook, J. A., Julious, S. A., Sones, W., Hampson, L. V., Hewitt, C., Berlin, J. A., Ashby, D., Ayele, G. M., Bianchi, M. T., Copas, A. J., et al. (2015). Practical help for specifying the target difference in sample size calculations for RCTs: the DELTA2 five-stage study, including a workshop. Health Technology Assessment, 23(60). DOI: 10.3310/hta23600.
2. Kraemer, H. C., & Kupfer, D. J. (2006). Size of treatment effects and their importance to clinical research and practice. Biological Psychiatry, 59(11), 990–996. DOI: 10.1016/j.biopsych.2005.09.014.
3. Keefe, R. S. E., Kraemer, H. C., Epstein, R. S., Frank, E., Haynes, G., Laughren, T., McNulty, J., Reed, S. D., Sanchez, J., & Leon, A. C. (2013). Defining a clinically meaningful effect for the design and interpretation of randomized controlled trials. Journal of Psychiatric Research, 47(5–6 Supplement A), 4S–19S. Pełny opis źródła.
4. Williams, D. N., & Williams, K. A. (2020). Sample Size Considerations: Basics for Preparing Clinical or Basic Research. Annals of Nuclear Cardiology, 6(1), 81–85. DOI: 10.17996/anc.20-00122.
5. Indrayan, A., Mishra, A., & Bhaskarapillai, B. (2024). Simplified Sample Size Formulas for Detecting a Medically Important Effect. Indian Journal of Community Medicine, 49(3), 464–471. DOI: 10.4103/ijcm.ijcm_787_23.
6. Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences. 2nd edition. Lawrence Erlbaum Associates.
7. American Psychological Association (2008). Reporting Standards for Research in Psychology: Why Do We Need Them? What Might They Be?. American Psychological Association. Źródło.