184. Wielkość efektu jako podstawa planowania próby

W poprzednich lekcjach omówiono, że wielkość próby wpływa na prawdopodobieństwo wykrycia efektu, a moc statystyczna nie jest cechą samego testu, lecz wynika z całego planu badania. Kolejnym elementem układanki jest wielkość efektu: oczekiwana albo minimalna, praktycznie ważna różnica, zależność lub zmiana, którą badanie ma wykryć. Bez jej określenia obliczenie liczebności próby łatwo staje się operacją pozorną — można uzyskać precyzyjny wynik liczbowy, ale bez jasnego związku z pytaniem naukowym.

W tej lekcji pokazano, jak rozumieć wielkość efektu, jak odróżniać ją od istotności statystycznej i jak używać jej w planowaniu badań medycznych, psychologicznych oraz społecznych. Jest to naturalne rozwinięcie materiału publicznego szkolenia metodologii badań i statystyki na statystyk.edu.pl.

Czym jest wielkość efektu?

Wielkość efektu to ilościowy opis siły zjawiska interesującego badacza. Może oznaczać między innymi:

• różnicę średnich między dwiema grupami;
• zmianę wyniku u tych samych osób przed interwencją i po niej;
• różnicę proporcji lub ryzyka zdarzenia;
• siłę związku między zmiennymi;
• część zmienności wyniku wyjaśnianą przez predyktor lub czynnik;
• iloraz szans, ryzyka albo częstości zdarzeń.

Ważne jest, że wielkość efektu może być wyrażona w jednostkach oryginalnej skali albo w postaci standaryzowanej. Przykładowo różnica 4 punktów w skali depresji jest wielkością efektu w jednostkach tej konkretnej skali. Z kolei standaryzowana różnica średnich pozwala porównywać wyniki pochodzące z różnych narzędzi pomiarowych.

Wielkość efektu nie jest tym samym co wartość p. Wartość p opisuje zgodność danych z hipotezą zerową w określonym modelu, przy przyjętym sposobie analizy. Nie informuje bezpośrednio, czy różnica jest duża, ważna klinicznie ani użyteczna społecznie. Dlatego raportowanie efektu wraz z przedziałem ufności jest bardziej informacyjne niż podawanie samej wartości p (Sullivan i Feinn, 2012; Lakens, 2013).

Dlaczego wielkość efektu jest potrzebna do obliczenia próby?

Planowanie liczebności próby wymaga określenia, jaki efekt badanie ma wykryć z ustalonym prawdopodobieństwem. Jeżeli oczekujemy bardzo dużej różnicy, wystarczy zwykle mniejsza próba. Jeżeli interesuje nas niewielka, lecz praktycznie ważna różnica, potrzebujemy większej liczby obserwacji.

W uproszczeniu moc statystyczna rośnie, gdy:

• rośnie wielkość efektu;
• rośnie liczebność próby;
• maleje zmienność pomiarów;
• zwiększa się rzetelność i czułość narzędzia;
• zostaje właściwie dobrany projekt badania;
• badacz przyjmuje większy poziom alfa lub akceptuje niższą moc.

W praktyce badacz nie powinien pytać wyłącznie: „Jakiej próby potrzebuję, aby uzyskać istotność statystyczną?”. Lepsze pytanie brzmi: „Jak mały efekt ma znaczenie dla mojego problemu i jaką próbę potrzebuję, aby go wiarygodnie wykryć?”

Wielkość efektu przyjęta do planowania nie musi być najlepszym przewidywaniem efektu, który rzeczywiście wystąpi. Często powinna być rozumiana jako minimalna istotna różnica — najmniejsza zmiana, która uzasadniałaby zmianę praktyki klinicznej, organizacyjnej lub teoretycznej. Takie podejście ogranicza ryzyko projektowania badania wokół optymistycznego, zawyżonego wyniku z małego wcześniejszego badania.

Rodzaje wielkości efektu

Różnica średnich w jednostkach oryginalnych

Najprostszy przypadek występuje wtedy, gdy porównujemy średnią w grupie interwencyjnej i kontrolnej. Jeżeli średnie wynoszą odpowiednio 8 i 5 punktów, różnica wynosi 3 punkty. Interpretacja zależy od skali. Trzy punkty na skali bólu od 0 do 10 mogą mieć inne znaczenie niż trzy punkty w teście wiedzy liczącym 100 pozycji.

W planowaniu badania medycznego szczególnie użyteczne jest określenie minimalnej klinicznie ważnej różnicy, na przykład spadku ciśnienia skurczowego o 5 mmHg, skrócenia czasu hospitalizacji o 1 dzień albo zmniejszenia liczby napadów bólu o 2 w tygodniu.

Standaryzowana różnica średnich

Jedną z najczęściej stosowanych miar jest Cohenowskie d. Dla dwóch niezależnych grup można je zapisać następująco:

d = (M1 − M2) / SDpołączone

gdzie:

• M1 — średnia w pierwszej grupie;
• M2 — średnia w drugiej grupie;
• SDpołączone — wspólne oszacowanie odchylenia standardowego w obu grupach.

Jeżeli różnica średnich wynosi 4 punkty, a odchylenie standardowe wynosi 10 punktów, to d = 0,40. Oznacza to różnicę równą 0,4 odchylenia standardowego. Nie należy jednak automatycznie uznawać jej za „małą” lub „średnią” wyłącznie na podstawie progów zaproponowanych przez Cohena. Taki opis może być punktem orientacyjnym, lecz ważniejszy jest kontekst kliniczny, społeczny i pomiarowy (Cohen, 1988; Lakens, 2013).

Różnica proporcji i miary ryzyka

W badaniach, w których wynik jest dychotomiczny, często interesuje nas różnica ryzyka. Jeżeli powikłanie wystąpiło u 12% pacjentów w grupie interwencji i u 20% w grupie kontrolnej, bezwzględna różnica ryzyka wynosi 8 punktów procentowych. Można także obliczyć ryzyko względne lub iloraz szans, lecz każda miara opisuje nieco inny aspekt danych.

Do planowania próby najlepiej wybrać taką skalę efektu, która odpowiada głównemu pytaniu badania. W wielu sytuacjach bezwzględna różnica ryzyka jest łatwiejsza do interpretacji praktycznej niż względna redukcja ryzyka. Spadek ryzyka z 2% do 1% i z 40% do 20% oznacza redukcję względną o 50%, ale konsekwencje kliniczne tych sytuacji są zupełnie różne.

Wielkość efektu w analizie korelacji i regresji

W badaniu obserwacyjnym efektem może być korelacja r, współczynnik regresji albo przyrost wyjaśnionej wariancji. Na przykład badacz może uznać, że korelacja między jakością snu a nasileniem objawów lękowych na poziomie r = 0,25 jest najmniejszym związkiem, który ma znaczenie dla projektu. W analizie regresji należy określić, czy interesuje nas efekt pojedynczego predyktora, czy całego modelu, oraz jakie zmienne będą kontrolowane.

Wielkość efektu zależy od modelu analitycznego. Ten sam zbiór danych może dać inną miarę efektu w analizie surowej, a inną po korekcie o wiek, płeć, wyjściowy poziom wyniku lub ośrodek badania. Dlatego przed obliczeniem próby trzeba określić główny model, główny punkt końcowy i sposób uwzględnienia współzmiennych.

Jak wyznaczyć oczekiwaną wielkość efektu?

Najlepszym punktem wyjścia jest połączenie kilku źródeł informacji:

1. Wyniki wcześniejszych badań. Należy ocenić ich podobieństwo do planowanego projektu, liczebność prób, jakość pomiaru i precyzję oszacowań.
2. Metaanalizy. Mogą dostarczyć bardziej stabilnego obrazu, choć ich wynik zależy od jakości i jednorodności badań włączonych do analizy.
3. Znaczenie kliniczne lub społeczne. Trzeba ustalić, jaka różnica uzasadniałaby zmianę decyzji, leczenia lub polityki publicznej.
4. Dane pilotażowe. Mogą pomóc ocenić zmienność i wykonalność pomiaru, ale małe badanie pilotażowe często daje niestabilne oszacowania efektu.
5. Przedziały ufności. Sam punktowy wynik z wcześniejszego badania nie powinien być traktowany jako pewna wartość przyszłego efektu.

Jeżeli źródła wskazują na kilka możliwych wartości, warto wykonać analizę wrażliwości. Przykładowo można obliczyć próbę dla d = 0,30, d = 0,40 i d = 0,50. Dzięki temu badacz widzi, jak bardzo decyzja zależy od przyjętego założenia.

Przykład 1: interwencja pielęgniarska a ból pooperacyjny

Załóżmy, że zespół chce ocenić krótką interwencję edukacyjną prowadzoną przez pielęgniarki u pacjentów po zabiegu chirurgicznym. Głównym wynikiem jest ból po 24 godzinach, mierzony skalą od 0 do 10. Zespół uznaje, że spadek o co najmniej 1,5 punktu byłby klinicznie ważny. Na podstawie wcześniejszych danych przyjmuje odchylenie standardowe równe 3 punkty.

Standaryzowana wielkość efektu wynosi zatem:

d = 1,5 / 3 = 0,50

Przy planowaniu należy dodatkowo określić dwustronny poziom alfa, na przykład 0,05, oraz pożądaną moc, na przykład 0,80 lub 0,90. Kalkulator mocy lub program statystyczny wykorzystuje te informacje wraz z założeniem o dwóch niezależnych grupach. Otrzymana liczebność jest następnie zwiększana z powodu przewidywanych braków danych, wycofań i niepełnego pomiaru.

Istotne jest, że badacz nie powinien rozpoczynać od wartości d = 0,50 tylko dlatego, że jest to popularny przykład podręcznikowy. Najpierw określono różnicę 1,5 punktu w skali bólu, a dopiero później przeliczono ją na miarę standaryzowaną. Dzięki temu założenie ma interpretację kliniczną.

Przykład 2: program przeciwdziałania wypaleniu zawodowemu

W badaniu psychologicznym planuje się porównać program grupowy z warunkiem kontrolnym u ratowników medycznych. Wynik stanowi suma punktów w kwestionariuszu wypalenia. Badacz nie chce wykrywać dowolnej różnicy, lecz zmianę, która byłaby dostrzegalna w praktyce organizacyjnej. Na podstawie wcześniejszych badań i konsultacji z ekspertami przyjmuje minimalną różnicę 4 punkty, a odchylenie standardowe szacuje na 12 punktów.

Odpowiada to wartości:

d = 4 / 12 = 0,33

Jest to efekt mniejszy niż 0,50, dlatego przy tych samych pozostałych założeniach wymagany rozmiar próby będzie większy. Jeżeli badacz zmieni narzędzie na bardziej rzetelne, zmienność wyników może się zmniejszyć, a wymagana próba może być niższa. Nie jest to jednak argument za manipulowaniem pomiarem w celu uzyskania małej próby. Wybór narzędzia powinien wynikać przede wszystkim z trafności, rzetelności i przydatności dla populacji.

Wielkość efektu a precyzja oszacowania

Analiza mocy nie jest jedynym sposobem planowania próby. W badaniach opisowych, prognostycznych lub estymacyjnych celem może być uzyskanie określonej szerokości przedziału ufności, a nie testowanie hipotezy zerowej. Wtedy próba jest planowana pod kątem precyzji oszacowania.

Przykładowo badacz może chcieć oszacować częstość niedożywienia wśród osób starszych z 95-procentowym przedziałem ufności nie szerszym niż 6 punktów procentowych. W takim projekcie ważniejsze od przewidywanej wartości p jest to, jak dokładnie zostanie oszacowana częstość. Podobnie w badaniu ankietowym można planować próbę tak, aby przedział dla odsetka osób korzystających z teleporad był wystarczająco wąski.

W raporcie należy jasno wskazać, czy liczebność próby wynikała z analizy mocy dla określonego efektu, czy z wymogu precyzji estymacji. APA JARS zaleca transparentne przedstawianie sposobu ustalenia próby, założeń dotyczących mocy lub precyzji oraz ewentualnych korekt związanych z brakami danych (APA, 2018; APA, 2024).

Najczęstsze błędy

• Używanie wyłącznie progów Cohena. Kategorie „mały”, „średni” i „duży” nie zastępują wiedzy dziedzinowej. Efekt mały statystycznie może być ważny klinicznie, a efekt duży może mieć niewielkie znaczenie praktyczne.
• Przyjmowanie efektu z jednego małego badania. Małe badania często dają niestabilne i zawyżone oszacowania, zwłaszcza gdy publikowane są głównie wyniki istotne statystycznie.
• Planowanie próby na podstawie wartości p. Istotność wcześniejszego wyniku nie określa wiarygodnie wielkości przyszłego efektu.
• Ignorowanie odchylenia standardowego. Ta sama różnica w jednostkach oryginalnych może dawać różne wartości d przy innej zmienności wyników.
• Brak określenia głównego wyniku. Jeżeli badacz planuje próbę dla wielu punktów końcowych, powinien wskazać, który jest pierwotny, oraz uwzględnić konsekwencje wielokrotnego testowania.
• Pomijanie strat w obserwacji. Liczebność wynikająca z kalkulatora jest często liczbą uczestników z kompletnymi danymi, a nie liczbą osób, które trzeba zrekrutować.
• Mylenie braku istotności z brakiem efektu. Wynik nieistotny statystycznie może wynikać z małej próby i dużej niepewności. Należy ocenić oszacowanie efektu i jego przedział ufności.
• Interpretowanie mocy post hoc jako dowodu braku efektu. Moc obliczona po zakończeniu badania na podstawie zaobserwowanego efektu często niewiele dodaje do informacji zawartej w przedziale ufności i nie zastępuje oceny precyzji (Hoenig i Heisey, 2001).

Jak opisać założenia w protokole?

Dobry opis powinien umożliwić odtworzenie obliczeń. W protokole lub artykule warto podać:

• pierwotny punkt końcowy;
• planowaną analizę statystyczną;
• minimalną istotną różnicę albo oczekiwany efekt;
• źródło założenia o efekcie i zmienności;
• poziom alfa i planowaną moc;
• przewidywaną liczbę grup oraz sposób alokacji;
• założony odsetek utraty uczestników;
• program lub procedurę wykorzystaną do obliczeń.

W badaniach randomizowanych zasada ta jest zgodna z CONSORT: autorzy powinni wyjaśnić, jak ustalono liczebność próby, jakie założenia przyjęto oraz czy uwzględniono przewidywane straty (Schulz, Altman i Moher, 2010; Moher i in., 2010). Sama informacja „wykonano analizę mocy” jest niewystarczająca.

Co warto zapamiętać?

1. Wielkość efektu opisuje siłę różnicy, zmiany lub związku, a nie prawdopodobieństwo prawdziwości hipotezy.
2. Planowanie próby powinno zaczynać się od pytania, jaki efekt ma znaczenie naukowe, kliniczne lub społeczne.
3. Różnicę w jednostkach oryginalnych warto, gdy to uzasadnione, uzupełnić miarą standaryzowaną, taką jak Cohenowskie d.
4. Założenie dotyczące efektu należy uzasadnić literaturą, metaanalizą, danymi pilotażowymi albo kryterium minimalnej istotnej różnicy.
5. Warto wykonać analizę wrażliwości dla kilku realistycznych wartości efektu.
6. Wielkość efektu, przedział ufności i znaczenie praktyczne są ważniejsze interpretacyjnie niż sama wartość p.
7. Jeżeli celem jest dokładne oszacowanie parametru, można planować próbę na podstawie wymaganej precyzji, a nie wyłącznie mocy testu.

Najważniejsza zasada brzmi: liczebność próby powinna wynikać z efektu, który badanie ma wykryć lub oszacować, a nie z arbitralnej liczby uczestników dostępnych badaczowi. Wielkość efektu łączy pytanie merytoryczne z decyzją statystyczną i sprawia, że analiza mocy staje się elementem planowania naukowego, a nie tylko technicznym etapem w programie statystycznym.

Źródła i dalsza lektura

1. Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences. 2nd ed.. Lawrence Erlbaum Associates. Informacja wydawcy / źródło.
2. Lakens, D. (2013). Calculating and reporting effect sizes to facilitate cumulative science: a practical primer for t-tests and ANOVAs. Frontiers in Psychology, 4, 863. DOI: 10.3389/fpsyg.2013.00863.
3. Sullivan, G. M., & Feinn, R. (2012). Using Effect Size—or Why the P Value Is Not Enough. Journal of Graduate Medical Education, 4(3), 279–282. DOI: 10.4300/JGME-D-12-00156.1.
4. Hoenig, J. M., & Heisey, D. M. (2001). The Abuse of Power: The Pervasive Fallacy of Power Calculations for Data Analysis. The American Statistician, 55(1), 19–24. DOI: 10.1198/000313001300339897.
5. Schulz, K. F., Altman, D. G., & Moher, D., for the CONSORT Group (2010). CONSORT 2010 Statement: updated guidelines for reporting parallel group randomised trials. BMJ, 340, c332. DOI: 10.1136/bmj.c332.
6. Moher, D., Hopewell, S., Schulz, K. F., Montori, V., Gøtzsche, P. C., Devereaux, P. J., Elbourne, D., Egger, M., & Altman, D. G. (2010). CONSORT 2010 Explanation and Elaboration: updated guidelines for reporting parallel group randomised trials. BMJ, 340, c869. DOI: 10.1136/bmj.c869.
7. American Psychological Association (2018). Journal Article Reporting Standards for Quantitative Research in Psychology. American Psychological Association. Źródło.
8. American Psychological Association (2024). APA Style JARS: What are they?. American Psychological Association. Źródło.