333. Testowanie równoważności – inne pytanie niż brak różnicy

W poprzednich lekcjach analizowaliśmy sytuacje, w których badacz pyta, czy dane dostarczają podstaw do stwierdzenia różnicy między grupami lub warunkami. W praktyce naukowej często pojawia się jednak pytanie odwrotne: czy dwie procedury, leki, pomiary albo metody można uznać za wystarczająco podobne, aby ich różnica nie miała znaczenia praktycznego? To nie jest zwykłe pytanie o brak istotności statystycznej. Odpowiedzią na ten problem jest testowanie równoważności.

Jest to ważne rozróżnienie, ponieważ nieistotny wynik klasycznego testu różnicy może oznaczać zarówno rzeczywistą zgodność wyników, jak i zbyt małą moc badania. Test równoważności wymaga natomiast wcześniejszego określenia, jaka różnica byłaby jeszcze akceptowalna z punktu widzenia medycyny, psychologii, zdrowia publicznego lub praktyki społecznej. Dopiero względem takiej granicy można formalnie oceniać, czy dane wspierają wniosek o równoważności.

Na czym polega inne pytanie?

Załóżmy, że porównujemy średnie wyniki dwóch grup. Klasyczny test różnicy zwykle formułuje hipotezę zerową:

H0: Δ = 0

gdzie Δ oznacza prawdziwą różnicę między porównywanymi populacjami, na przykład różnicę średnich, odsetków albo logarytmów ilorazu średnich. Alternatywa brzmi:

H1: Δ ≠ 0.

Jeżeli nie odrzucimy hipotezy zerowej, możemy powiedzieć jedynie, że nie uzyskaliśmy wystarczających dowodów na różnicę równą zero. Nie wolno automatycznie tłumaczyć tego jako dowodu, że grupy są równoważne. Przedział ufności może być bowiem bardzo szeroki i obejmować zarówno różnice praktycznie pomijalne, jak i różnice ważne.

W teście równoważności hipoteza zerowa jest odwrócona i obejmuje wszystkie różnice uznane za zbyt duże:

H0: Δ ≤ −δ albo Δ ≥ δ

Natomiast hipoteza alternatywna ma postać:

H1: −δ < Δ < δ.

Symbol δ oznacza wcześniej ustaloną granicę równoważności. Wynik uznaje się za równoważny, gdy dane pozwalają odrzucić hipotezę, że prawdziwa różnica znajduje się poza przedziałem (−δ, δ). W ten sposób badacz nie próbuje udowodnić matematycznej identyczności. Weryfikuje, czy ewentualna różnica jest wystarczająco mała, aby z punktu widzenia celu badania uznać ją za nieistotną praktycznie.

Równoważność, brak różnicy i nieinferiorność

Brak istotnej różnicy

Nieistotny wynik klasycznego testu, na przykład p = 0,18, nie rozstrzyga, czy grupy są podobne. Informuje tylko, że przy założonym modelu i zgromadzonych danych nie odrzucono hipotezy o różnicy równej zero. Przy małej próbie badanie może nie mieć wystarczającej mocy, aby wykryć różnicę, która w praktyce byłaby ważna.

Równoważność

Test równoważności stawia mocniejsze i bardziej konkretne wymaganie: należy wykazać, że prawdopodobny zakres różnicy mieści się w granicach uznanych za akceptowalne. Granice te nie wynikają automatycznie z danych. Powinny być określone przed analizą, na podstawie wiedzy klinicznej, wcześniejszych badań, właściwości narzędzia pomiarowego, kosztów błędu lub wymagań regulacyjnych (Lakens, 2017).

Nieinferiorność

Badanie nieinferiorności ma zwykle jednostronny cel. Chodzi o wykazanie, że nowe leczenie nie jest gorsze od leczenia standardowego o więcej niż ustalona granica. W teście równoważności istotne są oba kierunki: nowa metoda nie może być ani wystarczająco gorsza, ani wystarczająco lepsza, aby wyjść poza ustalony przedział. Równoważność i nieinferiorność nie powinny więc być traktowane jako synonimy.

Granica równoważności jako decyzja merytoryczna

Najważniejszym elementem testu równoważności jest wybór wartości δ. Nie jest to wyłącznie parametr techniczny. Granica wyraża odpowiedź na pytanie: jak duża różnica nadal nie zmieniłaby decyzji praktycznej?

W badaniu klinicznym granicę można oprzeć na minimalnej różnicy ważnej dla pacjenta, znanej jako minimalna istotna różnica kliniczna. W badaniu psychologicznym może to być różnica mniejsza niż ustalony próg interpretacji skali albo mniejsza niż typowy błąd pomiaru. W badaniu diagnostycznym granica może odnosić się do dopuszczalnego odchylenia czułości, swoistości lub wyników pomiaru względem metody referencyjnej.

Granica powinna być uzasadniona przed obejrzeniem wyników. Ustalenie jej dopiero po analizie zwiększa ryzyko dopasowania kryterium do uzyskanego rezultatu. W publikacji należy podać nie tylko samą wartość, lecz również jej jednostkę, kierunek oraz merytoryczne uzasadnienie.

Procedura dwóch testów jednostronnych, czyli TOST

Jedną z najczęściej stosowanych procedur jest TOST (two one-sided tests), czyli procedura dwóch jednostronnych testów. Jej logika polega na osobnym sprawdzeniu dwóch warunków:

1. czy dane wykluczają różnicę co najmniej tak małą jak dolna granica, czyli Δ ≤ −δ;
2. czy dane wykluczają różnicę co najmniej tak dużą jak górna granica, czyli Δ ≥ δ.

Równoważność stwierdza się dopiero wtedy, gdy oba testy jednostronne są istotne na przyjętym poziomie α. W praktyce oznacza to, że większa z dwóch wartości p musi być mniejsza od alfa. Innym, często wygodniejszym sposobem jest sprawdzenie, czy odpowiedni dwustronny przedział ufności całkowicie mieści się między granicami równoważności (Lakens, 2017; Lakens, Scheel i Isager, 2018).

Dla różnicy średnich można zapisać statystyki obu testów schematycznie:

tdolna = (Δ̂ + δ) / SE(Δ̂)

tgórna = (Δ̂ − δ) / SE(Δ̂)

W tych wzorach:

• Δ̂ oznacza oszacowaną różnicę z próby;
• δ oznacza ustaloną granicę równoważności;
• SE(Δ̂) jest błędem standardowym oszacowanej różnicy;
• tdolna i tgórna są statystykami dla dwóch jednostronnych testów.

W analizie należy oczywiście uwzględnić właściwy model: niezależność albo zależność obserwacji, wariancje, rozkład zmiennej, korelację pomiarów powtarzanych, ewentualne kowariaty oraz sposób postępowania z brakami danych. Sama nazwa TOST nie zastępuje poprawnego planu badania.

Interpretacja przedziału ufności

Załóżmy, że granice równoważności wynoszą −5 i 5 punktów skali, a oszacowana różnica między grupami wynosi 1,2 punktu. Jeżeli 90-procentowy przedział ufności dla różnicy wynosi od −2,8 do 4,9, cały przedział mieści się wewnątrz granic równoważności. Wynik wspiera wniosek o równoważności w zdefiniowanym zakresie.

Jeżeli przedział wynosi od −6,1 do 3,7, nie można stwierdzić równoważności, ponieważ część wiarygodnego zakresu obejmuje różnicę większą niż dopuszczalna. Nie oznacza to automatycznie, że metody się różnią. Oznacza, że dane nie pozwalają wystarczająco precyzyjnie wykluczyć różnicy przekraczającej granicę.

W klasycznej wersji TOST dla poziomu alfa 0,05 odpowiada to sprawdzeniu, czy 90-procentowy dwustronny przedział ufności mieści się w granicach. W raporcie trzeba jednak jasno wskazać, jaki przedział zastosowano i dlaczego, zamiast ograniczać się do samego stwierdzenia „test był nieistotny”.

Przykład 1: lek generyczny a lek referencyjny

Załóżmy, że porównuje się farmakokinetykę preparatu generycznego z preparatem referencyjnym. W badaniach bioekwiwalencji analizuje się między innymi iloraz średnich geometrycznych dla wybranych parametrów, często po transformacji logarytmicznej. Kryterium może być wyrażone jako przedział dla ilorazu, a nie jako zwykła różnica surowych średnich. W wielu procedurach regulacyjnych ocena opiera się na tym, czy odpowiedni przedział ufności mieści się w zdefiniowanych granicach bioekwiwalencji; szczegóły zależą od substancji, parametru i właściwego dokumentu regulacyjnego (FDA, 2026). ([fda.gov])

Załóżmy hipotetycznie, że oszacowany iloraz wynosi 1,03, a 90-procentowy przedział ufności rozciąga się od 0,96 do 1,10. Jeżeli określone dla danego zastosowania granice wynoszą 0,80 i 1,25, wynik mieści się w tym zakresie. Nie oznacza to, że oba preparaty są identyczne pod każdym względem. Oznacza, że różnica w analizowanym parametrze mieści się w przyjętych granicach równoważności.

Wniosek powinien być ograniczony do populacji, warunków podania, parametrów i procedury opisanych w badaniu. Nie należy rozszerzać go bez uzasadnienia na wszystkie możliwe efekty kliniczne lub bezpieczeństwo.

Przykład 2: krótsza interwencja psychologiczna

Rozważmy badanie, w którym porównuje się standardowy, ośmiotygodniowy program terapii z jego czterotygodniową wersją. Wynikiem jest zmiana nasilenia objawów depresyjnych w skali od 0 do 60 punktów. Badacze uznają wcześniej, że różnica mniejsza niż 3 punkty nie będzie istotna klinicznie, ponieważ mieści się poniżej ustalonego progu interpretacyjnego.

Hipoteza równoważności brzmi zatem:

H1: −3 < Δ < 3.

Oszacowana różnica wynosi −0,8 punktu, a 90-procentowy przedział ufności od −2,4 do 0,9. Cały przedział znajduje się między −3 a 3, więc można uznać, że krótszy program jest równoważny standardowemu w odniesieniu do zmiany objawów, przy przyjętej granicy.

Nie wolno jednak napisać, że krótsza terapia „działa dokładnie tak samo” albo że jest równoważna pod każdym względem. Trzeba jeszcze ocenić retencję uczestników, działania niepożądane, koszty, trwałość efektu i wyniki drugorzędowe. Równoważność zawsze dotyczy konkretnego wyniku, czasu pomiaru i określonych granic.

Przykład praktyczny: zgodność dwóch metod pomiaru ciśnienia

W poradni porównuje się automatyczny ciśnieniomierz naramienny z metodą referencyjną. Badacze przyjmują, że średnia różnica skurczowego ciśnienia tętniczego między metodami nie może przekraczać 5 mmHg w żadnym kierunku. Średnia różnica wynosi 1,1 mmHg, a 95-procentowy przedział ufności od −1,6 do 3,8 mmHg.

Wynik sugeruje, że średnia różnica mieści się w granicach równoważności. Nie wystarcza to jednak do pełnej oceny zgodności pomiarów. Należy rozważyć także zmienność różnic między poszczególnymi pacjentami, wykres Blanda-Altmana, możliwe obciążenie wyników zależne od poziomu ciśnienia oraz konsekwencje klasyfikacji pacjentów. Dwie metody mogą mieć podobne średnie, ale różnić się na tyle u pojedynczych osób, że jedna z nich będzie nieakceptowalna w decyzjach klinicznych. Test równoważności jest więc elementem oceny, a nie jej całkowitym zamiennikiem (Giavarina, 2015; Vock et al., 2018).

Najczęstsze błędy

• Traktowanie p > 0,05 jako dowodu równoważności. Nieistotność klasycznego testu nie wyklucza dużych różnic, jeśli przedział ufności jest szeroki.
• Ustalanie granic po obejrzeniu wyników. Granica powinna wynikać z uzasadnienia merytorycznego, a nie z chęci uzyskania korzystnego wniosku.
• Wybór zbyt szerokiej granicy. Łatwo wtedy uzyskać formalną równoważność, która nie ma sensu klinicznego lub społecznego.
• Mylenie równoważności z identycznością. Równoważność oznacza akceptowalną podobność w określonym zakresie i dla określonego wyniku.
• Raportowanie wyłącznie wartości p. Należy podać oszacowanie efektu, granice równoważności, przedział ufności, metodę analizy i uzasadnienie kryterium.
• Ignorowanie precyzji badania. Duża próba może wykazać bardzo małą różnicę, ale mała próba może nie pozwolić na wiarygodne wykazanie równoważności.
• Stosowanie granicy bez jednostki. Wartość 5 nie ma znaczenia bez informacji, czy chodzi o punkty skali, mmHg, milisekundy, procenty czy iloraz.
• Uogólnianie wniosku poza zakres analizy. Równoważność jednego wyniku nie dowodzi równoważności bezpieczeństwa, trwałości efektu ani wszystkich innych rezultatów.

Jak zaplanować i opisać badanie?

1. Zdefiniuj główny wynik i kierunek porównania.
2. Ustal granice równoważności przed analizą.
3. Uzasadnij granice klinicznie, psychometrycznie, regulacyjnie lub organizacyjnie.
4. Dobierz projekt i liczebność próby z uwzględnieniem oczekiwanej precyzji oraz mocy testu równoważności.
5. Określ sposób analizy braków danych, odstępstw od protokołu i analiz wrażliwości.
6. Podaj oszacowanie różnicy, przedział ufności, granice równoważności oraz wynik obu testów jednostronnych albo równoważną interpretację przedziału.
7. Ogranicz wniosek do populacji, czasu obserwacji i wyniku, dla których zaplanowano badanie.

W randomizowanych badaniach klinicznych sposób raportowania badań równoważności i nieinferiorności powinien uwzględniać odpowiednie rozszerzenia CONSORT, w tym jasne przedstawienie granic, populacji analitycznych i interpretacji przedziałów ufności (Piaggio et al., 2006). ([pubmed.ncbi.nlm.nih.gov](https://pubmed.ncbi.nlm.nih.gov/16522836/?utm_source=openai))

Co warto zapamiętać?

• Test równoważności odpowiada na pytanie, czy różnica jest wystarczająco mała, a nie tylko na pytanie, czy wykazano różnicę równą zero.
• Nieistotny wynik klasycznego testu nie jest dowodem równoważności.
• Granice równoważności muszą być określone i uzasadnione przed analizą.
• Procedura TOST obejmuje dwa testy jednostronne; oba muszą wspierać odrzucenie hipotezy o różnicy poza granicami.
• Przedział ufności powinien mieścić się w całości między granicami równoważności.
• Równoważność dotyczy konkretnego wyniku, czasu, populacji i zakresu różnicy.
• Wniosek statystyczny trzeba oddzielić od oceny klinicznej, organizacyjnej i praktycznej.

W ramach publicznego szkolenia na statystyk.edu.pl warto łączyć tę lekcję z wcześniejszymi tematami dotyczącymi mocy, błędu II rodzaju, przedziałów ufności oraz znaczenia klinicznego. Dopiero wspólne rozpatrzenie tych elementów pozwala ocenić, czy badanie rzeczywiście dostarczyło przekonujących dowodów podobieństwa, czy tylko nie wykazało różnicy.

Źródła i dalsza lektura

1. Lakens, D. (2017). Equivalence Tests: A Practical Primer for t Tests, Correlations, and Meta-Analyses. Social Psychological and Personality Science, 8(4), 355–362. DOI: 10.1177/1948550617697177.
2. Lakens, D.; Scheel, A. M.; Isager, P. M. (2018). Equivalence Testing for Psychological Research: A Tutorial. Advances in Methods and Practices in Psychological Science, 1(2), 259–269. DOI: 10.1177/2515245918770963.
3. Piaggio, G.; Elbourne, D. R.; Altman, D. G.; Pocock, S. J.; Evans, S. J. W.; CONSORT Group (2006). Reporting of Noninferiority and Equivalence Randomized Trials: An Extension of the CONSORT Statement. JAMA, 295(10), 1152–1160. DOI: 10.1001/jama.295.10.1152.
4. Giavarina, D. (2015). Understanding Bland Altman Analysis. Biochemia Medica, 25(2), 141–151. DOI: 10.11613/BM.2015.015.
5. Vock, D. M.; Wolfson, J.; Bandyopadhyay, S.; Adomavicius, G.; Johnson, P. E.; O’Connor, P. J.; Maciejewski, M. L. (2018). Adapting machine learning algorithms to prior probability shift in clinical prediction models: A review and empirical evaluation. Statistical Methods in Medical Research, 27(12), 3689–3706. DOI: 10.1177/0962280218759537.
6. U.S. Food and Drug Administration, Center for Drug Evaluation and Research (2026). Statistical Approaches to Establishing Bioequivalence. U.S. Food and Drug Administration. Źródło.