534. Kontrola wyników przez wykonanie analizy dwoma sposobami
Lekcja 534 z 560. W analizie statystycznej otrzymanie liczby z programu nie oznacza jeszcze, że wynik jest poprawny. Błąd może znajdować się w danych, definicji zmiennej, kodowaniu braków, wyborze obserwacji, ustawieniach procedury albo sposobie interpretacji tabeli. Jedną z najprostszych i zarazem najbardziej skutecznych metod kontroli jest wykonanie tej samej analizy dwoma sposobami. Można użyć dwóch programów, na przykład SPSS i R, dwóch interfejsów tego samego programu, na przykład menu i składni, albo dwóch równoważnych procedur obliczeniowych.
Nie chodzi o mechaniczne uzyskanie identycznych cyfr za wszelką cenę. Celem jest sprawdzenie, czy przy tych samych danych, tych samych definicjach i tych samych założeniach otrzymujemy zgodne wnioski. Taka praktyka wzmacnia wiarygodność analizy, ułatwia wykrywanie pomyłek i jest ważnym elementem powtarzalnego warsztatu badacza. W podręczniku do szkolenia na statystyk.edu.pl traktujemy ją jako naturalne rozwinięcie pracy ze składnią, dokumentowaniem projektu i kontrolą jakości bazy.
Na czym polega analiza wykonana dwoma sposobami?
Analiza dwoma sposobami oznacza ponowne obliczenie tego samego problemu analitycznego z wykorzystaniem innego narzędzia lub innej ścieżki obliczeń. Przykładowo:
- średnią i odchylenie standardowe liczymy w SPSS przez menu, a następnie w R za pomocą skryptu;
- test chi-kwadrat wykonujemy w jamovi, a wynik sprawdzamy poleceniem w R;
- skalę psychologiczną obliczamy funkcją automatyczną, a następnie ręcznie jako średnią z pozycji;
- model regresji uruchamiamy w programie graficznym, a potem odtwarzamy za pomocą składni;
- przedział ufności dla różnicy średnich sprawdzamy zarówno w tabeli programu, jak i obliczeniem opartym na wzorze.
Podstawowy warunek brzmi: drugi sposób musi rzeczywiście odpowiadać pierwszemu. Jeżeli w jednym programie użyto testu t dla prób niezależnych z korektą Welcha, a w drugim klasycznego testu t zakładającego równość wariancji, różnice wyników mogą być prawidłowe i nie świadczą o błędzie. Najpierw trzeba więc zdefiniować analizę na poziomie metodologicznym, a dopiero później wybrać jej implementację.
Trzy poziomy zgodności
- Zgodność danych. Oba sposoby korzystają z tych samych przypadków, zmiennych, kodów i reguł dotyczących braków danych.
- Zgodność metody. Zastosowano tę samą definicję statystyki, ten sam model, tę samą korektę i podobne ustawienia numeryczne.
- Zgodność interpretacji. Nawet gdy ostatnie miejsce po przecinku różni się, wnioski dotyczące wielkości efektu, niepewności i znaczenia praktycznego pozostają takie same.
Dlaczego jedna analiza może być niewystarczająca?
Program statystyczny wykonuje polecenia, które otrzymał. Nie rozpoznaje samodzielnie, że badacz pomylił płeć biologiczną z płcią zakodowaną w bazie, odwrócił skalę odpowiedzi albo pozostawił wartość „99” jako prawidłowy wynik. W praktyce najczęstsze problemy nie wynikają z błędów rachunkowych programu, lecz z niezgodności między pytaniem badawczym, strukturą danych i ustawieniami analizy.
Drugi sposób obliczeń może ujawnić między innymi:
- różną liczbę analizowanych osób;
- nieprawidłowe rozpoznanie wartości brakujących;
- odmienny sposób kodowania grup;
- przypadkowe filtrowanie lub ważenie obserwacji;
- pominięcie części pozycji skali;
- zastosowanie innego wariantu testu;
- zaokrąglenie pośrednich obliczeń;
- różnice w domyślnych ustawieniach programu.
Kontrola dwoma sposobami nie zastępuje kontroli merytorycznej. Dwa programy mogą bowiem zgodnie powtórzyć ten sam błąd, jeżeli badacz przeniesie do obu analiz nieprawidłowo przygotowaną zmienną. Dlatego weryfikacja powinna obejmować zarówno obliczenia, jak i dokumentację danych oraz decyzji analitycznych.
Co dokładnie porównywać?
Porównywanie samych wartości p jest zbyt ubogie. Należy zestawić pełny zestaw wyników, najlepiej w tabeli kontrolnej:
| Element | Przykład | Dlaczego jest ważny? |
|---|---|---|
| Liczba obserwacji | n = 184 | Pokazuje, czy obie analizy wykorzystały te same osoby. |
| Statystyki opisowe | średnia, mediana, SD, zakres | Ujawniają różnice w danych wejściowych. |
| Estymator efektu | różnica średnich, OR, współczynnik regresji | Informuje o kierunku i wielkości wyniku. |
| Niepewność | 95% CI, SE | Pozwala ocenić precyzję oszacowania. |
| Statystyka testowa | t, χ², z, F | Pomaga rozpoznać zastosowany wariant procedury. |
| Wartość p | p = 0,032 | Jest elementem wnioskowania, ale nie jedynym kryterium. |
Różnica w ostatnim miejscu po przecinku może wynikać z odmiennego sposobu przechowywania liczb lub zaokrągleń. Natomiast różnica w liczbie obserwacji, znaku współczynnika, przedziale ufności albo kategorii wyniku wymaga wyjaśnienia. Nie należy automatycznie uznawać za błąd każdej rozbieżności numerycznej, ale nie wolno też ignorować różnic wpływających na interpretację.
Kontrola na przykładzie prostego wzoru
Załóżmy, że chcemy obliczyć średnią zmianę ciśnienia skurczowego po interwencji. Dla n osób wyznaczamy różnicę:
di = po interwencjii − przed interwencjąi
Średnia zmiana wynosi:
ḋ = (d1 + d2 + … + dn) / n
- di oznacza zmianę u osoby o numerze i;
- ḋ oznacza średnią zmianę w całej próbie;
- n oznacza liczbę osób z kompletnym pomiarem przed i po interwencji.
Jeżeli SPSS liczy średnią różnicę na podstawie 76 osób, a R na podstawie 82 osób, nie porównujemy tych samych analiz. Najpierw trzeba ustalić, dlaczego sześć obserwacji zostało wyłączonych. Dopiero po uzgodnieniu n można oceniać zgodność średniej, odchylenia standardowego, przedziału ufności i wartości p.
Przykład 1: pielęgniarska ocena bólu
Badacz analizuje zmianę nasilenia bólu w skali 0–10 u 60 pacjentów po podaniu leku przeciwbólowego. Dla każdej osoby oblicza różnicę: wynik po leczeniu minus wynik przed leczeniem. W SPSS tworzy zmienną różnicową przez funkcję obliczeniową, a następnie wykonuje test t dla prób zależnych. W R tworzy tę samą zmienną w skrypcie i stosuje test dla par obserwacji.
W obu analizach powinny być zgodne: liczba par, średnia bólu przed leczeniem, średnia po leczeniu, średnia różnica, odchylenie standardowe różnic, przedział ufności i statystyka testowa. Jeżeli jeden program pokazuje 60 par, a drugi 58, trzeba sprawdzić brakujące wartości. Jeżeli średnia zmiana jest podobna, ale wartość p wyraźnie różna, możliwe jest zastosowanie testu jednostronnego w jednym programie i dwustronnego w drugim albo różna reguła dotycząca braków.
Wniosek nie powinien ograniczać się do stwierdzenia, że „wynik jest istotny”. Trzeba opisać średnią zmianę, jej 95% przedział ufności i znaczenie kliniczne. Statystyczna niezgodność z hipotezą o zerowej średniej zmianie nie mówi sama przez się, czy redukcja bólu jest wystarczająca dla pacjentów. Wartość p nie jest prawdopodobieństwem prawdziwości hipotezy zerowej ani prawdopodobieństwem, że wynik powstał wyłącznie przez przypadek (Wasserstein i Lazar, 2016).
Przykład 2: porównanie dwóch metod pomiaru saturacji
W badaniu ratowniczym porównuje się pulsoksymetr przenośny z urządzeniem referencyjnym. Ten sam pacjent ma pomiar wykonany obiema metodami. Można początkowo obliczyć korelację, ale wysoka korelacja nie oznacza, że urządzenia dają wyniki wystarczająco podobne do zastosowania zamiennego. Metody mogą zmieniać się razem, a mimo to jedna może systematycznie zawyżać pomiar.
W tym przypadku drugim sposobem kontroli może być wykonanie analizy w dwóch programach, natomiast samą ocenę zgodności należy przeprowadzić właściwą metodą. Dla każdej osoby definiujemy:
różnicai = pomiar nową metodąi − pomiar referencyjnyi
Średnia różnica opisuje obciążenie systematyczne, a granice zgodności można przybliżyć wzorem:
średnia różnica ± 1,96 × SD różnic
Symbol SD różnic oznacza odchylenie standardowe różnic między metodami. Współczynniki 1,96 wiążą się z przybliżeniem 95-procentowego zakresu przy założeniu odpowiedniego rozkładu różnic. Bland i Altman podkreślali, że ocena zgodności powinna koncentrować się na różnicach pomiarów, ich rozrzucie i znaczeniu praktycznym, a nie wyłącznie na korelacji (Bland i Altman, 1986; Bland i Altman, 1999).
Jeżeli analiza w R i jamovi daje niemal identyczną średnią różnicę oraz granice zgodności, wzmacnia to zaufanie do obliczeń. Nadal jednak trzeba ocenić, czy uzyskany zakres różnic jest akceptowalny klinicznie. Zgodność rachunkowa nie jest tym samym co akceptowalność medyczna.
Jak zorganizować procedurę kontrolną?
- Zapisz pytanie badawcze. Określ populację, ekspozycję lub interwencję, wynik i planowaną miarę efektu.
- Zamroź wersję danych. Zapisz kopię pliku użytego w analizie i nie zmieniaj jej w trakcie porównania.
- Spisz decyzje analityczne. Uwzględnij kryteria wyłączenia, definicję braków, sposób kodowania i wariant testu.
- Wykonaj analizę podstawową. Zachowaj składnię, skrypt lub eksport wyników.
- Powtórz analizę niezależnie. Drugi sposób powinien być możliwie niezależny od pierwszego; samo przepisanie tych samych wartości nie jest kontrolą.
- Porównaj pełne wyniki. Sprawdź n, statystyki opisowe, efekt, niepewność, statystykę testową i p.
- Wyjaśnij rozbieżności. Nie poprawiaj po cichu tabeli końcowej; zapisz przyczynę różnicy i decyzję.
- Udokumentuj wersje oprogramowania. W miarę możliwości podaj program, wersję, pakiety i ustawienia.
W analizach publikowanych przejrzystość ma znaczenie nie tylko dla autora, lecz także dla recenzenta i czytelnika. Zalecenia CONSORT dla badań randomizowanych, STROBE dla badań obserwacyjnych oraz standardy JARS dla badań ilościowych podkreślają potrzebę jasnego opisu procedur analitycznych, danych i sposobu raportowania (Schulz, Altman i Moher, 2010; von Elm i in., 2007; Appelbaum i in., 2018).
Najczęstsze błędy
- Porównywanie różnych analiz. W jednym programie użyto testu Welcha, a w drugim klasycznego testu t.
- Brak kontroli liczby obserwacji. Badacz porównuje wyniki bez sprawdzenia, czy oba programy analizowały tę samą próbę.
- Traktowanie korelacji jako zgodności. Wysoka korelacja nie potwierdza zamienności metod pomiaru.
- Kontrola tylko wartości p. Zgodne p przy różnych efektach i przedziałach ufności nie oznacza zgodności merytorycznej.
- Ręczne przepisywanie wyników. Przepisywanie tabel zwiększa ryzyko błędu i nie stanowi niezależnej replikacji.
- Ukrywanie rozbieżności. Każda różnica powinna zostać wyjaśniona, nawet jeśli nie zmienia końcowego wniosku.
- Założenie, że dwa programy nie mogą popełnić tego samego błędu. Jeśli do obu importowano źle zakodowaną zmienną, zgodność nie dowodzi poprawności.
- Mylenie zgodności statystycznej ze znaczeniem praktycznym. Identyczne wyniki mogą prowadzić do nieużytecznego wniosku, jeśli efekt jest zbyt mały dla pacjenta lub organizacji.
Analiza przypadku: rozbieżna regresja logistyczna
W badaniu sprawdzano, czy palenie wiąże się z rehospitalizacją w ciągu 30 dni. W SPSS uzyskano iloraz szans równy 1,80, a w R wartość 1,42. Pierwszym krokiem nie powinno być wybieranie „bardziej wiarygodnego” programu. Należy porównać tabelę danych wejściowych, liczbę przypadków, definicję zdarzenia, kategorię referencyjną, sposób kodowania palenia i zestaw zmiennych w modelu.
Po kontroli okazało się, że w SPSS zmienna palenie była zakodowana jako 1 = palacz, 0 = niepalący, natomiast w R jako 1 = niepalący, 0 = palacz. Same dane nie były błędne, ale zmieniono kategorię referencyjną. Po uzgodnieniu kodowania oba programy dały ten sam iloraz szans. Przypadek pokazuje, że kontrola dwoma sposobami jest przede wszystkim kontrolą definicji i implementacji modelu, a nie konkursem programów.
Co warto zapamiętać?
- Wykonanie analizy dwoma sposobami jest praktycznym testem jakości obliczeń.
- Najpierw trzeba uzgodnić dane, definicje zmiennych i metodę, a dopiero potem porównywać liczby.
- Należy sprawdzać nie tylko wartość p, ale również liczebność próby, statystyki opisowe, wielkość efektu i przedziały ufności.
- Różnice między programami mogą wynikać z prawidłowo odmiennych ustawień; trzeba je zidentyfikować, a nie automatycznie usuwać.
- Dwa programy nie zastępują kontroli merytorycznej i nie naprawiają błędnego kodowania danych.
- W analizach klinicznych należy odróżniać zgodność metod pomiaru od korelacji oraz od znaczenia praktycznego.
- Najlepszą kontrolą jest połączenie niezależnego powtórzenia obliczeń, dokumentacji decyzji i krytycznej interpretacji.
W dobrze przygotowanym projekcie wynik nie jest pojedynczą liczbą wygenerowaną przez program. Jest rezultatem udokumentowanego łańcucha decyzji: od pytania badawczego, przez przygotowanie danych, po model, obliczenia i interpretację. Analiza wykonana dwoma sposobami pozwala ten łańcuch sprawdzić i zwiększa szansę, że wniosek będzie nie tylko obliczeniowo poprawny, lecz także metodologicznie uzasadniony.
Źródła i dalsza lektura
- Bland, J. M.; Altman, D. G. (1986). Statistical methods for assessing agreement between two methods of clinical measurement. The Lancet, 327(8476), 307–310. DOI: 10.1016/S0140-6736(86)90837-8.
- Bland, J. M.; Altman, D. G. (1999). Measuring agreement in method comparison studies. Statistical Methods in Medical Research, 8(2), 135–160. DOI: 10.1177/096228029900800204.
- Wasserstein, R. L.; Lazar, N. A. (2016). The ASA’s Statement on p-Values: Context, Process, and Purpose. The American Statistician, 70(2), 129–133. DOI: 10.1080/00031305.2016.1154108.
- Schulz, K. F.; Altman, D. G.; Moher, D.; for the CONSORT Group (2010). CONSORT 2010 statement: updated guidelines for reporting parallel group randomised trials. BMJ, 340, c332. DOI: 10.1136/bmj.c332.
- von Elm, E.; Altman, D. G.; Egger, M.; Pocock, S. J.; Gøtzsche, P. C.; Vandenbroucke, J. P.; for the STROBE Initiative (2007). The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) Statement: Guidelines for Reporting Observational Studies. PLoS Medicine, 4(10), e296. DOI: 10.1371/journal.pmed.0040296.
- Appelbaum, M.; Cooper, H.; Kline, R. B.; Mayo-Wilson, E.; Nezu, A. M.; Rao, S. M. (2018). Journal article reporting standards for quantitative research in psychology: The APA Publications and Communications Board task force report. American Psychologist, 73(1), 3–25. DOI: 10.1037/amp0000191.