540. Checklista analizy statystycznej przed oddaniem publikacji

Oddanie manuskryptu do czasopisma nie powinno być momentem pierwszego całościowego sprawdzenia wyników. Przed wysłaniem publikacji warto przejść przez uporządkowaną checklistę analizy statystycznej. Jej celem nie jest „dopasowanie” wyników do oczekiwań, lecz wykrycie błędów w danych, obliczeniach, opisie metod i interpretacji. Dobrze przeprowadzona kontrola zwiększa przejrzystość artykułu, ułatwia recenzentom ocenę pracy i zmniejsza ryzyko, że poprawny wynik zostanie przedstawiony w sposób mylący.

W tej lekcji szkolenia na statystyk.edu.pl potraktujemy checklistę jako ostatni audyt analityczny. Nie zastępuje ona konsultacji biostatystycznej ani wytycznych dla konkretnego projektu, takich jak CONSORT dla badań randomizowanych, STROBE dla badań obserwacyjnych czy PRISMA dla przeglądów systematycznych. Pomaga jednak sprawdzić, czy pytanie badawcze, dane, metoda, wynik i wniosek tworzą spójną całość.

1. Najpierw sprawdź zgodność pytania, projektu i analizy

Analiza statystyczna powinna wynikać z pytania badawczego oraz schematu badania. Przed wejściem w szczegóły techniczne zapisz jednym zdaniem: co porównuję lub przewiduję, u kogo, w jakim czasie i dla jakiego wyniku? Następnie sprawdź, czy zastosowana metoda odpowiada temu zdaniu.

  • Czy badanie jest przekrojowe, kohortowe, kliniczne, diagnostyczne, podłużne czy quasi-eksperymentalne?
  • Czy jednostką analizy jest osoba, para pomiarów, oddział, szkoła, zdarzenie lub obserwacja w czasie?
  • Czy wynik główny został zdefiniowany przed analizą?
  • Czy kierunek i skala efektu są zgodne z hipotezą oraz charakterem zmiennej?
  • Czy język wniosków odpowiada projektowi badania?

W badaniu przekrojowym można opisać współwystępowanie zmiennych, lecz zwykle nie należy pisać, że jedna zmienna „spowodowała” drugą. W badaniu randomizowanym uzasadnienie wniosku przyczynowego może być silniejsze, ale nadal zależy od randomizacji, wykonania protokołu, kompletności obserwacji i sposobu analizy. Wytyczne CONSORT podkreślają konieczność przejrzystego przedstawienia projektu, przepływu uczestników, wyników i metod statystycznych (Moher et al., 2010).

2. Kontrola danych przed uruchomieniem analizy

Identyfikatory, liczebności i duplikaty

Porównaj liczbę rekordów w pliku roboczym z dokumentacją badania. Sprawdź, czy każda osoba ma unikatowy identyfikator oraz czy nie występują duplikaty. W badaniu podłużnym duplikat osoby nie musi być błędem: jedna osoba może mieć wiele pomiarów. Błędem byłoby natomiast potraktowanie tych pomiarów jako niezależnych, jeżeli model nie uwzględnia zależności obserwacji.

Utwórz prostą tabelę kontroli: liczba zrekrutowanych osób, liczba wyłączonych, powody wyłączenia, liczba analizowanych oraz liczba obserwacji dla każdego wyniku. Liczby w tej tabeli powinny zgadzać się z diagramem przepływu uczestników i z mianownikami w tabelach wynikowych.

Zakresy, kodowanie i jednostki

Dla każdej zmiennej sprawdź minimum, maksimum, liczbę braków, jednostkę pomiaru i sposób kodowania. Wiek równy 250 lat, skurczowe ciśnienie tętnicze równe 0 mm Hg albo wynik skali poza możliwym zakresem powinny zostać wyjaśnione, a nie automatycznie usunięte. Najpierw ustal, czy jest to błąd wprowadzania danych, wartość rzeczywista, kod braku danych czy wynik pomiaru o ograniczonej wiarygodności.

Warto sporządzić słownik danych zawierający nazwę zmiennej, opis, typ, jednostkę, dopuszczalne wartości, kody braków oraz regułę tworzenia wskaźnika. Jest to szczególnie ważne przy skalach psychologicznych i klinicznych. Należy sprawdzić, czy pozycje odwrócone zostały poprawnie przekodowane oraz czy suma lub średnia skali jest liczona według wcześniej ustalonej reguły.

3. Braki danych i wykluczenia

Brak danych nie jest jedną kategorią. Może oznaczać odmowę odpowiedzi, nieprzeprowadzenie pomiaru, utratę uczestnika, błąd techniczny albo wartość nieznaną z innego powodu. W publikacji należy podać, ile obserwacji brakuje dla kluczowych zmiennych i ilu uczestników faktycznie znalazło się w każdej analizie.

Sprawdź, czy osoby z brakami różnią się od osób z pełnymi danymi. Nie dowodzi to automatycznie mechanizmu braku, ale może wskazywać na ryzyko obciążenia. Samo usunięcie wszystkich niekompletnych rekordów, czyli analiza przypadków kompletnych, nie zawsze jest neutralne. Jeżeli zastosowano imputację, opisz jej model, liczbę zbiorów imputowanych, zmienne użyte w imputacji i sposób połączenia wyników.

Nie należy pisać, że dane zostały „oczyszczone”, jeżeli w rzeczywistości usunięto obserwacje na podstawie tego, czy pasowały do oczekiwanego wzorca. Każde wykluczenie powinno mieć regułę możliwą do obrony przed rozpoczęciem oglądania wyniku.

4. Sprawdzenie założeń metod

Założenia nie są formalnością dopisywaną po analizie. Określają, czy wynik można interpretować w zastosowanym modelu. W zależności od metody sprawdź między innymi:

  • niezależność obserwacji;
  • kształt rozkładu reszt, a nie tylko rozkład surowej zmiennej;
  • liniowość zależności w regresji;
  • stałość wariancji, czyli homoscedastyczność;
  • współliniowość zmiennych objaśniających;
  • występowanie obserwacji wpływowych i odstających;
  • proporcjonalność hazardów w modelu Coxa, jeśli użyto tego modelu;
  • odpowiednią liczebność komórek w tabelach dla testów kategorii.

Test Shapiro–Wilka nie powinien być jedynym sposobem oceny normalności. Przy dużych próbach może wykryć małe, praktycznie nieistotne odstępstwa, a przy małych próbach może mieć małą moc. Połącz wykresy, wiedzę o pomiarze, diagnostykę reszt i konsekwencje naruszenia założenia. Jeżeli wybrano metodę odporną, transformację, model uogólniony lub bootstrap, wyjaśnij dlaczego.

5. Wynik główny, efekty i przedziały ufności

Przed oddaniem artykułu zaznacz w tabeli analitycznej wynik główny, wyniki drugorzędowe i analizy eksploracyjne. Sprawdź, czy abstrakt, tekst, tabela i wykres podają tę samą wersję wyniku.

Wynik powinien być przedstawiany nie tylko przez wartość p. Dla różnicy średnich może to być różnica wraz z 95-procentowym przedziałem ufności, dla wyniku binarnego iloraz szans, ryzyko względne lub różnica ryzyka, a dla czasu do zdarzenia iloraz hazardów. W publikacji warto podać również wartości opisowe w grupach oraz liczebności, z których obliczono efekt.

Przedział ufności nie jest gwarantowanym przedziałem zawierającym prawdziwy parametr. W klasycznej interpretacji 95-procentowa procedura konstruowania przedziału daje przedziały obejmujące parametr w około 95% powtarzanych próbek, przy spełnieniu założeń procedury. W praktyce przedział pokazuje zakres wartości zgodnych z danymi i modelem, a także precyzję oszacowania.

Jeżeli raportujesz różnicę dwóch średnich:

DM = średnia w grupie 1 − średnia w grupie 2

DM oznacza oszacowaną różnicę średnich. Znak wyniku informuje o kierunku różnicy, a jego jednostka jest taka sama jak jednostka wyniku. Przedział ufności dla DM powinien być podany obok oszacowania. W przypadku wyników klinicznych należy dodatkowo omówić, czy zaobserwowana różnica ma znaczenie praktyczne, na przykład czy przekracza wcześniej określony minimalny istotny klinicznie efekt.

Wartość p nie jest prawdopodobieństwem prawdziwości hipotezy zerowej. Nie mówi też, jak duży ani jak ważny praktycznie jest efekt. Mała wartość p może towarzyszyć bardzo małej różnicy w dużej próbie, a wynik nieistotny statystycznie może być zgodny zarówno z brakiem efektu, jak i z efektem istotnym, lecz niedokładnie oszacowanym.

6. Wielokrotne testowanie i analizy dodatkowe

Sprawdź, ile hipotez, wyników i podgrup analizowano. Im więcej niezależnych testów wykonano, tym większe ryzyko uzyskania przynajmniej jednego „istotnego” wyniku przez przypadek, jeśli nie zastosowano odpowiedniej kontroli. Nie rozwiązuj tego problemu wyłącznie przez dopisywanie po fakcie etykiety „analiza eksploracyjna”. W tekście wyraźnie oddziel hipotezy pierwotne od analiz dodatkowych.

Jeżeli użyto korekty dla wielokrotnych porównań, podaj jej rodzaj i uzasadnienie. Jeżeli nie stosowano korekty, przedstaw racjonalne uzasadnienie, ogranicz liczbę wniosków i unikaj języka sugerującego potwierdzenie wielu niezależnych hipotez. Analizy podgrup powinny mieć sens merytoryczny, a najlepiej wynikać z wcześniejszego planu.

7. Tabele, wykresy i zgodność liczb

Przeczytaj artykuł tak, jak przeczytałby go recenzent, który nie zna danych. Czy z tabeli wiadomo, co oznacza każdy skrót? Czy mianowniki są jasne? Czy procenty liczone są w wierszach, kolumnach czy w całej próbie? Czy podano jednostki i zakres czasu obserwacji?

Sprawdź następujące elementy:

  • suma liczebności w grupach zgadza się z liczbą analizowanych osób;
  • procenty zaokrąglono w sposób, który nie powoduje pozornych rozbieżności;
  • przedziały ufności nie są obcięte ani błędnie opisane;
  • wykres nie sugeruje większej różnicy przez manipulację skalą osi;
  • legenda definiuje kolory, symbole, jednostki i punkty pomiarowe;
  • ta sama liczba nie ma różnych wartości w abstrakcie, tekście i tabeli.

Jeżeli porównujesz dwa sposoby pomiaru, sama korelacja nie wystarcza do oceny zgodności. Dwie metody mogą silnie korelować, a mimo to systematycznie różnić się o kilka jednostek. W takiej sytuacji warto rozważyć analizę różnic i wykres Bland–Altmana, który ocenia między innymi średnie odchylenie oraz granice zgodności (Bland i Altman, 1986).

8. Przykład praktyczny: program edukacyjny dla pacjentów z nadciśnieniem

Załóżmy, że badacze porównali 120 pacjentów uczestniczących w programie edukacyjnym z 120 pacjentami otrzymującymi standardową opiekę. Wynikiem głównym było skurczowe ciśnienie tętnicze po 12 tygodniach. Analiza obejmowała regresję liniową z korektą o wartość wyjściową, wiek i płeć.

Kontrola przed publikacją

  1. Projekt: jeżeli przydział nie był losowy, artykuł nie powinien nazywać programu „przyczyną” spadku ciśnienia bez ostrożnego uzasadnienia.
  2. Liczebność: trzeba sprawdzić, czy w analizie końcowej znalazło się 240 osób, czy mniej z powodu utraty obserwacji.
  3. Braki: należy podać, ilu pacjentów nie miało pomiaru po 12 tygodniach i czy braki różniły się między grupami.
  4. Model: trzeba sprawdzić liniowość związku między ciśnieniem wyjściowym a końcowym oraz diagnostykę reszt.
  5. Efekt: należy podać skorygowaną różnicę średnich, 95-procentowy przedział ufności i wartość p, ale nie ograniczać wyniku do samego p.
  6. Znaczenie praktyczne: spadek o 1 mm Hg może być statystycznie istotny przy dużej próbie, lecz jego znaczenie kliniczne może być ograniczone.

Przykładowy poprawny opis mógłby brzmieć: „Po 12 tygodniach skorygowana różnica średniego ciśnienia skurczowego między grupą programu a grupą standardowej opieki wyniosła −4,2 mm Hg, 95% CI [−7,1; −1,3]. Wynik wskazuje na niższe średnie ciśnienie w grupie programu w tym punkcie obserwacji; jego znaczenie kliniczne należy oceniać w odniesieniu do zakładanej wartości efektu oraz ograniczeń projektu nierandomizowanego”. Taki zapis nie utożsamia wartości p z prawdopodobieństwem hipotezy i nie ukrywa ograniczeń.

9. Przykład z psychologii: skala stresu i jakość snu

W badaniu studentów analizowano związek wyniku skali stresu z jakością snu. Autorzy wykonali kilkanaście korelacji, a następnie wybrali trzy o najmniejszych wartościach p do regresji. Przed publikacją trzeba zadać pytanie, czy model został zaplanowany, czy skonstruowany po obejrzeniu wyników.

Kontrola powinna obejmować rzetelność i sposób liczenia skali, rozkład zmiennych, liniowość zależności, obserwacje wpływowe oraz liczbę testowanych hipotez. Jeżeli analizę regresji wybrano po eksploracji, należy nazwać ją analizą eksploracyjną i powstrzymać się od przedstawiania jej jako wcześniejszego potwierdzenia hipotezy. Warto też raportować wielkość związku i przedział ufności, a nie tylko stwierdzenie, że korelacja była „istotna”.

10. Czy opis metod pozwala odtworzyć analizę?

Raportowanie powinno być wystarczająco szczegółowe, aby kompetentny czytelnik mógł ocenić adekwatność metody i zweryfikować wynik. ICMJE zaleca między innymi podawanie odpowiednich miar niepewności, definiowanie terminów statystycznych i unikanie technicznego języka używanego potocznie (ICMJE, 2026). W praktyce sprawdź:

  • czy podano wersję programu i użyte pakiety;
  • czy opisano sposób kodowania zmiennych;
  • czy wiadomo, jak potraktowano braki danych;
  • czy opisano reguły wykluczeń;
  • czy wskazano model, zmienne i sposób ich włączenia;
  • czy podano procedurę dla przedziałów ufności i korekt;
  • czy wynik można powiązać z zapisanym skryptem, logiem i plikiem danych analitycznych.

Wytyczne APA JARS wskazują, jakie informacje powinny pojawić się w poszczególnych częściach artykułu ilościowego, aby zwiększyć jasność i odtwarzalność raportowania (APA, 2018). Dla badań obserwacyjnych pomocna jest checklista STROBE, a dla randomizowanych badań klinicznych — CONSORT. Są to narzędzia do raportowania, nie certyfikaty poprawności metodologicznej.

Najczęstsze błędy

  • Raportowanie wyłącznie wartości p, bez wielkości efektu i przedziału ufności.
  • Wnioskowanie przyczynowe z badania obserwacyjnego bez odpowiedniego uzasadnienia.
  • Usuwanie obserwacji odstających bez podania reguły i analizy wrażliwości.
  • Przedstawianie analizy eksploracyjnej jako zaplanowanej analizy potwierdzającej.
  • Stosowanie testów parametrycznych lub nieparametrycznych bez sprawdzenia, jaka wielkość jest właściwie analizowana.
  • Traktowanie pomiarów powtarzanych jako niezależnych obserwacji.
  • Używanie korelacji jako dowodu zgodności dwóch metod pomiaru.
  • Podawanie różnych liczebności w abstrakcie, metodach i tabelach.
  • Brak informacji o brakach danych i liczbie osób w analizie końcowej.
  • Zmiana wyniku głównego lub modelu po obejrzeniu rezultatów bez ujawnienia tej zmiany.

Końcowa checklista przed wysłaniem artykułu

  1. Czy pytanie badawcze i wynik główny są jednoznaczne?
  2. Czy projekt badania uzasadnia użyty język interpretacji?
  3. Czy liczebności, identyfikatory i duplikaty zostały sprawdzone?
  4. Czy zakresy, jednostki i kody zmiennych są poprawne?
  5. Czy braki danych, wykluczenia i imputacja są opisane?
  6. Czy oceniono kluczowe założenia modelu?
  7. Czy podano efekty, przedziały ufności i wartości opisowe?
  8. Czy oddzielono wynik główny od analiz dodatkowych?
  9. Czy tabele, wykresy i tekst zawierają te same liczby?
  10. Czy opis metody pozwala zrozumieć i odtworzyć analizę?
  11. Czy wnioski rozróżniają istotność statystyczną, wielkość efektu i znaczenie praktyczne?
  12. Czy zastosowano odpowiednią wytyczną raportowania?

Co warto zapamiętać?

Checklista analizy statystycznej nie służy do znalezienia „ładniejszego” wyniku. Służy do sprawdzenia, czy wynik jest spójny z pytaniem, danymi i projektem badania oraz czy został przedstawiony z odpowiednią niepewnością. Najważniejsze są: zgodność liczebności, jawne reguły postępowania z brakami, kontrola założeń, raportowanie wielkości efektu i przedziałów ufności, rozdzielenie analiz potwierdzających od eksploracyjnych oraz ostrożne formułowanie wniosków. Ostateczny audyt powinien obejmować nie tylko obliczenia, ale cały łańcuch: dane — kod — wynik — tabela — interpretacja.

Źródła i dalsza lektura

  1. American Psychological Association (2018). APA Style Journal Article Reporting Standards (JARS). APA Style. American Psychological Association. Źródło.
  2. Moher, D.; Hopewell, S.; Schulz, K. F.; Montori, V.; Gøtzsche, P. C.; Devereaux, P. J.; Elbourne, D.; Egger, M.; Altman, D. G. (2010). CONSORT 2010 explanation and elaboration: updated guidelines for reporting parallel group randomised trials. BMJ, 340, c869. DOI: 10.1136/bmj.c869.
  3. Schulz, K. F.; Altman, D. G.; Moher, D.; CONSORT Group (2010). CONSORT 2010 statement: updated guidelines for reporting parallel group randomised trials. BMJ, 340, c332. DOI: 10.1136/bmj.c332.
  4. von Elm, E.; Altman, D. G.; Egger, M.; Pocock, S. J.; Gøtzsche, P. C.; Vandenbroucke, J. P.; STROBE Initiative (2007). The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) statement: guidelines for reporting observational studies. PLoS Medicine, 4(10), e296. DOI: 10.1371/journal.pmed.0040296.
  5. Bland, J. M.; Altman, D. G. (1986). Statistical methods for assessing agreement between two methods of clinical measurement. The Lancet, 327(8476), 307–310. DOI: 10.1016/S0140-6736(86)90837-8.
  6. International Committee of Medical Journal Editors (2026). Recommendations for the Conduct, Reporting, Editing, and Publication of Scholarly Work in Medical Journals. ICMJE. International Committee of Medical Journal Editors. Źródło.

Podobne wpisy

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Wymagane pola są oznaczone *