556. APA JARS – standardy raportowania badań ilościowych

W poprzednich lekcjach modułu omawialiśmy standardy dopasowane do określonych projektów, między innymi CONSORT, STROBE, PRISMA, STARD i TRIPOD. APA JARS–Quant pełni nieco inną funkcję: jest ogólnym standardem raportowania badań, w których dane mają postać liczbową albo są analizowane metodami statystycznymi. Nie zastępuje wytycznych właściwych dla konkretnego schematu badania, lecz pomaga uporządkować opis artykułu i ujawnić decyzje, od których zależy interpretacja wyników.

W tej lekcji kursu publicznego na statystyk.edu.pl potraktujemy APA JARS jako narzędzie kontroli jakości komunikacji naukowej. Celem nie jest mechaniczne odhaczanie punktów. Celem jest umożliwienie czytelnikowi odpowiedzi na cztery pytania: co zbadano, w jaki sposób, jakie uzyskano wyniki oraz jak daleko można sięgać z ich interpretacją.

Czym są APA JARS–Quant?

APA JARS, czyli Journal Article Reporting Standards, to standardy raportowania artykułów naukowych opracowane przez American Psychological Association. W odniesieniu do badań ilościowych najważniejszy jest moduł JARS–Quant. Standardy wskazują, jakie informacje powinny znaleźć się w poszczególnych częściach raportu: w tytule i streszczeniu, we wprowadzeniu, w metodzie, wynikach i dyskusji. Ich zadaniem jest poprawa przejrzystości, oceny rzetelności oraz możliwości odtworzenia toku badania (Appelbaum et al., 2018).

JARS nie jest instrukcją projektowania idealnego badania i nie gwarantuje, że projekt ma wysoką trafność wewnętrzną lub zewnętrzną. Dobry raport może opisywać badanie ograniczone, a słaby raport może ukrywać istotne słabości badania pozornie zaawansowanego. Standard pomaga jednak sprawdzić, czy czytelnik otrzymał wystarczająco dużo informacji, aby samodzielnie ocenić dowody.

APA JARS są szczególnie użyteczne w psychologii, edukacji i naukach społecznych, ale wiele ich zasad ma charakter ogólnometodologiczny. Można je stosować także w pielęgniarstwie, zdrowiu publicznym, ratownictwie i badaniach klinicznych. W medycynie należy je łączyć z wytycznymi właściwymi dla projektu, na przykład CONSORT dla badań randomizowanych, STROBE dla badań obserwacyjnych, STARD dla badań dokładności diagnostycznej lub TRIPOD dla modeli predykcyjnych. EQUATOR wskazuje, że wytyczne raportowania powinny być dobierane do typu badania, a nie stosowane jako uniwersalny formularz do każdego artykułu.

Dlaczego kompletność raportu ma znaczenie?

Wynik statystyczny nie istnieje w próżni. Wartość średniej, ilorazu szans, współczynnika korelacji czy wartości p zależy od tego, kogo zbadano, jak zdefiniowano zmienne, kiedy zebrano dane, jakie obserwacje wykluczono oraz jaki model analityczny zastosowano. Jeżeli tych informacji brakuje, czytelnik nie wie, czy rezultat jest stabilny, czy może wynika z arbitralnej decyzji analitycznej.

Kompletne raportowanie nie oznacza publikowania każdego technicznego szczegółu w głównym tekście. Część materiału można przenieść do załączników, suplementu, protokołu lub repozytorium. W artykule trzeba jednak wskazać, gdzie znajdują się informacje uzupełniające. Współczesne dobre praktyki obejmują także opis dostępności danych, kodu, materiałów badawczych oraz ewentualnych ograniczeń związanych z poufnością. EQUATOR podkreśla znaczenie raportowania planów zarządzania i udostępniania danych w badaniach biomedycznych (Moher et al., 2024).

Jak czytać JARS–Quant według części artykułu?

Tytuł, streszczenie i słowa kluczowe

Tytuł powinien informować o głównym problemie, populacji i — gdy to potrzebne — projekcie badania. Tytuł „Wpływ programu edukacyjnego na adherencję pacjentów” sugeruje wnioskowanie przyczynowe. Jeżeli badanie było przekrojowe i mierzyło jedynie współwystępowanie zmiennych, bezpieczniejszy będzie tytuł: „Związek uczestnictwa w edukacji zdrowotnej z deklarowaną adherencją pacjentów: badanie przekrojowe”.

Streszczenie powinno zwięźle przedstawić cel, projekt, uczestników, najważniejsze zmienne, sposób analizy, główny wynik i ograniczenia. Nie wystarczy napisać, że „wyniki były istotne statystycznie”. Należy podać wielkość efektu, miarę niepewności, na przykład 95-procentowy przedział ufności, oraz liczebność analizowanej próby.

Wprowadzenie i hipotezy

Wprowadzenie powinno prowadzić od problemu naukowego do konkretnego pytania badawczego. Autor powinien wyjaśnić, jakie wyniki wcześniejszych badań uzasadniają projekt, czego nadal nie wiadomo i dlaczego wybrano określoną populację oraz zmienne.

W JARS–Quant ważne jest rozróżnienie hipotez, analiz i wniosków pierwszorzędowych, drugorzędowych i eksploracyjnych. Analiza zaplanowana przed zebraniem danych nie ma tego samego statusu co analiza dopisana po obejrzeniu wyników. Obie mogą być wartościowe, ale powinny być nazwane zgodnie z ich rolą. Takie rozróżnienie ogranicza ryzyko przedstawiania poszukiwań eksploracyjnych jako potwierdzenia z góry sformułowanej hipotezy (Appelbaum et al., 2018).

Metoda: uczestnicy i procedura

Opis próby powinien obejmować kryteria włączenia i wyłączenia, sposób rekrutacji, miejsce oraz czas prowadzenia badania, liczebność początkową i końcową, a także przyczyny utraty obserwacji. Należy odróżnić liczbę osób zaproszonych, zakwalifikowanych, które rozpoczęły badanie, od liczby osób uwzględnionych w konkretnym modelu.

Warto opisać sposób ustalania liczebności, na przykład analizę mocy, oczekiwaną wielkość efektu, przyjęty poziom alfa i planowaną liczbę zmiennych w modelu. Jeżeli liczebność wynikała z dostępności pacjentów lub danych administracyjnych, trzeba to jasno napisać. Nie należy po fakcie przedstawiać próby dogodnej jako wyniku formalnej kalkulacji.

Procedura powinna wskazywać, co działo się z uczestnikiem krok po kroku: kto wykonywał pomiary, jak długo trwała obserwacja, czy osoby oceniające znały przydział do grupy, jak kontrolowano kolejność pomiarów i jakie działania podjęto, aby ograniczyć brak danych. W badaniach z udziałem ludzi należy także podać informację o zgodzie komisji etycznej i świadomej zgodzie uczestników, jeżeli była wymagana.

Operacjonalizacja zmiennych

Każda główna zmienna powinna być zdefiniowana tak, aby czytelnik wiedział, co faktycznie zmierzono. „Poziom stresu” może oznaczać wynik standaryzowanego kwestionariusza, pojedynczą ocenę na skali od 0 do 10 albo rozpoznanie kliniczne. Są to różne operacjonalizacje, które nie powinny być traktowane jako równoważne.

Raport powinien wskazywać nazwę narzędzia, zakres wyników, sposób obliczania wyniku, reguły interpretacji oraz — gdy jest to właściwe — informacje o rzetelności i trafności. Jeżeli narzędzie było tłumaczone, należy opisać procedurę adaptacji. W przypadku zmiennych klinicznych trzeba podać definicję punktu końcowego i moment jego pomiaru.

Plan analizy statystycznej

Autor powinien uzasadnić dobór metod, a nie tylko wymienić nazwy testów. Należy opisać sposób kodowania zmiennych, kontrolę założeń, postępowanie z obserwacjami odstającymi, brakami danych, wielokrotnym testowaniem i ewentualną transformacją zmiennych.

Jeżeli zastosowano model regresji, raport powinien określać zmienną wynikową, predyktory, sposób ich wprowadzenia, zmienne kontrolne oraz uzasadnienie ich obecności. Przy analizie podgrup trzeba wskazać, czy porównywano interakcję, czy jedynie osobno analizowano każdą grupę. Sam fakt, że wynik był istotny w jednej grupie, a nieistotny w drugiej, nie dowodzi różnicy między grupami.

Warto pamiętać o podstawowym rozróżnieniu:

95% CI = estymator ± wartość krytyczna × błąd standardowy

  • estymator to oszacowana wielkość parametru, na przykład różnica średnich lub iloraz szans;
  • wartość krytyczna zależy od przyjętego poziomu ufności i rozkładu użytego w analizie;
  • błąd standardowy opisuje niepewność estymatora wynikającą z losowego charakteru próby;
  • 95% CI to przedział wyznaczony procedurą, która w długiej serii analogicznych prób obejmowałaby wartość parametru w około 95% przypadków. Nie jest to twierdzenie, że prawdopodobieństwo znajdowania się konkretnego parametru w już obliczonym przedziale wynosi 95%.

Wartość p także wymaga ostrożności. Nie jest prawdopodobieństwem prawdziwości hipotezy zerowej ani prawdopodobieństwem, że wynik powstał „przypadkiem”. Informuje o zgodności danych z określonym modelem i hipotezą zerową przy założeniach danej procedury. Dlatego JARS–Quant dobrze współgra z raportowaniem wielkości efektu i przedziałów ufności, a nie z samym podziałem na „istotne” i „nieistotne”.

Dwa przykłady poprawnego raportowania

Przykład 1: pielęgniarstwo i edukacja pacjentów

Załóżmy, że badacze porównali dwie grupy pacjentów po zabiegu: grupę otrzymującą standardową instrukcję oraz grupę korzystającą dodatkowo z krótkiego programu edukacyjnego. Głównym wynikiem był wynik testu wiedzy po 14 dniach.

Raport nie powinien ograniczać się do zdania: „Program poprawił wiedzę, p < 0,001”. Lepszy opis brzmi: „Do analizy włączono 184 osoby, po 92 w każdej grupie. Średni wynik testu po 14 dniach wyniósł 16,8 punktu w grupie programu i 14,9 punktu w grupie standardowej. Skorygowana różnica średnich wyniosła 1,9 punktu, 95% CI [0,8; 3,0], p = 0,001. Analizę przeprowadzono zgodnie z wcześniej określonym głównym punktem końcowym; trzy osoby nie dostarczyły pomiaru końcowego”.

Taki zapis informuje o liczebności, jednostce wyniku, efekcie, niepewności i brakach danych. Nadal nie dowodzi, że program będzie skuteczny w każdym szpitalu. Należy uwzględnić sposób rekrutacji, podobieństwo grup na początku badania i dokładny schemat przydziału.

Przykład 2: zdrowie publiczne i badanie przekrojowe

W badaniu przekrojowym oceniano związek między pracą zmianową a objawami bezsenności u ratowników medycznych. Jeżeli model logistyczny wykazał iloraz szans 1,72, 95% CI [1,18; 2,51], nie należy pisać, że praca zmianowa „spowodowała bezsenność”. W badaniu przekrojowym ekspozycja i wynik mogą być oceniane w tym samym czasie, a kierunek zależności pozostaje niepewny.

Poprawne sformułowanie może brzmieć: „Praca zmianowa była związana z wyższymi szansami zgłaszania objawów bezsenności; OR = 1,72, 95% CI [1,18; 2,51], po uwzględnieniu wieku, stażu pracy i liczby dyżurów w miesiącu”. W dyskusji należy dodać, że wynik może odzwierciedlać również niekontrolowane różnice między osobami pracującymi zmianowo i dziennie.

Przykład praktyczny: lista kontrolna przed wysłaniem artykułu

  1. Cel: Czy w artykule jasno wskazano problem, populację, główne zmienne i hipotezę?
  2. Projekt: Czy opisano typ badania i jego ograniczenia interpretacyjne?
  3. Próba: Czy podano sposób rekrutacji, kryteria kwalifikacji, liczebność oraz utracone obserwacje?
  4. Pomiar: Czy każda główna zmienna ma definicję operacyjną?
  5. Analiza: Czy wiadomo, które analizy były pierwszorzędowe, drugorzędowe i eksploracyjne?
  6. Wyniki: Czy podano mianowniki, wielkości efektu, przedziały ufności i — gdy zasadne — wartości p?
  7. Braki danych: Czy opisano ich zakres oraz sposób postępowania?
  8. Wnioskowanie: Czy język przyczynowy odpowiada schematowi badania?
  9. Transparentność: Czy wskazano dostępność protokołu, danych, kodu lub materiałów, z uwzględnieniem ograniczeń etycznych i prawnych?
  10. Wytyczne: Czy oprócz JARS zastosowano właściwą wytyczną EQUATOR, jeżeli typ badania tego wymaga?

Najczęstsze błędy

  • Traktowanie JARS jako formularza formalnego. Samo zaznaczenie punktu nie zastąpi logicznego opisu decyzji metodologicznych.
  • Ukrywanie selekcji analiz. Przedstawianie wyłącznie korzystnych wyników utrudnia ocenę selektywnego raportowania.
  • Brak mianownika. Procent bez informacji, czy dotyczy 20, 200 czy 20 000 osób, jest niepełny.
  • Raportowanie wyłącznie wartości p. Istotność statystyczna nie określa sama przez się wielkości ani praktycznego znaczenia efektu.
  • Mylenie związku z przyczynowością. Zwłaszcza badania przekrojowe i obserwacyjne wymagają języka asocjacyjnego.
  • Brak informacji o brakach danych. Analiza osób z kompletnymi pomiarami może różnić się od analizy całej zakwalifikowanej próby.
  • Nadmierna pewność wniosków. Wynik uzyskany w jednej populacji, przy określonym pomiarze i projekcie, nie uzasadnia automatycznie szerokich twierdzeń.
  • Wykorzystywanie jednej wytycznej zamiast kilku. JARS–Quant porządkuje ogólny raport, ale nie zastępuje CONSORT, STROBE, STARD, TRIPOD ani innych standardów branżowych.

Co warto zapamiętać?

  • APA JARS–Quant to standard przejrzystego raportowania badań ilościowych, a nie test jakości całego projektu.
  • Dobry raport pozwala odtworzyć drogę od pytania badawczego przez pomiar i analizę do wniosku.
  • Trzeba odróżniać analizy pierwszorzędowe, drugorzędowe i eksploracyjne.
  • Wyniki należy przedstawiać za pomocą wielkości efektu i miar niepewności, a nie wyłącznie wartości p.
  • Brak danych, kryteria wykluczeń, sposób rekrutacji i definicje zmiennych są częścią wyniku, nie dodatkami redakcyjnymi.
  • Język wniosku musi odpowiadać schematowi badania: korelacja lub związek nie oznacza przyczynowości.
  • W badaniach medycznych i zdrowotnych JARS warto łączyć z właściwymi wytycznymi EQUATOR.

Najlepszym momentem na użycie JARS nie jest ostatni wieczór przed wysłaniem manuskryptu. Standard warto wykorzystać już przy tworzeniu protokołu, planu analizy i szablonu tabel. Wtedy raportowanie nie staje się próbą odtworzenia po fakcie decyzji, których wcześniej nie zapisano, lecz naturalnym przedłużeniem rzetelnego procesu badawczego.

Źródła i dalsza lektura

  1. Appelbaum, M., Cooper, H., Kline, R. B., Mayo-Wilson, E., Nezu, A. M., & Rao, S. M. (2018). Journal Article Reporting Standards for Quantitative Research in Psychology: The APA Publications and Communications Board Task Force Report. American Psychologist, 73(1), 3–25. DOI: 10.1037/amp0000191.
  2. Kazak, A. E. (2018). Editorial: Journal Article Reporting Standards. American Psychologist, 73(1), 1–2. DOI: 10.1037/amp0000263.
  3. American Psychological Association (2020). Publication Manual of the American Psychological Association. 7th ed.. American Psychological Association. Informacja wydawcy / źródło.
  4. American Psychological Association (2024). APA Style Journal Article Reporting Standards (APA Style JARS). American Psychological Association. Źródło.
  5. Moher, D., Collins, G., Hoffmann, T., Glasziou, P., Ravaud, P., & Bian, Z.-X. (2024). Reporting on data sharing: executive position of the EQUATOR Network. BMJ, 386, e079694. DOI: 10.1136/bmj-2024-079694.
  6. EQUATOR Network (2024). Reporting guidelines. EQUATOR Network. Źródło.

Podobne wpisy

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Wymagane pola są oznaczone *