118. Jak zapewnić zgodność definicji między ośrodkami w badaniu wieloośrodkowym?

PrzezRedaktor

Badanie wieloośrodkowe pozwala zebrać większą próbę, zwiększyć różnorodność uczestników i sprawdzić, czy wynik jest powtarzalny w różnych warunkach. Samo połączenie danych z kilku szpitali, poradni, szkół lub regionów nie gwarantuje jednak ich porównywalności. Jeżeli każdy ośrodek nieco inaczej rozumie „przypadek”, „poprawę”, „hospitalizację” albo „wysokie ryzyko”, to wspólna baza może zawierać obserwacje opisujące różne zjawiska.

W tej lekcji, należącej do modułu 6 internetowego szkolenia metodologicznego na statystyk.edu.pl, omówiono sposób zapewniania zgodności definicji między ośrodkami. Kluczowa zasada brzmi: definicję konstruktu, sposób jego pomiaru, reguły klasyfikacji i sposób zapisu danych należy ujednolicić przed rozpoczęciem rekrutacji, a następnie sprawdzać ich przestrzeganie w trakcie badania.

Na czym polega zgodność definicji?

Zgodność definicji oznacza, że wszystkie ośrodki odnoszą te same etykiety do tego samego zakresu zjawiska i stosują porównywalne procedury jego rozpoznawania. Dotyczy to co najmniej czterech poziomów:

  • konstruktu – na przykład depresji, bólu, niewydolności oddechowej lub aktywności fizycznej;
  • zmiennej – tego, co zostanie zapisane w bazie, na przykład wynik skali, liczba dni hospitalizacji albo saturacja;
  • procedury pomiarowej – kto, czym, kiedy i w jakich warunkach dokonuje pomiaru;
  • reguły klasyfikacji – na przykład kiedy wynik oznacza „zdarzenie”, „odpowiedź na leczenie” albo „przypadek ciężki”.

Można zatem wyróżnić zgodność pojęciową i zgodność operacyjną. Zgodność pojęciowa oznacza, że ośrodki badają ten sam konstrukt. Zgodność operacyjna oznacza, że robią to za pomocą takich samych albo odpowiednio skalibrowanych procedur. Ośrodki mogą więc używać tej samej nazwy, lecz nadal mierzyć różne rzeczy. Przykładowo „czas oczekiwania na pomoc” może być liczony od telefonu pod numer alarmowy w jednym miejscu, a od przyjęcia zgłoszenia przez dyspozytora w innym.

Dlaczego różnice między ośrodkami są groźne?

Różnice definicyjne mogą wprowadzać heterogeniczność pomiaru, czyli zmienność wynikającą nie z rzeczywistych różnic między uczestnikami, lecz z odmiennych sposobów pomiaru. Jeżeli jeden ośrodek częściej klasyfikuje pacjentów jako mających dane zdarzenie tylko dlatego, że stosuje szerszą definicję, pozorna różnica między ośrodkami może zostać błędnie zinterpretowana jako różnica kliniczna, środowiskowa albo związana z interwencją.

Problem może pojawić się na każdym etapie:

  1. podczas kwalifikowania osób do badania;
  2. przy pomiarze ekspozycji lub interwencji;
  3. przy ocenie punktu końcowego;
  4. podczas kodowania odpowiedzi i wprowadzania danych;
  5. w czasie analizy, gdy różne wartości są traktowane jako równoważne.

W badaniu wieloośrodkowym definicja nie powinna pozostawać wyłącznie w świadomości badaczy. Musi zostać zapisana w protokole, podręczniku operacyjnym, formularzu raportu przypadku lub instrukcji do narzędzia ankietowego. SPIRIT podkreśla znaczenie szczegółowego protokołu, który opisuje planowane procedury, wyniki i sposób organizacji badania (Chan et al., 2013).

Od konstruktu do wspólnej definicji operacyjnej

1. Zdefiniuj konstrukt

Najpierw trzeba ustalić, jakie zjawisko jest przedmiotem badania. Definicja powinna wskazywać jego zakres, ale również granice. Jeżeli konstrukt jest wielowymiarowy, należy określić, czy badanie dotyczy całego konstruktu, czy tylko jego komponentu.

Na przykład „wypalenie zawodowe” może oznaczać ogólny poziom wypalenia, ale także określony wynik w zwalidowanym kwestionariuszu obejmującym wyczerpanie, dystans psychiczny i obniżoną skuteczność. Nie wolno pozostawić ośrodkom swobody w wyborze dowolnego narzędzia, jeśli wyniki mają być bezpośrednio porównywane.

2. Zapisz definicję operacyjną

Definicja operacyjna powinna odpowiadać na pytania:

  • co dokładnie jest mierzone;
  • jaką jednostką;
  • jakim narzędziem;
  • w którym momencie;
  • przez kogo;
  • według jakiej procedury;
  • jak postępuje się z wynikiem granicznym i brakiem danych.

Dobra definicja nie brzmi: „ocena duszności według standardowej procedury”. Powinna wskazywać, czy stosuje się skalę numeryczną od 0 do 10, jakie są instrukcje dla pacjenta, czy pomiar wykonuje się przed leczeniem, po leczeniu, czy w obu momentach, oraz co oznacza brak odpowiedzi.

3. Oddziel definicję od reguły klasyfikacji

Definicja opisuje, co jest mierzone. Reguła klasyfikacji mówi, jak wynik zostanie zamieniony na kategorię. Są to różne decyzje. Przykładowo depresję można mierzyć kwestionariuszem PHQ-9, a następnie przyjąć, że wynik co najmniej 10 oznacza objawy umiarkowane lub cięższe. Sam próg nie jest definicją depresji; jest regułą klasyfikacyjną przyjętą dla określonego celu badania.

Jeśli ośrodki stosują różne progi, należy albo ujednolicić kryterium, albo zaplanować analizę wrażliwości. Nie należy po zakończeniu badania wybierać progów, które najlepiej różnicują ośrodki lub grupy.

Co powinien zawierać podręcznik operacyjny?

Podręcznik operacyjny, nazywany niekiedy manualem badania, jest centralnym dokumentem zapewniającym spójność realizacji projektu. Powinien zawierać:

  • glosariusz najważniejszych pojęć;
  • pełne definicje kryteriów włączenia i wyłączenia;
  • instrukcje wykonywania pomiarów;
  • opis dopuszczalnych narzędzi i ich kalibracji;
  • scenariusze postępowania w sytuacjach nietypowych;
  • reguły zaokrąglania, kodowania i wprowadzania danych;
  • procedurę zgłaszania odstępstw od protokołu;
  • wersjonowanie dokumentu i sposób komunikowania zmian.

W praktyce użyteczna jest tabela „definicji krytycznych”. Dla każdej zmiennej zapisuje się nazwę, definicję, typ danych, jednostkę, źródło informacji, czas pomiaru, dopuszczalne wartości i sposób postępowania z brakiem danych. Taka tabela ogranicza ryzyko, że jeden ośrodek wpisze „brak” jako pustą komórkę, drugi jako „0”, a trzeci jako „999”.

Szkolenie i kalibracja osób oceniających

Jednolita instrukcja nie wystarcza, jeżeli badacze różnie ją interpretują. Dlatego przed rozpoczęciem badania należy przeprowadzić szkolenie, najlepiej na tych samych przykładach, nagraniach, fotografiach, opisach przypadków lub próbkach biologicznych. Szkolenie powinno kończyć się sprawdzeniem kompetencji, a nie tylko podpisaniem listy obecności.

W przypadku ocen klinicznych można zastosować serię przypadków referencyjnych. Każdy oceniający niezależnie klasyfikuje te same przypadki, po czym porównuje się jego decyzje z ustalonym standardem lub oceną zespołu referencyjnego. W badaniach dotyczących badania stawów wykazano, że standaryzowane szkolenie może zmniejszyć zmienność między oceniającymi (Grunke et al., 2010).

Jeżeli zmienna jest jakościowa, można ocenić zgodność za pomocą współczynnika kappa. Dla dwóch oceniających i kategorii nominalnych często stosuje się kappę Cohena:

κ = (Po − Pe) / (1 − Pe)

  • κ – współczynnik zgodności skorygowany o zgodność oczekiwaną losowo;
  • Po – obserwowany odsetek zgodnych klasyfikacji;
  • Pe – oczekiwany odsetek zgodności wynikający z rozkładu kategorii.

W przypadku zmiennych ilościowych można rozważyć współczynnik korelacji wewnątrzklasowej, błąd standardowy pomiaru lub analizę różnic między pomiarami. Sama korelacja Pearsona nie jest wystarczającą miarą zgodności: dwa pomiary mogą silnie korelować, a mimo to systematycznie różnić się o kilka jednostek.

Monitorowanie zgodności w trakcie badania

Kontrola zgodności nie powinna kończyć się po szkoleniu. Warto planować okresowe audyty, ponowne oceny przypadków oraz przegląd rozkładów danych według ośrodka. Należy zwracać uwagę na:

  • nietypowo niski lub wysoki odsetek zdarzeń;
  • nagłe zmiany częstości po zmianie personelu;
  • różnice w liczbie braków danych;
  • wartości niemożliwe lub podejrzanie zaokrąglone;
  • odmienne rozkłady czasu pomiaru;
  • systematyczne różnice między urządzeniami lub laboratoriami.

Ważne jest, aby nie traktować każdej różnicy między ośrodkami jako błędu. Ośrodki mogą rzeczywiście różnić się populacją i organizacją opieki. Celem monitorowania jest odróżnienie różnicy klinicznej od różnicy pomiarowej.

Przykład 1: wieloośrodkowe badanie sepsy

Załóżmy, że pięć szpitali bada częstość sepsy u pacjentów przyjmowanych na oddział ratunkowy. Wstępna definicja brzmi: „sepsa rozpoznana na podstawie dokumentacji medycznej”. Jest to definicja niewystarczająca, ponieważ lekarze mogą różnie stosować termin „sepsa”, a dokumentacja może odzwierciedlać lokalne zwyczaje.

Zespół centralny powinien ustalić między innymi:

  1. czy badanie wykorzystuje kryteria kliniczne określone w protokole, czy rozpoznanie wpisane przez lekarza;
  2. jaki jest moment oceny: przy przyjęciu, po sześciu godzinach czy w całym pobycie;
  3. jak definiuje się podejrzenie infekcji;
  4. jak traktuje się pacjentów przekazanych z innego szpitala;
  5. czy kryteria muszą być spełnione równocześnie, czy w określonym oknie czasowym;
  6. jak koduje się brak informacji o poszczególnych kryteriach.

Następnie wszystkie ośrodki otrzymują te same opisy przypadków. Po szkoleniu losowo wybrane dokumentacje są oceniane ponownie przez zespół centralny. Jeśli jeden szpital rozpoznaje sepsę u 30% pacjentów, a pozostałe u 8–12%, nie wolno automatycznie uznać tego za rzeczywistą różnicę. Najpierw trzeba sprawdzić, czy nie zastosowano innej definicji lub innego okna czasowego. Więcej na temat definicji i rozpoznawania sepsy czytelnik znajdzie na stronie: SEPSA kurs internetowy

Przykład 2: laboratoria i pomiar hemoglobiny glikowanej

W badaniu dotyczącym kontroli cukrzycy wyniki HbA1c pochodzą z kilku laboratoriów. Wszystkie laboratoria raportują wynik w procentach, ale mogą używać różnych analizatorów, metod i procedur kontroli jakości. Zgodność jednostki nie oznacza jeszcze zgodności pomiaru.

Możliwe rozwiązania obejmują centralne laboratorium, analizę próbek kontrolnych we wszystkich ośrodkach, kalibrację względem wspólnego standardu albo oszacowanie systematycznej różnicy między metodami. W badaniu wieloośrodkowym dotyczącym wyników laboratoryjnych wykazano, że różnice wynikające z odmiennych metod analitycznych mogą wpływać na porównywalność danych, a harmonizacja może ograniczyć tę zmienność (Lee et al., 2018).

Nie należy jednak automatycznie „korygować” danych po fakcie. Każda korekta musi mieć uzasadnienie laboratoryjne, być opisana w planie analizy i uwzględniać niepewność pomiaru. Jeżeli różnice między metodami są duże, bardziej wiarygodne może być ponowne oznaczenie próbek lub ograniczenie porównań.

Równoważność narzędzi psychologicznych

W badaniach psychologicznych i społecznych zgodność między ośrodkami może być zagrożona przez tłumaczenie narzędzia, odmienne instrukcje, różne warunki badania lub różne rozumienie pozycji kwestionariusza. Jeżeli porównuje się średnie wyniki skali między regionami, krajami lub placówkami, trzeba rozważyć niezmienniczość pomiaru.

W analizie wielogrupowej często wyróżnia się:

  • niezmienniczość konfiguralną – ta sama struktura czynnikowa w grupach;
  • niezmienniczość metryczną – porównywalne ładunki czynnikowe;
  • niezmienniczość skalarną – porównywalne wyrazy wolne, co umożliwia interpretację różnic średnich latentnych (ukrytych).

Porównywanie średnich bez sprawdzenia, czy pozycje skali działają podobnie, może prowadzić do błędnego wniosku, że jedna grupa ma wyższy poziom lęku lub wypalenia. Przegląd Vandenberga i Lance’a wskazuje, że testowanie niezmienniczości jest logicznym warunkiem sensownych porównań między grupami (Vandenberg i Lance, 2000).

Najczęstsze błędy

  • Używanie tej samej nazwy bez tej samej definicji. „Przypadek ciężki” może oznaczać różne kryteria w różnych placówkach.
  • Pozostawienie instrukcji w formie ogólników. Sformułowania „zgodnie ze standardem” lub „w razie potrzeby” są niejednoznaczne.
  • Brak szkolenia praktycznego. Przeczytanie protokołu nie dowodzi, że oceniający prawidłowo stosuje definicję.
  • Zmiana definicji w trakcie rekrutacji bez wersjonowania. Dane z różnych okresów mogą przestać być porównywalne.
  • Traktowanie braku danych jako zera. Brak pomiaru i wynik równy zero oznaczają różne stany.
  • Oparcie oceny zgodności wyłącznie na korelacji. Korelacja mierzy współzmienność, a nie pełną zgodność.
  • Usuwanie ośrodka tylko dlatego, że różni się od pozostałych. Najpierw trzeba ustalić, czy różnica wynika z błędu, czy z rzeczywistej charakterystyki populacji.
  • Korygowanie danych bez planu. Harmonizacja wykonana po obejrzeniu wyników może zwiększać ryzyko stronniczości.

Przykład praktyczny: plan wdrożenia definicji

Załóżmy, że badanie obejmuje dziesięć poradni i ocenia „poprawę funkcjonowania pacjentów po 12 tygodniach”. Zespół centralny może zastosować następujący plan:

  1. zdefiniować funkcjonowanie jako wynik konkretnego, zatwierdzonego kwestionariusza;
  2. ustalić wersję językową, instrukcję i sposób obliczania wyniku;
  3. określić, że pomiar bazowy wykonuje się przed rozpoczęciem interwencji, a pomiar końcowy w oknie 12 ± 1 tygodnia;
  4. zdefiniować poprawę, na przykład jako zmianę wyniku o wcześniej ustaloną wartość;
  5. przygotować podręcznik z przykładami poprawnego i błędnego kodowania;
  6. przeszkolić personel i przeprowadzić test kwalifikacyjny;
  7. wykonać pilotaż na małej liczbie uczestników w każdym ośrodku;
  8. porównać odsetek braków, rozkłady wyników i zgodność kodowania;
  9. prowadzić cykliczne audyty oraz dokumentować wszystkie odstępstwa;
  10. opisać procedury harmonizacji w protokole i publikacji.

W raporcie z badania należy jasno przedstawić, jak zdefiniowano wynik, czy wszystkie ośrodki stosowały tę samą procedurę, jakie wystąpiły odstępstwa i jak je uwzględniono w analizie. Zalecenia CONSORT podkreślają znaczenie kompletnego i przejrzystego opisu sposobu prowadzenia badania oraz jego wyników (Schulz, Altman i Moher, 2010).

Co warto zapamiętać?

  • Zgodność między ośrodkami dotyczy nie tylko nazwy zmiennej, lecz także konstruktu, narzędzia, procedury, czasu pomiaru i reguły klasyfikacji.
  • Definicje krytyczne powinny być zapisane w protokole i podręczniku operacyjnym przed rozpoczęciem rekrutacji.
  • Szkolenie należy uzupełnić oceną kompetencji, kalibracją i monitorowaniem zgodności.
  • Różnice między ośrodkami mogą wynikać z populacji albo z odmiennego pomiaru; nie wolno automatycznie utożsamiać ich z różnicami klinicznymi.
  • W przypadku skal psychologicznych trzeba rozważyć niezmienniczość pomiaru przed porównywaniem średnich między grupami.
  • W przypadku laboratoriów i urządzeń należy kontrolować kalibrację, śledzić źródła zmienności i ostrożnie planować harmonizację.
  • Dobra definicja jest możliwa do zastosowania przez różne osoby w różnych miejscach, a jej przestrzeganie można sprawdzić na podstawie danych.

Najważniejsza zasada: w badaniu wieloośrodkowym porównywalność danych nie powstaje automatycznie po połączeniu baz. Trzeba ją zaprojektować, wyszkolić, zmierzyć i dokumentować.

Źródła i dalsza lektura

  1. Chan, An-Wen; Tetzlaff, Jennifer M.; Altman, Douglas G.; Laupacis, Andreas; Gøtzsche, Peter C.; Krleža-Jerić, Ksenija; Hróbjartsson, Asbjørn; Mann, Howard; Dickersin, Kay; Berlin, Jesse A.; Doré, Caroline J.; Parulekar, W. Raman; Summerskill, William S. M.; Groves, Trish; Schulz, Kenneth F.; Sox, Harold C.; Rockhold, Frank W.; Rennie, Drummond; Moher, David (2013). SPIRIT 2013 statement: defining standard protocol items for clinical trials. The BMJ, 346, e7586. DOI: 10.1136/bmj.e7586.
  2. Schulz, Kenneth F.; Altman, Douglas G.; Moher, David; for the CONSORT Group (2010). CONSORT 2010 Statement: updated guidelines for reporting parallel group randomised trials. The BMJ, 340, c332. DOI: 10.1136/bmj.c332.
  3. Vandenberg, Robert J.; Lance, Charles E. (2000). A Review and Synthesis of the Measurement Invariance Literature: Suggestions, Practices, and Recommendations for Organizational Research. Organizational Research Methods, 3(1), 4–70. DOI: 10.1177/109442810031002.
  4. Grunke, Mathias; Antoni, Christian E.; Kavanaugh, Arthur; Hildebrand, Verena; Dechant, Claudia; Schett, Georg; Manger, Bernhard; Ronneberger, Monika (2010). Standardization of joint examination technique leads to a significant decrease in variability among different examiners. The Journal of Rheumatology, 37(4), 860–864. DOI: 10.3899/jrheum.090195.
  5. Lee, Sang Gon; Chung, Hee-Jung; Park, Jeong Bae; Park, Hyosoon; Lee, Eun Hee (2018). Harmonization of laboratory results by data adjustment in multicenter clinical trials. The Korean Journal of Internal Medicine, 33(5), 939–946. DOI: 10.3904/kjim.2017.034.
  6. EQUATOR Network (2026). Reporting guidelines for health research. EQUATOR Network. Źródło.

Podobne wpisy

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Wymagane pola są oznaczone *