033. Jak zaplanować kontrolę jakości danych w projekcie badawczym?

Kontrola jakości danych jest jednym z elementów, które decydują o wiarygodności całego projektu badawczego. Nawet poprawnie sformułowane pytanie badawcze, właściwie dobrana próba i dobrze zaplanowana analiza statystyczna nie ochronią badacza przed błędnymi wnioskami, jeżeli dane będą niekompletne, niespójne, nieporównywalne albo zapisane bez możliwości odtworzenia ich pochodzenia. W tej lekcji szkolenia publicznego na statystyk.edu.pl przechodzimy od ogólnej idei jakości do praktycznego planu jej kontroli.

1. Czym jest jakość danych?

Jakość danych nie oznacza, że w zbiorze nie ma ani jednej omyłki. W praktyce chodzi o to, aby dane były wystarczająco dobre do określonego celu badawczego. Ten warunek nazywa się niekiedy przydatnością do użycia, czyli fitness for use. Dane mogą być przydatne do jednego pytania, ale niewystarczające do innego. Na przykład dokumentacja pobytów szpitalnych może dobrze służyć do badania długości hospitalizacji, lecz niekoniecznie do oceny nasilenia bólu, jeżeli ból nie był systematycznie rejestrowany.

W badaniach medycznych i społecznych najczęściej ocenia się kilka wymiarów jakości:

• kompletność – jaki odsetek wymaganych obserwacji i zmiennych został zebrany;
• dokładność – na ile zapis odpowiada rzeczywistemu pomiarowi lub dokumentacji źródłowej;
• spójność – czy wartości nie pozostają ze sobą w logicznej sprzeczności;
• poprawność zakresu – czy wartości mieszczą się w dopuszczalnych granicach;
• aktualność i terminowość – czy pomiar lub wpis wykonano w odpowiednim czasie;
• identyfikowalność i odtwarzalność – czy można ustalić, kto, kiedy i na podstawie jakiego źródła wprowadził daną informację.

Warto rozróżnić zapewnianie jakości (quality assurance, QA) i kontrolę jakości (quality control, QC). Zapewnianie jakości obejmuje projektowanie systemu, który ma zapobiegać błędom, na przykład przygotowanie instrukcji, szkolenie personelu i walidację formularza. Kontrola jakości obejmuje działania wykrywające błędy już podczas realizacji projektu, takie jak raporty braków, sprawdzanie zakresów i porównywanie danych z dokumentacją źródłową. W praktyce oba podejścia powinny tworzyć jeden plan.

Houston i współpracownicy podkreślają, że monitoring jakości danych powinien być dostosowany do kontekstu badania, dostępnych danych i znaczenia poszczególnych zmiennych, a nie opierać się wyłącznie na mechanicznym liczeniu wszystkich możliwych błędów (Houston et al., 2018). ([pubmed.ncbi.nlm.nih.gov](https://pubmed.ncbi.nlm.nih.gov/30815172/?utm_source=openai))

2. Zacznij od określenia danych krytycznych

Nie wszystkie zmienne mają takie samo znaczenie dla wiarygodności wyników. Przed rozpoczęciem zbierania danych należy wskazać:

1. zmienne niezbędne do oceny głównego punktu końcowego;
2. zmienne warunkujące bezpieczeństwo uczestników;
3. zmienne potrzebne do sprawdzenia kryteriów włączenia i wyłączenia;
4. zmienne niezbędne do identyfikacji uczestnika i połączenia danych z różnych źródeł;
5. zmienne ważne dla planowanych analiz, na przykład potencjalne czynniki zakłócające.

Dla każdej zmiennej należy określić definicję operacyjną, typ danych, jednostkę, dopuszczalne kody braków, moment pomiaru oraz źródło informacji. Sama nazwa „ciśnienie tętnicze” jest niewystarczająca. Trzeba ustalić, czy chodzi o pierwsze czy drugie oznaczenie, pomiar po odpoczynku, średnią z dwóch pomiarów, jednostkę mmHg i sposób zapisu wartości nieoznaczonej.

Macierz krytycznych danych

Praktycznym narzędziem jest macierz, w której każda zmienna otrzymuje ocenę znaczenia i ryzyka błędu.

Zmienna	Znaczenie dla badania	Typowe ryzyko	Kontrola
Główny wynik kliniczny	krytyczna	brak pomiaru, błędna jednostka	zakres, kompletność, weryfikacja źródłowa
Wiek	ważna	pomyłka w dacie lub wartość nierealna	kontrola zakresu i zgodności z datą urodzenia
Komentarz opisowy	drugorzędna	różne style zapisu	instrukcja i przegląd jakościowy próby

Takie uporządkowanie zapobiega sytuacji, w której zespół poświęca większość czasu na sprawdzanie mało istotnych pól, a przeocza błędy w danych wpływających bezpośrednio na wynik główny.

3. Zaprojektuj kontrolę jakości przed zebraniem danych

Najtańszy błąd to błąd, któremu udało się zapobiec przed rozpoczęciem pomiaru. Plan kontroli jakości powinien być częścią protokołu lub odrębnego planu zarządzania danymi. Powinien odpowiadać na sześć pytań:

• Jakie dane będą zbierane?
• Kto i w jakim miejscu będzie je wprowadzał?
• Jakie błędy mają być wykrywane automatycznie?
• Jakie błędy będą oceniane ręcznie?
• Kto podejmuje decyzję o korekcie?
• Jak zostanie udokumentowana każda zmiana?

Przed rozpoczęciem właściwego badania należy zweryfikować narzędzia. W przypadku elektronicznego formularza oznacza to między innymi testowanie obowiązkowych pól, kodów odpowiedzi, reguł przejścia, zakresów i eksportu danych. W przypadku ankiety papierowej warto sprawdzić, czy pytania są jednoznaczne, czy pola pozwalają zapisać wszystkie dopuszczalne odpowiedzi oraz czy osoba kodująca nie musi domyślać się znaczenia wpisu.

Każdy członek zespołu powinien otrzymać instrukcję operacyjną. Szkolenie nie powinno ograniczać się do przedstawienia formularza. Należy przećwiczyć sytuacje problemowe: brak informacji w dokumentacji, odpowiedź wielokrotną, pomiar poza zakresem, zmianę wersji kwestionariusza i korektę już wprowadzonej wartości.

4. Stosuj kontrole automatyczne i ręczne

Automatyczne reguły kontroli są użyteczne, ponieważ działają natychmiast i mogą objąć wszystkie obserwacje. Nie zastępują jednak oceny merytorycznej. Najczęstsze reguły obejmują:

• kontrolę zakresu, na przykład saturacja od 0 do 100%;
• kontrolę typu, na przykład liczba całkowita zamiast tekstu;
• kontrolę kompletności pól wymaganych;
• kontrolę logiczną, na przykład brak ciąży przy płci męskiej jest sygnałem do sprawdzenia, ale nie zawsze dowodem błędu;
• kontrolę chronologiczną, na przykład data wypisu nie może poprzedzać daty przyjęcia;
• kontrolę duplikatów i identyfikatorów;
• kontrolę zgodności między tabelami lub źródłami danych.

Kontrola ręczna jest potrzebna wtedy, gdy reguła automatyczna nie potrafi rozstrzygnąć, czy nietypowa wartość jest błędem. Temperatura 39,8°C może być prawdziwym wynikiem, natomiast temperatura 398°C jest prawdopodobnie błędem jednostki lub przecinka. System powinien wygenerować sygnał, a decyzję należy oprzeć na dokumentacji źródłowej i instrukcji badania.

Wskaźniki jakości danych

Wskaźniki warto obliczać okresowo, a nie dopiero na końcu projektu. Przykładowy wskaźnik kompletności można zapisać następująco:

Kompletność (%) = (liczba uzyskanych wartości / liczba wartości oczekiwanych) × 100

Liczba uzyskanych wartości oznacza liczbę prawidłowo zapisanych obserwacji, a liczba wartości oczekiwanych – liczbę obserwacji, które powinny być dostępne zgodnie z protokołem. Jeżeli u 90 uczestników oczekiwano pomiaru, a uzyskano go u 81, kompletność wynosi 90%.

Podobnie można opisać odsetek rekordów z błędem:

Odsetek błędnych rekordów (%) = (liczba rekordów z co najmniej jednym błędem / liczba ocenionych rekordów) × 100

Wskaźniki nie powinny być interpretowane bez kontekstu. Niewielki odsetek błędów w zmiennej drugorzędnej może mieć mniejsze znaczenie niż pojedynczy błąd w kodzie przydziału do grupy albo w informacji o poważnym zdarzeniu niepożądanym.

5. Zaplanuj proces korekty i ślad audytowy

Korekta danych nie może polegać na cichym nadpisywaniu wartości. Każda zmiana powinna pozostawiać ścieżkę audytową, czyli informację o wartości pierwotnej, wartości poprawionej, dacie, osobie dokonującej zmiany i przyczynie korekty. W badaniach z udziałem ludzi trzeba także chronić poufność danych i ograniczać dostęp do informacji identyfikujących.

Warto rozróżnić trzy sytuacje:

• błąd zapisu – na przykład wpisano 180 zamiast 80;
• wartość rzeczywiście nietypowa – na przykład bardzo wysoka temperatura u pacjenta w stanie ciężkim;
• brak informacji – dokumentacja nie zawiera wymaganego pomiaru.

Nie wolno zamieniać każdej wartości nietypowej na brak danych. Taka praktyka może zniekształcić rozkład wyników i wprowadzić dodatkowe błędy. Korekta powinna nastąpić tylko wtedy, gdy istnieje wystarczająca podstawa źródłowa.

6. Kontrola jakości powinna być oparta na ryzyku

W dużych projektach pełna weryfikacja każdego pola może być kosztowna i niekoniecznie najbardziej skuteczna. Badanie Andersena i współpracowników wykazało, że pełna weryfikacja danych źródłowych zmniejszyła odsetek wykrytych błędów z 0,53% do 0,27% w porównaniu z monitoringiem częściowym, ale nie doprowadziła do uzyskania zbioru całkowicie wolnego od błędów (Andersen et al., 2015). ([doi.org](https://doi.org/10.1111/bcp.12531))

Wniosek metodologiczny nie brzmi: „kontrola nie jest potrzebna”. Brzmi raczej: kontrolę trzeba kierować tam, gdzie błąd może najbardziej zmienić wniosek lub zagrozić uczestnikowi. W praktyce można częściej sprawdzać główny punkt końcowy, kryteria kwalifikacji, dane dotyczące bezpieczeństwa i kluczowe zmienne zakłócające, a rzadziej pola o małym znaczeniu analitycznym.

Takie podejście wymaga określenia progów działania. Na przykład kompletność głównej zmiennej poniżej 95% może uruchamiać dodatkowe szkolenie, a powtarzające się błędy w jednym ośrodku – ukierunkowany audyt. Progi nie są uniwersalne; powinny wynikać z projektu, kosztu błędu i możliwego wpływu na interpretację wyników.

7. Przykład praktyczny: badanie pacjentów po udarze

Załóżmy, że zespół ocenia zależność między czasem dotarcia pacjenta do szpitala a wynikiem funkcjonalnym po 90 dniach. Dane pochodzą z dokumentacji medycznej i wywiadu telefonicznego.

Najpierw zespół wskazuje dane krytyczne: czas początku objawów, czas przyjęcia, wynik skali funkcjonalnej po 90 dniach oraz zgon lub ponowną hospitalizację. Następnie definiuje reguły:

• czas początku objawów nie może być późniejszy niż czas przyjęcia;
• wynik skali musi mieścić się w zakresie określonym przez instrukcję narzędzia;
• każdy brak wyniku po 90 dniach musi otrzymać kod przyczyny, na przykład odmowa, brak kontaktu lub zgon;
• 10% rekordów oraz wszystkie rekordy z nietypowymi sekwencjami czasowymi zostaną porównane z dokumentacją źródłową;
• co tydzień będzie tworzony raport kompletności według ośrodka.

Jeżeli w jednym ośrodku często brakuje czasu początku objawów, nie należy od razu usuwać tych osób z analizy. Trzeba ustalić, czy problem dotyczy sposobu dokumentowania, szkolenia personelu, czy rzeczywistej niedostępności informacji. Następnie należy opisać problem, podjąć działanie naprawcze i uwzględnić zakres braków w raporcie wyników.

8. Przykład z psychologii: badanie dobrostanu studentów

W badaniu internetowym studenci wypełniają skalę stresu, pytania o sen i metryczkę. Kontrola jakości powinna objąć nie tylko brakujące odpowiedzi, lecz także jakość odpowiedzi. Można zaplanować kontrolę czasu wypełniania, wykrywanie duplikatów, sprawdzenie sprzecznych odpowiedzi oraz analizę wzorca „zaznaczania tej samej kategorii” w całym kwestionariuszu.

Trzeba jednak unikać automatycznego uznawania szybkiego wypełnienia za dowód nierzetelności. Uczestnik może znać narzędzie albo korzystać z urządzenia o wysokiej sprawności. Sygnał techniczny powinien prowadzić do dalszej oceny, a nie do arbitralnego usunięcia obserwacji. Kryteria wyłączenia rekordów należy określić przed analizą lub jasno uzasadnić każdą późniejszą decyzję.

Najczęstsze błędy

• Kontrola dopiero po zakończeniu zbierania danych. Wtedy wiele błędów jest już nieodwracalnych, a kontakt z uczestnikiem lub ośrodkiem może być niemożliwy.
• Brak słownika danych. Bez definicji zmiennych różni członkowie zespołu mogą kodować tę samą sytuację w odmienny sposób.
• Traktowanie wszystkich pól jednakowo. Zasoby powinny być proporcjonalne do znaczenia danych i ryzyka błędu.
• Ciche poprawianie wartości. Uniemożliwia odtworzenie historii danych i osłabia wiarygodność analizy.
• Zastępowanie wartości nietypowych brakami. Nietypowość nie jest równoznaczna z niepoprawnością.
• Brak kontroli wersji formularzy i kodu. Zmiana narzędzia w połowie projektu może utrudnić porównywanie obserwacji.
• Mylenie jakości danych z istotnością statystyczną. Nawet bardzo mała wartość p nie naprawia błędnie zebranych danych, a nieistotny wynik nie dowodzi dobrej jakości pomiaru.

9. Jak udokumentować kontrolę jakości w raporcie?

W publikacji należy opisać, skąd pochodziły dane, jakie procedury walidacyjne zastosowano, jak definiowano braki, ile rekordów skorygowano, ile wyłączono i z jakich powodów. W badaniach wykorzystujących dane administracyjne lub elektroniczną dokumentację warto przedstawić ich przepływ od źródła do zbioru analitycznego. Kahn i współpracownicy wskazują, że przejrzyste raportowanie jakości powinno obejmować zarówno ogólne właściwości zbioru, jak i cechy istotne dla konkretnej analizy (Kahn et al., 2015). ([pubmed.ncbi.nlm.nih.gov](https://pubmed.ncbi.nlm.nih.gov/25992385/?utm_source=openai))

Wytyczne raportowania, takie jak STROBE, CONSORT lub PRISMA, nie zastępują planu kontroli jakości, ale pomagają ujawnić informacje potrzebne do oceny wiarygodności badania. EQUATOR Network gromadzi wytyczne dobrane do typu projektu i obszaru badawczego. ([equator-network.org](https://www.equator-network.org/reporting-guidelines/?utm_source=openai))

Co warto zapamiętać?

1. Kontrola jakości danych zaczyna się przed pierwszym pomiarem, a nie przed napisaniem artykułu.
2. Najpierw zdefiniuj, które zmienne są krytyczne dla bezpieczeństwa, głównego wyniku i wiarygodności analizy.
3. Łącz działania zapobiegawcze, kontrole automatyczne, ocenę ręczną i monitoring procesu.
4. Dokumentuj każdą korektę oraz zachowuj ślad audytowy.
5. Nie każda nietypowa wartość jest błędem, a nie każdy brak można bezpiecznie uzupełnić.
6. Kontrolę projektuj według ryzyka: intensywniej sprawdzaj dane, których błąd może zmienić wniosek badania.
7. W raporcie przedstaw nie tylko wyniki analizy, lecz także sposób, w jaki oceniono kompletność, poprawność i spójność danych.

Dobrze zaplanowana kontrola jakości nie jest biurokratycznym dodatkiem do projektu. Jest częścią metodologii, ponieważ określa, czy obserwacje mogą stać się wiarygodną podstawą wnioskowania. W kolejnym etapie projektowania badania warto przełożyć ten plan na konkretny słownik danych, formularze, raporty kontrolne i procedury odpowiedzialności w zespole.

\n

Źródła i dalsza lektura

\n

1. Houston, L.; Yu, P.; Martin, A.; Probst, Y. (2018). Defining and Developing a Generic Framework for Monitoring Data Quality in Clinical Research. AMIA Annual Symposium Proceedings, 2018, 1300–1309. Pełny opis źródła.
2. Kahn, M. G.; Callahan, T. J.; Barnard, J.; Bauck, A. E.; Brown, J.; Davidson, B. N.; Estirado, A.; Goerg, C.; Holve, E.; Johnson, S. G.; Liaw, S.-T.; Hamilton-Lopez, M.; Meeker, D.; Ong, T. C.; Ryan, P.; Shang, N.; Weiskopf, N. G.; Weng, C.; Zozus, M. N.; Schilling, L. (2015). A Harmonized Data Quality Assessment Terminology and Framework for the Secondary Use of Electronic Health Record Data. EGEMS (Generating Evidence & Methods to improve patient outcomes), 4(1), 1244. DOI: 10.13063/2327-9214.1244.
3. Andersen, J. R.; Riis, B. J.; Byrjalsen, I.; Hansen, G.; Hansen, H. B.; Hoeck, H. C.; Karsdal, M. A. (2015). Impact of source data verification on data quality in clinical trials: an empirical post hoc analysis of three phase 3 randomized clinical trials. British Journal of Clinical Pharmacology, 79(4), 660–668. DOI: 10.1111/bcp.12531.
4. National Institute of Neurological Disorders and Stroke (2024). Quality Assurance Guidelines. National Institutes of Health. Źródło.
5. Ioannidis, J. P. A.; Greenland, S.; Hlatky, M. A.; Khoury, M. J.; Macleod, M. R.; Moher, D.; Schulz, K. F.; Tibshirani, R. (2014). Increasing value and reducing waste in research design, conduct, and analysis. The Lancet, 383(9912), 166–175. DOI: 10.1016/S0140-6736(13)62227-8.
6. EQUATOR Network (2026). Reporting guidelines. EQUATOR Network. Źródło.

\n