260. Checklista bazy gotowej do analizy statystycznej
Przygotowanie bazy do analizy statystycznej nie kończy się na zapisaniu pliku w formacie używanym przez program statystyczny. Baza może otwierać się bez błędów, a mimo to zawierać zduplikowane osoby, niejednoznaczne kody, błędne jednostki pomiaru, niekontrolowane braki danych albo zmienne zapisane w sposób niezgodny z planowaną analizą. Celem tej lekcji jest pokazanie, jak systematycznie ocenić, czy baza jest rzeczywiście gotowa do analizy.
W szkoleniu na statystyk.edu.pl warto traktować tę checklistę jako etap zamykający moduł przygotowania i kontroli danych. Nie zastępuje ona wcześniejszego dokumentowania czyszczenia, kontroli wartości niemożliwych, postępowania z brakami ani wersjonowania bazy. Łączy natomiast wyniki tych działań w jedną decyzję: można rozpocząć analizę główną albo trzeba jeszcze wrócić do danych.
Co oznacza, że baza jest gotowa do analizy?
Baza gotowa do analizy to nie baza pozbawiona jakichkolwiek niedoskonałości. W praktycznych badaniach niemal zawsze występują pewne braki danych, obserwacje nietypowe lub zmienne o ograniczonej jakości. Gotowość oznacza raczej, że:
- wiadomo, jakie jednostki obserwacji znajdują się w bazie;
- każdy rekord można zidentyfikować i odróżnić od innych;
- znaczenie każdej zmiennej, jej skala pomiarowa i sposób kodowania są opisane;
- zidentyfikowano błędy techniczne, logiczne i merytoryczne;
- braki danych są rozpoznane, a sposób ich uwzględnienia został zaplanowany;
- zmienne mają typy i formaty zgodne z planowaną analizą;
- ostateczna baza została zamrożona jako konkretna, opisana wersja;
- można odtworzyć, jakie decyzje doprowadziły od danych surowych do danych analizowanych.
Jakość danych należy rozpatrywać w odniesieniu do celu ich użycia. Ta sama zmienna może być wystarczająco dokładna do opisu grupy, ale zbyt mało wiarygodna do modelu predykcyjnego. W badaniach klinicznych przydatne są między innymi wymiary takie jak kompletność, zgodność z regułami kodowania, wiarygodność, czasowa plausybilność i zgodność z innymi źródłami danych (Kahn et al., 2016; Lee, Weiskopf, & Pathak, 2018).
Checklista końcowej kontroli bazy
1. Zgodność struktury bazy z projektem badania
Najpierw należy sprawdzić, czy baza odpowiada jednostce analizy przyjętej w projekcie. W badaniu pacjentów jeden wiersz może oznaczać jednego pacjenta, ale w badaniu podłużnym jeden wiersz może oznaczać jedną wizytę. W badaniu wieloośrodkowym rekord może dotyczyć pacjenta, pomiaru lub zdarzenia. Pomieszanie tych poziomów prowadzi do błędnych liczebności i niewłaściwego stosowania metod statystycznych.
Przed analizą należy odpowiedzieć na pytania:
- Co oznacza jeden wiersz?
- Co oznacza jedna kolumna?
- Czy identyfikator jest identyfikatorem osoby, pomiaru czy wizyty?
- Czy każda osoba powinna wystąpić raz, czy wielokrotnie?
- Czy liczba rekordów zgadza się z dokumentacją rekrutacji i obserwacji?
- Czy baza obejmuje wyłącznie osoby spełniające kryteria włączenia?
W badaniu przekrojowym dotyczącym wypalenia zawodowego pielęgniarek zwykle oczekujemy jednego rekordu na osobę. Jeżeli identyfikator tej samej pielęgniarki pojawia się pięć razy, trzeba ustalić, czy są to duplikaty, czy pięć pomiarów podłużnych. Nie wolno rozstrzygać tego wyłącznie na podstawie liczby wierszy.
2. Unikalność i identyfikacja rekordów
Każdy rekord powinien mieć identyfikator albo kombinację zmiennych, która jednoznacznie określa obserwację. Identyfikator nie powinien być używany jako zmienna objaśniająca, ponieważ zwykle nie ma sensu merytorycznego. W bazie należy sprawdzić:
- czy identyfikatory są niepuste;
- czy nie występują dwa różne rekordy z tym samym identyfikatorem;
- czy format identyfikatora jest jednolity, na przykład bez przypadkowych spacji;
- czy rekordy nie zostały omyłkowo dołączone dwukrotnie;
- czy po połączeniu kilku plików nie powstały niezamierzone powtórzenia.
W danych podłużnych unikalność może wymagać identyfikatora złożonego, na przykład id_pacjenta + numer_wizyty. Sam numer pacjenta nie wystarczy, jeżeli jedna osoba ma kilka pomiarów.
3. Kompletność i kody braków danych
Brak danych powinien być odróżniony od zera, wartości „nie dotyczy”, odmowy odpowiedzi i błędu pomiaru. W praktyce szczególnie ryzykowne jest używanie jednej liczby, na przykład 99, dla wielu różnych sytuacji. Jeżeli program potraktuje 99 jako prawidłową wartość wieku albo wyniku testu, średnia i odchylenie standardowe zostaną zniekształcone.
Dla każdej zmiennej warto ustalić:
- liczbę i odsetek obserwacji kompletnych;
- liczbę braków zakodowanych jako puste komórki, teksty lub wartości specjalne;
- czy brak dotyczy całej zmiennej, czy tylko określonych grup;
- czy brak wynika z projektu, na przykład z pomiaru wykonywanego wyłącznie podczas wizyty kontrolnej;
- czy przyjęta strategia analityczna jest zgodna z charakterem braków.
Sam odsetek braków nie rozstrzyga jeszcze, czy zmienna jest bezużyteczna. Istotne jest także, czy braki są związane z cechami uczestników lub wynikiem. Dlatego kontrola kompletności powinna obejmować zarówno statystyki ogólne, jak i porównania między grupami.
4. Poprawność typów, formatów i jednostek
Zmienne liczbowe powinny być przechowywane jako liczbowe, daty jako daty, a zmienne jakościowe powinny mieć jasno opisane kategorie. Zmienna „ciśnienie skurczowe” zapisana jako tekst może wyglądać poprawnie w arkuszu, ale uniemożliwić obliczenie średniej. Z kolei zmienna „płeć” zakodowana jako 1 i 2 nie jest automatycznie zmienną ilościową.
Należy sprawdzić:
- jednostki, na przykład kilogramy versus funty albo milimole na litr versus miligramy na decylitr;
- liczbę miejsc po przecinku;
- format dat i godzin;
- kodowanie kategorii oraz etykiety wartości;
- zgodność nazw zmiennych z wymaganiami programu;
- znaki dziesiętne i separatory tysięcy;
- obecność ukrytych spacji oraz znaków specjalnych.
5. Zakresy i wartości dopuszczalne
Kontrola zakresów powinna łączyć reguły techniczne z wiedzą dziedzinową. Wiek równy 0 może być prawidłowy w badaniu noworodków, ale prawdopodobnie oznacza błąd w badaniu dorosłych. Podobnie temperatura ciała 38,5°C jest możliwa, natomiast wartość 385 może oznaczać brak przecinka albo błąd jednostki.
Dla zmiennej ilościowej można formalnie zapisać kontrolę zakresu jako:
wartość dopuszczalna ⇔ L ≤ x ≤ U
gdzie x oznacza obserwowaną wartość, L dolną granicę dopuszczalnego zakresu, a U górną granicę. Granice powinny wynikać z protokołu, definicji zmiennej, możliwości aparatury lub uzasadnienia klinicznego. Nie należy automatycznie usuwać wszystkich wartości poza zakresem. Najpierw trzeba sprawdzić formularz źródłowy, dokumentację i ewentualną pomyłkę przy przepisywaniu.
6. Spójność logiczna między zmiennymi
Niektóre błędy ujawniają się dopiero po zestawieniu dwóch lub większej liczby zmiennych. Przykładowe reguły to:
- data wypisu nie może być wcześniejsza niż data przyjęcia;
- osoba oznaczona jako „niepaląca” nie powinna mieć dodatniej liczby papierosów dziennie;
- jeżeli zaznaczono „ciąża: tak”, zmienna dotycząca liczby tygodni ciąży nie powinna być pusta bez wyjaśnienia;
- jeżeli pacjent nie otrzymał interwencji, nie powinien mieć wpisanej dawki interwencji;
- wartość po leczeniu nie powinna być przypisana do pomiaru przed leczeniem.
Takie reguły nie są wyłącznie kontrolą techniczną. Pozwalają wykryć błędy, których nie ujawni sama analiza rozkładu pojedynczej zmiennej.
7. Zgodność z planem analizy
Baza może być poprawna technicznie, ale nieprzygotowana do konkretnej analizy. Jeśli planowano regresję logistyczną, należy wiedzieć, która zmienna jest wynikiem binarnym, jak zdefiniowano kategorię referencyjną i czy predyktory są dostępne w odpowiedniej postaci. Jeśli planowano analizę powtarzanych pomiarów, potrzebne są identyfikator osoby, czas lub kolejność pomiaru oraz informacja o strukturze obserwacji.
Warto utworzyć tabelę łączącą pytania badawcze, zmienne i planowane analizy. Powinna ona wskazywać:
- zmienną wynikową;
- główną zmienną objaśniającą lub ekspozycję;
- potencjalne zmienne zakłócające;
- skalę pomiaru;
- planowane transformacje i kategoryzacje;
- minimalny zestaw danych wymagany do danej analizy.
Nie należy jednak dopasowywać danych do oczekiwanego wyniku. Zmiana definicji zmiennej, usuwanie obserwacji lub wybór kowariatów po obejrzeniu wyników może zwiększać ryzyko stronniczości. Standardy przejrzystego raportowania zalecają dokumentowanie decyzji planowanych i podjętych po zapoznaniu się z danymi (Appelbaum et al., 2018).
8. Kontrola obserwacji nietypowych
Obserwacja nietypowa nie jest automatycznie błędna. Wysokie stężenie biomarkera może wynikać z choroby, a bardzo niski wynik kwestionariusza może odzwierciedlać rzeczywisty stan uczestnika. Należy odróżnić:
- wartość niemożliwą;
- wartość możliwą, lecz rzadką;
- wartość wpływową dla konkretnego modelu;
- błąd wprowadzania lub pomiaru.
Decyzja o pozostawieniu lub wyłączeniu obserwacji powinna wynikać z reguł opisanych przed analizą główną albo z udokumentowanej weryfikacji źródła. Nie wolno usuwać obserwacji wyłącznie dlatego, że pogarsza istotność statystyczną.
9. Dokumentacja i ślad audytowy
Gotowa baza powinna mieć dokumentację obejmującą co najmniej: źródło danych, datę eksportu, opis jednostki obserwacji, słownik zmiennych, kody braków, reguły walidacyjne, listę zmian oraz informację o osobie wykonującej kontrolę. W przypadku badań medycznych należy również uwzględnić zasady ochrony danych i ograniczenie identyfikatorów bezpośrednich.
W praktyce warto rozdzielić:
- bazę surową – niezmieniany eksport danych źródłowych;
- bazę roboczą – plik używany do kontroli i przekształceń;
- bazę analityczną – zamrożoną wersję wykorzystaną w analizie głównej;
- skrypt lub dziennik zmian – zapis operacji prowadzących do wersji końcowej.
Przykład praktyczny: badanie pacjentów po udarze
Załóżmy, że zespół analizuje związek między czasem rozpoczęcia rehabilitacji a wynikiem funkcjonalnym po 90 dniach. W bazie znajduje się 420 rekordów. Przed analizą zespół wykonuje następujące czynności:
- sprawdza, czy jeden wiersz oznacza jednego pacjenta, a nie pojedynczą wizytę;
- identyfikuje 7 powtórzonych identyfikatorów;
- ustala, że 4 powtórzenia są rzeczywistymi duplikatami, a 3 dotyczą dwóch wizyt i wymagają zmiany struktury bazy;
- wykrywa 12 wartości czasu rehabilitacji zapisanych w godzinach zamiast w minutach;
- sprawdza, czy data wyniku 90-dniowego następuje po dacie wypisu;
- opisuje 18 braków wyniku funkcjonalnego i porównuje ich częstość między grupami czasu rehabilitacji;
- potwierdza, że wynik funkcjonalny jest liczbowy, a nie tekstowy;
- zamraża wersję bazy po zapisaniu wszystkich decyzji.
W tym przykładzie nie wystarczyło stwierdzenie, że „plik zawiera 420 pacjentów”. Początkowo liczba rekordów nie odpowiadała liczbie pacjentów, jednostki czasu były niejednolite, a braki wyniku mogły być związane z ciężkością stanu. Dopiero po przeprowadzeniu kontroli można ocenić, czy zaplanowana analiza jest wykonalna i jakie ograniczenia należy opisać.
Najczęstsze błędy
- Analiza bez zamrożenia wersji bazy. Kolejne poprawki powodują, że nie wiadomo, na jakich danych uzyskano wynik.
- Traktowanie kodów jako wartości liczbowych. Kod 1, 2 i 3 może oznaczać kategorie nominalne, a nie rosnący poziom cechy.
- Usuwanie wszystkich obserwacji odstających. Rzadkość nie jest dowodem błędu.
- Łączenie pustych komórek, odmów i wartości „nie dotyczy”. Te sytuacje mogą mieć różne znaczenie analityczne.
- Kontrola tylko pojedynczych zmiennych. Błędy logiczne ujawniają się często dopiero przy porównaniu kilku pól.
- Brak zgodności z protokołem. Zmienna obecna w bazie nie zawsze odpowiada definicji przyjętej w projekcie.
- Zmiana danych bez śladu. Jeżeli nie zapisano, co zmieniono i dlaczego, nie można ocenić odtwarzalności analizy.
- Wnioskowanie przyczynowe na podstawie samej kontroli bazy. Dobra jakość danych nie zmienia obserwacyjnego charakteru badania ani nie usuwa problemów projektu.
- Uznawanie istotności statystycznej za dowód jakości danych. Wartość p nie jest prawdopodobieństwem prawdziwości hipotezy zerowej i nie zastępuje kontroli danych.
Końcowa decyzja: gotowa czy jeszcze nie?
Praktyczną decyzję można zapisać w trzech kategoriach:
| Status | Znaczenie | Działanie |
|---|---|---|
| Gotowa | Nie wykryto błędów krytycznych, a ograniczenia są opisane. | Rozpocząć analizę zgodnie z planem. |
| Gotowa warunkowo | Pozostały braki lub niepewności, które nie uniemożliwiają analizy, ale wymagają analizy wrażliwości. | Udokumentować problem i uwzględnić go w interpretacji. |
| Niegotowa | Istnieją błędy identyfikacji, struktury, jednostek lub definicji zmiennych. | Wstrzymać analizę główną i wrócić do źródła danych. |
W badaniach obserwacyjnych checklista bazy powinna być powiązana z późniejszym raportowaniem próby, braków, wyłączeń i definicji zmiennych. Pomocne są standardy STROBE, które porządkują przejrzyste przedstawianie badań obserwacyjnych, choć sama checklista STROBE nie zastępuje technicznej kontroli pliku (von Elm et al., 2007).
Co warto zapamiętać?
- Baza gotowa do analizy to baza sprawdzona względem celu badania, a nie tylko poprawnie otwierający się plik.
- Najpierw trzeba ustalić jednostkę obserwacji i unikalność rekordów.
- Każda zmienna powinna mieć znane znaczenie, typ, jednostkę i kody wartości.
- Braki danych należy opisywać, a nie ukrywać pod przypadkowymi liczbami.
- Kontrola logiczna między zmiennymi jest równie ważna jak kontrola zakresów.
- Obserwacja nietypowa nie jest automatycznie błędna i nie powinna być usuwana bez uzasadnienia.
- Decyzje dotyczące wyłączeń, rekodowania i transformacji muszą być odtwarzalne.
- Jakość danych, istotność statystyczna i znaczenie praktyczne to różne kwestie.
- Przed rozpoczęciem analizy głównej należy zapisać konkretną wersję bazy analitycznej i jej dokumentację.
Reguła praktyczna: jeżeli nie potrafisz wyjaśnić, co oznacza każdy wiersz, każda kolumna i każdy specjalny kod w bazie, baza nie jest jeszcze gotowa do analizy statystycznej.
Źródła i dalsza lektura
- Kahn, M. G., Callahan, T. J., Barnard, J., Bauck, A. E., Brown, J., Davidson, B. N., Estiri, H., Goerg, C., Holve, E., Johnson, S. G., Liaw, S.-T., Hamilton-Lopez, M., Meeker, D., Ong, T. C., Ryan, P., Shang, N., Weiskopf, N. G., Weng, C., Zozus, M. N., & Schilling, L. (2016). A Harmonized Data Quality Assessment Terminology and Framework for the Secondary Use of Electronic Health Record Data. eGEMs (Generating Evidence & Methods to Improve Patient Outcomes), 4(1), 1244. DOI: 10.13063/2327-9214.1244.
- Lee, K., Weiskopf, N., & Pathak, J. (2018). A Framework for Data Quality Assessment in Clinical Research Datasets. Proceedings of the AMIA Annual Symposium, 2017, 1080–1089. Pełny opis źródła.
- Appelbaum, M., Cooper, H., Kline, R. B., Mayo-Wilson, E., Nezu, A. M., & Rao, S. M. (2018). Journal Article Reporting Standards for Quantitative Research in Psychology: The APA Publications and Communications Board Task Force Report. American Psychologist, 73(1), 3–25. DOI: 10.1037/amp0000191.
- von Elm, E., Altman, D. G., Egger, M., Pocock, S. J., Gøtzsche, P. C., Vandenbroucke, J. P., & the STROBE Initiative (2007). The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) Statement: Guidelines for Reporting Observational Studies. PLoS Medicine, 4(10), e296. DOI: 10.1371/journal.pmed.0040296.
- EQUATOR Network (2026). Enhancing the Quality and Transparency of Health Research. EQUATOR Network. University of Oxford. Źródło.
- American Psychological Association (2024). APA Style Journal Article Reporting Standards. APA Style. American Psychological Association. Źródło.