250. Braki danych – MCAR, MAR i MNAR wprowadzenie

Braki danych są stałym elementem badań medycznych, psychologicznych, społecznych i epidemiologicznych. Mogą wynikać z odmowy udziału, pominięcia pytania, problemu technicznego, przerwania obserwacji albo z tego, że pomiar okazał się niemożliwy. Sam fakt występowania pustych komórek nie mówi jednak jeszcze, czy analiza będzie obciążona. Kluczowe znaczenie ma mechanizm powstawania braków, czyli zależność między tym, co nie zostało zaobserwowane, a wartościami zmiennych w badaniu.

W tej lekcji kursu na statystyk.edu.pl wprowadzamy trzy klasyczne pojęcia: MCAR, MAR i MNAR. Nie są to trzy techniki uzupełniania danych, lecz założenia opisujące proces, który doprowadził do ich braku. Od trafności tego rozpoznania zależy między innymi wybór analizy kompletnego przypadku, estymacji największej wiarygodności, imputacji wielokrotnej albo analiz wrażliwości.

1. Czym są braki danych?

Brak danych oznacza, że dla określonej jednostki i określonej zmiennej nie obserwujemy wartości, która w populacji mogłaby istnieć. W bazie może być zapisany jako pusta komórka, kod systemowy, wartość NA, specjalny kod liczbowy albo odpowiedź „nie wiem” lub „odmowa”. Te sytuacje nie zawsze są równoważne. „Nie dotyczy”, „nie wykonano badania”, „odmowa odpowiedzi” i „błąd aparatury” mogą wskazywać na różne przyczyny oraz wymagać odrębnego kodowania.

Warto odróżnić brak strukturalny od braku przypadkowego w sensie statystycznym. Jeżeli osoba nie otrzymała pytania o liczbę hospitalizacji, ponieważ nie spełniała warunku przejścia do tej części kwestionariusza, nie mamy typowego braku informacji. Zmienna nie dotyczyła tej osoby. Natomiast jeżeli pacjent zakwalifikowany do pomiaru nie miał oznaczonego stężenia hemoglobiny z powodu awarii analizatora, jest to brak danych, który powinien zostać opisany i uwzględniony w analizie.

Pierwszym krokiem jest więc nie mechaniczne zastępowanie pustych komórek średnią, lecz ustalenie: co miało być zmierzone, dla kogo, kiedy i z jakiego powodu nie uzyskano wartości? Zalecenia dotyczące badań klinicznych podkreślają, że problem braków powinien być przewidziany już na etapie projektu, a nie dopiero po zamknięciu bazy (National Research Council, 2010).

2. Oznaczenie braków danych

Do formalnego opisu można wprowadzić zmienną wskaźnikową braków. Załóżmy, że Y oznacza wartość badanej zmiennej, a R – wskaźnik jej obserwacji:

R = 1, gdy wartość Y jest zaobserwowana, oraz R = 0, gdy wartość Y jest brakująca.

W przypadku wielu zmiennych możemy rozpatrywać wektor obserwowanych wartości Y_obs, wektor wartości brakujących Y_mis oraz wzorzec braków R. Wzorzec braków opisuje, które zmienne i u których osób są dostępne. Przykładowo w badaniu podłużnym jedna osoba może mieć komplet pomiarów do trzeciego miesiąca, ale brakować jej wszystkich pomiarów późniejszych; u innej może brakować wyłącznie jednego wyniku laboratoryjnego.

Formalnie mechanizm braków można opisać rozkładem:

P(R | Yobs, Ymis)

Oznacza on prawdopodobieństwo uzyskania określonego wzorca obserwacji R przy danych wartościach zaobserwowanych i niezaobserwowanych. Trzy klasyczne mechanizmy różnią się tym, od czego zależy to prawdopodobieństwo (Rubin, 1976).

3. MCAR – braki całkowicie losowe

MCAR (missing completely at random) oznacza, że prawdopodobieństwo braku nie zależy ani od wartości obserwowanych, ani od wartości, które są brakujące. Można to zapisać jako:

P(R | Yobs, Ymis) = P(R)

W praktyce oznacza to, że brak danych jest niezależny od całego analizowanego zbioru wartości. Przykładem może być losowe uszkodzenie części formularzy podczas transportu, o ile uszkodzenie nie zależy od cech pacjentów, ich wyników ani przebiegu leczenia. Innym przykładem jest przypadkowa awaria aparatu laboratoryjnego, która wystąpiła niezależnie od pacjenta, pory dnia, ciężkości choroby i wyniku pomiaru.

MCAR jest założeniem bardzo silnym i w badaniach rzeczywistych często mało wiarygodnym. Jeżeli osoby z gorszym stanem zdrowia częściej nie zgłaszają się na wizyty, nie można uznać braków za MCAR tylko dlatego, że przyczyny nie zapisano w bazie. Brak informacji o przyczynie nie jest dowodem jej losowości.

Gdy MCAR jest prawdziwe, analiza kompletnych przypadków może być mniej problematyczna pod względem obciążenia estymatora, choć zwykle zmniejsza liczebność próby i precyzję oszacowań. Test Little’a służy do sprawdzania zgodności danych z hipotezą MCAR, ale wynik testu nie rozstrzyga samodzielnie, czy dane są MAR lub MNAR. Test statystyczny nie zastępuje wiedzy o procedurze zbierania danych (Little, 1988).

4. MAR – braki zależne od informacji obserwowanej

MAR (missing at random) oznacza, że po uwzględnieniu informacji dostępnych w bazie prawdopodobieństwo braku nie zależy już od niezaobserwowanej wartości. Formalnie:

P(R | Yobs, Ymis) = P(R | Yobs)

To założenie jest warunkowe. Nie oznacza, że braki są niezależne od wszystkich cech osoby. Oznacza raczej, że zależność można wyjaśnić za pomocą wartości, które znamy.

Przykład medyczny: w badaniu pacjentów z nadciśnieniem brakuje pomiaru ciśnienia skurczowego po sześciu miesiącach. Pacjenci starsi i osoby z gorszym wynikiem wyjściowym częściej nie przychodzą na wizytę. Jeżeli wiek, ciśnienie wyjściowe, płeć, grupa leczenia, liczba wcześniejszych wizyt i inne ważne predyktory są dostępne, można rozważać MAR: brak pomiaru jest związany z obserwowanymi cechami, a nie – po ich uwzględnieniu – z samą niezaobserwowaną wartością po sześciu miesiącach.

Przykład psychologiczny: uczestnicy z niższym wyjściowym poziomem dobrostanu częściej pomijają pytania dotyczące funkcjonowania społecznego. Jeżeli poziom wyjściowy, wiek, status zawodowy i wcześniejsze odpowiedzi są zapisane, mechanizm MAR może być rozsądnym modelem roboczym. Nie jest to jednak fakt bezpośrednio obserwowalny, ponieważ dla osób z brakującą odpowiedzią nie znamy właśnie tej odpowiedzi.

Założenie MAR jest podstawą wielu metod opartych na modelu, w tym imputacji wielokrotnej i estymacji największej wiarygodności. Nie oznacza to, że każda imputacja wielokrotna automatycznie rozwiązuje problem braków. Model imputacyjny powinien zawierać zmienne związane z wynikiem, prawdopodobieństwem braku, grupą badania, czasem pomiaru i istotnymi czynnikami klinicznymi. Sterne i współpracownicy (2009) podkreślają, że nieuwzględnienie ważnych predyktorów może prowadzić do błędnych wniosków nawet wtedy, gdy badacz deklaruje MAR.

5. MNAR – braki zależne od wartości nieobserwowanej

MNAR (missing not at random) oznacza sytuację, w której prawdopodobieństwo braku zależy od wartości, której nie obserwujemy, nawet po uwzględnieniu dostępnych zmiennych. Można ją zapisać skrótowo jako:

P(R | Yobs, Ymis) ≠ P(R | Yobs)

Przykład: w badaniu depresji osoby z najwyższym nasileniem objawów częściej nie wypełniają końcowego kwestionariusza właśnie dlatego, że ich stan jest szczególnie zły. Jeżeli nasilenie objawów na końcu badania jest nieobserwowane, nie da się w pełni sprawdzić, czy osoby z najgorszymi wynikami rzeczywiście częściej wypadały z obserwacji.

W badaniu klinicznym pacjenci mogą przerywać udział z powodu braku poprawy albo działań niepożądanych. Jeśli brak końcowego wyniku jest związany z nieosiągniętym efektem leczenia, mechanizm może mieć charakter MNAR. Podobnie w badaniu dochodów gospodarstw domowych osoby o najwyższych dochodach mogą częściej odmawiać odpowiedzi właśnie ze względu na poziom dochodu.

MNAR nie można zwykle udowodnić na podstawie samej obserwowanej bazy. Jest to założenie dotyczące części informacji, której nie mamy. Dlatego analiza MNAR wymaga jawnego modelowania, argumentacji dziedzinowej i analiz wrażliwości. Można na przykład przyjąć, że osoby z brakującym wynikiem miały średnio wynik o określoną wartość gorszy niż osoby podobne z wynikiem obserwowanym, a następnie sprawdzić, czy wniosek zmienia się przy różnych wartościach tego przesunięcia.

6. Czy można rozpoznać mechanizm na podstawie danych?

MCAR, MAR i MNAR nie są zwykłymi etykietami, które można pewnie odczytać z jednej tabeli. Dane obserwowane pozwalają opisać wzorce braków i szukać ich związków z dostępnymi zmiennymi. Nie pozwalają natomiast bezpośrednio sprawdzić, czy brak zależy od wartości, której nie zarejestrowano.

Praktyczne rozpoznanie powinno łączyć kilka źródeł informacji:

• opis przyczyn braków zapisanych podczas badania;
• porównanie osób z kompletnymi i niekompletnymi obserwacjami;
• analizę braków według ośrodka, badacza, czasu, grupy leczenia i procedury;
• modele przewidujące wskaźnik braku na podstawie zmiennych obserwowanych;
• informacje z dzienników kontaktu, systemu laboratoryjnego i dokumentacji klinicznej;
• analizy wrażliwości pokazujące, jak wyniki zmieniają się przy mniej korzystnych założeniach.

Można utworzyć zmienną R i oszacować model logistyczny, na przykład:

logit[P(R = 0)] = β0 + β1Wiek + β2Grupa + β3Wynik_wyjściowy

R = 0 oznacza brak wyniku końcowego, β₀ jest wyrazem wolnym, a β₁–β₃ opisują związek poszczególnych zmiennych z prawdopodobieństwem braku. Taki model może dostarczyć dowodów, że braki nie są MCAR. Nie rozstrzyga jednak, czy po uwzględnieniu obserwowanych predyktorów pozostaje zależność od nieobserwowanej wartości, a więc nie rozstrzyga MAR kontra MNAR.

7. Przykład praktyczny: badanie rehabilitacji po udarze

Załóżmy, że w badaniu 300 pacjentów oceniano sprawność ruchową w momencie włączenia oraz po 12 tygodniach rehabilitacji. Końcowy wynik jest brakujący u 54 osób. W dokumentacji zapisano powody: 20 osób zmarło, 18 przeniosło się do innego ośrodka, 10 odmówiło dalszych wizyt, a w 6 przypadkach wystąpiła awaria urządzenia.

Nie należy wszystkich 54 braków traktować jako jednej kategorii. Zgon jest zdarzeniem klinicznym związanym ze stanem zdrowia i może wymagać odrębnego podejścia do punktu końcowego. Przeniesienie do innego ośrodka może być związane z dostępnością transportu lub miejscem zamieszkania. Odmowa dalszych wizyt może wiązać się z brakiem poprawy, działaniami niepożądanymi albo obciążeniem opiekuna. Awaria urządzenia może być bliższa MCAR, jeśli rzeczywiście była niezależna od pacjenta i wyniku.

Następnie badacz porównuje osoby z obserwowanym i brakującym wynikiem pod względem wieku, wyniku wyjściowego, ciężkości udaru, grupy rehabilitacji i ośrodka. Jeżeli osoby z brakami miały przeciętnie cięższy udar i gorszą sprawność wyjściową, mechanizm MCAR staje się mało wiarygodny. Model MAR może być uzasadniony, jeżeli te różnice są dobrze zmierzone i uwzględnione. Jednak hipoteza MNAR pozostaje możliwa, jeśli pacjenci o najgorszej rzeczywistej sprawności częściej odmawiali pomiaru.

Raport powinien więc zawierać zarówno analizę podstawową opartą na jasno określonym modelu, jak i analizę wrażliwości. Nie wystarczy zdanie „brakujące obserwacje usunięto z analizy”, ponieważ takie postępowanie może zmienić skład badanej próby i ograniczyć możliwość uogólnienia wyników.

8. Najczęstsze błędy

• Uznawanie każdego braku za MCAR. Nieznana przyczyna nie oznacza losowości.
• Traktowanie MCAR, MAR i MNAR jako metod imputacji. Są to założenia o mechanizmie braków, a nie procedury obliczeniowe.
• Wnioskowanie o MNAR wyłącznie z istotnego testu Little’a. Test może podważyć MCAR, ale nie rozdziela wiarygodnie MAR i MNAR.
• Automatyczne zastępowanie braków średnią. Zwykle zaniża zmienność i może osłabiać lub zniekształcać zależności między zmiennymi.
• Usuwanie całych rekordów bez raportowania skali utraty danych. Należy podać liczbę i odsetek braków dla każdej ważnej zmiennej oraz przyczyny, jeśli są znane.
• Pomijanie zmiennych pomocniczych. Informacje związane z prawdopodobieństwem braku lub wynikiem mogą poprawić wiarygodność modelu MAR.
• Mylenie istotności statystycznej z ważnością kliniczną. Różnica między osobami z kompletnymi i niekompletnymi danymi może być statystycznie nieistotna przy małej próbie, ale nadal mieć znaczenie praktyczne.
• Brak analizy wrażliwości. Przy założeniu MAR warto ocenić, czy wnioski utrzymałyby się przy wiarygodnych scenariuszach MNAR.
• Język przyczynowy bez odpowiedniego projektu. Sam fakt, że braki częściej wystąpiły w jednej grupie, nie dowodzi, że leczenie spowodowało brak danych.

9. Jak przygotować bazę i raport?

Na etapie przygotowania bazy warto przechowywać nie tylko wartość zmiennej, lecz także informację o statusie pomiaru. Przydatne mogą być osobne kody dla: pomiaru wykonanego, odmowy, braku kontaktu, przeciwwskazania, awarii technicznej, zgonu i braku strukturalnego. Kody te nie powinny być bezrefleksyjnie zamieniane na liczby, ponieważ na przykład kod „999” może zostać błędnie potraktowany jako rzeczywisty wynik.

W raporcie należy opisać: zakres i wzorzec braków, ich przyczyny, różnice między osobami z kompletnymi i niekompletnymi danymi, zastosowaną metodę analizy oraz założenia dotyczące mechanizmu. Jeżeli wykorzystano imputację wielokrotną, trzeba podać model imputacyjny, zmienne włączone do modelu, liczbę zbiorów imputowanych i sposób łączenia wyników. Jeżeli zastosowano analizę kompletnych przypadków, trzeba uzasadnić, dlaczego jest ona akceptowalna w danym kontekście.

W badaniach klinicznych nie ma uniwersalnej metody odpowiedniej dla każdego wzorca braków. Wybór powinien wynikać z pytania badawczego, projektu, punktu końcowego, czasu obserwacji i wiedzy o procesie utraty danych (National Research Council, 2010). Wnioski należy formułować ostrożnie: procedura statystyczna może ograniczyć skutki braków, ale nie odzyskuje informacji, której nigdy nie zebrano.

Co warto zapamiętać?

• MCAR oznacza brak zależny od niczego, co znajduje się w analizowanych danych – ani od wartości obserwowanych, ani od brakujących.
• MAR oznacza, że po uwzględnieniu informacji obserwowanych mechanizm braku nie zależy już od wartości nieobserwowanych.
• MNAR oznacza, że brak pozostaje związany z nieobserwowaną wartością, nawet po uwzględnieniu dostępnych informacji.
• MCAR jest założeniem silnym; MAR jest częstym założeniem roboczym, ale także wymaga uzasadnienia.
• Na podstawie samej bazy zwykle nie można pewnie rozstrzygnąć MAR kontra MNAR.
• Testy statystyczne, wykresy i modele wskaźnika braku są pomocne, lecz nie zastępują wiedzy o procesie zbierania danych.
• Opis braków, ich przyczyn i analiz wrażliwości jest częścią rzetelnego raportowania, a nie dodatkiem technicznym.

W kolejnych lekcjach można przejść od rozpoznawania mechanizmu do praktycznych metod postępowania: analizy kompletnych przypadków, imputacji pojedynczej, imputacji wielokrotnej, estymacji największej wiarygodności oraz analiz wrażliwości dla MNAR.

Źródła i dalsza lektura

1. Rubin, Donald B. (1976). Inference and Missing Data. Biometrika, 63(3), 581–592. DOI: 10.1093/biomet/63.3.581.
2. Little, Roderick J. A. (1988). A Test of Missing Completely at Random for Multivariate Data with Missing Values. Journal of the American Statistical Association, 83(404), 1198–1202. DOI: 10.1080/01621459.1988.10478722.
3. Sterne, Jonathan A. C.; White, Ian R.; Carlin, John B.; Spratt, Michael; Royston, Patrick; Kenward, Michael G.; Wood, Angela M.; Carpenter, James R. (2009). Multiple imputation for missing data in epidemiological and clinical research: potential and pitfalls. BMJ, 338, b2393. DOI: 10.1136/bmj.b2393.
4. Enders, Craig K. (2010). Applied Missing Data Analysis. 1st edition. Guilford Press. Informacja wydawcy / źródło.
5. National Research Council (2010). The Prevention and Treatment of Missing Data in Clinical Trials. The National Academies Press. Źródło.