379. Jak dokumentować decyzje dotyczące obserwacji odstających?
W poprzednich lekcjach omówiono, czym są wartości odstające, jak je wykrywać oraz czym różnią się od obserwacji wpływowych. Kolejny krok ma charakter metodologiczny: trzeba udokumentować, co z taką obserwacją zrobiono i dlaczego. Sama informacja, że „usunięto odstające przypadki”, jest niewystarczająca. Nie wiadomo wtedy, według jakiego kryterium je wskazano, czy sprawdzono poprawność pomiaru, ilu obserwacji dotyczyła decyzja ani czy wnioski zależą od ich wyłączenia.
Dokumentowanie decyzji dotyczących obserwacji odstających służy przede wszystkim przejrzystości, odtwarzalności i ocenie wiarygodności analizy. Nie oznacza automatycznego eliminowania nietypowych wyników. Obserwacja może być błędem zapisu, prawidłowym, lecz rzadkim przypadkiem albo punktem silnie wpływającym na model. Każda z tych sytuacji wymaga innego postępowania.
1. Czym jest decyzja dotycząca obserwacji odstającej?
Obserwacja odstająca to przypadek, którego wartość lub zestaw wartości wyraźnie różni się od pozostałych obserwacji. Odstępstwo może dotyczyć jednej zmiennej, relacji między zmiennymi albo reszt modelu. Dlatego trzeba odróżniać co najmniej trzy sytuacje:
- odstający wynik jednowymiarowy – na przykład wyjątkowo wysokie stężenie glukozy;
- odstający profil wielowymiarowy – przypadek, który nie jest skrajny w żadnej pojedynczej zmiennej, ale ma nietypową kombinację wyników;
- obserwacja wpływowa – przypadek, którego obecność wyraźnie zmienia oszacowania, przedziały ufności lub wnioski modelu.
Te pojęcia nie są synonimami. Wynik może być skrajny, ale nie wpływać istotnie na model, jeżeli próba jest duża lub punkt leży zgodnie z ogólnym trendem. Z kolei obserwacja o umiarkowanych wartościach może być wpływowa, jeżeli znajduje się w rzadkim obszarze zmiennych objaśniających.
Aguinis, Gottfredson i Joo (2013) podkreślają, że w literaturze spotyka się wiele definicji, metod identyfikacji i sposobów postępowania z obserwacjami odstającymi. Z tego powodu nie istnieje uniwersalna reguła typu „każdą wartość powyżej trzech odchyleń standardowych należy usunąć”. Decyzja powinna wynikać z kontekstu pomiaru, celu analizy i założeń modelu.
2. Co należy udokumentować?
Dobra dokumentacja powinna pozwalać niezależnemu czytelnikowi odtworzyć tok rozumowania. W praktyce warto zapisać decyzje w czterech etapach: identyfikacja, weryfikacja, postępowanie i ocena wpływu.
2.1. Identyfikacja
Najpierw należy podać, w jaki sposób wykryto potencjalnie odstające obserwacje. Może to być:
- inspekcja wykresu pudełkowego, histogramu lub wykresu rozrzutu;
- reguła oparta na kwartylach i rozstępie międzykwartylowym;
- standaryzowane reszty lub reszty studentyzowane;
- odległość Mahalanobisa w analizie wielowymiarowej;
- leverage, odległość Cooka lub inne miary wpływu;
- procedura wynikająca z dziedziny, na przykład zakres fizjologicznie możliwych pomiarów.
Trzeba podać nie tylko nazwę metody, ale również jej parametry i moment zastosowania. Przykładowo nie wystarczy napisać „wykryto odstające reszty”. Lepiej zapisać: „Za potencjalnie nietypowe uznano obserwacje, dla których bezwzględna wartość reszty studentyzowanej przekraczała 3; kryterium zastosowano do modelu określonego przed analizą wrażliwości”.
Jeżeli wykorzystano regułę pudełkową, można ją przedstawić następująco:
dolna granica = Q1 − 1,5 × IQR
górna granica = Q3 + 1,5 × IQR
gdzie Q1 oznacza pierwszy kwartyl, Q3 – trzeci kwartyl, a IQR – rozstęp międzykwartylowy, czyli IQR = Q3 − Q1. Obserwacje poza tymi granicami są sygnałem diagnostycznym, a nie automatycznym dowodem błędu.
2.2. Weryfikacja
Po wykryciu nietypowego przypadku należy sprawdzić jego pochodzenie. W dokumentacji warto odpowiedzieć na następujące pytania:
- Czy wartość została poprawnie przepisana z formularza lub dokumentacji medycznej?
- Czy jednostka pomiaru jest taka sama jak w pozostałych przypadkach?
- Czy nie wystąpił błąd kodowania, na przykład zamiana przecinka i kropki dziesiętnej?
- Czy pomiar wykonano zgodnie z protokołem?
- Czy obserwacja jest możliwa z punktu widzenia klinicznego, biologicznego lub społecznego?
- Czy przypadek należy do populacji zdefiniowanej w protokole badania?
Weryfikacja może prowadzić do różnych decyzji. Jeżeli stwierdzono błąd zapisu, należy poprawić wartość na podstawie źródła pierwotnego i zachować ślad korekty. Jeżeli nie da się ustalić prawidłowej wartości, można zakodować ją jako brak danych, ale trzeba opisać tę decyzję oraz uwzględnić ją w zestawieniu braków. Jeżeli pomiar jest prawidłowy, nie powinno się usuwać go wyłącznie dlatego, że jest niezgodny z oczekiwaniami badacza.
2.3. Postępowanie analityczne
W raporcie należy wskazać, czy obserwację:
- pozostawiono w analizie głównej;
- skorygowano na podstawie dokumentacji źródłowej;
- wyłączono z określonej analizy, ale nie z całego zbioru;
- zaklasyfikowano jako brak danych;
- przeanalizowano metodą odporną;
- uwzględniono w analizie głównej, a następnie wykonano analizę wrażliwości bez tego przypadku.
Najważniejsze jest rozdzielenie błędu danych od prawdziwej zmienności populacji. Jeżeli pacjent miał rzeczywiście bardzo wysokie ciśnienie tętnicze, nie jest to błąd tylko dlatego, że wynik odstaje od średniej. W badaniu klinicznym taki przypadek może być szczególnie istotny, a jego usunięcie zmniejszałoby reprezentację ciężkiego przebiegu choroby.
2.4. Ocena wpływu
Jeżeli decyzja o wyłączeniu jest rozważana, należy porównać wyniki z obserwacją i bez niej. Porównanie powinno obejmować nie tylko wartość p, lecz także oszacowanie efektu, jego przedział ufności, miary dopasowania modelu i wnioski praktyczne. Wartość p nie jest prawdopodobieństwem prawdziwości hipotezy zerowej ani prawdopodobieństwem, że obserwacja jest błędna.
Przykładowe zestawienie może wyglądać tak:
| Wariant analizy | Średnia różnica | 95% PU | p | Wniosek |
|---|---|---|---|---|
| Wszystkie obserwacje | −4,2 punkta | −7,1 do −1,3 | 0,005 | efekt zgodny z hipotezą |
| Bez przypadku odstającego | −3,5 punktu | −5,9 do −1,1 | 0,004 | wniosek podobny |
| Analiza odporna | −3,8 punktu | −6,4 do −1,2 | 0,006 | wniosek podobny |
Takie przedstawienie wskazuje, że wynik nie zależy wyłącznie od jednego przypadku. Jeżeli natomiast po usunięciu jednej obserwacji efekt zmienia znak albo przestaje być zgodny z wcześniej sformułowanym wnioskiem, trzeba to wyraźnie opisać. Nie oznacza to automatycznie, że obserwację należy usunąć. Oznacza natomiast, że wniosek jest wrażliwy i powinien być sformułowany ostrożnie.
3. Przykład 1: badanie skuteczności interwencji pielęgniarskiej
Załóżmy, że w badaniu oceniano zmianę natężenia bólu po wdrożeniu krótkiej interwencji edukacyjnej u 48 pacjentów. Wynik mierzono w skali od 0 do 10. U jednego pacjenta odnotowano zmianę równą −10, czyli maksymalną możliwą poprawę. Wykres pudełkowy wskazał ten wynik jako odstający.
Pierwsza reakcja nie powinna polegać na usunięciu przypadku. Zespół sprawdza formularz i dokumentację. Okazuje się, że pacjent rzeczywiście zgłosił ból 10 przed interwencją i 0 po niej, a pomiar wykonano zgodnie z protokołem. Obserwacja jest więc skrajna, ale wiarygodna.
W dokumentacji można zapisać: „Jedna obserwacja została wskazana przez regułę 1,5 IQR jako potencjalnie odstająca. Weryfikacja formularza źródłowego nie ujawniła błędu pomiaru ani kodowania. Obserwację pozostawiono w analizie głównej. Wykonano analizę wrażliwości z użyciem mediany oraz estymatora odpornego; kierunek i praktyczna interpretacja wyniku pozostały podobne”.
Jeżeli analiza bez tego pacjenta dawałaby znacznie mniejszą poprawę, należy przedstawić oba warianty. Nie wolno ukrywać faktu, że rezultat jest zależny od jednego przypadku, nawet gdy przypadek jest prawidłowy.
4. Przykład 2: regresja w badaniu zdrowia publicznego
W badaniu przekrojowym analizowano związek czasu siedzenia z ciśnieniem skurczowym, kontrolując wiek, płeć, palenie tytoniu i aktywność fizyczną. Wykres reszt wykazał dwa przypadki o dużych resztach, a odległość Cooka sugerowała, że jeden z nich silnie wpływa na nachylenie regresji.
Badacze sprawdzili dane. W jednym przypadku czas siedzenia wpisano jako 900 minut dziennie, lecz dokumentacja kwestionariusza wskazywała na 90 minut. Był to błąd wpisu, więc wartość poprawiono do 90. Drugi przypadek – 900 minut – okazał się prawidłowy: dotyczył osoby pracującej przy komputerze i deklarującej dodatkowo długi czas oglądania telewizji.
To dwa różne problemy. Pierwsza obserwacja wymagała korekty, ponieważ źródło potwierdziło błąd. Druga była nietypowa, ale prawdziwa. W analizie głównej ją pozostawiono, a w analizie wrażliwości zastosowano regresję odporną oraz model bez tego przypadku. W raporcie przedstawiono współczynnik nachylenia, 95-procentowy przedział ufności i zmianę oszacowania między wariantami.
W tym przykładzie nie należy pisać, że „usunięto obserwacje odstające”. Precyzyjniej jest napisać: „Jeden błędny wpis skorygowano na podstawie formularza źródłowego. Jedną prawidłową, lecz wpływową obserwację pozostawiono w analizie głównej; jej wpływ oceniono w analizie wrażliwości”.
5. Jak zaplanować dokumentowanie przed analizą?
Najlepszym rozwiązaniem jest określenie procedury przed obejrzeniem wyników końcowych. W protokole analitycznym lub planie analizy warto wskazać:
- które zmienne będą sprawdzane;
- jakie zakresy uznaje się za niemożliwe lub wymagające weryfikacji;
- jakie metody diagnostyczne zostaną zastosowane;
- kto będzie zatwierdzał korekty danych;
- kiedy obserwacja zostanie uznana za błąd, a kiedy za prawidłowy przypadek skrajny;
- czy planowana jest analiza wrażliwości;
- jakie wyniki będą raportowane dla każdego wariantu.
Przedwstępne określenie reguł ogranicza ryzyko dopasowania decyzji do oczekiwanego rezultatu. Nie eliminuje jednak potrzeby reagowania na nieprzewidziane sytuacje. Jeżeli w toku analizy zastosowano dodatkową procedurę, należy ją oznaczyć jako decyzję post hoc i wyjaśnić, z jakiego powodu ją podjęto.
W praktyce przydatny jest dziennik decyzji analitycznych. Może to być tabela zawierająca identyfikator obserwacji, zmienną, metodę wykrycia, wynik weryfikacji, decyzję, osobę zatwierdzającą, datę oraz wpływ na wynik. W badaniach wieloetapowych taki dziennik pomaga uniknąć sytuacji, w której członkowie zespołu pamiętają jedynie końcową decyzję, ale nie jej uzasadnienie.
6. Jak raportować decyzje w artykule?
Raport powinien odpowiadać na pięć pytań:
- Co wykryto? – liczba przypadków i zmienne, których dotyczył problem.
- Jak wykryto? – zastosowane kryteria, wykresy lub miary diagnostyczne.
- Co sprawdzono? – źródła danych, jednostki, procedury i kwalifikację do populacji.
- Co zrobiono? – pozostawiono, poprawiono, wyłączono lub poddano analizie odpornej.
- Jaki był wpływ decyzji? – porównanie oszacowań i wniosków.
W badaniach obserwacyjnych podobna przejrzystość jest zgodna z duchem STROBE, którego celem jest umożliwienie czytelnikowi oceny tego, co zaplanowano, wykonano i zaobserwowano (von Elm i in., 2007; Vandenbroucke i in., 2007). W psychologii i naukach społecznych analogiczną funkcję pełnią standardy APA JARS, akcentujące jasne raportowanie procedur analitycznych i decyzji wpływających na interpretację wyników (Appelbaum i in., 2018).
W sekcji metod można zamieścić krótką procedurę, a w wynikach – tabelę analizy wrażliwości. Jeżeli wyłączono przypadki, warto podać ich liczbę zarówno w opisie tekstowym, jak i na diagramie przepływu uczestników, gdy ma to zastosowanie. Nie należy ograniczać się do zdania „analiza została oczyszczona z obserwacji odstających”, ponieważ „oczyszczanie” może obejmować zarówno korektę błędów, jak i arbitralne usuwanie prawidłowych danych.
Najczęstsze błędy
- Automatyczne usuwanie punktów poza regułą 1,5 IQR. Reguła jest narzędziem przesiewowym, a nie dowodem błędu.
- Usuwanie obserwacji dopiero po poznaniu wyniku testu. Taka praktyka może zwiększać ryzyko selektywnego raportowania.
- Traktowanie skrajności jako nieprawidłowości. W populacji mogą występować rzeczywiście ciężkie lub rzadkie przypadki.
- Mylenie obserwacji odstającej z wpływową. Do obu problemów stosuje się częściowo odmienne kryteria.
- Brak informacji o liczbie usuniętych przypadków. Czytelnik powinien wiedzieć, jak zmieniła się liczebność próby.
- Podawanie wyłącznie wartości p. Należy raportować także wielkość efektu i przedział ufności.
- Ukrywanie analizy wrażliwości. Jeżeli wynik zależy od jednej lub kilku obserwacji, jest to ważna informacja metodologiczna.
- Nieodróżnianie korekty danych od wyłączenia obserwacji. Korekta potwierdzonego błędu nie jest tym samym co usunięcie prawidłowego przypadku.
Przykład praktyczny: szablon notatki decyzyjnej
Poniższy szablon można dostosować do projektu badawczego:
Identyfikator obserwacji: P-027
Zmienna: czas hospitalizacji
Sygnał diagnostyczny: wartość powyżej górnej granicy reguły 1,5 IQR; obserwacja wpływowa w modelu regresji
Weryfikacja: zgodność z dokumentacją medyczną; brak błędu wpisu; przypadek spełnia kryteria włączenia
Decyzja: pozostawiono w analizie głównej
Analiza dodatkowa: model odporny oraz analiza bez P-027
Wpływ: współczynnik zmienił się o 8%, kierunek efektu i interpretacja praktyczna pozostały takie same
Uzasadnienie: obserwacja jest nietypowa, ale wiarygodna; jej usunięcie nie ma podstaw merytorycznych.
Taki zapis jest użyteczny zarówno podczas przygotowywania artykułu, jak i w audycie zbioru danych. W większych projektach powinien być uzupełniony o wersję pliku analitycznego, kod użyty do identyfikacji obserwacji i datę wykonania procedury.
Co warto zapamiętać?
- Obserwacja odstająca nie jest automatycznie błędna i nie powinna być automatycznie usuwana.
- Każdą decyzję należy opisać w czterech krokach: wykrycie, weryfikacja, postępowanie i ocena wpływu.
- Kryterium statystyczne wskazuje przypadek do sprawdzenia, ale nie rozstrzyga samo o jego losie.
- Warto odróżniać korektę błędnych danych od wyłączenia prawidłowych, lecz nietypowych obserwacji.
- Analiza wrażliwości pokazuje, czy wnioski zależą od określonych przypadków lub decyzji analitycznych.
- Raportuj wielkość efektu, przedziały ufności i znaczenie praktyczne, a nie tylko wartości p.
- Przejrzysta dokumentacja wzmacnia wiarygodność badania i ułatwia odtworzenie analizy w ramach dalszej pracy ze szkoleniem na statystyk.edu.pl.
Źródła i dalsza lektura
- Boris Iglewicz; David C. Hoaglin (1993). How to Detect and Handle Outliers. ASQC Basic References in Quality Control, vol. 16. ASQC Quality Press. Informacja wydawcy / źródło.
- Herman Aguinis; Ryan K. Gottfredson; Harry Joo (2013). Best-Practice Recommendations for Defining, Identifying, and Handling Outliers. Organizational Research Methods, 16(2), 270–301. DOI: 10.1177/1094428112470848.
- Erik von Elm; Douglas G. Altman; Matthias Egger; Stuart J. Pocock; Peter C. Gøtzsche; Jan P. Vandenbroucke; for the STROBE Initiative (2007). The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) Statement: Guidelines for Reporting Observational Studies. PLoS Medicine, 4(10), e296. DOI: 10.1371/journal.pmed.0040296.
- Jan P. Vandenbroucke; Erik von Elm; Douglas G. Altman; Peter C. Gøtzsche; Cynthia D. Mulrow; Stuart J. Pocock; Charles Poole; James J. Schlesselman; Matthias Egger; for the STROBE Initiative (2007). Strengthening the Reporting of Observational Studies in Epidemiology (STROBE): Explanation and Elaboration. PLoS Medicine, 4(10), e297. DOI: 10.1371/journal.pmed.0040297.
- Mark Appelbaum; Harris Cooper; Rex B. Kline; Evan Mayo-Wilson; Arthur M. Nezu; Stephen M. Rao (2018). Journal Article Reporting Standards for Quantitative Research in Psychology: The APA Publications and Communications Board Task Force Report. American Psychologist, 73(1), 3–25. DOI: 10.1037/amp0000191.