516. Analiza skupień – jak grupować podobne obserwacje?
Analiza skupień to rodzina metod służących do porządkowania obserwacji w grupy, których elementy są do siebie bardziej podobne niż do elementów należących do innych grup. W odróżnieniu od klasyfikacji nadzorowanej badacz nie dysponuje z góry ustalonymi etykietami, takimi jak „niski”, „umiarkowany” i „wysoki poziom ryzyka”. Algorytm ma pomóc odkryć strukturę danych, ale nie zastępuje interpretacji merytorycznej ani decyzji o tym, czy znalezione grupy są użyteczne.
W tej lekcji kursu na statystyk.edu.pl przejdziemy od podstawowego pojęcia podobieństwa do praktycznego schematu analizy. Omówimy najważniejsze metody, znaczenie standaryzacji, wybór liczby skupień, ocenę stabilności oraz ograniczenia wnioskowania.
Czym jest skupienie?
Skupienie, nazywane też klastrem, jest zbiorem obserwacji podobnych względem wybranych zmiennych. Podobieństwo nie jest jednak pojęciem absolutnym. Zależy od tego, jakie cechy uwzględnimy, jak je zmierzymy oraz jaką miarę odległości zastosujemy.
Jeżeli analizujemy pacjentów według wieku, ciśnienia skurczowego, stężenia glukozy i BMI, to dwie osoby mogą być podobne klinicznie, mimo że różnią się w pojedynczym wymiarze. Jeżeli natomiast dołączymy liczbę hospitalizacji, wynik skali depresji i status palenia tytoniu, struktura grup może się zmienić. Z tego powodu analiza skupień jest przede wszystkim procedurą modelowania podobieństwa, a nie „obiektywnym odkryciem naturalnych typów”.
Technicznie dane można zapisać jako macierz X o n wierszach i p kolumnach. Wiersz oznacza obserwację, na przykład pacjenta, pielęgniarkę, powiat lub gospodarstwo domowe, a kolumna — zmienną opisującą tę obserwację.
Po co stosuje się analizę skupień?
- do eksploracyjnego wykrywania profili pacjentów;
- do segmentacji populacji w zdrowiu publicznym;
- do rozpoznawania wzorców objawów lub zachowań;
- do identyfikowania podobnych jednostek terytorialnych;
- do tworzenia hipotez, które później można ocenić metodami konfirmacyjnymi.
Wynik analizy może mieć charakter opisowy. Na przykład można stwierdzić, że w badanej próbie wyodrębniono trzy profile osób różniących się średnim poziomem aktywności fizycznej, jakością snu i nasileniem stresu. Nie należy automatycznie pisać, że „profil spowodował gorszy stan zdrowia”. Analiza skupień zwykle nie jest schematem eksperymentalnym i sama w sobie nie dostarcza podstaw do wnioskowania przyczynowego.
Przygotowanie danych do analizy
Dobór zmiennych
Pierwszym krokiem jest merytoryczne określenie, co ma znaczyć podobieństwo. Do analizy należy włączać zmienne odpowiadające celowi badania, a nie wszystkie dostępne kolumny. Zmienna o dużej liczbie braków, przypadkowo zakodowana zmienna identyfikacyjna lub zmienna będąca pośrednim skutkiem badanego procesu może zniekształcić wynik.
Warto również sprawdzić, czy obserwacje są niezależne. Jeżeli w bazie znajduje się po kilka pomiarów tego samego pacjenta, traktowanie ich jako niezależnych osób może prowadzić do sztucznego zwiększenia liczebności niektórych wzorców.
Skale pomiaru
Zmienne mierzone w różnych jednostkach wymagają szczególnej uwagi. Wiek może być wyrażony w latach, dochód w złotych, a wynik skali w punktach. W metodzie k-średnich zmienna o dużej zmienności liczbowej może zdominować pozostałe. Częstym rozwiązaniem jest standaryzacja:
zᵢⱼ = (xᵢⱼ − x̄ⱼ) / sⱼ
xᵢⱼ— wartość zmiennejjdla obserwacjii;x̄ⱼ— średnia zmiennejj;sⱼ— odchylenie standardowe zmiennejj;zᵢⱼ— wystandaryzowana wartość, wyrażająca odległość od średniej w jednostkach odchylenia standardowego.
Po standaryzacji każda zmienna ma średnią około 0 i odchylenie standardowe około 1. Nie oznacza to jednak, że standaryzacja jest zawsze właściwa. Jeżeli jednostka pomiaru ma bezpośrednie znaczenie praktyczne albo badacz chce nadać jednej cesze większą wagę, należy uzasadnić inne przekształcenie.
Braki danych i obserwacje odstające
Braki danych mogą zmieniać odległości między obserwacjami. Proste usunięcie przypadków jest dopuszczalne tylko wtedy, gdy nie powoduje istotnej utraty danych ani selekcji określonego typu osób. W innych sytuacjach można rozważyć imputację, ale jej sposób powinien odpowiadać mechanizmowi braków i być opisany w raporcie.
Obserwacje odstające mogą tworzyć jednoosobowe lub małe, pozornie „interesujące” skupienia. Nie należy usuwać ich automatycznie. Trzeba ustalić, czy są błędami, czy rzeczywiście reprezentują rzadki, lecz ważny profil kliniczny.
Najważniejsze metody grupowania
Metoda k-średnich
Algorytm k-średnich dzieli dane na z góry określoną liczbę k skupień. Każde skupienie opisuje centroid, czyli wektor średnich wartości zmiennych. Algorytm przypisuje obserwacje do najbliższego centroidu, następnie aktualizuje centroidy i powtarza procedurę aż do uzyskania stabilnego podziału. Klasyczny opis tej procedury przedstawił MacQueen (1967).
W sensie formalnym metoda dąży do minimalizacji sumy kwadratów odległości obserwacji od środka własnego skupienia:
W(k) = Σᵣ₌₁ᵏ Σᵢ∈Cᵣ ||xᵢ − μᵣ||²
k— liczba skupień;Cᵣ— zbiór obserwacji należących do skupieniar;xᵢ— wektor wartości obserwacjii;μᵣ— centroid skupieniar;||xᵢ − μᵣ||²— kwadrat odległości obserwacji od centroidu.
Wartość funkcji W(k) prawie zawsze maleje po zwiększeniu liczby skupień. Nie wolno więc wybierać największego możliwego k tylko dlatego, że daje najmniejszą zmienność wewnątrz grup.
Metody hierarchiczne
Metody hierarchiczne tworzą strukturę podobieństwa w postaci dendrogramu. W podejściu aglomeracyjnym każda obserwacja początkowo tworzy osobne skupienie, a następnie najbardziej podobne skupienia są kolejno łączone. W podejściu podziałowym zaczyna się od jednej grupy i dzieli ją na coraz mniejsze części.
Znaczenie ma sposób definiowania odległości między skupieniami. W metodzie pojedynczego wiązania bierze się pod uwagę najbliższą parę obserwacji, w metodzie pełnego wiązania — najdalszą parę, a w metodzie Warda — wzrost zróżnicowania wewnątrz skupień. Metoda Warda została opisana jako procedura optymalizująca funkcję celu związaną z utratą jednorodności po połączeniu grup (Ward, 1963).
Metody oparte na reprezentantach
W metodzie k-medoidów centrum skupienia jest rzeczywistą obserwacją, a nie średnią. Może to zwiększać odporność na obserwacje odstające. Jest to użyteczne, gdy średnia byłaby trudna do interpretacji albo gdy dane nie spełniają założeń typowych dla odległości euklidesowej. Kaufman i Rousseeuw (1990) przedstawili między innymi procedurę PAM, czyli Partitioning Around Medoids.
Metody oparte na gęstości
Algorytmy gęstościowe, takie jak DBSCAN, mogą identyfikować skupienia o nieregularnych kształtach i oznaczać część obserwacji jako szum. Ich przydatność zależy od dobrania parametrów gęstości oraz od charakteru danych. Nie są uniwersalnym zamiennikiem k-średnich.
Jak wybrać liczbę skupień?
Liczba grup powinna wynikać z połączenia kryterium statystycznego, stabilności rozwiązania i sensu merytorycznego. Nie istnieje jedna procedura, która zawsze prawidłowo określi liczbę skupień.
Metoda łokcia
W metodzie łokcia przedstawia się W(k) dla kolejnych wartości k. Szuka się punktu, w którym dalsze zwiększanie liczby skupień przynosi wyraźnie mniejszą poprawę. Jest to kryterium heurystyczne, dlatego wykres może nie mieć jednoznacznego „łokcia”.
Współczynnik sylwetki
Dla obserwacji i współczynnik sylwetki można zapisać jako:
s(i) = [b(i) − a(i)] / max{a(i), b(i)}
a(i)— średnia odległość obserwacjiiod innych elementów jej skupienia;b(i)— najmniejsza średnia odległość obserwacjiiod elementów innego skupienia;s(i)— wartość od około −1 do 1.
Wartość bliska 1 wskazuje, że obserwacja dobrze pasuje do własnej grupy i jest oddalona od innych. Wartość bliska 0 oznacza położenie na granicy grup, a wartość ujemna może sugerować błędne przypisanie. Średnia sylwetka pomaga porównywać rozwiązania, lecz nie powinna być traktowana jako jedyny dowód prawidłowości (Rousseeuw, 1987).
Statystyka gap
Statystyka gap porównuje zwartość skupień obserwowaną w danych z oczekiwaną zwartością uzyskaną w danych referencyjnych pozbawionych podobnej struktury. W praktyce wybiera się takie k, dla którego poprawa względem układu referencyjnego jest odpowiednio duża. Metodę tę zaproponowali Tibshirani, Walther i Hastie (2001).
Najbezpieczniej jest zestawić kilka kryteriów: metodę łokcia, średnią sylwetkę, statystykę gap oraz ocenę stabilności po ponownym losowaniu próby. Jain (2010) podkreśla, że wybór algorytmu i liczby grup pozostaje jednym z podstawowych problemów analizy skupień.
Przykład 1: profile pacjentów z chorobą przewlekłą
Załóżmy, że poradnia analizuje 300 pacjentów z cukrzycą typu 2. Dla każdej osoby zebrano: wiek, BMI, stężenie hemoglobiny glikowanej HbA1c, liczbę aktywnych dni w tygodniu, liczbę hospitalizacji w ostatnim roku oraz wynik skali dotyczącej samodzielności w leczeniu.
Badacz standaryzuje zmienne, sprawdza rozkłady i obserwacje odstające, a następnie porównuje k-średnich dla k = 2, 3, 4, 5. Załóżmy, że rozwiązanie trzyskupieniowe ma najlepszą średnią sylwetkę i jest stabilniejsze niż rozwiązanie czteroskupieniowe.
- Skupienie A: relatywnie dobra kontrola glikemii, wysoka aktywność i mała liczba hospitalizacji;
- Skupienie B: niska aktywność, wyższe BMI i umiarkowanie podwyższone HbA1c;
- Skupienie C: najwyższa liczba hospitalizacji, duże trudności w samodzielnym leczeniu i najgorsza kontrola glikemii.
Takie grupy mogą pomóc zaplanować dalsze badania lub organizację opieki. Nie dowodzą jednak, że przynależność do skupienia jest przyczyną hospitalizacji. Aby ocenić skuteczność programu interwencyjnego, należałoby zastosować odpowiedni schemat podłużny lub eksperymentalny.
Przykład praktyczny: segmentacja powiatów według potrzeb zdrowotnych
W drugim przykładzie jednostkami analizy są powiaty. Zmiennymi są: odsetek osób starszych, liczba lekarzy podstawowej opieki zdrowotnej na 10 000 mieszkańców, hospitalizacje z powodu chorób przewlekłych, zgłaszalność na badania profilaktyczne oraz odsetek gospodarstw domowych zagrożonych ubóstwem.
W tym przypadku przed analizą należy zwrócić uwagę na dwa problemy. Po pierwsze, wskaźniki mają różne kierunki interpretacji: większa liczba lekarzy może oznaczać lepszy dostęp, natomiast większa liczba hospitalizacji może wskazywać na większe obciążenie zdrowotne. Po drugie, powiaty są jednostkami terytorialnymi, dlatego podobieństwo może zależeć od położenia geograficznego i sąsiedztwa.
Po standaryzacji można zastosować metodę Warda i przedstawić dendrogram. Jeżeli wyodrębniono cztery grupy, należy opisać ich profile na podstawie średnich lub median zmiennych, a nie nadawać im wartościujące etykiety typu „dobre” i „złe”. Bardziej neutralne nazwy to na przykład „powiaty o ograniczonym dostępie i wysokim obciążeniu” albo „powiaty o wysokiej zgłaszalności profilaktycznej”.
Jak oceniać jakość rozwiązania?
Walidacja klastrów obejmuje kilka poziomów. Walidacja wewnętrzna opiera się na danych użytych do grupowania i wykorzystuje między innymi zwartość oraz separację skupień. Walidacja stabilności sprawdza, czy podobny podział uzyskuje się po zmianie próby, perturbacji danych lub zastosowaniu innej inicjalizacji. Walidacja zewnętrzna polega na porównaniu grup z niezależną informacją, na przykład późniejszym wynikiem klinicznym albo znanym wskaźnikiem organizacyjnym.
W k-średnich warto uruchomić algorytm wielokrotnie z różnymi wartościami początkowymi. Pojedynczy wynik może być lokalnym optimum. W raporcie należy podać liczbę obserwacji, zmienne użyte w analizie, sposób postępowania z brakami, transformacje, miarę odległości, algorytm, liczbę grup i kryterium jej wyboru.
Najczęstsze błędy
- Traktowanie klastrów jak naturalnych, niezmiennych kategorii. Skupienia są wynikiem określonej operacjonalizacji podobieństwa.
- Brak standaryzacji bez uzasadnienia. Zmienna o większej skali może zdominować wynik.
- Wybór liczby grup wyłącznie na podstawie wykresu. Warto połączyć kilka kryteriów z oceną merytoryczną.
- Automatyczne usuwanie obserwacji odstających. Mogą być błędem pomiaru, ale mogą też opisywać ważny podtyp.
- Wykorzystywanie zmiennych wynikowych do tworzenia grup, a następnie testowanie różnic właśnie w tych zmiennych. Taka procedura może prowadzić do tautologicznych, zawyżonych różnic.
- Nazywanie grup bez pokazania ich profili. Etykieta powinna wynikać z przejrzystego opisu statystycznego.
- Interpretowanie p-wartości jako prawdopodobieństwa prawdziwości hipotezy zerowej. Analiza skupień ma przede wszystkim charakter eksploracyjny; jej jakość ocenia się także przez stabilność, separację i użyteczność.
- Wyciąganie wniosków przyczynowych. Sam fakt przynależności do klastra nie dowodzi przyczyny żadnego wyniku.
Co warto zapamiętać?
- Analiza skupień grupuje obserwacje na podstawie zdefiniowanego podobieństwa.
- Dobór zmiennych i skali pomiaru jest równie ważny jak wybór algorytmu.
- K-średnich wymaga podania liczby grup i najlepiej sprawdza się dla skupień względnie zwartych oraz podobnych pod względem rozproszenia.
- Metody hierarchiczne pokazują strukturę podobieństwa w formie dendrogramu, ale wynik zależy od sposobu wiązania.
- Liczbę skupień należy uzasadniać za pomocą kilku kryteriów, między innymi metody łokcia, sylwetki, statystyki gap i stabilności.
- Skupienia są narzędziem eksploracji i tworzenia hipotez, a nie automatycznym dowodem istnienia klinicznych lub społecznych typów.
- Dobry raport opisuje pełny proces: dane, przygotowanie, algorytm, parametry, wybór liczby grup, profile skupień i ograniczenia interpretacji.
Analiza skupień jest szczególnie wartościowa wtedy, gdy badacz potrafi połączyć algorytmiczną organizację danych z wiedzą dziedzinową. Jej celem nie powinno być samo „znalezienie grup”, lecz uzyskanie przejrzystego, stabilnego i merytorycznie użytecznego opisu zróżnicowania badanej populacji.
Źródła i dalsza lektura
- MacQueen, J. (1967). Some methods for classification and analysis of multivariate observations. Proceedings of the Fifth Berkeley Symposium on Mathematical Statistics and Probability, 1, 281–297. Pełny opis źródła.
- Ward, J. H., Jr. (1963). Hierarchical grouping to optimize an objective function. Journal of the American Statistical Association, 58(301), 236–244. DOI: 10.1080/01621459.1963.10500845.
- Rousseeuw, P. J. (1987). Silhouettes: A graphical aid to the interpretation and validation of cluster analysis. Journal of Computational and Applied Mathematics, 20, 53–65. DOI: 10.1016/0377-0427(87)90125-7.
- Tibshirani, R., Walther, G., & Hastie, T. (2001). Estimating the number of clusters in a data set via the gap statistic. Journal of the Royal Statistical Society: Series B (Statistical Methodology), 63(2), 411–423. DOI: 10.1111/1467-9868.00293.
- Kaufman, L., & Rousseeuw, P. J. (1990). Finding Groups in Data: An Introduction to Cluster Analysis. John Wiley & Sons. Informacja wydawcy / źródło.
- Jain, A. K. (2010). Data clustering: 50 years beyond K-means. Pattern Recognition Letters, 31(8), 651–666. DOI: 10.1016/j.patrec.2009.09.011.
Jeden komentarz