517. Metody hierarchiczne i k-means w analizie skupień
Lekcja 517 z 560. W poprzedniej lekcji analiza skupień została przedstawiona jako sposób porządkowania obserwacji według ich podobieństwa. Teraz przechodzimy do dwóch najczęściej stosowanych rodzin algorytmów: metod hierarchicznych oraz k-means. Obie techniki mogą prowadzić do podziału badanych osób, placówek lub innych jednostek na grupy, ale robią to według odmiennych zasad i mają inne ograniczenia. W praktyce nie wystarczy uruchomić procedury i odczytać numerów skupień. Trzeba określić, co znaczy „podobieństwo”, przygotować zmienne, uzasadnić liczbę grup, sprawdzić stabilność rozwiązania i dopiero wtedy nadać skupieniom znaczenie merytoryczne. Taki sposób postępowania jest zgodny z logiką całego szkolenia na statystyk.edu.pl: metoda ma wynikać z pytania badawczego, a nie odwrotnie.
1. Czym różnią się metody hierarchiczne i k-means?
Analiza skupień jest zwykle metodą eksploracyjną. Nie zakłada z góry, że znamy prawdziwe, naturalne grupy w populacji. Algorytm tworzy strukturę na podstawie wybranych zmiennych i miary podobieństwa. Wynik opisuje więc przede wszystkim organizację danych według przyjętego sposobu pomiaru. Nie jest automatycznie dowodem istnienia odrębnych typów biologicznych, psychologicznych czy społecznych.
Metody hierarchiczne budują hierarchię połączeń między obserwacjami. W najczęściej stosowanej wersji aglomeracyjnej każda obserwacja początkowo tworzy osobne skupienie, a następnie algorytm łączy kolejno najbardziej podobne skupienia. Wynikiem jest dendrogram, czyli drzewo pokazujące kolejność i poziom łączenia grup. Badacz może „przeciąć” dendrogram na określonej wysokości i otrzymać na przykład dwa, trzy albo pięć skupień.
Algorytm k-means wymaga wskazania liczby skupień k przed rozpoczęciem analizy. Następnie przypisuje obserwacje do najbliższych centrów skupień i aktualizuje te centra tak długo, aż rozwiązanie przestanie się poprawiać według funkcji celu. Klasyczny k-means minimalizuje sumę kwadratów odległości obserwacji od środka przypisanego skupienia (MacQueen, 1967; Hartigan i Wong, 1979).
Metody hierarchiczne są wygodne, gdy chcemy obejrzeć wiele możliwych poziomów grupowania. K-means bywa bardziej praktyczny przy dużych zbiorach danych, ale wymaga wcześniejszej decyzji o k i jest wrażliwy na wartości początkowe, skalę pomiaru oraz obserwacje odstające.
2. Przygotowanie danych przed analizą
Wybór zmiennych
Najważniejsza decyzja jest merytoryczna: które zmienne mają definiować podobieństwo? Jeśli celem jest wyodrębnienie profili pacjentów z przewlekłą chorobą, można uwzględnić wiek, ciśnienie skurczowe, stężenie hemoglobiny glikowanej, BMI i liczbę chorób współistniejących. Nie należy jednak bezrefleksyjnie dodawać wszystkich dostępnych zmiennych. Zmienna będąca jedynie technicznym identyfikatorem, silnie redundacyjna albo mierzona z dużym błędem może zniekształcić wynik.
Zmienne powinny być związane z pytaniem badawczym, a ich wybór należy opisać przed analizą lub przynajmniej uzasadnić transparentnie. Jeżeli do skupień włączymy wynik, który później chcemy porównywać między skupieniami, interpretacja będzie obciążona częściowym „wbudowaniem” tego wyniku w definicję grup.
Skala i standaryzacja
Odległość euklidesowa jest zależna od jednostek. Różnica 10 kilogramów nie może być bezpośrednio porównywana z różnicą 10 punktów w skali depresji, jeśli zmienne mają inne zakresy i znaczenia. Często stosuje się standaryzację z-score:
zij = (xij − x̄j) / sj
xijoznacza wartość zmiennej j dla obserwacji i;x̄jjest średnią dla zmiennej j;sjoznacza odchylenie standardowe tej zmiennej;zijjest wartością po standaryzacji.
Po standaryzacji każda zmienna ma średnią około 0 i odchylenie standardowe około 1, dzięki czemu zmienne o większych jednostkach nie dominują automatycznie wyniku. Standaryzacja nie rozwiązuje jednak problemu wartości odstających. Pojedynczy ekstremalny wynik może silnie wpłynąć na średnią i odchylenie standardowe. W takich sytuacjach warto rozważyć transformację, miary odporne albo analizę wrażliwości.
Braki danych i typ zmiennych
Klasyczny k-means zakłada zmienne ilościowe i zwykle opiera się na średnich. Nie jest właściwym wyborem dla samych zmiennych nominalnych, takich jak płeć, województwo czy typ oddziału. Dla danych mieszanych można rozważyć inne miary odległości i algorytmy, na przykład metody oparte na macierzy niepodobieństwa lub k-medoids. Braki danych powinny być obsłużone przed analizą; automatyczne usuwanie osób z niepełnymi obserwacjami może zmienić skład próby i strukturę skupień.
3. Metody hierarchiczne krok po kroku
W metodzie aglomeracyjnej potrzebne są dwa elementy: miara odległości między obserwacjami oraz reguła łączenia skupień, nazywana metodą wiązania. Popularne miary to odległość euklidesowa, Manhattan oraz odległość oparta na korelacji. Ich wybór nie jest wyłącznie techniczny. Odległość euklidesowa uwzględnia bezwzględne różnice wartości, natomiast odległość korelacyjna może uznawać za podobne osoby o podobnym kształcie profilu, nawet jeśli ich poziomy są różne.
Do często stosowanych metod wiązania należą:
- pojedyncze wiązanie – odległość między dwoma skupieniami wyznacza najbliższa para obserwacji; może prowadzić do efektu „łańcucha”;
- pełne wiązanie – wykorzystuje najdalszą parę obserwacji; zwykle tworzy bardziej zwarte grupy;
- wiązanie średnie – opiera się na przeciętnej odległości między obserwacjami z dwóch skupień;
- metoda Warda – łączy skupienia tak, aby możliwie najmniej zwiększyć wewnątrzgrupową sumę kwadratów; często stosuje się ją z odległością euklidesową.
Dendrogram nie jest wykresem częstości ani testem istotności. Wysokość połączenia przedstawia poziom niepodobieństwa w konkretnej procedurze. Duży skok wysokości między kolejnymi połączeniami może sugerować sensowny punkt cięcia, ale nie daje automatycznej gwarancji, że wybrana liczba skupień jest prawdziwa. Liczbę grup należy połączyć z kryteriami walidacyjnymi i interpretacją merytoryczną.
4. Algorytm k-means i jego funkcja celu
Załóżmy, że mamy n obserwacji, każda opisana przez p zmiennych, oraz chcemy utworzyć k skupień. Algorytm poszukuje przypisań obserwacji do grup i takich centrów, aby zminimalizować:
W = Σr=1k Σi∈Cr ||xi − μr||²
Croznacza zbiór obserwacji należących do skupienia r;xijest wektorem wartości dla obserwacji i;μrjest wektorem średnich, czyli centrum skupienia r;||xi − μr||²oznacza kwadrat odległości euklidesowej obserwacji od centrum;Wjest sumą kwadratów wewnątrz skupień.
W praktyce algorytm naprzemiennie wykonuje dwa kroki. Najpierw przypisuje każdą obserwację do najbliższego centrum. Następnie oblicza nowe centra jako średnie obserwacji przypisanych do danych grup. Powtarza te czynności do osiągnięcia zbieżności albo określonego limitu iteracji. Jest to procedura optymalizacyjna, ale zwykle znajduje minimum lokalne, a nie gwarantowane minimum globalne. Dlatego warto uruchamiać ją wielokrotnie z różnymi inicjalizacjami i sprawdzać, czy rozwiązania są podobne.
Liczbę skupień można oceniać między innymi za pomocą wykresu łokcia, współczynnika sylwetki, indeksu Calinskiego–Harabasza, indeksu Daviesa–Bouldina oraz metod opartych na stabilności. Żadne pojedyncze kryterium nie zastępuje oceny merytorycznej. Badania symulacyjne dotyczące wyboru liczby skupień pokazują, że skuteczność reguł zależy od struktury danych, separacji grup, liczebności próby i rodzaju zakłóceń (Milligan i Cooper, 1985).
5. Walidacja i interpretacja skupień
Współczynnik sylwetki dla obserwacji porównuje jej przeciętną niepodobność do obserwacji z własnego skupienia z niepodobnością do najbliższego skupienia alternatywnego. W uproszczeniu:
s(i) = [b(i) − a(i)] / max(a(i), b(i))
a(i)to średnia odległość obserwacji i od pozostałych obserwacji w jej skupieniu;b(i)to najmniejsza średnia odległość obserwacji i od obserwacji z innego skupienia;s(i)przyjmuje wartości od −1 do 1.
Wartości dodatnie oznaczają, że obserwacja jest bliżej własnego skupienia niż najbliższej grupy alternatywnej. Wartości bliskie zeru wskazują na położenie graniczne, a ujemne mogą sugerować błędne przypisanie lub nakładanie się skupień. Średnia sylwetka jest użytecznym podsumowaniem, ale nie powinna być traktowana jako jedyny dowód jakości. Koncepcję graficznej oceny sylwetek zaproponował Rousseeuw (1987).
Ważna jest także stabilność. Można wielokrotnie losować podpróby, zmieniać inicjalizację k-means albo stosować bootstrap i sprawdzać, jak często te same osoby trafiają do podobnych grup. Jeżeli skupienia całkowicie zmieniają się po niewielkiej zmianie danych, rozwiązanie nie powinno być przedstawiane jako trwała typologia.
Opis skupień powinien obejmować liczebności, średnie lub mediany zmiennych definiujących grupy, miary zmienności oraz – jeśli to uzasadnione – wykres profili. Należy unikać etykiet typu „pacjenci wysokiego ryzyka”, jeśli analiza nie obejmowała odpowiednio zdefiniowanego ryzyka lub jeśli grupa została określona na podstawie zmiennej wynikowej. Bezpieczniejsze są nazwy opisowe, na przykład „profil z podwyższonym BMI i ciśnieniem”.
6. Przykład praktyczny: profile pacjentów z nadciśnieniem
Załóżmy, że poradnia analizuje 420 dorosłych pacjentów z rozpoznanym nadciśnieniem. Celem jest eksploracyjne opisanie profili klinicznych na podstawie wieku, BMI, ciśnienia skurczowego, stężenia cholesterolu LDL i liczby chorób współistniejących. Zmienna „hospitalizacja w ciągu roku” nie zostaje użyta do tworzenia skupień, ponieważ ma być później wykorzystana do zewnętrznej charakterystyki grup.
Najpierw badacz sprawdza rozkłady, braki danych i wartości odstające. Zmienne ilościowe standaryzuje, a następnie stosuje metodę Warda z odległością euklidesową. Dendrogram sugeruje rozwiązania dwu-, trzy- i czterogrupowe. Średni współczynnik sylwetki wynosi odpowiednio 0,31, 0,42 i 0,36. Rozwiązanie trzygrupowe jest ponadto stabilne w analizie podprób i łatwiejsze do interpretacji klinicznej.
Otrzymane profile mogą wyglądać następująco: pierwsza grupa – młodsi pacjenci z podwyższonym BMI, ale umiarkowanym ciśnieniem; druga – starsi pacjenci z najwyższą liczbą chorób współistniejących; trzecia – osoby z wysokim ciśnieniem i LDL, lecz bez dużej liczby innych rozpoznań. Nie wolno jednak twierdzić, że algorytm odkrył trzy naturalne typy nadciśnienia ani że przynależność do grupy powoduje hospitalizację. Można natomiast porównać częstość hospitalizacji między profilami w analizie następczej, z uwzględnieniem niepewności estymacji i ograniczeń eksploracyjnego charakteru procedury.
7. Drugi przykład: grupowanie studentów pielęgniarstwa
W badaniu 180 studentów pielęgniarstwa oceniono liczbę godzin snu, obciążenie zajęciami, wynik skali stresu, częstotliwość aktywności fizycznej oraz deklarowaną organizację nauki. Celem jest opis profili funkcjonowania, a nie diagnoza psychologiczna. K-means z k równym 3 tworzy grupę o wysokim stresie i małej liczbie godzin snu, grupę o umiarkowanym stresie i regularnej aktywności oraz grupę o dużym obciążeniu zajęciami, ale lepszej organizacji nauki.
W tym przykładzie należy szczególnie uważać na interpretację. Jeżeli stres i sen są silnie skorelowane, ich podwójne uwzględnienie może nadmiernie wpływać na wynik. Jeżeli dane pochodzą tylko z jednego semestru, nie można wyciągać wniosków o trwałych stylach funkcjonowania. Dobrym uzupełnieniem byłoby powtórzenie pomiaru w następnym semestrze i sprawdzenie, czy profile są stabilne.
8. Najczęstsze błędy
- Brak standaryzacji bez uzasadnienia. Zmienna mierzona w dużych jednostkach może zdominować wszystkie pozostałe.
- Traktowanie k-means jako procedury automatycznie odkrywającej prawdę. Algorytm optymalizuje określoną funkcję celu; nie rozstrzyga, czy grupy mają znaczenie biologiczne lub społeczne.
- Wybór liczby skupień wyłącznie na podstawie wykresu łokcia. Wykres bywa niejednoznaczny i powinien być wsparty innymi kryteriami.
- Ignorowanie inicjalizacji k-means. Jednorazowe uruchomienie może dać rozwiązanie zależne od przypadkowych centrów początkowych.
- Używanie średniej przy silnych wartościach odstających. Dotyczy to szczególnie k-means oraz metody Warda.
- Łączenie nieodpowiednich typów zmiennych. Zmienne nominalne, porządkowe i ilościowe wymagają przemyślanej reprezentacji oraz miary niepodobieństwa.
- Nazywanie skupień na podstawie jednej cechy. Profil grupy powinien wynikać z całego zestawu zmiennych i obejmować także niepewność interpretacji.
- Wnioskowanie przyczynowe. Analiza skupień jest zwykle opisowa i eksploracyjna; sama przynależność do skupienia nie jest przyczyną obserwowanego wyniku.
- Pomijanie stabilności. Rozwiązanie, które znika po niewielkiej zmianie próby, wymaga ostrożnego raportowania.
9. Jak raportować analizę?
Raport powinien wskazywać: cel analizy, źródło i liczebność danych, sposób postępowania z brakami, zmienne użyte do grupowania, transformacje i standaryzację, miarę odległości, metodę wiązania lub wariant k-means, liczbę uruchomień, sposób wyboru k, zastosowane kryteria walidacji oraz liczebności i charakterystykę końcowych skupień. Warto pokazać także analizę wrażliwości, na przykład porównanie wyników dla innej miary odległości lub po wyłączeniu potencjalnych obserwacji odstających.
W przypadku k-means należy podać, czy wykorzystano klasyczny algorytm, wariant Hartigana–Wonga czy inną procedurę. W przypadku metod hierarchicznych trzeba opisać zarówno odległość, jak i metodę wiązania. Sam obraz dendrogramu bez tych informacji jest niewystarczający do odtworzenia analizy.
Co warto zapamiętać?
- Metody hierarchiczne pokazują strukturę łączenia obserwacji i umożliwiają ocenę wielu poziomów podziału.
- K-means tworzy dokładnie k skupień i minimalizuje wewnątrzgrupową sumę kwadratów, ale może zależeć od inicjalizacji.
- Standaryzacja, wybór zmiennych i miary odległości są częścią modelu analizy, a nie neutralnymi czynnościami technicznymi.
- Liczbę skupień należy uzasadniać łącznie na podstawie kryteriów ilościowych, stabilności i sensu merytorycznego.
- Skupienia są konstruktem zależnym od danych i procedury; nie należy przedstawiać ich jako odkrytych kategorii naturalnych bez dodatkowych dowodów.
- Wnioski o zależnościach między skupieniami a wynikami powinny być analizowane osobno, z zachowaniem ostrożności i bez nieuprawnionego języka przyczynowego.
W następnych analizach warto traktować metody hierarchiczne i k-means jako narzędzia komplementarne. Dendrogram może pomóc rozpoznać możliwą strukturę danych, a k-means – uzyskać prosty podział i profile centrów. Zgodność obu podejść zwiększa wiarygodność opisu, ale nie zastępuje replikacji, walidacji zewnętrznej ani oceny użyteczności praktycznej.
Źródła i dalsza lektura
- Brian S. Everitt, Sabine Landau, Morven Leese, Daniel Stahl (2011). Cluster Analysis. 5th edition. John Wiley & Sons. Informacja wydawcy / źródło.
- Leonard Kaufman, Peter J. Rousseeuw (1990). Finding Groups in Data: An Introduction to Cluster Analysis. John Wiley & Sons. Informacja wydawcy / źródło.
- John A. Hartigan, M. Anthony Wong (1979). Algorithm AS 136: A K-Means Clustering Algorithm. Journal of the Royal Statistical Society: Series C (Applied Statistics), 28(1), 100–108. DOI: 10.2307/2346830.
- Peter J. Rousseeuw (1987). Silhouettes: A graphical aid to the interpretation and validation of cluster analysis. Journal of Computational and Applied Mathematics, 20(1), 53–65. DOI: 10.1016/0377-0427(87)90125-7.
- Glenn W. Milligan, Martha C. Cooper (1985). An examination of procedures for determining the number of clusters in a data set. Psychometrika, 50(2), 159–179. DOI: 10.1007/BF02294245.
- James MacQueen (1967). Some methods for classification and analysis of multivariate observations. Proceedings of the Fifth Berkeley Symposium on Mathematical Statistics and Probability, 1, 281–297. Pełny opis źródła.