510. PCA – analiza głównych składowych jako redukcja wymiaru
W badaniach medycznych, psychologicznych i społecznych często mierzymy wiele cech opisujących tę samą osobę. Pacjent może mieć oznaczone ciśnienie skurczowe i rozkurczowe, stężenie glukozy, triglicerydy, cholesterol, masę ciała i obwód talii. Osoba badana w projekcie psychologicznym może uzyskać kilkadziesiąt wyników pozycji kwestionariusza. Problem polega na tym, że część tych zmiennych niesie podobną informację. Analiza głównych składowych (principal component analysis, PCA) jest metodą, która pozwala zastąpić wiele skorelowanych zmiennych mniejszą liczbą nowych zmiennych, czyli głównych składowych.
PCA jest przede wszystkim techniką opisową i eksploracyjną. Nie tworzy automatycznie teorii psychologicznej, nie dowodzi istnienia ukrytych konstruktów i nie ustanawia związku przyczynowego. Jej głównym zadaniem jest redukcja wymiaru: uproszczenie reprezentacji danych przy możliwie małej utracie informacji. W ramach podręcznika do szkolenia na statystyk.edu.pl metoda ta stanowi naturalne rozwinięcie wcześniejszych tematów dotyczących korelacji, macierzy kowariancji i modeli wielowymiarowych.
Na czym polega PCA?
Załóżmy, że mamy p ilościowych zmiennych mierzonych u n osób. Zmienne mogą być ze sobą skorelowane. PCA konstruuje nowe zmienne, nazywane składowymi głównymi, które są liniowymi kombinacjami zmiennych pierwotnych.
Pierwsza składowa jest takim kierunkiem w przestrzeni danych, wzdłuż którego obserwuje się największą możliwą wariancję. Druga składowa wyjaśnia największą część pozostałej wariancji, przy czym jest prostopadła do pierwszej. Kolejne składowe są wyznaczane analogicznie. W konsekwencji składowe są wzajemnie nieskorelowane, a ich wariancje maleją od pierwszej do ostatniej.
Ważne jest rozróżnienie między zmiennymi pierwotnymi a składowymi. PCA nie „usuwa” korelacji w sensie naprawy danych. Tworzy nowy układ współrzędnych, w którym informacja o współzmienności zostaje uporządkowana w kilku osiach. Składowe są matematycznymi konstrukcjami zależnymi od zestawu zmiennych i badanej próby.
Podstawowy zapis matematyczny
Dla j-tej składowej wynik dla osoby i można zapisać jako:
PCj = a1jZ1 + a2jZ2 + ... + apjZp
PCjoznacza wynik osoby na j-tej składowej;Z1, ..., Zpoznaczają wystandaryzowane lub wycentrowane zmienne pierwotne;akjjest współczynnikiem, czyli wagą k-tej zmiennej w j-tej składowej;- p oznacza liczbę zmiennych wejściowych.
W praktyce współczynniki a są wyznaczane na podstawie rozkładu wartości własnych macierzy kowariancji lub korelacji. Wartość własna przypisana do składowej określa, ile wariancji danych przypada na tę składową. Jeżeli analizujemy zmienne standaryzowane, suma wartości własnych równa się liczbie zmiennych, czyli p.
Odsetek wyjaśnionej wariancji przez j-tą składową obliczamy jako:
EVj = λj / (λ1 + λ2 + ... + λp) × 100%
Symbol λj oznacza wartość własną j-tej składowej. Suma odsetków wyjaśnionej wariancji dla wszystkich składowych wynosi 100%. Jeżeli zachowamy tylko pierwsze trzy składowe, interesuje nas ich łączny odsetek wyjaśnionej wariancji, a nie wyłącznie wynik pierwszej składowej.
Macierz kowariancji czy macierz korelacji?
Przed wykonaniem PCA trzeba zdecydować, czy analizować macierz kowariancji, czy macierz korelacji. Macierz korelacji jest równoważna analizie zmiennych po standaryzacji do średniej 0 i odchylenia standardowego 1. Macierz kowariancji zachowuje oryginalne jednostki i różnice w zmienności zmiennych.
Standaryzacja jest zwykle rozsądna, gdy zmienne mają różne jednostki lub bardzo różne zakresy, na przykład kilogramy, milimetry słupa rtęci i milimole na litr. Bez standaryzacji zmienna o największej wariancji liczbowej może zdominować pierwszą składową, nawet jeśli nie jest merytorycznie ważniejsza. Analiza macierzy kowariancji może być uzasadniona, gdy jednostki są porównywalne, a różnice wariancji mają znaczenie badawcze.
Nie należy jednak standaryzować bezrefleksyjnie. Jeżeli zmienne mają tę samą jednostkę i ich skala jest częścią sensu pomiaru, wybór macierzy kowariancji może lepiej odzwierciedlać problem. Decyzję trzeba opisać w metodach, a nie pozostawiać jej jako niejawne ustawienie programu.
Jak interpretować wyniki PCA?
Wartości własne i wyjaśniona wariancja
Tabela wynikowa zwykle zawiera numer składowej, wartość własną, odsetek wyjaśnionej wariancji i odsetek skumulowany. Pierwsza składowa może wyjaśniać na przykład 42% wariancji, druga 21%, a trzecia 12%. Oznaczałoby to, że trzy składowe zachowują łącznie 75% zmienności obserwowanej w danych.
Nie istnieje jedna uniwersalna wartość progowa, która określa, że wynik jest „wystarczający”. Wybór zależy od celu. Do wizualizacji można zaakceptować większą utratę informacji niż wtedy, gdy składowe mają być użyte jako predyktory w dalszym modelu.
Wykres osypiska
Wykres osypiska przedstawia wartości własne w kolejności od największej do najmniejszej. Szuka się punktu, w którym gwałtowny spadek przechodzi w względnie płaski odcinek. Składowe przed tym punktem są kandydatami do zachowania. Kryterium to, znane jako test osypiska, ma charakter heurystyczny i powinno być stosowane razem z interpretowalnością oraz odsetkiem wyjaśnionej wariancji (Cattell, 1966).
Czasami stosuje się regułę Kaisera, według której zachowuje się składowe o wartości własnej większej niż 1 przy analizie macierzy korelacji. Reguła ta jest łatwa do użycia, ale może prowadzić do zbyt dużej lub zbyt małej liczby składowych. Nie powinna być jedynym uzasadnieniem decyzji.
Ładunki i współczynniki
W interpretacji kluczowe są ładunki, czyli związki zmiennych pierwotnych ze składowymi. W zależności od programu ładunki mogą być definiowane jako korelacje zmiennej ze składową albo jako współczynniki po odpowiednim przeskalowaniu. Dlatego trzeba sprawdzić dokumentację używanego oprogramowania.
Przykładowo, jeśli na pierwszej składowej wysokie dodatnie ładunki mają masa ciała, obwód talii, triglicerydy i ciśnienie skurczowe, można ostrożnie opisać ją jako wymiar związany z ogólnym profilem metaboliczno-kardiometabolicznym. Nie należy jednak twierdzić, że PCA „odkryła zespół metaboliczny”, chyba że definicja tego zespołu została niezależnie ustalona i odpowiednio zweryfikowana.
Znak składowej jest arbitralny. Pomnożenie wszystkich współczynników danej składowej przez −1 nie zmienia jej treści statystycznej. Dlatego interpretujemy względny układ znaków i wielkości ładunków, a nie sam fakt, że składowa ma znak dodatni lub ujemny.
Przykład 1: profil ryzyka kardiometabolicznego
W badaniu 800 dorosłych osób zebrano dane dotyczące BMI, obwodu talii, ciśnienia skurczowego, stężenia triglicerydów, HDL-cholesterolu i glikemii na czczo. Zmienne zostały wystandaryzowane. Analiza wykazała następujące wyniki:
| Składowa | Wartość własna | Wyjaśniona wariancja | Skumulowana wariancja |
|---|---|---|---|
| PC1 | 3,18 | 53,0% | 53,0% |
| PC2 | 1,21 | 20,2% | 73,2% |
| PC3 | 0,78 | 13,0% | 86,2% |
Na PC1 wysokie dodatnie ładunki mają BMI, obwód talii, ciśnienie i triglicerydy, natomiast HDL ma ładunek ujemny. Można opisać tę składową jako ciągły wskaźnik niekorzystnego profilu kardiometabolicznego. PC2 może silniej wiązać się z glikemią i ciśnieniem niż z otyłością. Wyniki PC1 i PC2 można następnie wykorzystać do wykresu, grupowania obserwacji lub jako zmienne wejściowe do modelu predykcyjnego.
Trzeba zachować ostrożność: wynik PC1 nie jest automatycznie kliniczną skalą ryzyka. Aby używać go do decyzji klinicznych, należałoby zbadać jego rzetelność, stabilność, związek z niezależnymi punktami końcowymi i użyteczność decyzyjną.
Przykład 2: kwestionariusz objawów psychologicznych
Załóżmy, że 500 osób wypełniło 20 pozycji dotyczących zmęczenia, bezsenności, napięcia, obniżonego nastroju i trudności w koncentracji. PCA wskazuje, że pierwsze dwie składowe wyjaśniają łącznie 61% wariancji. Na pierwszej składowej wysokie ładunki mają pozycje dotyczące zmęczenia, snu i koncentracji, natomiast na drugiej dominują pozycje dotyczące napięcia i zamartwiania się.
Wynik może sugerować dwa szerokie wzorce odpowiedzi, lecz nie dowodzi, że kwestionariusz mierzy dokładnie dwa latentne konstrukty. Jeżeli celem jest badanie struktury teoretycznych czynników, właściwsza może być eksploracyjna analiza czynnikowa, ponieważ PCA i analiza czynnikowa odpowiadają na różne pytania. PCA rozkłada całkowitą wariancję zmiennych, a analiza czynnikowa modeluje przede wszystkim wariancję wspólną.
Przykład praktyczny: redukcja wymiaru przed modelowaniem
W badaniu pacjentów po urazach ratownicy rejestrują 15 cech fizjologicznych, między innymi częstość tętna, ciśnienie, saturację, temperaturę, częstość oddechów i kilka parametrów laboratoryjnych. Część zmiennych jest silnie skorelowana. Badacz chce przewidywać konieczność przyjęcia na oddział intensywnej terapii.
- Najpierw sprawdza jakość danych, zakresy, braki i wartości odstające.
- Następnie opisuje korelacje oraz uzasadnia wybór standaryzacji.
- Wykonuje PCA wyłącznie w zbiorze treningowym, aby uniknąć przecieku informacji do walidacji.
- Wybiera liczbę składowych na podstawie wykresu osypiska, wyjaśnionej wariancji i wyników walidacji.
- Wybrane składowe wykorzystuje jako predyktory modelu, a jakość modelu ocenia w niezależnym zbiorze testowym.
Jeżeli PCA wykonano na całym zbiorze przed podziałem na trening i test, parametry transformacji wykorzystują także informację z części testowej. Taki błąd może zawyżyć ocenę modelu. W analizie predykcyjnej średnie, odchylenia standardowe i wektory składowych należy wyznaczać w zbiorze treningowym, a następnie zastosować je do nowych danych.
Założenia i ograniczenia
PCA nie wymaga normalności rozkładu w takim sensie jak wiele klasycznych testów parametrycznych, ponieważ jest przede wszystkim procedurą algebraiczną. Nie oznacza to jednak, że rozkład danych jest obojętny. Silne wartości odstające mogą znacząco zmienić kowariancje, wartości własne i kierunki składowych.
Metoda najlepiej odpowiada na pytania dotyczące ilościowych zmiennych, dla których sensowne są różnice i odległości. Zmienne nominalne nie powinny być bezpośrednio kodowane jako 0 i 1 tylko po to, by włączyć je do zwykłej PCA. Dla danych jakościowych należy rozważyć inne metody, na przykład analizę korespondencji.
PCA jest metodą liniową. Jeżeli zależności mają charakter silnie nieliniowy, kilka pierwszych składowych może nie zachować dobrze struktury danych. W takiej sytuacji można rozważyć metody nieliniowe, ale ich interpretacja i walidacja również wymagają ostrożności.
Najczęstsze błędy
- Automatyczne używanie reguły wartości własnej większej niż 1. To tylko jedna z heurystyk, a nie uniwersalne prawo.
- Brak informacji o standaryzacji. Czytelnik powinien wiedzieć, czy analizowano kowariancje, czy korelacje.
- Interpretowanie składowej jako przyczyny. Składowa jest konstrukcją matematyczną, a nie mechanizmem etiologicznym.
- Mylenie PCA z analizą czynnikową. Metody mają podobne narzędzia obliczeniowe, ale odmienny cel i interpretację.
- Włączanie do PCA zmiennych nieporównywalnych merytorycznie. Duża liczba zmiennych nie uzasadnia automatycznie ich wspólnej analizy.
- Ignorowanie braków danych i obserwacji odstających. Wyniki mogą wtedy zależeć bardziej od problemów jakościowych niż od rzeczywistej struktury danych.
- Wykonywanie PCA przed podziałem danych w modelowaniu predykcyjnym. Może to prowadzić do przecieku informacji i zbyt optymistycznej walidacji.
- Raportowanie samych nazw PC1 i PC2. Należy podać metodę skalowania, wartości własne, wyjaśnioną wariancję, ładunki oraz zasadę wyboru liczby składowych.
Jak raportować PCA?
W publikacji warto podać: cel zastosowania PCA, liczbę obserwacji i zmiennych, sposób postępowania z brakami, wybór macierzy korelacji lub kowariancji, sposób standaryzacji, kryterium liczby składowych, wartości własne, odsetki wyjaśnionej wariancji oraz najważniejsze ładunki.
Jeśli składowe są używane w dalszym modelu, trzeba opisać, czy analiza była wykonywana w całej próbie, czy w ramach procedury walidacyjnej. Warto także przedstawić analizę wrażliwości, na przykład porównanie wyników po usunięciu obserwacji odstających albo przy alternatywnej liczbie składowych.
Co warto zapamiętać?
- PCA tworzy nowe, wzajemnie nieskorelowane zmienne będące liniowymi kombinacjami zmiennych pierwotnych.
- Pierwsze składowe zachowują największą część całkowitej wariancji danych.
- Redukcja wymiaru zawsze oznacza kompromis między prostotą a utratą informacji.
- Standaryzacja ma znaczenie, zwłaszcza gdy zmienne mają różne jednostki lub skale.
- Liczbę składowych należy wybierać na podstawie kilku przesłanek, a nie jednej mechanicznej reguły.
- Ładunki pomagają opisywać strukturę składowych, ale nie nadają im automatycznie znaczenia klinicznego ani przyczynowego.
- PCA nie jest tym samym co analiza czynnikowa.
- W modelowaniu predykcyjnym PCA trzeba wykonywać w sposób zgodny z walidacją, aby uniknąć przecieku informacji.
Najkrócej: PCA jest narzędziem porządkowania złożonych danych. Dobrze zastosowana pomaga zobaczyć dominujące wzorce, ograniczyć redundancję zmiennych i przygotować prostszą reprezentację do dalszej analizy. Nie zastępuje jednak oceny jakości pomiaru, wiedzy dziedzinowej ani walidacji wyników.
Źródła i dalsza lektura
- Pearson, K. (1901). On lines and planes of closest fit to systems of points in space. The London, Edinburgh, and Dublin Philosophical Magazine and Journal of Science, 2(11), 559–572. DOI: 10.1080/14786440109462720.
- Hotelling, H. (1933). Analysis of a complex of statistical variables into principal components. Journal of Educational Psychology, 24(6), 417–441. DOI: 10.1037/h0071325.
- Jackson, J. Edward (1991). A User’s Guide to Principal Components. 1st edition. John Wiley & Sons. Informacja wydawcy / źródło.
- Abdi, H.; Williams, L. J. (2010). Principal component analysis. Wiley Interdisciplinary Reviews: Computational Statistics, 2(4), 433–459. DOI: 10.1002/wics.101.
- Jolliffe, I. T.; Cadima, J. (2016). Principal component analysis: a review and recent developments. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences, 374(2065), 20150202. DOI: 10.1098/rsta.2015.0202.
- Cattell, R. B. (1966). The scree test for the number of factors. Multivariate Behavioral Research, 1(2), 245–276. DOI: 10.1207/s15327906mbr0102_10.
Jeden komentarz