0127. Czy wyniki skal wielopozycyjnych można traktować jako ilościowe?

Krótka odpowiedź: często tak, ale nie automatycznie

Pojedyncza odpowiedź w formacie Likerta, np.:

1 – zdecydowanie się nie zgadzam,
2 – raczej się nie zgadzam,
3 – ani się zgadzam, ani nie zgadzam,
4 – raczej się zgadzam,
5 – zdecydowanie się zgadzam,

ma przede wszystkim charakter porządkowy. Wiemy, że odpowiedź 5 oznacza większe nasilenie badanej cechy niż odpowiedź 4, ale nie mamy gwarancji, że psychologiczna odległość między 1 i 2 jest dokładnie taka sama jak między 4 i 5.

Sytuacja zmienia się jednak, gdy kilka lub kilkanaście pozycji zostało zaprojektowanych jako elementy jednej skali mierzącej wspólny konstrukt, a następnie obliczamy ich sumę albo średnią.

W praktyce nauk medycznych, psychologii, edukacji i nauk społecznych takie wyniki bardzo często traktuje się jako zmienne ilościowe i analizuje przy użyciu średnich, odchyleń standardowych, korelacji Pearsona, testów t, ANOVA czy regresji liniowej. Literatura metodologiczna wskazuje, że odpowiednio skonstruowane wyniki wielopozycyjne mogą być analizowane metodami parametrycznymi, a wiele takich metod jest dość odpornych na umiarkowane odstępstwa od ścisłego założenia skali przedziałowej.

Nie oznacza to jednak, że każda suma kilku odpowiedzi 1–5 automatycznie staje się zmienną ciągłą.

Pojedynczy item Likerta a skala Likerta

To rozróżnienie jest kluczowe.

Pojedynczy item

Przykład:

„Czuję się pewnie podczas interpretacji zapisu EKG.”

Odpowiedź:

1–5.

Mamy jedną uporządkowaną kategorię odpowiedzi.

Najbardziej literalnie jest to zmienna porządkowa.

Skala wielopozycyjna

Załóżmy, że pewność w interpretacji EKG mierzona jest za pomocą 10 pytań, z których każde ma odpowiedzi od 1 do 5.

Po odpowiednim zakodowaniu możemy utworzyć:

[
S=X_1+X_2+\ldots+X_{10}
]

Zakres wyniku:

[
10-50.
]

Wynik może przyjąć aż 41 różnych wartości.

Możemy również obliczyć średnią:

[
M=\frac{X_1+X_2+\ldots+X_{10}}{10}.
]

Wtedy wynik mieści się w zakresie 1–5, ale może przyjmować wartości takie jak:

3,1; 3,2; 3,3; 3,4 itd.

Sullivan i Artino podkreślają potrzebę odróżniania pojedynczych odpowiedzi Likerta od skal tworzonych przez agregację wielu pozycji.

Dlaczego wynik sumaryczny zachowuje się inaczej niż pojedynczy item?

Pojedyncze pytanie ma tylko kilka możliwych kategorii.

Przy 5-stopniowej odpowiedzi są to:

1, 2, 3, 4, 5.

Po zsumowaniu 10 takich pozycji liczba możliwych wyników znacząco rośnie.

Wynik skali zaczyna zachowywać się bardziej jak zmienna ilościowa.

Nie oznacza to, że z matematycznego punktu widzenia pierwotne odpowiedzi nagle przestały być porządkowe. Z praktycznego punktu widzenia rozkład wyniku złożonego może jednak dostarczać znacznie więcej informacji ilościowej niż pojedynczy item.

Harpe, analizując metody pracy ze skalami ratingowymi, wskazuje, że stosowanie metod parametrycznych do wyników skal sumacyjnych może być uzasadnione, jeżeli spełnione są odpowiednie warunki dotyczące konstrukcji skali i danych.

Suma czy średnia pozycji?

Jeżeli każdy badany ma odpowiedzi na dokładnie tę samą liczbę pozycji:

[
S=kM,
]

gdzie:

• (S) – suma,
• (M) – średnia pozycji,
• (k) – liczba pozycji.

Dla 10 pytań:

[
S=10M.
]

Suma i średnia zawierają więc w takiej sytuacji tę samą informację. Różni je jedynie skala liczbowa.

Przykład:

suma = 38

odpowiada:

średniej = 3,8.

W analizie korelacyjnej korelacja z inną zmienną będzie identyczna. W regresji czy różnicach średnich zmieni się natomiast jednostka współczynnika.

Uwaga na braki danych

Jeżeli jeden uczestnik odpowiedział na 10 pytań, a drugi na 8, obliczanie średniej z dostępnych odpowiedzi nie jest już prostym odpowiednikiem sumy.

Trzeba zastosować reguły określone dla konkretnego narzędzia, np.:

• wymaganie odpowiedzi na wszystkie itemy,
• dopuszczenie jednego brakującego itemu,
• imputację według instrukcji,
• obliczenie wyniku tylko po przekroczeniu określonego minimum odpowiedzi.

Nie należy samodzielnie tworzyć takich zasad dopiero podczas analizy.

Kiedy wynik skali można rozsądnie traktować jako ilościowy?

Nie istnieje jedna magiczna reguła, ale można wykorzystać kilka kryteriów.

1. Pozycje powinny tworzyć sensowny konstrukt

Nie wolno sumować pytań tylko dlatego, że wszystkie mają odpowiedzi 1–5.

Przykład:

• pytanie o ból,
• satysfakcję z opieki,
• wzrost,
• lęk,
• miejsce zamieszkania

nie tworzy automatycznie jednej skali.

Agregacja powinna wynikać z:

• teorii,
• konstrukcji narzędzia,
• walidacji,
• instrukcji autorów.

2. Należy prawidłowo rekodować pytania odwrócone

Załóżmy:

„Potrafię poprawnie interpretować podstawowe rytmy EKG.”

1 = zdecydowanie nie
5 = zdecydowanie tak

oraz:

„Interpretacja EKG jest dla mnie bardzo trudna.”

Tutaj wysoka odpowiedź oznacza niższy, a nie wyższy poziom kompetencji.

Jeżeli druga pozycja nie zostanie odwrócona, suma może nie mieć logicznego sensu.

Dla skali 1–5 rekodowanie może wyglądać:

[
X_{rev}=6-X.
]

Czyli:

1 → 5
2 → 4
3 → 3
4 → 2
5 → 1.

3. Skala powinna mieć odpowiednią strukturę psychometryczną

Nie wystarczy obliczyć sumę.

Trzeba ocenić, czy itemy rzeczywiście mogą być interpretowane jako wspólny wynik lub sensownie zdefiniowane podskale.

Przydatne mogą być m.in.:

• analiza treści pozycji,
• analiza czynnikowa,
• ocena struktury skali,
• rzetelność,
• zgodność z wcześniejszą walidacją narzędzia.

Alfa Cronbacha nie rozwiązuje wszystkiego

Wysoka alfa nie dowodzi automatycznie, że skala jest jednowymiarowa ani że mierzy to, co miała mierzyć.

Tavakol i Dennick zwracają uwagę, że wartość alfa zależy m.in. od liczby itemów oraz ich współzależności, dlatego nie powinna być traktowana jako jedyny dowód jakości narzędzia.

Przykład:

20 bardzo podobnych pytań może dać:

[
\alpha=0,94,
]

ale nie oznacza to jeszcze doskonałej trafności skali.

4. Wynik powinien mieć wystarczającą liczbę możliwych wartości

Porównajmy dwie sytuacje.

Skala A

2 pytania, każde 1–3.

Suma:

[
2-6.
]

Tylko 5 możliwych wyników.

Traktowanie takiej zmiennej jak klasycznej zmiennej ciągłej może być wątpliwe.

Skala B

20 pytań, każde 1–5.

Suma:

[
20-100.
]

Możliwych wartości jest bardzo dużo.

W praktyce wynik może zachowywać się znacznie bardziej jak zmienna ilościowa.

Nie istnieje jednak sztywny próg typu:

„od 10 pytań zawsze wolno stosować test t”.

Trzeba oceniać całą strukturę danych.

5. Należy obejrzeć rozkład wyniku

Warto sprawdzić:

• histogram,
• Q–Q plot,
• średnią i medianę,
• SD i IQR,
• efekt podłogi,
• efekt sufitu,
• wartości odstające.

Efekt sufitu

Jeżeli 70% badanych ma wynik maksymalny:

50/50

skala praktycznie nie różnicuje osób z wysokim nasileniem cechy.

Model liniowy może być wtedy mało informacyjny niezależnie od tego, że formalnie mamy 10 itemów.

Efekt podłogi

Analogiczny problem występuje, gdy większość badanych uzyskuje minimalne wyniki.

6. Metoda analizy musi odpowiadać pytaniu badawczemu

Jeżeli interesuje nas:

średnia różnica całkowitego wyniku zwalidowanej 30-itemowej skali między dwiema grupami, analiza liniowa może być bardzo sensowna.

Jeżeli jednak outcome to pojedyncza odpowiedź:

1 = źle, 2 = średnio, 3 = dobrze,

bardziej naturalne może być traktowanie danych jako porządkowych.

Metoda nie powinna wynikać wyłącznie z nazwy „Likert”.

Czy metody parametryczne są odporne na skalę porządkową?

To przedmiot wieloletniej dyskusji metodologicznej.

Norman wskazuje, że testy parametryczne, takie jak test t czy ANOVA, są w wielu warunkach zaskakująco odporne na umiarkowane naruszenia założeń, w tym problemy wynikające z analizy skal Likerta.

Carifio i Perla szczególnie mocno podkreślają rozróżnienie pomiędzy pojedynczym itemem Likerta a właściwą wielopozycyjną skalą sumacyjną i argumentują, że agregowanych wyników nie należy traktować tak samo jak pojedynczej kategorii odpowiedzi.

Z drugiej strony w literaturze istnieje również bardziej konserwatywne stanowisko, zgodnie z którym ordinalnego charakteru odpowiedzi nie należy ignorować, zwłaszcza przy pojedynczych itemach, małej liczbie kategorii i silnie nietypowych rozkładach. Jamieson zwracała uwagę na ograniczenia wynikające z ordinalnego charakteru odpowiedzi Likerta.

W praktyce nie trzeba wybierać między dwoma skrajnymi stwierdzeniami:

„dane Likerta zawsze są ciągłe”

oraz:

„danych Likerta nigdy nie wolno analizować parametrycznie”.

Oba są zbyt uproszczone.

Przykład praktyczny 1 – wynik skali można traktować ilościowo

Badamy wypalenie zawodowe przy pomocy wielopozycyjnej, zwalidowanej skali.

Podskala ma 9 pytań.

Każde:

0–6.

Suma:

[
0-54.
]

W badanej próbie:

• n = 465,
• wynik ma wiele różnych wartości,
• brak silnego efektu podłogi i sufitu,
• struktura skali jest zgodna z założonym konstruktem,
• rzetelność jest zadowalająca.

Pytanie:

Czy średni wynik podskali różni się pomiędzy dwiema grupami zawodowymi?

Traktowanie wyniku jako zmiennej ilościowej może być w tej sytuacji uzasadnione.

Możemy rozważyć:

• średnią i SD,
• różnicę średnich,
• 95% CI,
• test t Welcha,
• model regresji liniowej.

Nie oznacza to jednak, że wybór metody powinien być automatyczny — należy również ocenić rozkład i obserwacje wpływowe.

Przykład praktyczny 2 – ostrożność jest wskazana

Skala została utworzona przez autora pracy samodzielnie.

Ma tylko 3 pytania:

1–3.

Wynik:

[
3-9.
]

W próbie:

• 62% osób uzyskało 9,
• 20% wynik 8,
• pozostałe wartości występują rzadko.

Mamy bardzo silny efekt sufitu.

Pomimo zsumowania kilku itemów zmienna nadal ma niewiele możliwych wartości i bardzo nietypowy rozkład.

Automatyczne traktowanie jej jak klasycznej zmiennej ciągłej może być niewłaściwe.

Przykład praktyczny 3 – pojedynczego itemu nie należy mylić ze skalą

Pytanie:

„Jak oceniasz swoją wiedzę ze statystyki?”

1 – bardzo źle
2 – źle
3 – średnio
4 – dobrze
5 – bardzo dobrze

To pojedynczy item.

Średnia:

3,72

może być użyteczna opisowo w określonym kontekście, ale nie należy udawać, że różnica:

[
4-3
]

ma na pewno dokładnie taki sam sens jak:

[
3-2.
]

W szczególności przy małych próbach warto rozważyć:

• pełny rozkład odpowiedzi,
• liczebności i procenty,
• medianę,
• metody dla danych porządkowych.

Czy wynik skali musi mieć rozkład normalny?

Nie.

Traktowanie wyniku jako ilościowego nie oznacza automatycznie:

„musi mieć rozkład normalny”.

Zmienne takie jak:

• wiek,
• koszt,
• czas hospitalizacji,
• stężenie CRP

są niewątpliwie ilościowe, a mimo to mogą mieć rozkład bardzo daleki od normalnego.

Normalność i poziom pomiaru to dwa różne zagadnienia.

W konkretnym modelu oceniamy odpowiednie założenia, często dotyczące:

• reszt,
• błędów,
• wariancji,

a nie wymagamy idealnego dzwonu dla każdej surowej zmiennej.

Czy można używać regresji liniowej?

Jeżeli wielopozycyjny wynik skali jest traktowany jako ilościowy i ma odpowiednie właściwości, regresja liniowa może być sensownym rozwiązaniem.

Należy jednak ocenić:

• liniowość,
• reszty,
• homoscedastyczność,
• obserwacje wpływowe,
• strukturę badania.

Jeżeli wynik jest mocno ograniczony, ma silne efekty sufitu/podłogi lub tylko kilka możliwych wartości, można rozważyć inne modele.

Analiza wrażliwości

W sytuacji granicznej bardzo dobrą praktyką jest sprawdzenie, czy wnioski zmieniają się w zależności od metody.

Przykład:

Analiza główna

Test t Welcha dla wyniku sumarycznego.

Analiza wrażliwości

Test Manna–Whitneya.

Jeżeli obie procedury prowadzą do podobnego wniosku dotyczącego kierunku i charakteru różnicy, zwiększa to zaufanie do stabilności rezultatu.

Nie powinno się jednak wybierać później tylko tej metody, która daje mniejsze p-value.

Jak opisać wynik skali w pracy naukowej?

Przykład:

Wynik całkowity skali obliczono jako sumę 12 pozycji ocenianych od 1 do 5 punktów, po wcześniejszym odwróceniu kodowania czterech pozycji sformułowanych negatywnie. Możliwy wynik mieścił się w zakresie 12–60 punktów, a wyższa wartość oznaczała większe nasilenie badanego konstruktu. Wynik całkowity analizowano jako zmienną ilościową. W badanej próbie oceniono jego rozkład, wartości odstające i właściwości psychometryczne skali.

Taki opis jest znacznie lepszy niż:

„Dane Likerta potraktowano jako ilościowe”.

Najczęstsze błędy

1. Traktowanie każdego itemu 1–5 jak zmiennej ciągłej

Pojedynczy item i wynik całej skali to nie to samo.

2. Sumowanie pytań bez sprawdzenia klucza

Szczególnie niebezpieczne przy itemach odwróconych.

3. Tworzenie własnego wyniku z przypadkowych pytań

Wspólny format odpowiedzi nie oznacza wspólnego konstruktu.

4. „Alfa wynosi 0,81, więc skala jest jednowymiarowa”

Alfa Cronbacha nie jest testem jednowymiarowości.

5. Automatyczne stosowanie testów nieparametrycznych po Shapiro–Wilku

Poziom pomiaru, kształt rozkładu oraz założenia konkretnego modelu należy rozpatrywać łącznie.

6. Dzielenie wyniku ciągłego na „niski – średni – wysoki” bez uzasadnienia

Jeżeli zwalidowana skala daje wynik 0–100, arbitralny podział na trzy grupy zwykle powoduje utratę informacji.

Kategorie powinny wynikać z:

• norm,
• walidowanych punktów odcięcia,
• znaczenia klinicznego,
• wcześniej zdefiniowanych kryteriów.

7. Brak informacji, jak policzono wynik

Publikacja powinna jasno podawać:

• liczbę itemów,
• zakres odpowiedzi,
• rekodowanie,
• sposób agregacji,
• regułę braków danych,
• zakres wyniku.

Co warto zapamiętać?

Najważniejsze zasady są następujące:

1. Pojedynczy item Likerta jest zasadniczo zmienną porządkową.
2. Wielopozycyjna skala to nie to samo co pojedynczy item.
3. Suma lub średnia wielu sensownie powiązanych pozycji może w wielu zastosowaniach być analizowana jako zmienna ilościowa.
4. Nie wystarczy sam fakt zsumowania kilku pytań.
5. Trzeba uwzględnić konstrukcję skali, jej strukturę psychometryczną, sposób punktacji, liczbę możliwych wyników i rozkład.
6. Alfa Cronbacha nie jest dowodem jednowymiarowości ani trafności.
7. Metody parametryczne są w wielu sytuacjach odporne na umiarkowane naruszenia idealnych założeń, ale nie jest to zgoda na ignorowanie jakości danych.
8. Jeśli sytuacja jest niejednoznaczna, warto wykonać analizę wrażliwości przy użyciu alternatywnej rozsądnej metody.
9. O wyborze analizy powinno decydować przede wszystkim pytanie badawcze i właściwości wyniku, a nie mechaniczny schemat „Likert = nieparametryczny”.

W kolejnych lekcjach publicznego szkolenia na statystyk.edu.pl rozwijane są zasady kodowania zmiennych binarnych, wielokrotnego wyboru oraz zmiennych porządkowych.

Źródła i dalsza lektura

Brzeziński, J. M. (2019). Metodologia badań psychologicznych. Wyd. 2. Warszawa: Wydawnictwo Naukowe PWN. ISBN 978-83-01-20363-4. Dane wydania i wydawcy potwierdza katalog PWN.

Norman, G. (2010). Likert scales, levels of measurement and the “laws” of statistics. Advances in Health Sciences Education, 15, 625–632. DOI: 10.1007/s10459-010-9222-y.

Sullivan, G. M., & Artino, A. R. Jr. (2013). Analyzing and interpreting data from Likert-type scales. Journal of Graduate Medical Education, 5(4), 541–542. DOI: 10.4300/JGME-5-4-18.

Harpe, S. E. (2015). How to analyze Likert and other rating scale data. Currents in Pharmacy Teaching and Learning, 7(6), 836–850. DOI: 10.1016/j.cptl.2015.08.001.

Tavakol, M., & Dennick, R. (2011). Making sense of Cronbach’s alpha. International Journal of Medical Education, 2, 53–55. DOI: 10.5116/ijme.4dfb.8dfd.

Jamieson, S. (2004). Likert scales: how to (ab)use them. Medical Education, 38(12), 1217–1218. DOI: 10.1111/j.1365-2929.2004.02012.x.

Carifio, J., & Perla, R. J. (2007). Ten Common Misunderstandings, Misconceptions, Persistent Myths and Urban Legends about Likert Scales and Likert Response Formats and their Antidotes. Journal of Social Sciences, 3(3), 106–116. DOI: 10.3844/jssp.2007.106.116.

Stanisz, A. (2006). Przystępny kurs statystyki z zastosowaniem STATISTICA PL na przykładach z medycyny. Tom 1: Statystyki podstawowe. Kraków: StatSoft Polska Sp. z o.o. StatSoft potwierdza autora, wydawcę i strukturę trzytomowego kursu.