115. Jak dokumentować sposób liczenia skali lub indeksu?

Skala lub indeks nie jest gotową „liczbą z kwestionariusza”. Jest wynikiem określonej procedury obliczeniowej: wyboru pozycji, zakodowania odpowiedzi, ewentualnego odwrócenia części itemów, potraktowania braków danych, zsumowania lub uśrednienia wartości, a czasem także przekształcenia wyniku na inną skalę. Jeżeli te decyzje nie zostaną zapisane, odbiorca badania może nie wiedzieć, co naprawdę oznacza uzyskany wynik i nie będzie w stanie powtórzyć analizy.

W tej lekcji kursu na statystyk.edu.pl skupiamy się na praktycznym i akademickim standardzie dokumentowania sposobu liczenia skali lub indeksu. Chodzi nie tylko o przejrzystość publikacji. Dokładna dokumentacja chroni także przed błędami programistycznymi, ułatwia kontrolę danych, umożliwia porównanie wyników między badaniami i pozwala odróżnić oryginalny instrument od autorskiej modyfikacji.

1. Czym różni się skala od indeksu?

Skala to zwykle zestaw pozycji, które mają wspólnie odzwierciedlać określony konstrukt latentny, na przykład nasilenie lęku, zmęczenia albo satysfakcji z opieki. Wynik skali powstaje przez połączenie odpowiedzi na kilka pozycji. W wielu skalach zakłada się, że pozycje są wskaźnikami wspólnego wymiaru, choć nie oznacza to automatycznie, że wszystkie mierzą dokładnie to samo.

Indeks jest szerszym pojęciem. Może łączyć różne, niekoniecznie wymienne elementy opisujące stan, sytuację lub ekspozycję. Przykładem jest indeks obciążenia chorobami, indeks deprywacji społecznej albo wynik ryzyka utworzony z kilku niezależnych czynników. W indeksie pozycje mogą być celowo heterogeniczne: każda wnosi odrębną informację.

To rozróżnienie ma znaczenie dla dokumentacji. W przypadku skali trzeba zwykle opisać również strukturę wymiarową i sposób interpretacji wyniku. W przypadku indeksu należy szczególnie jasno uzasadnić dobór komponentów, ich wagi oraz to, czy wynik jest sumą objawów, liczbą spełnionych kryteriów, czy wynikiem ważonym.

2. Minimalny standard dokumentacji

Opis powinien pozwolić niezależnemu badaczowi odtworzyć wynik na podstawie surowych odpowiedzi. W praktyce dokumentacja powinna obejmować co najmniej następujące elementy:

1. Nazwę instrumentu, jego wersję językową, liczbę pozycji i podskalę, której dotyczy wynik.
2. Treść lub identyfikatory pozycji, na przykład Q1–Q8, wraz z informacją, które pozycje wchodzą do danej skali.
3. Format odpowiedzi: zakres wartości, etykiety kategorii, okres przypominania oraz kod używany dla odpowiedzi „nie wiem”, „nie dotyczy” lub „brak odpowiedzi”.
4. Kierunek kodowania: trzeba wyjaśnić, czy wyższa wartość oznacza większe nasilenie badanego zjawiska, czy jego mniejsze nasilenie.
5. Pozycje odwracane oraz dokładną regułę odwrócenia.
6. Regułę tworzenia wyniku: suma, średnia, suma ważona, odsetek spełnionych kryteriów, wynik standaryzowany lub inna transformacja.
7. Zasady dotyczące braków danych, w tym minimalną liczbę ważnych odpowiedzi wymaganą do obliczenia wyniku.
8. Zakres i jednostkę wyniku, a także znaczenie wyższych i niższych wartości.
9. Źródło reguły punktacji: podręcznik instrumentu, artykuł walidacyjny, protokół badania lub decyzja autorów.

Standardy raportowania, takie jak APA JARS, podkreślają potrzebę opisywania właściwości zmiennych i procedury analitycznej w sposób umożliwiający ocenę oraz odtworzenie badania (Appelbaum et al., 2018). W badaniach obserwacyjnych podobną funkcję pełnią zalecenia STROBE, które wymagają jasnego zdefiniowania zmiennych i sposobu ich pomiaru (Vandenbroucke et al., 2007).

3. Jak zapisać wzór?

Najprostszy wynik sumaryczny można zapisać następująco:

S = x1 + x2 + ... + xk

gdzie:

• S oznacza wynik skali,
• xi oznacza zakodowaną odpowiedź na pozycji i,
• k oznacza liczbę pozycji uwzględnionych w wyniku.

Jeśli każda pozycja ma taką samą wagę, można użyć średniej:

M = (x1 + x2 + ... + xk) / k

Wzór na średnią jest szczególnie użyteczny, gdy badacz chce zachować oryginalny zakres odpowiedzi pojedynczej pozycji. Suma ośmiu itemów kodowanych od 0 do 4 ma zakres od 0 do 32, natomiast średnia z tych samych itemów nadal mieści się w zakresie od 0 do 4. Nie wolno jednak zakładać, że suma i średnia są zawsze interpretacyjnie identyczne. Różnią się skalą liczbową, sposobem reagowania na braki oraz częstością, z jaką wynik jest prezentowany.

W indeksie ważonym wzór może wyglądać tak:

I = w1x1 + w2x2 + ... + wkxk

gdzie wi jest wagą przypisaną do pozycji, a xi jej wartością po zakodowaniu. Dokumentacja musi wyjaśniać, skąd pochodzą wagi: z teorii, wcześniejszego modelu, analizy empirycznej, opinii ekspertów czy arbitralnej decyzji autorów.

Inne wzory do publikacji naukowych z zakresu statystyki są dostępne w naszym serwisie baza wzorów statystycznych do publikacji naukowych.

4. Kodowanie i odwracanie pozycji

Jednym z najczęstszych źródeł błędów jest mieszanie pozycji, w których wyższa odpowiedź oznacza przeciwne kierunki konstruktu. Załóżmy, że odpowiedzi mają zakres od 1 do 5. Jeżeli wyższy wynik ma oznaczać większe nasilenie objawu, a pozycja jest sformułowana odwrotnie, stosujemy transformację:

xodwrócone = (a + b) − x

gdzie a to najniższa możliwa wartość, b to najwyższa możliwa wartość, a x jest pierwotną odpowiedzią. Dla zakresu 1–5 wzór przyjmuje postać xodwrócone = 6 − x. Odpowiedź 1 staje się 5, odpowiedź 2 staje się 4, a odpowiedź 3 pozostaje 3.

W publikacji nie wystarczy zdanie „odwrócono pozycje negatywnie sformułowane”. Trzeba podać ich identyfikatory, ponieważ nie każda pozycja zawierająca przeczenie jest pozycją odwracaną, a sens pozycji zależy od całego konstruktu i instrukcji narzędzia. Należy także wskazać, czy odwrócenie wykonano przed imputacją braków, przed obliczeniem średniej oraz przed standaryzacją.

5. Braki danych: część definicji wyniku

Brak danych nie jest wyłącznie problemem technicznym. Reguła ich obsługi wpływa na to, kto otrzyma wynik skali, a zatem staje się częścią operacjonalizacji.

Możliwe strategie obejmują:

• nieobliczanie wyniku, jeśli choć jedna pozycja jest pusta;
• obliczanie średniej z dostępnych odpowiedzi, gdy spełniony jest warunek minimalnej kompletności;
• zastępowanie brakującej odpowiedzi średnią osoby, średnią grupy albo wartością wynikającą z modelu imputacyjnego (zastępowanie braków danych np. przez procedurę dostępną w programach do analiz statystycznych;
• traktowanie odpowiedzi „nie dotyczy” jako osobnej kategorii, zamiast jako zwykłego braku.

Przykładowo można zdefiniować: „Wynik obliczano, jeśli respondent udzielił odpowiedzi na co najmniej 6 z 8 pozycji. W takim przypadku wynik stanowiła średnia z dostępnych, prawidłowo zakodowanych odpowiedzi, a następnie przeliczano go na zakres 0–100”. Taki zapis jest znacznie lepszy niż lakoniczne „braki uzupełniono zgodnie z zasadami skali”.

Jeżeli instrument ma oficjalny podręcznik punktacji, należy stosować jego reguły, o ile badanie nie przewiduje uzasadnionej modyfikacji. Zmiana progu kompletności lub sposobu imputacji może zmienić porównywalność wyniku z innymi badaniami. W badaniach nad kwestionariuszami znaczenie mają także rozkład wyników, odsetek brakujących pozycji, efekty podłogi i sufitu oraz interpretowalność wyniku (Prinsen et al., 2018).

6. Transformacja wyniku na zakres 0–100

Często wynik surowy przelicza się na skalę procentową. Jeśli najniższy możliwy wynik wynosi L, najwyższy U, a wynik surowy to S, można zastosować:

T = 100 × (S − L) / (U − L)

gdzie T oznacza wynik przetransformowany na zakres 0–100. Wartość 0 odpowiada minimum teoretycznemu, a 100 maksimum teoretycznemu. Należy jednak określić, czy wyższy wynik oznacza lepszy stan, czy większe nasilenie problemu. Sam zakres 0–100 nie nadaje wynikom automatycznie znaczenia procentowego. Wynik 70 nie musi oznaczać, że „70% zdrowia” lub „70% możliwego objawu” zostało osiągnięte.

Transformację należy wykonać dopiero po ustaleniu, jakie wartości są prawidłowe i jak traktowane są pozycje odwrócone. W przeciwnym razie można uzyskać liczby mieszczące się w oczekiwanym zakresie, ale opisujące konstrukt w błędnym kierunku.

7. Przykład 1: skala objawów lęku w poradni

Załóżmy, że zespół badający pacjentów poradni podstawowej opieki zdrowotnej wykorzystuje osiem pozycji dotyczących objawów lęku. Każda pozycja ma odpowiedzi od 0 („wcale”) do 4 („prawie codziennie”). Pozycje Q1–Q8 tworzą jedną skalę. Wyższa wartość ma oznaczać większe nasilenie objawów.

Dokumentacja powinna zawierać między innymi:

• zakres odpowiedzi: 0–4;
• okres odniesienia: ostatnie dwa tygodnie;
• pozycje wchodzące do skali: Q1–Q8;
• pozycje odwracane: Q3 i Q7, ponieważ w ich przypadku wyższa odpowiedź oznacza mniejsze nasilenie objawu;
• regułę odwrócenia: xodwrócone = 4 − x;
• regułę kompletności: wynik obliczano przy co najmniej 6 ważnych odpowiedziach;
• regułę agregacji: średnia z dostępnych odpowiedzi po odwróceniu Q3 i Q7;
• interpretację: wyższy wynik oznacza większe nasilenie objawów lęku.

Jeżeli pacjent uzyskał wartości po odwróceniu: 3, 2, 1, 2, 4, 3, 0, 2, suma wynosi 17, a średnia 2,125. Jeżeli raportujemy wynik zaokrąglony, trzeba podać regułę, na przykład „do dwóch miejsc po przecinku”. Zaokrąglenie nie powinno być wykonywane przed obliczeniem końcowej wartości, ponieważ może nieznacznie zmienić wynik.

8. Przykład 2: indeks zachowań profilaktycznych

W badaniu zdrowia publicznego można zbudować indeks z sześciu zachowań: regularnej aktywności fizycznej, niepalenia, ograniczania alkoholu, szczepień zgodnych z zaleceniami, udziału w badaniach przesiewowych oraz codziennego spożywania warzyw i owoców. Każdemu zachowaniu przyznaje się 1 punkt, jeśli spełniono kryterium, i 0 punktów w przeciwnym razie.

Wzór ma postać:

I = z1 + z2 + z3 + z4 + z5 + z6

Indeks przyjmuje wartości od 0 do 6. Nie jest to skala lęku ani „poziom zdrowia”, lecz liczba spełnionych kryteriów profilaktycznych. Dokumentacja powinna podać dokładne kryteria. Na przykład „aktywność fizyczna” może oznaczać co najmniej 150 minut umiarkowanego wysiłku tygodniowo, ale bez takiej definicji inni badacze nie wiedzą, co oznacza punkt 1.

Trzeba też określić, co dzieje się z brakującą informacją. Czy osoba bez danych o szczepieniu otrzymuje 0 punktów, czy wynik indeksu pozostaje nieobliczony? Te rozwiązania nie są równoważne. Przypisanie 0 może sztucznie obniżać indeks, ponieważ brak informacji zostaje potraktowany jak brak zachowania.

9. Skala oryginalna a skala zmodyfikowana

Badacze czasem skracają narzędzie, usuwają pozycje, zmieniają instrukcję, łączą kategorie odpowiedzi albo stosują tylko jedną podskalę. Taką procedurę trzeba nazwać wprost. Nie należy przedstawiać zmodyfikowanego wyniku jako pełnej, oryginalnej skali.

W opisie należy podać: które pozycje usunięto, dlaczego, w jakiej próbie podjęto decyzję, czy zmieniono zakres wyniku, czy sprawdzono właściwości pomiarowe oraz czy wynik jest porównywalny z wynikami uzyskiwanymi za pomocą pełnej wersji. Sama wysoka wartość współczynnika alfa nie dowodzi, że zmodyfikowana wersja mierzy właściwy konstrukt. Ocena narzędzia powinna obejmować między innymi trafność treściową, strukturę, rzetelność, trafność konstruktu i interpretowalność (de Vet et al., 2011; Terwee et al., 2007).

Najczęstsze błędy

• Opis „wynik obliczono zgodnie z kwestionariuszem” bez wskazania konkretnej wersji i reguł punktacji.
• Brak listy pozycji, przez co nie wiadomo, które pytania weszły do wyniku.
• Nieujawnienie odwracania pozycji albo odwrócenie itemu w niewłaściwym kierunku.
• Traktowanie braku odpowiedzi jak zera bez uzasadnienia merytorycznego.
• Niejasne określenie sumy i średniej. Wynik „średni 24” jest niezrozumiały, jeśli nie wiadomo, ile było pozycji i jaki był zakres odpowiedzi.
• Używanie słowa „procent” dla wyniku przeskalowanego na 0–100, mimo że nie jest to odsetek osób ani prawdopodobieństwo.
• Łączenie pozycji o różnych jednostkach bez standaryzacji lub uzasadnienia wag.
• Wprowadzanie progów bez źródła, na przykład dzielenie wyniku na „niski”, „umiarkowany” i „wysoki” wyłącznie na podstawie mediany próby.
• Zaokrąglanie zbyt wcześnie, przed zakończeniem wszystkich obliczeń.
• Mylenie rzetelności z poprawnością algorytmu. Można uzyskać powtarzalny wynik z błędnie zakodowanej skali.

10. Jak zapisać procedurę w pracy badawczej?

Praktyczny opis może mieć następującą strukturę:

„Skalę obciążenia objawami utworzono z pozycji Q1–Q10, kodowanych od 0 do 3. Pozycje Q4 i Q9 odwrócono według wzoru 3 − x, tak aby wyższe wartości oznaczały większe nasilenie objawów. Wynik stanowił średnią z ważnych odpowiedzi. Obliczano go, gdy dostępnych było co najmniej 8 z 10 odpowiedzi. Brakujące pozycje nie były automatycznie kodowane jako zero. Wynik mieścił się w zakresie 0–3; wyższy wynik oznaczał większe nasilenie objawów.”

Taki zapis można uzupełnić tabelą z nazwami zmiennych, etykietami, kodami braków i regułą obliczania. W analizie komputerowej warto zachować osobny skrypt lub składnię programu. Tabela i skrypt pełnią różne funkcje: tabela pomaga czytelnikowi zrozumieć procedurę, a skrypt pozwala ją technicznie odtworzyć.

W badaniach zespołowych warto przygotować „słownik wyniku” jeszcze przed analizą. Powinien zawierać nazwę zmiennej, definicję, wzór, zakres, reguły braków, źródło i wersję daty. Ogranicza to ryzyko, że w kolejnych etapach projektu ta sama skala będzie liczona na kilka sposobów.

Przykład praktyczny: kontrola odtwarzalności

Badacz A obliczył indeks satysfakcji z opieki z pięciu pozycji o zakresie 1–5 i uzyskał średnią 4,2. Badacz B, korzystając z tych samych danych, uzyskał 16,8, ponieważ zastosował sumę. Oba wyniki mogą być matematycznie prawidłowe, ale nie są bezpośrednio porównywalne bez informacji o skali. Następnie badacz C otrzymał 80 punktów, ponieważ przeliczył wynik na zakres 0–100. Bez dokumentacji trzy liczby wyglądają jak różne miary, chociaż mogą wynikać z tej samej procedury.

Kontrola odtwarzalności polegałaby na przekazaniu niezależnej osobie: listy pozycji, kodowania, wzoru, reguły braków i przykładowych danych. Jeśli osoba ta nie potrafi uzyskać tego samego wyniku dla kilku przypadków testowych, opis jest niewystarczający. Dobrym rozwiązaniem jest przygotowanie danych testowych obejmujących: kompletne odpowiedzi, najniższy i najwyższy wynik, odpowiedzi na pozycjach odwracanych, pojedynczy brak oraz liczbę braków przekraczającą próg dopuszczalny.

Co warto zapamiętać?

• Wynik skali lub indeksu jest rezultatem procedury, a nie samą nazwą kwestionariusza.
• Dokumentuj pozycje, zakresy odpowiedzi, kierunek kodowania, pozycje odwracane i wzór.
• Reguła obsługi braków danych jest częścią definicji wyniku.
• Wyraźnie odróżniaj sumę, średnią, wynik ważony i transformację na zakres 0–100.
• Podaj, co oznacza wyższy wynik i czy interpretacja dotyczy nasilenia problemu, czy lepszego funkcjonowania.
• Nie przedstawiaj zmodyfikowanej wersji narzędzia jako wersji oryginalnej.
• Sprawdzaj odtwarzalność na przypadkach testowych i przechowuj skrypt obliczeniowy.
• Przejrzysta dokumentacja wzmacnia replikowalność, ale sama nie gwarantuje trafności ani rzetelności pomiaru.

Źródła i dalsza lektura

1. Appelbaum, M., Cooper, H., Kline, R. B., Mayo-Wilson, E., Nezu, A. M., & Rao, S. M. (2018). Journal article reporting standards for quantitative research in psychology: The APA Publications and Communications Board task force report. American Psychologist, 73(1), 3–25. DOI: 10.1037/amp0000191.
2. de Vet, H. C. W., Terwee, C. B., Mokkink, L. B., & Knol, D. L. (2011). Measurement in Medicine: A Practical Guide. Cambridge University Press. Informacja wydawcy / źródło.
3. Prinsen, C. A. C., Mokkink, L. B., Bouter, L. M., Alonso, J., Patrick, D. L., de Vet, H. C. W., & Terwee, C. B. (2018). COSMIN guideline for systematic reviews of patient-reported outcome measures. Quality of Life Research, 27(5), 1147–1157. DOI: 10.1007/s11136-018-1798-3.
4. Terwee, C. B., Bot, S. D. M., de Boer, M. R., van der Windt, D. A. W. M., Knol, D. L., Dekker, J., Bouter, L. M., & de Vet, H. C. W. (2007). Quality criteria were proposed for measurement properties of health status questionnaires. Journal of Clinical Epidemiology, 60(1), 34–42. DOI: 10.1016/j.jclinepi.2006.03.012.
5. Vandenbroucke, J. P., von Elm, E., Altman, D. G., Gøtzsche, P. C., Mulrow, C. D., Pocock, S. J., Poole, C., Schlesselman, J. J., & Egger, M.; STROBE Initiative (2007). Strengthening the Reporting of Observational Studies in Epidemiology (STROBE): Explanation and elaboration. PLoS Medicine, 4(10), e297. DOI: 10.1371/journal.pmed.0040297.
6. American Psychological Association (2018). APA Style Journal Article Reporting Standards (JARS). American Psychological Association. Źródło.