030. Badanie wykonalności – jak ocenić wykonalność projektu?

Przed rozpoczęciem dużego badania warto odpowiedzieć nie tylko na pytanie, czy hipoteza jest interesująca, lecz także: czy całe przedsięwzięcie da się przeprowadzić zgodnie z planem? Feasibility study, czyli badanie wykonalności, służy właśnie do rozpoznania praktycznych, organizacyjnych, metodologicznych i etycznych warunków realizacji projektu. Nie jest ono miniaturową wersją badania głównego wykonywaną wyłącznie dlatego, że dostępna próba jest mała. Jego sens polega na zmniejszeniu niepewności przed podjęciem kosztownej i często nieodwracalnej decyzji o rozpoczęciu badania zasadniczego.

W tej lekcji, będącej częścią publicznego szkolenia na statystyk.edu.pl, skupimy się na ocenie wykonalności całego projektu. W odróżnieniu od poprzedniej lekcji o badaniu pilotażowym nacisk położymy na decyzję: kontynuować, zmodyfikować czy zakończyć projekt?

Czym jest badanie wykonalności?

Badanie wykonalności to zaplanowane badanie wstępne, którego głównym celem jest ustalenie, czy przyszłe badanie — albo jego określony element — może zostać przeprowadzone w zakładanej populacji, czasie, budżecie i standardzie jakości. W literaturze dotyczącej badań zdrowotnych angielski termin feasibility bywa stosowany jako pojęcie nadrzędne, obejmujące różne formy prac przygotowawczych. Badanie pilotażowe można traktować jako bardziej konkretną, często zbliżoną organizacyjnie do badania głównego formę badania wykonalności (Eldridge et al., 2016a; Thabane et al., 2010).

Badanie wykonalności nie powinno przede wszystkim odpowiadać na pytanie, czy interwencja jest skuteczna. Ma raczej ustalić, czy można:

• dotrzeć do odpowiedniej liczby uczestników;
• uzyskać świadomą zgodę i utrzymać uczestników w badaniu;
• przeprowadzić randomizację lub inny zaplanowany sposób przydziału;
• wdrożyć interwencję w sposób wystandaryzowany;
• zebrać dane o wymaganej jakości;
• zrealizować pomiary w odpowiednich punktach czasowych;
• zapewnić zasoby kadrowe, techniczne, finansowe i prawne.

Najważniejsza różnica między wykonalnością a skutecznością dotyczy pytania badawczego. W badaniu głównym pytamy zwykle: czy interwencja zmienia wynik zdrowotny lub psychologiczny? W feasibility study pytamy: czy potrafimy wiarygodnie przeprowadzić badanie, które pozwoli na takie rozstrzygnięcie? Z tego powodu nie należy przedstawiać małego badania jako dowodu braku efektu tylko dlatego, że wynik porównania grup nie osiągnął poziomu p < 0,05.

Jakie obszary należy ocenić?

1. Wykonalność rekrutacji

Rekrutacja jest często pierwszym wąskim gardłem projektu. Trzeba sprawdzić nie tylko liczbę osób, które ostatecznie włączono, ale cały lejek rekrutacyjny: liczbę osób potencjalnie dostępnych, odsetek spełniających kryteria, odsetek zaproszonych, odsetek wyrażających zgodę oraz tempo włączania.

Przydatne wskaźniki to między innymi:

• odsetek kwalifikacji = liczba osób spełniających kryteria / liczba osób ocenionych;
• odsetek zgód = liczba osób wyrażających zgodę / liczba osób zaproszonych;
• tempo rekrutacji = liczba włączonych uczestników / jednostkę czasu;
• koszt rekrutacji = całkowity koszt działań rekrutacyjnych / liczba włączonych uczestników.

Ważne jest dokumentowanie mianowników. Samo stwierdzenie, że „rekrutacja przebiegała dobrze”, jest niewystarczające. Inaczej interpretuje się 20 zgód spośród 25 zaproszonych osób, a inaczej 20 zgód spośród 400 osób poddanych wstępnej ocenie.

2. Retencja i kompletność obserwacji

Projekt może być formalnie możliwy do rozpoczęcia, ale niewykonalny w zaplanowanym czasie obserwacji. Dlatego należy monitorować odsetek uczestników, którzy ukończyli kolejne etapy, oraz przyczyny utraty z obserwacji. W badaniach podłużnych istotne są między innymi: liczba wizyt, terminowość pomiarów, kompletność kwestionariuszy, dostępność danych laboratoryjnych i możliwość kontaktu z uczestnikami.

Jeżeli do badania włączono 60 osób, a 48 ukończyło pomiar końcowy, retencja wynosi:

Retencja = 48 / 60 × 100% = 80%.

Wynik ten nie mówi jednak, czy badanie jest wykonalne bez dalszych zmian. Trzeba wiedzieć, czy utrata 20% uczestników była równomierna w grupach, czy dotyczyła określonej kategorii osób oraz czy wynikała z obciążenia procedurami, działań niepożądanych, problemów komunikacyjnych czy czynników zewnętrznych.

3. Wykonalność procedur i pomiarów

Należy sprawdzić, czy uczestnicy rozumieją instrukcje, czy personel wykonuje procedury zgodnie z protokołem i czy narzędzia pomiarowe są dostępne w praktyce. Dotyczy to zarówno badań klinicznych, jak i psychologicznych oraz społecznych.

Przykładowe pytania kontrolne:

• Czy czas potrzebny na jedną wizytę jest akceptowalny?
• Czy wszystkie pomiary można wykonać w realnych warunkach?
• Czy instrukcje dla personelu są jednoznaczne?
• Czy występują problemy z kalibracją aparatury lub transferem danych?
• Czy kwestionariusz nie zawiera zbyt wielu pozycji pomijanych przez uczestników?
• Czy procedura interwencji jest stosowana podobnie przez wszystkich realizatorów?

4. Wykonalność interwencji

Jeśli projekt obejmuje interwencję, trzeba ocenić możliwość jej dostarczenia, przestrzeganie zaleceń, obciążenie personelu, akceptację uczestników i ryzyko zanieczyszczenia między grupami. W pielęgniarstwie może to oznaczać sprawdzenie, czy personel ma czas na dodatkową edukację pacjenta. W ratownictwie — czy procedura może być stosowana w dynamicznym środowisku, przy ograniczonej liczbie pracowników i zmiennym napływie pacjentów.

5. Zasoby, koszty i logistyka

Wykonalność ma również wymiar ekonomiczny. Należy oszacować zapotrzebowanie na personel, szkolenia, materiały, transport, oprogramowanie, ubezpieczenie, monitorowanie i zarządzanie danymi. Budżet powinien uwzględniać nie tylko plan optymistyczny, lecz także koszty powtórzeń pomiarów, opóźnień, awarii i dodatkowej rekrutacji.

6. Akceptowalność etyczna i regulacyjna

Projekt jest niewykonalny w sensie naukowym, jeżeli nie można przeprowadzić go etycznie. Feasibility study powinno ujawnić, czy procedury są proporcjonalne do wartości poznawczej badania, czy proces uzyskiwania zgody jest zrozumiały i czy można bezpiecznie chronić dane. W badaniach medycznych obejmuje to także ocenę raportowania zdarzeń niepożądanych oraz ścieżki eskalacji problemów do zespołu badawczego i komisji bioetycznej.

Od ogólnego pytania do mierzalnych kryteriów

Najczęstszy błąd polega na sformułowaniu celu: „ocenić, czy projekt jest wykonalny”. Taki cel jest zbyt ogólny. Należy rozbić go na mierzalne pytania i wcześniej ustalić kryteria decyzji. Pomocny może być system „sygnalizacji świetlnej”:

Obszar	Zielony	Żółty	Czerwony
Rekrutacja	co najmniej 30 osób w 3 miesiące	20–29 osób	mniej niż 20 osób
Retencja	co najmniej 85%	70–84%	poniżej 70%
Kompletność danych	co najmniej 90%	75–89%	poniżej 75%
Realizacja interwencji	co najmniej 80% zaplanowanych sesji	60–79%	poniżej 60%

Wartości w tabeli są przykładowe. Nie istnieje jeden uniwersalny próg dla każdego projektu. Kryteria powinny wynikać z celu, populacji, obciążenia procedurami i warunków organizacyjnych. Powinny być określone przed analizą wyników, aby ograniczyć ryzyko dopasowywania decyzji do danych (Eldridge et al., 2016b).

Planowanie liczebności w feasibility study

Liczebność badania wykonalności nie musi być wyznaczana tak, aby zapewnić moc do wykrycia efektu klinicznego. Jeśli głównym celem jest oszacowanie odsetka rekrutacji lub retencji, uzasadnienie liczebności powinno odnosić się do oczekiwanej precyzji oszacowania albo prawdopodobieństwa podjęcia trafnej decyzji o progresji.

Dla odsetka można w przybliżeniu zapisać szerokość przedziału ufności jako:

p ± z × √[p(1 − p) / n]

• p — obserwowany lub oczekiwany odsetek;
• z — wartość kwantyla rozkładu normalnego, na przykład około 1,96 dla 95% przedziału ufności;
• n — liczba uczestników lub obserwacji.

Jest to przybliżenie, które może być niewłaściwe dla małych prób lub odsetków bliskich 0% albo 100%. W takich sytuacjach należy rozważyć dokładne lub lepiej dopasowane przedziały ufności, na przykład przedział Wilsona. Najważniejsza zasada pozostaje jednak ogólna: liczebność ma umożliwiać odpowiedź na pytanie o wykonalność, a nie sztuczne „udowodnienie” skuteczności interwencji.

Analiza danych i interpretacja wyników

Analiza feasibility study powinna być zgodna z wcześniej określonymi celami. Zwykle obejmuje statystyki opisowe, przedziały ufności, analizę przepływu uczestników oraz analizę przyczyn niepowodzeń. Warto łączyć dane ilościowe z jakościowymi: krótkie wywiady z uczestnikami i personelem mogą wyjaśnić, dlaczego określona procedura była trudna do wykonania.

Nie należy nadmiernie koncentrować się na testach istotności statystycznej. Wartość p nie jest prawdopodobieństwem prawdziwości hipotezy zerowej i nie mówi sama przez się, czy projekt jest wykonalny. Znacznie bardziej użyteczne są: oszacowanie odsetka z przedziałem ufności, różnice między planem a wykonaniem, częstość braków danych oraz konsekwencje praktyczne.

Jeśli w feasibility study retencja wyniosła 78%, nie wystarczy uznać jej za „dobrą” lub „złą”. Trzeba ocenić, czy po wprowadzeniu przypomnień, skróceniu wizyt albo zmianie harmonogramu można osiągnąć poziom wymagany w badaniu głównym. Wynik powinien prowadzić do decyzji i planu korekty.

Przykład praktyczny: program edukacyjny dla pacjentów z niewydolnością serca

Zespół chce przeprowadzić wieloośrodkowe badanie randomizowane oceniające program edukacyjny prowadzony przez pielęgniarki. Badanie główne wymaga sześciomiesięcznej obserwacji, trzech wizyt i regularnego monitorowania objawów za pomocą aplikacji mobilnej.

W feasibility study zrekrutowano 40 pacjentów w dwóch poradniach. Przed rozpoczęciem przyjęto następujące kryteria:

1. co najmniej 30 włączonych pacjentów w ciągu 4 miesięcy;
2. retencja na poziomie co najmniej 80%;
3. co najmniej 85% kompletnych pomiarów;
4. realizacja minimum 75% zaplanowanych sesji edukacyjnych;
5. brak nierozwiązanego problemu bezpieczeństwa.

Wyniki były następujące: rekrutacja osiągnęła 40 osób, retencja wyniosła 82,5%, kompletność pomiarów 68%, a realizacja sesji edukacyjnych 78%. Kryteria rekrutacji, retencji i sesji zostały spełnione, ale kompletność danych była niewystarczająca. Analiza jakościowa wykazała, że wielu pacjentów nie potrafiło korzystać z aplikacji, a część pomiarów wykonywano poza zasięgiem internetu.

Właściwa decyzja nie brzmi więc automatycznie „tak” ani „nie”. Projekt można kontynuować warunkowo, ale przed badaniem głównym trzeba: zapewnić alternatywny zapis telefoniczny, przeszkolić pacjentów, dodać kontrolę kompletności danych i ponownie ocenić procedurę. Feasibility study nie wykazało nieskuteczności programu. Ujawniło natomiast, że pierwotny sposób zbierania danych jest niewystarczający.

Najczęstsze błędy

• Traktowanie badania wykonalności jako małego badania skuteczności. Mała próba zwykle nie pozwala wiarygodnie ocenić efektu klinicznego.
• Brak kryteriów progresji. Jeśli nie ustalono wcześniej progów, decyzja po badaniu może być arbitralna.
• Ocenianie wyłącznie liczby zrekrutowanych osób. Sama rekrutacja nie wystarcza, jeżeli uczestnicy nie kończą obserwacji lub dane są niekompletne.
• Brak mianowników i przepływu uczestników. Każdy odsetek powinien mieć jasno określony licznik i mianownik.
• Uogólnianie wyników na inną populację. Wykonalność w jednym szpitalu, poradni lub regionie nie gwarantuje wykonalności w innych warunkach.
• Pomijanie danych jakościowych. Liczby pokazują, że wystąpił problem, ale rozmowy z uczestnikami często wyjaśniają jego przyczynę.
• Wykorzystywanie danych z feasibility study bez planu. Jeżeli badanie główne ma obejmować tych samych uczestników, trzeba wcześniej rozważyć wpływ uczenia się, selekcji i zmian procedur.
• Wprowadzanie zmian bez dokumentacji. Każda modyfikacja powinna mieć uzasadnienie, datę, zakres i ocenę wpływu na protokół.

Jak zarządzać decyzją o kontynuacji?

Końcowa decyzja powinna wynikać z połączenia kilku źródeł informacji. Można wyróżnić trzy podstawowe scenariusze:

• Kontynuacja bez istotnych zmian — większość kryteriów jest spełniona, a problemy mają małe znaczenie praktyczne.
• Kontynuacja po modyfikacji — projekt jest możliwy, ale należy zmienić procedury, kryteria kwalifikacji, harmonogram, narzędzia lub zasoby.
• Zakończenie lub przeformułowanie projektu — wystąpiła bariera, której nie można realistycznie usunąć, na przykład niewystarczająca dostępność populacji, niedopuszczalne ryzyko albo niemożność uzyskania danych odpowiedniej jakości.

Raportowanie powinno jasno przedstawiać cele wykonalności, kryteria, przepływ uczestników, odchylenia od protokołu, braki danych, problemy organizacyjne i decyzję dotyczącą dalszych prac. W randomizowanych badaniach pilotażowych pomocne jest rozszerzenie CONSORT dotyczące pilot and feasibility trials (Eldridge et al., 2016b).

Co warto zapamiętać?

• Feasibility study odpowiada na pytanie, czy projekt można wiarygodnie przeprowadzić, a nie przede wszystkim, czy interwencja działa.
• Wykonalność należy oceniać wielowymiarowo: rekrutacja, retencja, pomiary, interwencja, zasoby, bezpieczeństwo i jakość danych.
• Każdy cel powinien mieć mierzalny wskaźnik oraz wcześniej ustalone kryterium decyzji.
• Liczebność badania wynika z celów wykonalności i wymaganej precyzji, a nie automatycznie z kalkulacji mocy dla efektu klinicznego.
• Wartość p nie zastępuje analizy odsetków, przedziałów ufności, braków danych i znaczenia praktycznego.
• Wynik „żółty” nie musi oznaczać porażki. Często wskazuje, jakie elementy należy poprawić przed badaniem głównym.
• Dobrze zaplanowane feasibility study może oszczędzić czas, środki i obciążenie uczestników, ponieważ ujawnia problemy zanim staną się problemami dużego badania.

\n

Źródła i dalsza lektura

\n

1. Eldridge, S. M., Lancaster, G. A., Campbell, M. J., Thabane, L., Hopewell, S., Coleman, C. L., & Bond, C. M. (2016). Defining Feasibility and Pilot Studies in Preparation for Randomised Controlled Trials: Development of a Conceptual Framework. PLoS ONE, 11(3), e0150205. DOI: 10.1371/journal.pone.0150205.
2. Eldridge, S. M., Chan, C. L., Campbell, M. J., Bond, C. M., Hopewell, S., Thabane, L., & Lancaster, G. A.; PAFS consensus group (2016). CONSORT 2010 statement: extension to randomised pilot and feasibility trials. Pilot and Feasibility Studies, 2, 64. DOI: 10.1186/s40814-016-0105-8.
3. Bowen, D. J., Kreuter, M., Spring, B., Cofta-Woerpel, L., Linnan, L., Weiner, D., Bakken, S., Kaplan, C. P., Squiers, L., Fabrizio, C., & Fernandez, M. (2009). How We Design Feasibility Studies. American Journal of Preventive Medicine, 36(5), 452–457. DOI: 10.1016/j.amepre.2009.02.002.
4. Thabane, L., Ma, J., Chu, R., Cheng, J., Ismaila, A., Rios, L. P., Robson, R., Thabane, M., Giangregorio, L., & Goldsmith, C. H. (2010). A tutorial on pilot studies: the what, why and how. BMC Medical Research Methodology, 10, 1. DOI: 10.1186/1471-2288-10-1.
5. Lancaster, G. A., Dodd, S., & Williamson, P. R. (2004). Design and analysis of pilot studies: recommendations for good practice. Journal of Evaluation in Clinical Practice, 10(2), 307–312. DOI: 10.1111/j..2002.384.doc.x.

\n