badanie kwestionariuszowe
TRANSCRIPT
Badanie kwestionariuszowe Kamil Barański
Na podstawie prezentacji Pani Dr hab. n. med. Małgorzaty Kowalskiej
Badanie kwestionariuszowe
A
• Cechy wywiadu standaryzowanego
• Ograniczenia i błędy w badaniu kwestionariuszowym
• Ankieta vs. kwestionariusz
• Planowanie badania z wykorzystaniem kwestionariusza
• Metody tworzenia kwestionariuszy
• Wywiad lekarski vs. wywiad epidemiologiczny
B
• Akceptowalność
• Powtarzalność/Zgodność
• Wewnętrzna spójność
• Czułość/Swoistość
• Procedura walidacji kwestionariusza
C
• Analiza powtarzalności
• Analiza trafności
• Konstrukcja własnego kwestionariusza
2015-12-17 KIZE 2015 2
Zadania dla studenta
Ocena wartości kwestionariusza
Konstrukcja kwestionariusza
Cechy wywiadu standaryzowanego
› Wartość: trafność i rzetelność
› Odpowiednio przygotowane pytania
› Liczba pytań
2015-12-17 KIZE 2015 3
2015-12-17 KIZE 2015 4
Treść pytań:
› Trafne
› Dostosowane do respondenta
› Nie powinny dotyczyć zbyt odległej przeszłości
› Akceptowane
Cechy wywiadu standaryzowanego
› Forma pytań:
– Słownictwo
– Język
– Jasne – niedwuznaczne
– Nie powinny sugerować odpowiedzi?
2015-12-17 KIZE 2015 5
Cechy wywiadu standaryzowanego
Cechy wywiadu standaryzowanego
› Kolejność i liczba pytań
– Sensowna całość
– Jedno zagadnienie
– Technika „lejka”
– Technika odwrotnego „lejka”
– Pytania wstępne powinny być łatwe
– Pytania kłopotliwe?
2015-12-17 KIZE 2015 6
Cechy wywiadu standaryzowanego
› Struktura wywiadu standaryzowanego:
– Wprowadzenie/wstęp
– Metryka/dane osobowe
– Część właściwa
– Zakończenie
2015-12-17 KIZE 2015 7
Struktura wywiadu standaryzowanego › Wstęp:
– Temat badania cel badania
– Opis badania
– Identyfikator
– Instrukcja udzielania odpowiedzi
– Informacje o zespole badawczym/afiliacja
– Źródło finansowania
– Apel o szczerość
– Podziękowanie
2015-12-17 KIZE 2015 8
› Metryka:
– Płeć
– Miejsce zamieszkania
– Dochody
– Stan cywilny
– Wykształcenie
– Masa ciała
– Wzrost
– Wyznanie
Ograniczenia i błędy w badaniu kwestionariuszowym
› Fałszywe założenie znawstwa
› Efekt ankieterski
› Pytania sugerujące odpowiedź
› Pytania sprzeczne
› Pytania niejednoznaczne
› Pytania niedostosowane np. kulturowo
› Niepełna skala odpowiedzi pytań zamkniętych
› Efekt podłogi i sufitu
2015-12-17 KIZE 2015 9
3. Pytanie sugerujące odpowiedź
2015-12-17 KIZE 2015 10
2. Efekt ankieterski
1. Fałszywe założenie znawstwa
Ad. 1 Jakie są wady/zalety stosowanego przez Pana/ią leku?
Ad. 2 Masa ciała, poglądy polityczne, wpływanie ankietera na
udzielane odpowiedzi
Ad. 3 Większość Polaków stosuje lek „X” czy Pan/i również stosuje
ten lek?
4. Pytanie sprzeczne
2015-12-17 KIZE 2015 11
5. Pytania niejednoznaczne
6. Pytania niedostosowane
7. Niepełna skala odpowiedzi pytań zamkniętych
Ad. 4 Jakie są wady/zalety stosowanego przez Pana/ią leku?
Ad. 5 Ile leków spożywa Pana/i rodzina?
Ad. 6 Czy wskutek stresu występuje u Pana/i tachykardia?
Ad. 7 Czy stosował Pan/i lek przeciwbólowy firmy „X”?
(zamiast ‘ TAK/NIE’ odpowiedzi ‘TAK, NIE, NIE PAMIĘTAM’)
› Sposób przeprowadzenia badania
› Może mieć znaczenie dla wyników badania
› Posiada wady i zalety
› „Effect size”
› Konieczny właściwy opis w metodologii badania
2015-12-17 KIZE 2015 12
Ankieta vs. kwestionariusz
Kwestionariusz ankieta samozwrotna
2015-12-17 KIZE 2015 15
Zalety:
1. Jednolity sposób zadawania pytań zmniejsza możliwość wystąpienia
błędów systematycznych
2. Respondenci dysponują dłuższym czasem niezbędnym do przemyślenia
odpowiedzi
2015-12-17 KIZE 2015 16
Kwestionariusz ankieta samozwrotna
Wady
1. Kłopoty z odzyskaniem wypełnionych ankiet
2. Niepewność co do rzetelności wypełniania i udzielonych
odpowiedzi
Metody tworzenia kwestionariuszy
› Rodzaje pytań
› Skale:
– Likerta
– Guttmana
2015-12-17 KIZE 2015 17
Skala Likerta
2015-12-17 KIZE 2015 18
› Zawiera odpowiedzi wzajemnie się wykluczające
› Respondent może zaznaczyć tylko jedną odpowiedź
› Powinna charakteryzować się symetrią i równowagą
• Jaka jest Pana/i jakość życia?
• Czy jest Pan zadowolony ze swojego zdrowia?
› Warianty odpowiedzi:
1. „Bardzo zła” (1),
2. „zła” (2),
3. „Ani dobra, ani zła” (3),
4. „Dobra” (4),
5. „Bardzo dobra” (5)
2015-12-17 KIZE 2015 19
WHOQOL-BREF Questionnaire
C Salisbury et al. Family Practice 2005;22:560-569
Kwestionariusz oceniający poziom satysfakcji pacjenta
Developing a standard short
questionnaire for the assessment
of patient satisfaction with out-
of-hours primary care
http://fampra.oxfordjournals.org/content/22/5/560.full
Kwestionariusz punktowy dla oceny sposobu żywienia /wg Gawęcki, Jeszka „Żywienie Człowieka” PWN 1995
Lp. Przedmiot oceny Liczba punktów
Liczb pkt.
ocenianego
jadłospisu
1. Ile posiłków dziennie spożywano
4 lub 5 5
3 2
mniej niż 3 0
2.
W ilu posiłkach w ciągu tygodnia
występował produkt
dostarczający białka
zwierzęcego?
we wszystkich 5
w 75% posiłków 2
rzadziej 0
3. Jak często spożywano mleko lub
jego przetwory?
codziennie min. w 2
posiłkach 5
codziennie min. w 1
posiłkach 2
rzadziej 0
4. Jak często spożywano warzywa i
owoce?
codziennie min. w 2
posiłkach 5
codziennie min. w 1
posiłkach 2
rzadziej 0
5. Jak często spożywano surówki z
warzyw i owoców?
codziennie 5
w 75% posiłków 2
rzadziej 0
› Bardzo dobry 25 pkt.
› Dobry 21-25 pkt.
› Dostateczny 10-20 (bez ocen 0)
› Z błędami 10-20 pkt. (z ocenami zerowymi)
› Zły 9 pkt. i mniej
2015-12-17 KIZE 2015 29
Ocena uzyskanych odpowiedzi – sposób żywienia
2015-12-17 KIZE 2015 31
Wywiad lekarski
› Wywiad niestandardowy
› Treść słownictwo i sekwencja pytań zależą od
okoliczności, rodzaju choroby i stanu pacjenta
Wywiad epidemiologiczny
2015-12-17 KIZE 2015 32
› Wywiad standaryzowany
› Treść słownictwo i sekwencja pytań są jednakowe
– pozwala na większą powtarzalność wyników
2015-12-17 KIZE 2015 33
WIARYGODNOŚĆ ZASTOSOWANEGO
NARZĘDZIA to nadrzędny cel
Ocena wartości kwestionariusza
2015-12-17 KIZE 2015 35
Ocena wartości kwestionariusza
Akceptowalność
› Liczba pytań
› Zastosowany język
› Rodzaj pytań
JAK ZBADAĆ AKCEPTOWALNOŚĆ?
2015-12-17 KIZE 2015 36
Ocena wartości kwestionariusza
Powtarzalność/Zgodność (Rzetelność)
J.E. Zejda: „Akceptowalny kwestionariusz i czytelna instrukcja
jego wypełnienia powinny ograniczyć, ale nie wyeliminują
problemu”
Czy można wyeliminować problem braku zgodności kwestionariusza?
2015-12-17 KIZE 2015 37
Ocena wartości kwestionariusza
Analizy statystyczne wykorzystywane do oceny zgodności/powtarzalności
Można zastosować również: współczynniki Yule’a, Cramer’a, Kendall’a
Rodzaj testu Zmienna ilościowa Zmienna
jakościowa
Uwagi
McNemar’a X
Współczynnik rang
Spearmana X
Konieczność
zwrócenia uwagi na
wykres
Test Bland-Altmana X Zastosować
poprawkę Lin’a
Kappa Cohen’a X
2015-12-17 KIZE 2015 38
Ocena wartości kwestionariusza
› Ocena powtarzalności dla kluczowych pytań
kwestionariusza PZO – Przewlekłe Zapalenie Oskrzeli
Wyniki 2 rundy Razem
+ -
Wyniki 1 rundy + A B A+B
- C D C+D
Razem A+C B+D N=A+B+C+D
Statystyka KAPPA COHEN’A!
Kappa = 2 x (A x D – B x C) / [(A+C) x (C+D) + (A+B) x (B+D)]
2015-12-17 KIZE 2015 39
› Wynik Powtarzalność
• 0 – 0,40 Słaba
• 0,41 – 0,60 Średnia
• 0,60 – 0,80 Dobra
• > 0,80 Bardzo dobra
Statystyka KAPPA COHEN’A!
Źródło: Landis JR, Koch GG (1977) The measurement of observer agreement for categorical data. Biometrics 33: 159–174. doi: 10.2307/2529310
2015-12-17 KIZE 2015 40
Wewnętrzna spójność (Rzetelność)
= wewnętrzna poprawność
Ocena wartości kwestionariusza
› Ocena wewnętrznej spójności na podstawie
kwestionariusza PHQ (PATIENTS HEALTH QUALITY)
Liczności obserwowane
Test diagnostyczny
Wynik badania potwierdzony przez lekarza
Choroba PZO (+)
Brak choroby PZO (-)
Suma
Reality (gold-standard)
Wynik badania
kwestionariuszowego
Wynik pozytywny PZO (+)
TP FP TP+FP
Wynik negatywny PZO (-)
FN TN FN+TN
Suma TP+FN FP+TN N=TP+FP+
FN+TN
TP – wyniki prawdziwie dodatnie FP – wyniki fałszywie dodatnie FN – wyniki fałszywie
ujemne TN – wyniki prawdziwie ujemne
2015-12-17 KIZE 2015 43
Liczności obserwowane
Test diagnostyczny
Wynik badania potwierdzony przez lekarza
Choroba PZO (+)
Brak choroby PZO (-)
Suma
Reality (gold-standard)
Wynik badania
kwestionariuszowego
Wynik pozytywny PZO (+) 50 15 TP+FP
Wynik negatywny PZO (-) 5 250 FN+TN
Suma TP+FN FP+TN N=TP+FP+
FN+TN
2015-12-17 KIZE 2015 44
Ocena wartości kwestionariusza
Czułość TP/(TP+FN)
Swoistość TN/(FP+TN)
Wartość predykcji dodatnia TP/(TP+FP)
Wartość predykcji ujemna TN/(FN+TN)
Chorobowość (TP+FN)/n
2015-12-17 KIZE 2015 45
Wyniki podsumowanie
• Czułość - to odsetek chorych, u których poprawnie zdiagnozowano chorobę,
czyli uzyskali pozytywny wynik badania
• Swoistość - to odsetek zdrowych, którzy zostali poprawnie zdiagnozowani
czyli uzyskali negatywny wynik badania
• Wartość predykcji dodatnia (PPV) to informacja o prawdopodobieństwie
„pewności” właściwego wyniku w przypadku uzyskania pozytywnego
wyniku (dla chorych)
• Wartość predykcji ujemna (NPV) informacja o prawdopodobieństwie
„pewności” właściwego wyniku w przypadku uzyskania negatywnego
wyniku badania (dla zdrowych)
2015-12-17 KIZE 2015 46
Ocena wartości kwestionariusza
Procedura walidacji kwestionariusza
Nowo opracowany kwestionariusz musi być zweryfikowany, zanim zostanie użyty
w badaniach epidemiologicznych
1. Sprawdzony w badaniu pilotażowym, na tej samej/podobnej populacji,
która będzie przedmiotem badania zasadniczego
Jędrychowski W.: Metoda zbierania wywiadów lekarskich i budowa kwestionariuszy zdrowotnych. PZWL, Warszawa, 1982
2015-12-17 KIZE 2015 47
2. Poprawiony i przetestowany ponownie
3. Zwalidowany
Ocena wartości kwestionariusza
Procedura walidacji kwestionariusza
Jędrychowski W.: Metoda zbierania wywiadów lekarskich i budowa kwestionariuszy zdrowotnych. PZWL, Warszawa, 1982
2015-12-17 KIZE 2015 49
Najczęściej występujące problemy
› Konstrukcja kwestionariusza
› Dostosowanie do percepcji
› Akceptowalność
› Dystrybucja
› Brak standaryzacji
2015-12-17 KIZE 2015 50
Ocena wartości kwestionariusza
- Weryfikacja z zastosowaniem biomarkerów
- Weryfikacja z zastosowaniem badań diagnostycznych
INNE METODY
2015-12-17 KIZE 2015 51
Praktyczne wskazówki przeprowadzenia badania z wykorzystaniem kwestionariusza wg/ J.E. Zejdy
1. Kwestionariusz autorski tak – pod warunkiem przeprowadzenia walidacji
(kwestionariusz o charakterze diagnostycznym podlega obowiązkowej walidacji).
2. Kwestionariusz standardowy, przetłumaczony z języka obcego wymaga walidacji.
3. Pomiar akceptowalności nie posiada standardowej procedury.
2015-12-17 KIZE 2015 52
Podsumowanie - wskazówki
1. Im lepszy kwestionariusz tym łatwiejsza budowa bazy danych
2. Istnieje możliwość zakupu licencji standardowego
kwestionariusza
BADANIE KWESTIONARIUSZOWE
Kamil Barański
Piśmiennictwo:
1. R. Beaglehole.: Podstawy epidemiologii, 2002
2. L. Jabłoński.: Epidemiologia, Podręcznik dla
lekarzy i studentów, 1999
3. W. Jędrychowski.: Epidemiologia w medycynie
klinicznej i zdrowiu publicznym, 2010
4. J.E. Zejda: Epinarium- nieformalny biuletyn
Polskiego Towarzystwa Epidemiologicznego,
Grudzień 2010 (6)
5. Spencer H. K. i wsp.: Development and validation
of a patient questionnaire to determine New York
Heart Association Classification.
2015-12-17 KIZE 2015 54
Wywiad lekarski – zadanie dla studenta
Klasyfikacja NYHA (New York Heart Association)
Klasa NYHA Objawy kliniczne
I
Chorzy z niewydolnością serca, która nie powoduje jednak u nich ograniczenia
aktywności fizycznej. Zwykłe codzienne czynności nie powodują nadmiernego
zmęczenia, kołatania serca, duszności ani bólu dławicowego.
II Chorzy z niewielkim upośledzeniem aktywności. Codzienne czynności powodują
pojawienie się powyższych objawów. Dolegliwości nie występują w spoczynku.
III
Chorzy ze znacznie ograniczoną aktywnością, wskutek pojawiania się dolegliwości przy
małych wysiłkach, takich jak mycie lub ubieranie się. Dolegliwości w spoczynku nie
występują.
IV Chorzy, u których najmniejszy wysiłek powoduje pojawienie się zmęczenia, duszności,
kołatania serca lub bólu dławicowego, a dolegliwości pojawiają się także w spoczynku.
2015-12-17 KIZE 2015 55
Wywiad lekarski – zadanie dla studenta
Klasyfikacja nasilenia duszności Medical Research Council
Stopień Objawy
0 Duszność występująca przy dużych wysiłkach.
1 Duszność występuje przy wchodzeniu na niewielkie wzniesienie lub przy szybkim
marszu.
2 Pacjent musi się zatrzymywać do nabrania tchu,
z powodu duszności chodzi wyraźnie wolniej od rówieśników.
3 Chory nie może przejść 100 m po płaskim terenie bez zatrzymania się celem
nabrania oddechu.
4 Duszność spoczynkowa, uniemożliwiająca choremu opuszczenie domu lub
samodzielne ubranie się.