การพัฒนาเคร ื่องม ือและ...
TRANSCRIPT
การพฒนาเครองมอและการทดสอบเครองมอการวจย
ผชวยศาสตราจารย ดร. จราพร เขยวอย คณะสาธารณสขศาสตร มหาวทยาลยขอนแกน
ขอพจารณากอนสรางเครองมอขอพจารณากอนสรางเครองมอ
ขอมลอะไร? ทตองการทราบอยางแทจรง
ใ ? ใ ใ ?จะเกบขอมลจากใคร? และจะใชวธใด?
ระดบการศกษาของผใหขอมลสวนใหญเปนอยางไร? ญ
ขนาดตวอยางเทาใด?
จะจดการกบขอมล (data processing) นนอยางไร?
2
วธการเกบรวบรวมขอมลและเครองมอทใชวธการเกบรวบรวมขอมลและเครองมอทใช
ใ
ขอมลทมอยแลว แบบรวบรวมขอมล Checklist
วธการเกบขอมล เครองมอทใช
ขอมลทมอยแลว
สงเกต
แบบรวบรวมขอมล, Checklist
แบบบนทกการสงเกต, ประสาทสมผส
การสมภาษณ แบบสมภาษณ, Checklist, Tape recorder
การสอบถาม การสอบถาม
3
ขอด-ขอดอยของวธการเกบขอมลจากขอมลทมอยแลวขอด-ขอดอยของวธการเกบขอมลจากขอมลทมอยแลว
ขอดอย ขอด
เขาถงขอมลยาก อาจขดจรยธรรม
ขอมลอาจไมสมบรณไมแพง ขอมลอาจไมสมบรณ
ไมตรงกบความตองการ
4
ขอด-ขอดอยของวธการเกบขอมลดวยการสงเกตขอด-ขอดอยของวธการเกบขอมลดวยการสงเกต
ร ธรร ร ส ธส
ขอดอยขอด
อาจขดจรยธรรม หรอละเมดสทธสวนบคคล
ขอมลทไดอาจบดเบอนเนองจากการปรากฏตวไดรายละเอยด
ของผเกบขอมลมาก ลก
ตองการ การฝกอบรมสง และตลอดเวลา
5
ขอด-ขอดอยของวธการเกบขอมลโดย (F f )การสมภาษณแบบตวตอตว (Face to face)
ขอดอยขอด
เหมาะสาหรบผ การปรากฏตวของผสมภาษณ อาจมผลตอ
ขอมลทไดรบ
เหมาะสาหรบผทอาน-เขยนไมได
ขอมลทไดมความสมบรณลกซงนอยกวา การ
ไมไดResponse rate
สงกวาการใชไดขอมลจากการสงเกต
สงกวาการใชแบบสอบถาม
6
ขอด-ขอดอยของวธการเกบขอมลโดย การสมภาษณแบบเจาะลก (In-depth interview)
ขอดอยขอด
ใชเวลานาน
วเคราะหขอมลยาก เพราะใช คาถาม
ไดรายละเอยด
มากขน วเคราะหขอมลยาก เพราะใช คาถาม
ปลายเปด
มากขน
(เปน semi-structure questionnaire)( q )
7
ขอด-ขอดอยของวธการเกบขอมลโดย การทอดแบบสอบถาม (Administering written)
ขอดอยขอด
ใชไดกบกลมผทอานออกเขยนได
R t
ไมแพง
อาจไดคาตอบทเปนจรง Response rate ตาอาจไดคาตอบทเปนจรง
ซอสตย มวธเพม response rate
ไมตองใชพนกงานสมภาษณมวธเพม response rate
8
การออกแบบสอบถาม
9
ประเดนทตองคานงถงในการออกแบบสอบถามประเดนทตองคานงถงในการออกแบบสอบถาม
เนอหาและความยาวของแบบสอบถาม
ลาดบคาถาม และการจดเรยง
การปฏเสธการใหขอมล การปฏเสธการใหขอมล
อตราการตอบ-การใหขอมลทสมบรณ อตราการตอบ การใหขอมลทสมบรณ
รปแบบและการจดวางคาถาม
10
ขนตอนในการออกแบบสอบถาม 1)ขนตอนในการออกแบบสอบถาม 1)
พจารณาเนอหา
–ทบทวนวรรณกรรม
–ความเหนจากผเชยวชาญ
ความเหนจากกลมเปาหมาย–ความเหนจากกลมเปาหมาย
11
ขนตอนในการออกแบบสอบถาม 2)ขนตอนในการออกแบบสอบถาม 2)
ตงคาถาม & เลอกประเภทคาถามทใชตงคาถาม & เลอกประเภทคาถามทใช
– ไมควรถาม 2 ประเดนในคาถามเดยวกน
– ไมควรใชขอความปฏเสธซอน
– ไมใชขอความทกากวม
– ไมควรถามนา– ไมควรถามนา
– หลกเลยงคาแสลง
– ประเภทของคาถามอาจเปน ปลายเปด หรอปลายปดหรอปลายปด
12
ประเภทคาถาม—ขอด/ขอดอยประเภทคาถาม—ขอด/ขอดอย
O d d tiOpen-ended questionsจงระบสาเหตททาใหทานเกดความเครยด...................................................................................................................................... Completion
(Fill in the blank)
Closed-ended questions(Fill-in the- blank)
ปจจบนทานอายสถานภาพสมรสในปจจบนของทานคอ
โสด ค
......ป
ค หมาย หยา แยกกนอย
13
ขอควรพจารณาเพมเตมในการตงคาถามขอควรพจารณาเพมเตมในการตงคาถาม
เรองทมความออนไหว
ควรถามโดยยกสถานการณ ไมใหผตอบรสกวาเปนควรถามโดยยกสถานการณ ไมใหผตอบรสกวาเปน
ขอมลของตวเขา
เรองทเกยวของกบความจา
มกรอบเวลาทชดเจน ---ควรทบทวนวรรณกรรม
มคาถามอนนากอน
14
ขอควรพจารณาเพมเตมในการตงคาถามขอควรพจารณาเพมเตมในการตงคาถาม
ไ ป ไคาถามทมคาตอบไดมากกวา 1 คาตอบ ควรมรปแบบอยางไร
ทานไดรบขอมล…จากสอใดบาง (ตอบไดมากกวาหนงขอ) ง ( ง ) ไดรบ ไมไดรบ
โทรทศน วทย หนงสอพมพ เพอน
คาถามทใหเรยงลาดบมากสด/บอยทสด-นอยทสด
15
ขนตอนในการออกแบบสอบถาม 3)ขนตอนในการออกแบบสอบถาม 3)
เรยงลาดบคาถาม
กาหนดรปแบบของแบบสอบถาม
รางแบบสอบถาม
16
ขอพจารณากอนสรางเครองมอขนตอนในการออกแบบสอบถาม 4)ขอพจารณากอนสรางเครองมอขนตอนในการออกแบบสอบถาม 4)
ขดเกลาภาษา ปรบปรงแบบสอบถาม
วเคราะหคาถามในแบบสอบถามวเคราะหคาถามในแบบสอบถาม
สรางคมอแบบสอบถาม
สรางคมอลงรหส
ทดสอบแบบสอบถาม
แกไขและจดพมพแกไขและจดพมพ
17
ขอพจารณากอนสรางเครองมอการสรางคมอแบบสอบถามขอพจารณากอนสรางเครองมอการสรางคมอแบบสอบถาม
อธบายรายละเอยดของ
วธการเกบขอมล
ลกษณะตวอยางลกษณะตวอยาง
ความหมายของขอมล / ตวแปร แตละขอ
ตวอยาง-งานวทยานพนธของคณเปรมกมล ขวนขวาย(ไดรบอนญาต)ตวอยาง งานวทยานพนธของคณเปรมกมล ขวนขวาย(ไดรบอนญาต) เรอง“ปจจยทเกยวของกบการหกลมของผสงอายทอาศยอยในชมชน”
18
ขอพจารณากอนสรางเครองมอการสรางคมอรหสขอพจารณากอนสรางเครองมอการสรางคมอรหส
ลาดบขอ/หนา
ชอตวแปร/คาอธบาย
ประเภทขอมล ความกวาง รหส(คาทเปนไปได)/ความหมายรหส
หนาปก ID/ เลขท Number 3 001-600แบบสอบถาม แตละ ID เปนขอมลของตวอยางแตละราย
1/1 Sex/เพศผตอบ Number 1 1=ชาย2=หญง9=missing9=missing
2/1 Age/อายผตอบ Number 2 15-60(ลงอายเปนปเตม)99=missing
:::
10/2 ความพงพอใจตอ....
Number 1 1=ไมพงพอใจเลย2=ไมพงพอใจ3=เฉยๆ4=พงพอใจมาก5=พงพอใจมากทสด8=ไมเขาขาย เชน ไมเคยใชบรการ9=missing
19
ขอพจารณากอนสรางเครองมอการทดสอบแบบสอบถามขอพจารณากอนสรางเครองมอการทดสอบแบบสอบถาม
ทดสอบกบตวอยาง ทมลกษณะคลายคลงกบตวอยางทใชในการศกษาคลายคลงกบตวอยางทใชในการศกษา
ผลจะชขอบกพรองตาง ๆ ทควรแกไข
ความไมชดเจนของคาถาม
การเรยงลาดบการเรยงลาดบ
ความยาวของแบบสอบถาม
20
ขอพจารณากอนสรางเครองมอป ขอพจารณากอนสรางเครองมอประเดนอนทควรคานงถง: การเพมอตราตอบกลบ
ป เปนแบบสอบถามทด
มจดหมายนาทด มจดหมายนาทดมคาอธบายถงความสาคญของขอมลทตองการ
ลงนามโดยผมอานาจลงนามโดยผมอานาจ
กรณสอบถามทางไปรษณย ควรเตรยมซองและแสตมปสาหรบการสงกลบใหพรอม
มจดหมายตาม (ไมใชโทรศพท) มจดหมายตาม (ไมใชโทรศพท)
21
ขอพจารณากอนสรางเครองมอประเดนทควรทราบ: ขอพจารณากอนสรางเครองมออคตในการเกบรวบรวมขอมล
เครองมอไมด
ผเกบขอมลมอคต
ผลของวธการทใชตอผใหขอมลผลของวธการทใชตอผใหขอมล
ขอพจารณาดานจรยธรรม
22
ส สการสรางสเกล
23
ขอพจารณากอนสรางเครองมอ ส ส Adjust from previousขอพจารณากอนสรางเครองมอขนตอนการสรางสเกล
กาหนด(โครงสราง)เนอหาของสเกล
Adjust from previous studyNew construct based
th / t t กาหนด(โครงสราง)เนอหาของสเกล
การนยามตวแปร
on theory/contentInterview expertsFocus groupการรวบรวมรายการคาถาม
การออกแบบสเกล
Focus group
การประเมนความตรงตามเนอหา
การประเมนความชดเจนของภาษา
การลดรายการคาถาม
การประเมนความตรงเชงโครงสรางของสเกล
การประเมน internal consistency
หาขอสรปในการนาไปใชหาขอสรปในการนาไปใช
24
ขอพจารณากอนสรางเครองมอ ส ส ( )ขอพจารณากอนสรางเครองมอขนตอนการสรางสเกล (ตอ)
การออกแบบสเกลการออกแบบสเกล
Process Issued to be consideredProcessระบชดของ itemตรวจสอบเพอยนยน
Issued to be consideredกลมตวอยาง และ ขนาดตวอยางการเลอกใชขอความทางลบตรวจสอบเพอยนยน
ดานเนอหา จานวน itemScaling of items
Scaling method, Scaling responseg g p
25
ขอพจารณากอนสรางเครองมอScaling method Scaling responseขอพจารณากอนสรางเครองมอScaling method, Scaling response
Likert Scale
สเกลประเภทตาง ๆ การกาหนดตวเลอกใหกบคาถามแตละขอLikert Scale
Thurstone Scale Scaling method
Guttman Scale
Semantic Diffe ential
Resources
Scale administrationSemantic Differential
ScaleCharacters of target group
26
ขอพจารณากอนสรางเครองมอ ส ส ( )ขอพจารณากอนสรางเครองมอขนตอนการสรางสเกล (ตอ)การประเมนความตรงตามเนอหา
การประเมนความชดเจนของภาษา
การลดรายการคาถาม
การประเมนความตรงเชงโครงสรางของสเกล
การประเมน internal consistency
Distribution of responseFactor analysis
Item anal sis Inter-item correlationItem-total correlation
Item analysisItem total correlationInter-item consistency (internal consistency)(internal consistency)
27
ขอพจารณากอนสรางเครองมอ ส ส ( )ขอพจารณากอนสรางเครองมอขนตอนการสรางสเกล (ตอ)
Reliability assessmentReliability assessmentCronbach’s Alpha coefficient
Criterion-related validity—ถาทาได
หาขอสรปในการนาไปใช
การแปลความหมาย
วธการนาไปใช
28
การตรวจสอบคณสมบต
ของเครองมอ
29
ประเดนการนาเสนอประเดนการนาเสนอ
• เครองมอประเภทมาตรวด/สเกล• ทาไมจงตองมการตรวจสอบคณภาพของเครองมอ?ทาไมจงตองมการตรวจสอบคณภาพของเครองมอ?
• ถาจะตรวจสอบจะตรวจสอบอะไรบาง? ป ไ• มวธการตรวจสอบและเกณฑการประเมนอยางไร?
• ปญหาทมกพบในการตรวจสอบคณภาพเครองมอญ ง
การตรวจสอบคณสมบตของเครองมอ(เพมเตม)• การตรวจสอบคณสมบตของเครองมอ(เพมเตม)
30
เครองมอประเภทสเกล(มาตรวด)เครองมอประเภทสเกล(มาตรวด)
ระดบความเหนรายการขอคาถาม 1 2 3 4 5รายการขอคาถาม 1 2 3 4 5
คาถามขอ 1........................คาถามขอ 2........................ .......................
.......................คาถามขอ 10......................
31
ทาไม? จงตองมการตรวจสอบเครองมอ
งานวจย--ตองการขอมลทมคณภาพคณภาพของเครองมอ
คณภาพขอมลคณภาพของคนเกบขอมลคณภาพของวธดาเนนการเกบขอมล
คณภาพขอมลขนอยกบ
คณภาพของวธดาเนนการเกบขอมลคณภาพของการจดการขอมลอะไรบาง?
32
ถาจะตรวจสอบเครองมอ จะตรวจสอบอะไรบาง?
แบบวดทศนคต (ตวเลอก 1 2 3 4 5) ในการทดสอบเครองมอ ควรหาเฉพาะ Cronbach-Alpha เทานนใชหรอไม?เครองมอ ควรหาเฉพาะ Cronbach-Alpha เทานนใชหรอไม?
การทดสอบเครองมอทเขานยมกนนน ไมวาจะเปน
ความร วดออกมาเปนตอบถกได 1, ตอบผดได 0
ป ti 1 2 3 4 5การวดทศนคต วดออกมาเปน rating 1 2 3 4 5
จากเหนดวยนอยทสด->มากทสด
ควรจะทดสอบอะไรบาง
33
ถาจะตรวจสอบเครองมอถาจะตรวจสอบเครองมอ จะตรวจสอบอะไรบาง
Validity Reliabilityy y
Content validity Rater reliability
Construct validityCriterion validity
Stability/Test‐retest
Alternate form reliabilityCriterion validity Alternate form reliabilityInternal consistency
34
การตรวจสอบ Validityการตรวจสอบ Validity
Content ValidityExpert opinionExpert opinionCVI-Content validity index
Rates the content relevance on a four-point scale;
1-totally irrelevant content; 4-totally relevant contentLynn 1986Nursing research1 totally irrelevant content; 4 totally relevant content
CVI-the proportion of judges who rate the item 3 or 4
Number of raters and CVI:
Nursing research 35, 382‐5
Number of raters and CVI:
5 rater ----CVI =>1
6-10 raters ----CVI=> 0.83-0.90 (no more than 1 rater – score an item less than 3)( )
35
การตรวจสอบ Reliabilityการตรวจสอบ ReliabilityInternal consistencyInternal consistency
Cronbach’s Alpha Coefficient 0 80 0 90Cronbach s Alpha Coefficient
คาสมประสทธแอลฟา ระดบการยอมรบ
0.80-0.90
คาสมปร สทธแอลฟา ร ดบการยอมรบ> 0.90 ดมาก แต....0.85-0.90 ดมาก0 85 0 90 ม0.80-0.84 ด0.75-0.79 คอนขางด0.70-0.74 พอใช<0.70 จาเปนตองแกไข
36
Output of Reliability Analysis with SPSS : Cronbach’s Alpha CoefficientCronbach s Alpha Coefficient
R E L I A B I L I T Y A N A L Y S I S - S C A L E (A L P H A)
N of Cases = 30 0N of Cases 30.0Statistics for Mean Variance Std Dev N of Variables Scale 36.2000 33.5448 5.7918 10
Item-total StatisticsItem total Statistics Scale Scale Corrected Mean Variance Item- Squared Alpha if Item if Item Total Multiple if Item Deleted Deleted Correlation Correlation Deleted
X1 33.7000 34.2172 -.1432 .3656 .7999X2 32.3667 27.5506 .6936 .7746 .7024X3 32 6667 25 1264 5638 5400 7038X3 32.6667 25.1264 .5638 .5400 .7038X4 32.4667 26.8782 .5897 .6273 .7059X5 32.9333 27.0989 .3585 .2714 .7408X6 32.2667 30.1333 .3864 .6253 .7357X7 32.2000 25.4069 .7241 .8013 .6849X8 32.1667 28.2126 .4082 .6992 .7300X9 32.6000 25.8345 .4140 .5514 .7330X10 32 4333 28 8057 3640 5070 7359
516 733 37
X10 32.4333 28.8057 .3640 .5070 .7359
Reliability Coefficients 10 itemsAlpha = .7499 Standardized item alpha = .7700 37
Output of Reliability Analysis with Stata: Cronbach’s Alpha CoefficientCronbach s Alpha Coefficient
. alpha x1- x10Test scale = mean(unstandardized items)Reversed item: x1Average interitem covariance: .2890932Number of items in the scale: 10Scale reliability coefficient: 0.7829
. alpha x1- x10, itemTest scale = mean(unstandardized items)
averageitem-test item-rest inter-item
It | Ob Si l ti l ti i l hItem | Obs Sign correlation correlation covariance alpha-------------+-----------------------------------------------------------------x1 | 30 - 0.3038 0.1432 .3378991 0.7999x2 | 30 + 0.7600 0.7001 .2810664 0.7444x3 | 30 + 0.6295 0.4825 .2729246 0.7608x3 | 30 0.6295 0.4825 .2729246 0.7608x4 | 30 + 0.7547 0.6744 .2658365 0.7386x5 | 30 + 0.4832 0.2965 .3024266 0.7895x6 | 30 + 0.5449 0.4573 .3110473 0.7676x7 | 30 + 0.7970 0.7247 .2560026 0.73098 | 30 0 6291 0 5131 2829821 0 7569x8 | 30 + 0.6291 0.5131 .2829821 0.7569
x9 | 30 + 0.5076 0.3096 .2960409 0.7909x10 | 30 + 0.6274 0.5147 .2847063 0.7571-------------+-----------------------------------------------------------------Test scale | .2890932 0.7829Test scale | .2890932 0.7829-------------------------------------------------------------------------------
38
ตรวจสอบการกระจายของคาตอบตรวจสอบการกระจายของคาตอบ
Frequency of each category• Delete Item ---- >0 95 or <0 05Delete Item >0.95 or <0.05• In practice ---- 0.2-0.8
A Simple item discrimination index
Ui = no. of people above the median
di = ‐‐‐‐‐‐‐‐‐Ui ‐‐ Lini
U o o peop e abo e t e ed awho score positive on item i,
Li = no. of people below the median who score positive on item i,ni p ,
ni = no. of people below (or below) the median
39
ปญหาทมกพบในการญตรวจสอบคณภาพเครองมอ
ไมทราบวา
จะตรวจสอบอะไรบางจะตรวจสอบอยางไรจะตรวจสอบอยางไรจะใชโปรแกรม/คาสงอะไรจะใชโปรแกรม/คาสงอะไรจะแปลผลอยางไรและจะแกไขอยางไร
40
ตวอยางปญหาตวอยางปญหา1 แบบทดสอบทเราวดความร ทเปนตวเลอก 1 2 3 4 ในการทดสอบ1. แบบทดสอบทเราวดความร ทเปนตวเลอก 1 2 3 4 ในการทดสอบเครองมอนน ควรทดสอบความเชอมนโดยใช Cronbach-Alpha ได (ตวทดสอบวดมากกวา 2 ระดบ นาจะใชได) หาคาความยากงาย หาคา อานาจการจาแนก
2. แบบทดสอบทเราวดความร (ใช /ไมใช ถก/ไมถก) ในการทดสอบ เครองมอสามารถทาไดเหมอนกบทมตวเลอกเปน 1 2 3 4 ไดหรอไมครบ
3. แบบวดทศนคต (ตวเลอก 1 2 3 4 5) 3 แ ว น ( วเล 3 5) ในการทดสอบเครองมอ ควรหาเฉพาะ Cronbach-Alpha เทานนหรอไม
4 การทดสอบเครองมอทเขานยมกนนน ไมวาจะเปน4. การทดสอบเครองมอทเขานยมกนนน ไมวาจะเปน ความร วดออกมา 1 2 3 4 หรอ ใช /ไมใช การวดทศนคต นกวจยควรจะทดสอบเครองมออะไรบางครบทเขานยมกน
41
เครองมอประเภทแบบทดสอบเครองมอประเภทแบบทดสอบContent validityContent validity
IOCIndex of consistency
p ‐‐‐‐ 0.2‐0.8Index of consistencyIndex of Item-Objective congruence
Difficulty indexp27%บน – p27%ลาง
n ของกลมทมากทสด0.2 - 0.8
Discrimination indexInternal consistency KR20 หรอ KR21Internal consistency KR20 หรอ KR21
42
ประเดนเพอ discussประเดนเพอ discuss
แบบสอบถามทเราสรางขน ถาไมมสวนทเปน สเกล
จาเปนตองทดสอบคณสมบตของเครองมอหรอไม
ถาตอบวา ไม ขอทราบเหตผล
ถาตอบวาจาเปน ถามวาตองทดสอบคณสมบตใดบาง
43
การตรวจสอบคณสมบตการตรวจสอบคณสมบตของเครองมอ
(เพมเตม)
44
Validity TestValidity TestT M th d f A tTypes Methods of Assessment
CContent validityConstruct validity
Expert, CVIFactor analysis, y
Criterion-based validity
Test of Hypothesisvalidity
Concurrent validityPredictive validity
Correlation, Agreement R iPredictive validity Regression
45
Validity of Diagnostic TestValidity of Diagnostic TestProperties of Diagnostic TestProperties of Diagnostic Test
–Sensitivity–Specificity–Predictive validity–Predictive validity–Accuracy–Likelihood Ratio
Criterion-Based Validity ------ Kappa
46
Reliability TestReliability Test
T R li bili ffi iRater reliability
I t tICC, Kappa
Types Reliability coefficient
– Inter-rater – Intra-rate
Internal consistencyCronbach’s Alpha CoefficientItem-to-total correlationInternal consistency
Stability or
Item to total correlation
ICC, CCC, Bland-Altman PlotyTest-retest reliability
Alternate forms
, , Kappa
l ffAlternate forms reliability or Parallel form reliability
Correlation coefficients
CCC, Kappa
47
ResponsivenessResponsiveness
The ability of a measure to reflect underlying change4 statistics used to index responsivenessp– Effect size
T-test comparisons– T-test comparisons– The standardized response mean– The responsiveness statistics
St t MJ H RDStaquet MJ, Hays RD, Fayers PM. 1998. P.178‐9
48
Formula of each statisticsFormula of each statistics
Effect size = D/SDEffect size = D/SD
Paired t-test = D/SE
Standardized response mean = D/SD*
Responsiveness statistic = D/SD#
D = raw score change on measure
SE t d d f th diffSE = standard error of the difference
SD = standard deviation at time 1
SD* = standard deviation of D
SD# = standard deviation of D among stable subject
49
ขอบคณคะ