การตรวจสอบคุณภาพของเครื่องมือวัดผลการเรียนรู้...
DESCRIPTION
เอกสารประกอบการอบรมเชิงปฏิบัติการ หลักการและแนวทางการจัดทำข้อสอบมาตรฐาน :การประเมินการปฏิบัติ วันที่ 6-7 สิงหาคม พ.ศ. 2555 คณะวิทยาศาสตร์และเทคโนโลยีการเกษตร มหาวิทยาลัยเทคโนโลยีราชมงคลล้านนา พิษณุโลก ดร.กฤธยากาญจน์ โตพิทักษ์TRANSCRIPT
การวเคราะหคณภาพขอสอบ
ดร.กฤธยากาญจน โตพทกษ
ตรวจสอบความตรงรายขอ
ตรวจสอบความยากงายและอ านาจจ าแนก
ทดลองใช
ผเชยวชาญ
ตรวจสอบความตรงทงฉบบ
ตรวจสอบความเทยง
ทดลองใช
IOC
r=pU-pL
p=R/N
KR.20 KR.21 ALPHA
การวเคราะหคณภาพขอสอบ
กระบวนการวเคราะหคณภาพของขอสอบ
ระยะท 1 กอนใชเครองมอวดผล
ระยะท 2 หลงใชเครองมอวดผล
วธเชงปรมาณ 1. คาความยาก 2.คาอ านาจจ าแนก 3.คาความเทยงหรอเชอมน
วธเชงเหตผล 1. ความตรง 2. ความเปนปรนย 3. ความถกตองตามเทคนค
วธเชงเหตผล
ระยะท 1 การตรวจสอบกอนการน าเครองมอไปใชวด
ความตรง คอคณลกษณะทเครองมอสามารถวดพฤตกรรมไดตรงตามเนอหาสาระ และจดประสงคของการวด
ความเปนปรนย คอความชดเจนรดกมของค าถาม สอความหมายไดตรงกน มค าตอบทแนนอนและมเกณฑการพจารณาคะแนนเปนมาตรฐานเดยวกน
ความถกตองตามเทคนค คอโครงสรางโดยรวมของเครองมอ มลกษณะถกตองตามรปแบบทดของเครองมอชนดนน
• การ การความตรงของขอสอบ ความเทยงตรงเชงเนอหา โดยใหผเชยวชาญวเคราะหความสอดคลองระหวางขอค าถามกบวตถประสงค (IOC = Index of Item-Objective Congruence) ผเชยวชาญแตละคนพจารณาความสอดคลองหรอไมสอดคลองของขอค าถามรายขอ (สอดคลอง ไมแนใจ ไมสอดคลอง)แลวน าผลรวมรายขอมาหาคาเฉลยทเรยกวา ดชน IOC
IOC = ΣR เมอ IOC คอ ดชนความสอดคลองของขอค าถามกบตวชวด
ΣR คอ ผลรวมของความเหนผเชยวชาญ
N คอ จ านวนผเชยวชาญ
โดยการใหคะแนนของความเหนผเชยวชาญมความหมายดงน
+1 หมายถง แนใจวาขอค าถามสอดคลองกบตวชวด
0 หมายถง ไมแนใจวาขอค าถามสอดคลองกบตวชวด
-1 หมายถง แนใจวาขอค าถามไมสอดคลองกบตวชวด
เกณฑการพจารณาคอ คา IOC ตงแต .50 ขนไป ถอวาขอค าถามสอดคลองกบตวชวดคา IOC ต ากวา .50 ควรปรบปรง หรอตดทง
ตวชวด มฐ ค4.2 ม.2/2
ขอค าถาม ผลการพจารณา ขอเสนอแนะ
(+1) (0) (-1)
แกสมการเชงเสนตวแปรเดยวอยางงาย
(0) จากสมการ 2x + 3 = 5 แลว 5x มคาเทาไร ก. 1 ข. 4 ค. 5 (ขอถก) ง. 20
ตวอยางการตรวจสอบความตรงของขอสอบ
ขอ ผเชยวชาญคนท รวม IOC ผลการประเมน 1 2 3 4 5
1 1 0 1 1 1 4 .80
2 -1 1 1 -1 1 1 .20
3 1 1 1 1 1 5 1.00
4 0 0 0 0 0 0 0
5 -1 -1 -1 -1 -1 -5 -1
…
ตวอยางการตรวจสอบความตรงของผเชยวชาญ 5 คน
วธเชงปรมาณ
การวเคราะห
ขอสอบรายขอ
การวเคราะห
ขอสอบทงฉบบ
ระยะท 2 การตรวจสอบหลงจากการน าเครองมอไปใชวด
คาดชนความยาก คอ คาทแสดงถงความยาก-งาย ของค าถามแตละขอ วามมากนอยอยในระดบใด ยอมรบไดตามเกณฑหรอไม ใชพจารณากบขอค าถามในแบบทดสอบเทานน
คาดชนอ านาจจ าแนกคอ เปนคาแสดงคณลกษณะทขอค าถามแตละขอ สามารถจ าแนกผเรยนออกตามพฤตกรรมทแตกตางกนได นยมใชพจารณากบขอค าถามในแบบทดสอบ
ความเชอมนหรอความเทยง คอ คณลกษณะของเครองมอทท าใหไดผลของการวดอยางคงทแนนอนหรอคงเสนคงวา
วธเชงปรมาณ
วธเชงปรมาณ
การวเคราะห
ขอสอบรายขอ
การวเคราะห
ขอสอบทงฉบบ
วธวเคราะหหาคาดชนความยาก
ดชนความยาก เปนคาทบอกใหรวาขอสอบขอนนงายหรอยากขนาดไหน โดยใชสดสวนของคนทตอบขอสอบขอนนถก
การวเคราะหคา p ของขอสอบ
20.10
2
70.10
7
90.10
9
p
p
p
pาสอบจ านวนคนเขถกจ านวนคนตอบ
ขอสรปเกยวกบคาความยาก
1. คาดชนความยากมคาต าสดเปน 0 มคาสงสดเปน 1 2. ดชนความยากคอสดสวนผตอบถก 3. ดชนความยากใกล 0 แสดงวายงยาก ใกล 1 แสดงยงงาย 4. ดชนความยากทได 0.50 หมายถงขอสอบขอนน มความยากงายปานกลางหรอถอวาเปนความยาก
งายพอเหมาะ
การแปลความหมาย
คา p ต ากวา 0.20 แสดงวา ขอทดสอบยากมาก(ยากเกนไป) คา p = 0.20-0.39 แสดงวา ขอทดสอบคอนขางยาก คา p = 0.40-0.59 แสดงวา ขอสอบยากปานกลาง คา p = 0.60-0.80 แสดงวา ขอสอบคอนขางงาย คา p มากกวา 0.80 แสดงวา ขอสอบงายมาก(งายเกนไป)
การวเคราะหหาคาดชนอ านาจจ าแนก
ดชนอ านาจจ าแนกเปนคาบอกใหรวาขอสอบขอนนสามารถจ าแนกผเรยนทเปนผร กบผไมรไดแมนย าเพยงใด
วธนใชกบขอทดสอบปรนยทใหคะแนนแบบตอบถกได 1 ตอบผดได 0 สตรการค านวณเปนการหาคาผลตางระหวางสดสวนคนตอบถกจากกลมสงกบกลมต า กลมสงคอกลมทไดคะแนนรวมสง สวนกลมต าคอกลมทไดคะแนนรวมต า วธนใชกบกรณทมผสอบจ านวนนอยกวา 100 คน การแบงกลมท าได 2 แบบ คอแบบแบง 50 % หรอแบบแบง 33 % ของจ านวนนกเรยนทงหมด
ตรวจใหคะแนนและรวมคะแนนทกระดาษค าตอบ ขนท 1
เรยงล าดบกระดาษค าตอบตามคะแนนรวมจากมากไปนอย แบงกลมสง-กลมต า อาจใชเทคนค 50% หรอ 30%
ขนท 2
ขนท 3 Tallyคะแนนรายขอรายคน กรณจะวเคราะหตวลวงดวยตองTally รายคนและรายขอ ก ข ค ง ด
ขนท 4 ค านวณหาดชนอ านาจจ าแนก
n
LH
n
L
n
Hr
เมอ
r แทน คาดชนอ านาจจ าแนก N แทน จ านวนคนสอบทงหมด n แทน จ านวนคนสอบเพยง50% หรอ 30% H แทน จ านวนคนตอบขอนนจากกลมสง L แทน จ านวนคนตอบขอนนจากกลมต า
สตร
20.020
48
r
โจทย จงค านวณอ านาจจ าแนก กรณมผเขาสอบ 40 คน โดยใชเทคนค 50% แบงกลมสง-ต า
ขอ 1 กลมสงตอบถก 8 คน กลมต าตอบถก 4 คน
ขอ 2 กลมสงตอบถก 7 คน กลมต าตอบถก 12 คน
25.020
127r
ขอสรปเกยวกบอ านาจจ าแนก
1. คาดชนอ านาจจ าแนกของขอสอบจะคาตงแต -1.00 ถง +1.00
2. ดชนอ านาจจ าแนกเปนคาทบอกใหทราบวา ขอสอบสามารถ จ าแนกคนรและคนไมรออกจากกนไดดเพยงไร
3. ขอสอบทมอ านาจจ าแนกเปนลบถอวาใชไมได
4. ขอสอบทมดชนอ านาจจ าแนกเปน 0 เกดจากการทผสอบในกลมสงและกลมต า ตอบขอสอบขอนนถกหรอผดเทากนพอด กถอวาใชไมได
การแปลความหมาย
คา r ตดลบ แสดงวา ขอสอบมอ านาจจ าแนกผดใชไมได คา r = 0.00-0.19 แสดงวา ขอสอบมอ านาจจ าแนกต า คา r = 0.20-0.39 แสดงวา ขอสอบมอ านาจจ าแนกปานกลาง คา r = 0.40-0.59 แสดงวา ขอสอบมอ านาจจ าแนกคอนขางสง คา r ตงแต 0.60 ขนไป แสดงวา ขอสอบมอ านาจจ าแนกสง
ขอค าถาม กลมสง (H)
กลมค า (L)
p r ความ หมาย
สรป
1.ใบไมท าหนาทคลายใคร ก. คนใช (ข.) คนครว ค. คนเกบเงน ง. คนเปดประต
3 16 0 1
5 10 4 1
.20 .65 .10 .05
.10 .30 .20 .00
ใชได ใชได ใชได ใชไมได
เปนขอค าถามทใชไดจดวาคอนขางงาย มอ านาจจ าแนกปานกลาง
2.ขอใดมความหมายเปนลบ ก. พสาวฉนเพงแตงงาน ข. แมฉนคลอดนองคนใหม (ค) พอฉนไปท างานเมองนอก ง ยายฉนมาจากตางจงหวด
10 0 10 0
5 1 12 2
.38 .03 .55 .05
-.25 .05 -.10 .10
ใชไมได ใชได ใชไมได ใชได
เปนขอค าถามทใชไมไดเพราะค าตอบมอ านาจจ าแนกผด (ตดลบ) ควรเปลยน ขอ ก.
วธเชงปรมาณ
การวเคราะห
ขอสอบรายขอ
การวเคราะห
ขอสอบทงฉบบ
การวเคราะหความเทยงของแบบทดสอบ
ความเทยง เปนคณสมบตทแบบทดสอบใหผลการวดคงทแนนอน ถาน าแบบทดสอบไปวดกบกลมเดมจะไดผลการวดเหมอนเดม มคาอยระหวาง -1 ถง 1 เกณฑทใชไดคอ คาสมประสทธความเทยงตงแต 0.70 ขนไป
วธการหาความเทยงทใชในทางปฏบต คอ การหาความสอดคลองภายใน (Internal Consistency) โดยน าแบบทดสอบฉบบเดยวไปทดสอบกบผเรยนเพยงครงเดยว แลวน าผลการสอบมาค านวณ
ขอตกลงเบองตน : จ านวนขอทดสอบไมนอยกวา 20 ขอ ขอสอบทกขอมความเปนเอกพนธ คอวดคณสมบตใกลเคยงกนและมคาความยากใกลเคยงกน โดยสตร KR-20 และสตร KR-21 มรปดงน
เมอ rtt แทน สมประสทธความเทยง k แทน จ านวนขอสอบทงฉบบ p แทน สดสวนจ านวนคนตอบแตละขอถก q แทน สดสวนจ านวนคนตอบแตละขอผด (1-p) Sx
2 แทน ความแปรปรวนของคะแนนรวมทงฉบบ
2
11 x
ttS
pq
k
kr
วธของคเดอร-รชารดสน(Kuder - Richardson)
KR21
x
2
)(1
1 x
ttkS
xkX
k
kr
เมอ แทน คาเฉลยคะแนนรวมทงฉบบ
สตร KR21 จะค านวณไดรวดเรวกวา แตจะใหคาสมประสทธความเทยงต ากวา KR20มขอตกลงเบองตนวาขอสอบแตละขอตองมความยากเทากนหรอใกลเคยงกน
คนท ขอสอบขอท X
1 2 3 4 5 6 7 8
1
2
3
4
5
1
1
1
1
1
1
0
1
0
1
1
1
1
1
0
0
0
1
0
0
1
1
1
0
1
1
1
1
1
0
0
0
1
0
1
1
0
1
0
1
6
4
8
3
5
36
16
64
9
25
รวม 5 3 4 1 4 4 2 3 26 150
p
q
pq
1.0
0.0
0.00
0.6
0.4
0.24
0.8
0.2
0.16
0.2
0.8
0.16
0.8
0.2
0.16
0.8
.2
0.16
0.4
0.6
0.24
0.6
0.4
0.24
2x
62.0)54.0(7
8
46.017
8
96.2
36.11
18
8
tt
tt
r
r
36.124.024.016.016.016.024.000.0
96.25
)26()150(5,20.5
5
262
22
pq
Sx x
45.0)39.0(7
8
68.23
56.141
7
8
96.2)8(
)20.58(20.51
18
8
tt
tt
r
r
คาสมประสทธความเทยงจากสตร KR20 ได 0.62 และจากสตร KR21 ได 0.45
แทนคาในสตร KR20
แทนคาในสตร KR21
สมประสทธแอลฟาของครอนบค สามารถใชประมาณคาสมประสทธความเทยงของแบบทดสอบหรอแบบวดใด ๆ ทไมไดก าหนดคะแนน 0 , 1 สตรทใชค านวณของคะแนนรายขอและคะแนนรวมทงฉบบเปนหลก
เมอ α แทน สมประสทธความเทยง k แทน จ านวนขอสอบทงฉบบ Si
2 แทน แทนความแปรปรวนของคะแนนรายขอ Sx
2 แทน ความแปรปรวนของคะแนนรวมทงฉบบ
วธของครอนบค (Lee J. Cornbach)
2
2
11 x
i
S
S
k
k
คนท 1 2 3 4 5 x x2
1
2
3
4
5
6
7
8
4
3
2
2
4
4
4
2
3
4
2
3
4
4
4
3
1
2
3
2
3
3
3
1
1
2
3
3
4
3
4
2
2
3
2
3
2
2
3
1
11
14
12
13
17
16
18
9
121
156
144
169
289
256
324
81
25
85
0.98
27
95
0.55
18
46
0.97
22
68
1.07
18
44
0.50 2
ix
ix
2
iS
1540,110 2xx
1540,110 2xx
02.0)02.0(4
5)98.01(
4
5
93.3
89.31
45
51
1
93.3)18(8
)110()1540(8
89.350.007.179.055.098.0
50.0,07.1,79.0,55.0,,,
98.060
55
56
625680
)18(8
)25()85(8
)1(
)(
2
2
22
2
2
5
2
4
2
3
2
2
22
1
22
2
x
i
x
i
ii
i
S
S
k
k
S
S
SSSS
S
NN
xxNS
แบบทดสอบฉบบนมสมประสทธความเทยงเทากบ 0.02
แทนคาในสตร
การวเคราะหขอสอบดวยโปรแกรม SPSS
กรอกขอมล โดยใหแถวแทนการตอบของนกเรยน 1 คน คอลมภเปนขอ
Analyze-->Scale-->Reliability Analysis
ดบเบลคลกเพอสงตวแปรไปวเคราะห
Model ……Alpha Statistics…….
Out put…
สารสนเทศทส าคญ Cronbach’s Alpha
ความยากงาย
สารสนเทศทส าคญ คาเฉลยรวมเมอตดขอนน
คาอ านาจจ าแนกรายขอ
คาความแปรปรวนเมอตดขอนน
คาความเทยงเมอตดขอนน
สวสด