應用 bilog-mg3.0 分析測驗資料

23
應應 BILOG-MG3.0 應應應應應應 應應應 應應應 OMS096107 應應應 OMS096111

Upload: jenski

Post on 12-Jan-2016

319 views

Category:

Documents


4 download

DESCRIPTION

應用 BILOG-MG3.0 分析測驗資料. 暑測碩一甲 黃久倖 OMS096107 歐瑞蘭 OMS096111. 測驗資料來源. 領域:數學 版本:南一 冊數:第十冊 單元:第 11 單元 單元名稱:表和統計圖 試題數: 32 題 受測者:國小五年級學生 樣本數:共 654 人 施測時間地點:未提供相關資料. BILOG-MG 的設定. BILOG-MG 的原始碼 Logistic NQPT21 原始碼. >GLOBAL DFNAME= ‘ n10u11-21.DAT', NPARM=3,LOGISTIC,SAVE; - PowerPoint PPT Presentation

TRANSCRIPT

Page 1: 應用 BILOG-MG3.0 分析測驗資料

應用 BILOG-MG3.0分析測驗資料

暑測碩一甲 黃久倖 OMS096107歐瑞蘭 OMS096111

Page 2: 應用 BILOG-MG3.0 分析測驗資料

測驗資料來源領域:數學版本:南一冊數:第十冊單元:第 11 單元單元名稱:表和統計圖試題數: 32 題受測者:國小五年級學生樣本數:共 654 人施測時間地點:未提供相關資料

Page 3: 應用 BILOG-MG3.0 分析測驗資料

BILOG-MG 的設定參數 2PL 3PL

METRIC NORMAL LOGISTIC NORMAL LOGISTIC

NQPT 21 25 29 21 25 29 21 25 29 21 25 29

ItemsProb<.05

792932

79121724252931

79293132

79293132

78921293132

7892129

9 9 925

7932

32 725

Total 4 8 5 5 7 5 1 1 2 3 1 2

※ 可以發現估計的參數越多,根據試題反應函數公式所估計的答對機率落點越有ICC 曲線迴歸的趨勢,相對的所估計的受試者能力值也越準確。所以,以 3PL , LOGISTIC METRIC , NQPT=21, 25, 29 進行試題分析,分析試題 7 、 9 、 25 、

32 。※ 在 3PL , LOGISTIC METRIC , NQPT= 25 中其實並無試題 prob 值小於 0.05 ,

但所有試題中,以 32 題的值最小( 0.0583 介於臨界值),故取其討論。

Page 4: 應用 BILOG-MG3.0 分析測驗資料

BILOG-MG 的原始碼 Logistic NQPT21 原始碼

>GLOBAL DFNAME=‘n10u11-21.DAT', NPARM=3,LOGISTIC,SAVE; >SAVE PARM=‘n10u11-21.PAR',SCORE=‘n10u11-21.SCO'; >LENGTH NITEMS=32; >INPUT NTOTAL=32, NALT=5, NIDCHAR=4, KFNAME=‘n10u11-21.KEY'; >ITEMS INAMES=(MATH01(1)MATH32); >TEST1 TNAME='PRETEST', INUMBER=(1(1)32); (4A1,1X,32A1) >CALIB NQPt = 21, CYCles = 25, NEWton = 10, CRIt = 0.0010, PLOt = 1.0000, ACCel = 0.0000, CHIsquare = 32; >SCORE RSCTYPE=0, INFO=2, POP;

Page 5: 應用 BILOG-MG3.0 分析測驗資料

Item01 ~ Item32 的分析數據 ( NQPT21 )

item A 值 B 值 C值 Prob item A 值 B 值 C值 Prob

Item01 1.196 -2.415 .185 .7168 Item17 1.427 -2.104 .162 .3995

Item02 1.274 -1.983 .215 .3763 Item18 1.266 -0.594 .148 .6324

Item03 1.082 -1.884 .181 .2199 Item19 1.880 -1.627 .143 .9304

Item04 1.364 -2.108 .204 .8397 Item20 1.191 -1.571 .157 .5818

Item05 1.889 -1.453 .166 .5792 Item21 2.280 -0.736 .171 .5197

Item06 1.286 -0.974 .160 .7854 Item22 1.364 -0.514 .175 .5710

Item07 1.524 -0.598 .207 .0456 Item23 1.936 -0.925 .135 .6652

Item08 1.540 -0.995 .167 .1808 Item24 2.070 -1.262 .190 .4507

Item09 1.862 -2.219 .146 .0435 Item25 .915 -0.466 .155 .4439

Item10 1.196 -2.270 .179 .4929 Item26 2.313 -0.995 .186 .3874

Item11 2.026 -2.391 .189 .5297 Item27 2.003 -1.488 .140 .8965

Item12 2.182 -2.057 .151 .8429 Item28 1.211 -1.372 .143 .1565

Item13 2.019 -1.975 .140 .7501 Item29 1.655 -0.286 .184 .2806

Item14 3.057 -1.856 .162 .7239 Item30 1.121 -1.077 .133 .9098

Item15 1.719 -1.954 .167 .7242 Item31 1.699 -1.086 .222 .4253

Item16 2.362 -2.043 .190 .7581 Item32 1.806 -0.719 .187 .0287

Page 6: 應用 BILOG-MG3.0 分析測驗資料
Page 7: 應用 BILOG-MG3.0 分析測驗資料

試題分析 ITEM7 a = 1.524 b = -0.598 c = 0.207 prob < 0.0456 7. 根據下面的火車時刻表,從新竹搭復興號到台南,可以搭什麼時刻的火車?

12:30 14:05 14:20 18:00

全體受試者的作答分配表選項 1 2 3 4 0 tota

l

人數 21 55 482 91 5 654

% 3.21 8.41 73.70

13.91

0.76

100

-0.5<THETA<0 作答分配表人數 3 10 90 44 2 149

% 2.01 6.71 60.40

29.53

1.34

100

a=1.524 b= -0.598 c=0.207 prob<0.0456選項四有極高的人選擇可見有誘答力尤以能力值在 -0.5~0 更加明顯本題難度不高卻有 29.53 %的落入誘答選項,可見需加強火車時刻的報讀題目亦可更改為訖站一律到達高雄,再進階至不同訖站的問題

車次站名

自強103山台北高雄

復興33山松山台南

莒光1033海台北

彰化

松山 12:30

台北 13:00 12:45 13:10

新竹 14:05 14:20 14:30

沙鹿

台中 15:20 16:00 15:55

彰化 15:30 16:15 16:10

台南 16:55 18:00 17:30

高雄 17:45 19:15 18:45

Page 8: 應用 BILOG-MG3.0 分析測驗資料
Page 9: 應用 BILOG-MG3.0 分析測驗資料

試題分析 ITEM9 a = 1.862 b = -2.219 c = 0.146 prob < 0.04359. 下圖是快樂國小五年級學生最愛的寵物人數長條圖,最愛「小鼠」的有多少人?

8 13 16 60本題鑑別度不低,但難度太低,多數同 學均答對較高能力者答對率高達 96.72 % 答錯者多為低能力者,但數量亦不多但本題為基礎的長條圖報讀,卻有保留的必要故不宜刪除

全體受試者的作答分配表

選項 1 2 3 4 0 total

人數 10 618 17 9 0 654

% 1.53 94.50 2.60 1.38 0.00 100

-2.5<THETA<-3.0作答分配表

人數 4 2 6 6 0 18

% 22.22 11.11 33..33 33..33 0.00 100

-0.25<THETA<-0.75作答分配表

人數 1 118 3 0 0 122

% 0.82 96.72 2.46 0.00 0.00 100

a=1.862 b= -2.219 c=0.146 prob<0.0435

Page 10: 應用 BILOG-MG3.0 分析測驗資料

EXAMPL01.BLM - TRADITIONAL IRT ANALYSIS OF A FIFTEEN-ITEM PRETEST FROM

A TWO-STAGE TEST OF MATHEMATICS AT THE EIGHTH-GRADE LEVEL

>COMMENTS >GLOBAL DFNAME='n10u11.DAT', NPARM=3, LOGISTIC, SAVE; >SAVE PARM='n10u11.PAR', SCORE='n10u11.SCO'; >LENGTH NITEMS=32; >INPUT NTOTAL=32, NALT=5, NIDCHAR=3, KFNAME='n10u11.KEY'; >ITEMS INAMES=(MATH01(1)MATH32); >TEST1 TNAME='PRETEST', INUMBER=(1(1)32); (3A1,1X,32A1) >CALIB NQPT=29, CYCLES=25, NEWTON=10, CRIT=0.001,

ACCEL=0.0, CHI=30, PLOT=1; >SCORE RSCTYPE=0, INFO=2, POP;

BILOG-MG 的原始碼 Logistic NQPT29 原始碼

Page 11: 應用 BILOG-MG3.0 分析測驗資料

Item01 ~ Item32 的分析數( NQPT29 )

item A值 B值 C值 Prob item A值 B值 C值 Prob

Item01 1.2 -1.129 0.185 0.69 Item17 1.432 -2.098 0.162 0.1909

Item02 1.278 -1.977 0.214 0.3716 Item18 1.27 -0.596 0.148 0.5155

Item03 1.086 -1.879 0.181 0.1347 Item19 1.886 -1.623 0.143 0.7891

Item04 1.368 -2.102 0.204 0.7956 Item20 1.195 -1.566 0.157 0.686

Item05 1.895 -1.449 0.166 0.9485 Item21 2.287 -0.734 0.171 0.4993

Item06 1.29 -0.971 0.16 0.6752 Item22 1.368 -0.513 0.175 0.1642

Item07 1.528 -0.597 0.207 0.0306 Item23 1.942 -0.922 0.135 0.352

Item08 1.544 -0.992 0.167 0.2 Item24 2.076 -1.258 0.19 0.5391

Item09 1.867 -2.212 0.146 0.0706 Item25 0.918 -0.465 0.155 0.0227

Item10 1.2 -2.264 0.179 0.2057 Item26 2.32 -0.992 0.186 0.5203

Item11 2.032 -2.384 0.189 0.555 Item27 2.009 -1.484 0.14 0.9864

Item12 2.188 -2.051 0.151 0.8457 Item28 1.215 -1.368 0.143 0.1016

Item13 2.025 -1.969 0.14 0.8442 Item29 1.66 -0.286 0.184 0.1477

Item14 3.065 -1.85 0.162 0.6968 Item30 1.124 -1.073 0.133 0.9044

Item15 1.724 -1.949 0.167 0.6607 Item31 1.703 -1.083 0.222 0.5275

Item16 2.368 -2.038 0.19 0.7801 Item32 1.812 -0.717 0.187 0.1686

Page 12: 應用 BILOG-MG3.0 分析測驗資料
Page 13: 應用 BILOG-MG3.0 分析測驗資料

公車時刻表

站名 中清客運

台中港 7:30 8:00 8:30

水湳 8:10 8:40 9:10

大雅 8:30 9:00 9:30

SOGO百貨 8:45 9:15 9:45

台中火車站 9:00 9:30 10:00

站名 中港客運

台中港 7:10 7:40 8:10

東海大學 7:45 8:15 8:45

新光三越 8:40 9:10 9:40

SOGO百貨 8:55 9:25 9:55

台中火車站 9:10 9:40 10:10

( 1 )25. 根據下面的公車時刻表,從台中港到台中火車站,搭哪個客運比較省時? 中清客運 中港客運 時間一樣 無法比較

全體受試者的作答分配表選項 1 2 3 4 0 total

人數 429 134 62 13 16 654

% 65.60 20.49 9.48 1.99 2.45 100

-0.25<THETA<0.25作答分配表人數 81 32 14 1 1 129

% 62.78 24.81 10.85 0.78 0.78 100

a= 0.918 b=-0.465 c=0.155 prob< 0.0227

◎ 分析 1 :根據上表,顯示在能力值 -0.25 < THETA<0.25 的學生在此題有高達 62.78% 的學生答對,但仍有 24.81% 的學生掉入誘 答項 2 的陷阱。◎ 分析 2 :比照同概念的試題6,則答對機率落 點較符合 ICC 的圖形。◎ 分析 3 :承分析 2 ,表示試題 25 本身沒有問 題,推測此能力範圍的學生可能應計算錯誤 而答錯。

Page 14: 應用 BILOG-MG3.0 分析測驗資料
Page 15: 應用 BILOG-MG3.0 分析測驗資料

( )6. 下面是甲地到戊地的公車時刻表,從乙地搭 9時 40 分的公車到戊地,共要花幾時幾分?

3 時 55 分 3 時 85 分 9 時 40 分 13 時 35 分

公車時刻表站名 華聯客運甲 6: 50 7: 30 8: 40 9: 30乙 7: 50 8: 30 9: 40 10: 30丙 10: 00 10: 40 11: 50 12: 40丁 11: 00 11: 40 12: 50 13: 40戊 11: 45 12: 25 13: 35 14: 25

a=1.290 b= -0.971 c =0.160 Prob<0.675

◎ 試題 6 與試題 25 同屬『解讀公車時刻表』的概念。

◎ 試題 6 只要計算一次便可得到答案,試題 25 則須計算兩次才能進行比較。

Page 16: 應用 BILOG-MG3.0 分析測驗資料

BILOG-MG 的原始碼 Logistic NQPT25 原始碼 EXAMPL01.BLM - TRADITIONAL IRT ANALYSIS OF A FIFTEEN-

ITEM PRETEST FROM A TWO-STAGE TEST OF MATHEMATICS AT THE EIGHTH-GRADE LEVEL

>COMMENTS >GLOBAL DFNAME='n10u11.DAT', NPARM=3, LOGISTIC, SAVE; >SAVE PARM='n10u11.PAR', SCORE='n10u11.SCO'; >LENGTH NITEMS=32; >INPUT NTOTAL=32, NALT=5, NIDCHAR=3, KFNAME='n10u11.KEY'; >ITEMS INAMES=(MATH01(1)MATH32); >TEST1 TNAME='PRETEST', INUMBER=(1(1)32); (3A1,1X,32A1) >CALIB NQPT=25, CYCLES=25, NEWTON=10, CRIT=0.001,

ACCEL=0.0, CHI=30, PLOT=1; >SCORE RSCTYPE=0, INFO=2, POP;

Page 17: 應用 BILOG-MG3.0 分析測驗資料

Item01 ~ Item32 的分析數據 ( NQPT25 )

item A值 B值 C值 Prob item A值 B值 C值 Prob

Item01 1.199 -2.41 0.185 0.6749 Item17 1.43 -2.1 0.162 0.2308

Item02 1.276 -1.979 0.215 0.4168 Item18 1.268 -0.596 0.148 0.8258

Item03 1.085 -1.881 0.181 0.5728 Item19 1.884 -1.625 0.143 0.9151

Item04 1.367 -2.105 0.204 0.838 Item20 1.194 -1.568 0.157 0.4393

Item05 1.893 -1.451 0.166 0.6176 Item21 2.284 -0.734 0.171 0.1689

Item06 1.289 -0.972 0.16 0.8077 Item22 1.366 -0.513 0.175 0.8055

Item07 1.527 -0.597 0.207 0.1006 Item23 1.94 -0.923 0.135 0.7242

Item08 1.543 -0.993 0.167 0.4669 Item24 2.074 -1.26 0.19 0.6943

Item09 1.865 -2.214 0.146 0.0843 Item25 0.917 -0.465 0.155 0.2171

Item10 1.198 -2.266 0.179 0.3682 Item26 2.317 -0.993 0.186 0.4555

Item11 2.03 -2.387 0.189 0.621 Item27 2.007 -1.486 0.14 0.7965

Item12 2.186 -2.053 0.151 0.8885 Item28 1.213 -1.37 0.143 0.1944

Item13 2.023 -1.972 0.14 0.5451 Item29 1.658 -0.286 0.184 0.1219

Item14 3.062 -1.852 0.162 0.7737 Item30 1.123 -1.075 0.133 0.9789

Item15 1.722 -1.951 0.167 0.6643 Item31 1.702 -1.084 0.222 0.4318

Item16 2.366 -2.04 0.19 0.633 Item32 1.81 -0.717 0.187 0.0583

Page 18: 應用 BILOG-MG3.0 分析測驗資料
Page 19: 應用 BILOG-MG3.0 分析測驗資料

( 3 )32. 下圖是六年級各班最喜歡的零食人數長條圖,喜歡泡芙和巧克力的共有多少人?

六年級各班最喜歡的零食人數長條圖

024681012141618202224262830

甲 乙 丙 丁 ( )班別 班

( )人數 人

巧克力

泡芙

王子麵

果凍

107 63 44 28

全體受試者的作答分配表選項 1 2 3 4 0 total

人數 53 59 502 33 7 654

% 8.10 9.02 76.76 5.05 1.07 100

-0.75<THETA<-0.25作答分配表人數 19 20 75 6 2 122

% 15.57 16.39 61.48 4.92 1.64 100

a= 1.810 b=-0.717 c=0.187 prob< 0.0583

◎ 分析 1 :根據上表,顯示在能力值 -0.75 < THETA<-0.25 的學生在此題有高達 61.48% 的學生答對,但仍有約 32% 的學生掉入誘 答項 1 和 2 的陷阱,誘答力很高。◎ 分析 2 :選項 1 是全部四類零食的總計; 選項 2 是王子麵和果凍的總計。

◎ 分析 3 :試題 32 的鑑別度高達 1.8 ,試題本身沒有問題,推測此能力範圍的學生可能應看錯或尚未能解讀上下連接變形長條圖。

Page 20: 應用 BILOG-MG3.0 分析測驗資料

( 3 )32. 下圖是六年級各班最喜歡的零食人數長條圖,喜歡泡芙和巧克力的共有多少人?

六年級各班最喜歡的零食人數長條圖

024681012141618202224262830

甲 乙 丙 丁 ( )班別 班

( )人數 人

巧克力

泡芙

王子麵

果凍

107 63 44 28

◎ 分析 1 :根據上表,顯示在能力值 -1.75 < THETA<-1.25 的學生在此題僅有 29.41% 的學生答對,但約 35% 的學生掉入誘答項1 的陷阱,誘答力很高。◎ 分析 2 :選項 1 是全部四類零食的總計,推 測此能力範圍的學生可能尚未能解讀上下 連接變形長條圖。

全體受試者的作答分配表選項 1 2 3 4 0 total

人數 53 59 502 33 7 654

% 8.10 9.02 76.76 5.05 1.07 100

-1.75<THETA<-1.25作答分配表人數 12 6 10 4 2 34

% 35.29 17.65 29.41 11.76 5.88 100

a= 1.810 b=-0.717 c=0.187 prob< 0.0583

◎ 分析 3 :比照同概念的試題22,則答對機率落點較符合 ICC 的圖形。

Page 21: 應用 BILOG-MG3.0 分析測驗資料
Page 22: 應用 BILOG-MG3.0 分析測驗資料

( 1 )22. 下圖是各年級導師最喜歡的顏色人數長條圖, 請問喜歡哪一種顏色的人最多?

各年級導師最喜歡的顏色人數長條圖

0

2

4

6

8

10

12

14

一年級 二年級 三年級 四年級 五年級 六年級 各年級導師

( )人數 人

紫色

綠色

黃色

紅色

紅色 黃色 綠色 紫色

a=1.366 b= -0.513 c =0.175 Prob<0.8055

◎ 試題 22 與試題 32 同屬『解讀上下連接變形長條圖(四個堆疊直條圖)』的概念。

◎ 試題 22 的數字最多只到十幾,較簡單;試題 32 的長條圖較長,數字也比較多,

計算上和閱讀上需更仔細,否則算出來的數字可能與選項不符。

Page 23: 應用 BILOG-MG3.0 分析測驗資料

報告完畢,謝謝!