estadístico mantel-haenszel estadístico utilizado para determinar cuando dos variables (grupo y...
TRANSCRIPT
Estadístico Mantel-Haenszel
Estadístico utilizado para determinar cuando dos variables (grupo y
acierto) son independientes cuando se condiciona a una tercera variable
(nivel de habilidad)1
Ítems dicotómicos
2
El concepto de Odds RatioCociente de Razones (α)
3
¿qué es α?Tendremos “K” tablas 2 (grupo) x 2 (acierto-fallo al ítem), siendo “K” los distintos
niveles de rasgo (p.e., intervalos en los que se divide la puntuacion total en el test)
En cada una de esas tablas tenemos la siguiente estructura:
Grupo 1 0 Total Ref Ak Bk NRk
Foc Ck Dk NFk
N1k N0k Nk
α = (Ak/Bk) / (Ck/Dk)= AkDk/Bk Ck
α (Odds ratio) es el Cociente de Razones en el grupo “k”:
α indica en qué medida la ratio aciertos/errores es mayor en el grupo de referencia que en el grupo focal
4
Mantel - HaenszelEn cada una de las “K” tablas nos podemos encontrar en una de estas tres
situaciones:
a) No DIF
Grupo 1 0 Total
Ref 20 80 100 20/80=0.25
Foc 40 160 200 40/160 = 0.25
60 240 300 20(160)/40(80)=1
b) DIF a favor grupo focal
Grupo 1 0 Total
Ref 20 80 100 20/80=0.25
Foc 80 120 200 80/120 = 0.67
100 200 300 20(120)/80(80)=0.375
c) DIF a favor grupo referencia
Grupo 1 0 Total
Ref 20 80 100 20/80=0.25
Foc 20 180 200 20/180 = 0.11
40 260 300 20(180)/20(80)=2.25
5
El cociente de razones común toma valores entre 0 e . Si no hay DIF, dará valores cercanos a uno.
Si da valores menores que 1 (hasta 0), más probabilidad de acierto en GF. Si da valores mayores que 1 (hasta infinito), más probabilidad de acierto en GR.
Difícil de interpretar….
α
6
El Logaritmo del Cociente de Razones: Ln(α)
7
¿Que es Ln(α)?Asumamos un modelo dicotómico para cada
grupo:
))(exp(1))(exp(
),|1(iRiR
iRiRi bDa
bDaRgxP
))(exp(1))(exp(
),|1(iFiF
iFiFi bDa
bDaFgxP
)()()
),|0(),|1(),|0(),|1(
()( iRiRiFiFiFiR
i
i
i
i
i babaDaaD
FgxPFgxPRgxPRgxP
LnLn
8
Si a difiere en los dos grupos, la Odds Ratio depende de
)()()
),|0(),|1(),|0(),|1(
()( iRiRiFiFiFiR
i
i
i
i
i babaDaaD
FgxPFgxPRgxPRgxP
LnLn
Si asumimos a iguales en los dos grupos:
)()
),|0(),|1(),|0(),|1(
()( iRiFi
i
i
i
i
i bbDa
FgxPFgxPRgxPRgxP
LnLn
Bajo ese modelo es proporcional a la diferencia en el parámetro b entre los 2 grupos
)( iLn 9
Si a difiere en los dos grupos, la Odds Ratio depende de
Si asumimos el modelo de Rasch:
)()
),|0(),|1(),|0(),|1(
()( iRiF
i
i
i
i
i bb
FgxPFgxPRgxPRgxP
LnLn
Bajo ese modelo es proporcional a la diferencia en el parámetro b entre los 2 grupos
)( iLn
10
El logaritmo del cociente de razones común toma valores entre - e . Si no hay DIF, dará valores cercanos a cero.
Si da valores menores que 0, más probabilidad de acierto en GF. Si da valores mayores que 0, más probabilidad de acierto en GR.
Más fácil de interpretar….
Ln(α)
11
Hasta ahora…
Hemos calculado los valores en cada grupo k…
… ahora vamos a calcular los valores en el grupo completo.
12
Estimación de α:Cociente de razones común
13
Si se asume el modelo anterior (no hay efecto del estrato de habilidad), puede calcularse un cociente de razones común (como una suma ponderada de los cocientes de razones obtenidos en los grupos):
kk
kkk
MH
w
w
ˆˆ
El cociente de razones común toma valores entre 0 e . Si no hay DIF, dará valores cercanos a uno.
Si da valores menores que 1 (hasta 0), más probabilidad de acierto en GF. Si da valores mayores que 1 (hasta infinito), más probabilidad de acierto en GR.
14
En el caso dicotómico:
k
kkk N
CBw
15
Cociente de razones común
Otros indicador de DIF es el cociente de razones común:
Alpha para un grupo:α= (Ak/Bk)/(Ck/Dk) α = (AkDk)/(BkCk)
El cociente de razones común toma valores entre 0 e . Si no hay DIF, dará valores cercanos a uno.
Si da valores menores que 1 (hasta 0), más probabilidad de acierto en GF.
Si da valores mayores que 1 (hasta infinito), más probabilidad de acierto en GR.
kkk
kkkMH NCB
NDA
/
/̂
Asumiendo que no hay efecto del estrato
16
Interpretación:
)ˆ( MHLn
Valores negativos indica probabilidad de acierto mayor en el grupo Focal.
Valores positivos indica probabilidad de acierto mayor en el grupo de Referencia.
)()ˆ( RFMH bbLn Asumiendo un modelo de Rasch con a = 1 y D = 1
Criterios del ETS:
A: Está entre -0.43 y 0.43 C: mayor que 0.64 ó menor que -0.64B: El resto.
El Logaritmo del Cociente de Razones común:
17
Dificultad en la Escala Delta (ETS)
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
-3.0
-2.0
-1.0 0.0
1.0
2.0
3.0
701.1)/ln( RR
R
qpz
p
zR
DeltaR = 13+zR*4 )/ln(35.213 RRR qpDelta 18
Dificultad en la Escala Delta (ETS)
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
-3.0
-2.0
-1.0 0.0
1.0
2.0
3.0
701.1)/ln( FF
F
qpz
p
zF
DeltaF = 13+zF*4 )/ln(35.213 FFF qpDelta 19
Diferencia de dificultad en la Escala Delta (ETS)
)ln(35.2)//
ln(35.2
)/ln(35.2)/ln(35.2
RR
FF
RRFFRF
qpqp
qpqpDeltaDelta
20
Interpretación de MH-Delta:
)(35.2)ˆ(35.2 FRMH bbLnDeltaMH
Valores positivos indica probabilidad de acierto mayor en el grupo Focal.
Valores negativos indica probabilidad de acierto mayor en el grupo de Referencia.
El valor del Logaritmo del cociente de razones común está, en este caso, en la escala delta (media 13, DT 4), la ausencia de DIF viene indicada por valores cercanos a cero.
Criterios del ETS:
A: Está entre -1 y 1 (1-> 0.25 en la escala z)C: mayor que 1.5 ó menor que -1.5 (1.5 -> .375 en la escala z)B: El resto.
Asumiendo un modelo de Raschcon a=1 y D=1
MH-Delta:
)ˆ( MHLn )()ˆ( RFMH bbLn Asumiendo un modelo de Rasch con a = 1 y D = 1
El Logaritmo del Cociente de Razones común:
21
1.0/2.35=0.43 1.5/2.35=0.64
DeltaMH )( MHLn Se interpretan al revés con distintos puntos de corte
22
Estadístico de contrastepara contrastar si α = 1
23
Estadístico de contrasteMantel – Haenszel (Datos dicotómicos):
Tendremos “k” tablas 2 (grupo) x 2 (acierto-fallo al ítem), siendo “k” los distintos niveles de rasgo desde 1 hasta I-1 (p.e., intervalos en los que se divide la puntuacion total en el test)
Grupo 1 0 Total Ref Ak Bk NRk
Foc Ck Dk NFk
N1k N0k Nk
H0: α=1 para todo “k”
H1: α≠1 para algún “k”
)(
5.0)(2
2
k
kk
MH AVar
AEA
NUMERO DE ACIERTOS EN EL GRUPO DE REFERENCIA
NUMERO ESPERADO DE ACIERTOS EN EL GRUPO DE REFERENCIA SI NO HAY ASOCIACIÓN ENTRE LA PERTENENCIA AL GRUPO Y LA PROBABILIDAD DE ACIERTO (AISLADO EL NIVEL DE RASGO)
El estadístico 2MH sigue la distribución 2
con 1 grado de libertad
24
1)( 01
k
k
k
k
k
Fk
k
k
k
Rkkk N
NNN
NN
NN
NN
NAVar
)/)(/()( 1 kkkRkkk NNNNNAE
83.10)001.0(
63.6)01.0(
84.3)05.0(
21
21
21
p
p
p
25
Ejemplo (datos simulados)
26
Generación de datos con IRTLAB
27
20,21 ,1,2PL,0,1.2,-2 ,,,,,1 ,2,2PL,0,1.2,-2 ,,,,,2 ,1,2PL,0,1.2,-1 ,,,,,2 ,2,2PL,0,1.2,-1 ,,,,,3 ,1,2PL,0,1.2, 0 ,,,,,3 ,2,2PL,0,1.2, 0 ,,,,,4 ,1,2PL,0,1.2, 1 ,,,,,4 ,2,2PL,0,1.2, 1 ,,,,,5 ,1,2PL,0,1.2, 2 ,,,,,5 ,2,2PL,0,1.2, 2 ,,,,,6 ,1,2PL,0,1 ,-2 ,,,,,6 ,2,2PL,0,1 ,-2 ,,,,,7 ,1,2PL,0,1 ,-1 ,,,,,7 ,2,2PL,0,1 ,-1 ,,,,,8 ,1,2PL,0,1 , 0 ,,,,,8 ,2,2PL,0,1 , 0 ,,,,,9 ,1,2PL,0,1 , 1 ,,,,,9 ,2,2PL,0,1 , 1 ,,,,,10,1,2PL,0,1 , 2 ,,,,,10,2,2PL,0,1 , 2 ,,,,,
Generación de datos con IRTLAB
28
11,1,2PL,0,0.8,-2 ,,,,,11,2,2PL,0,0.8,-2 ,,,,,12,1,2PL,0,0.8,-1 ,,,,,12,2,2PL,0,0.8,-1 ,,,,,13,1,2PL,0,0.8, 0 ,,,,,13,2,2PL,0,0.8, 0 ,,,,,14,1,2PL,0,0.8, 1 ,,,,,14,2,2PL,0,0.8, 1 ,,,,,15,1,2PL,0,0.8, 2 ,,,,,15,2,2PL,0,0.8, 2 ,,,,,16,1,2PL,0,0.8,-2 ,,,,,16,2,2PL,0,0.8,-2.5 ,,,,,17,1,2PL,0,0.8,-1 ,,,,,17,2,2PL,0,0.8,-1.25,,,,,18,1,2PL,0,0.8, 0 ,,,,,18,2,2PL,0,0.8,-0.5 ,,,,,19,1,2PL,0,0.8, 1 ,,,,,19,2,2PL,0,0.4, 1 ,,,,,20,1,2PL,0,0.8, 2 ,,,,,20,2,2PL,0,0.4, 1.5 ,,,,,
Generación de datos con IRTLAB
29
Datos simulados…
30
1 1 1 1 0 0 1 1 0 1 0 1 1 1 1 0 1 1 1 0 01 1 1 0 0 0 0 1 0 0 0 0 0 0 0 0 1 1 0 0 01 1 1 1 0 0 1 1 0 0 0 1 0 1 0 1 1 1 1 0 01 1 1 1 0 0 1 1 1 0 1 1 1 0 0 0 1 0 1 0 1…2 1 1 1 0 0 1 1 1 0 0 1 1 1 1 0 1 1 1 1 12 1 0 0 0 0 1 1 0 0 0 1 1 1 0 0 0 0 1 0 12 1 1 1 1 0 1 1 1 0 0 1 1 0 0 0 1 1 1 0 02 1 1 0 0 0 1 1 0 0 0 1 1 0 0 0 1 1 1 0 1
111100110101111011100111000010000000011000111100110001010111100111100111011100010101...
211100111001111011111210000110001110000101211110111001100011100211000110001100011101
Input file: posmh.dat Output file: posmh.outExaminees: 1000Items: 20
Total group Focal group Reference groupMean = 8.75 6.72 10.10Std.Dev.= 4.21 3.84 3.91N = 1000 400 600
Level of significance = 0.0100
The program will collapse the score categories by combining adjacent score categories until the number of examinees in each score group is greater than 1
DIF detection in the initial test
Lowest score = 0 Highest score =20
32
MH Alpha MH D-DIF MH-CHI2 DIF % Empty cells Sccat.Item01= 1.68 -1.22 3.97 0 28.57 21Item02= 1.56 -1.04 5.04 0 23.81 21Item03= 1.88 -1.48 9.40 1 25.00 21Item04= 1.40 -0.79 1.28 0 27.38 21Item05= 1.84 -1.43 0.48 0 41.67 21Item06= 1.45 -0.87 2.13 0 27.38 21Item07= 1.35 -0.70 2.34 0 26.19 21Item08= 1.50 -0.95 4.24 0 23.81 21Item09= 1.24 -0.51 0.60 0 26.19 21item10= 1.16 -0.36 0.04 0 33.33 21item11= 1.08 -0.19 0.08 0 22.62 21item12= 0.81 0.49 1.13 0 25.00 21item13= 1.35 -0.71 2.60 0 21.43 21item14= 1.14 -0.30 0.21 0 26.19 21item15= 1.16 -0.34 0.11 0 29.76 21item16= 0.46 1.82 10.15 1 27.38 21item17= 1.00 -0.00 0.01 0 26.19 21item18= 0.57 1.30 9.14 1 21.43 21item19= 0.38 2.26 22.88 1 20.24 21item20= 0.26 3.18 32.43 1 20.24 21
The 25.00% of the items display DIF
33
DIF detection in the purified test
Lowest score = 0 Highest score =16Mean = 6.67
Bounds of score categoriesscore categorie 1=0-0score categorie 2=1-1score categorie 3=2-2score categorie 4=3-3score categorie 5=4-4score categorie 6=5-5score categorie 7=6-6score categorie 8=7-7score categorie 9=8-8score categorie 10=9-9score categorie 11=10-10score categorie 12=11-11score categorie 13=12-12score categorie 14=13-13score categorie 15=14-14score categorie 16=15-15score categorie 17=16-16
34
MH Alpha MH D-DIF MH-CHI2 DIF % Empty cells Sccat.Item01= 1.30 -0.63 0.84 0 28.13 16Item02= 1.25 -0.53 1.13 0 25.00 16Item03= 1.47 -0.91 3.02 0 20.59 17Item04= 1.00 0.00 0.02 0 28.13 16Item05= 1.63 -1.14 0.23 0 39.06 16Item06= 1.16 -0.35 0.25 0 23.44 16Item07= 1.05 -0.11 0.03 0 25.00 16Item08= 1.22 -0.46 0.87 0 23.44 16Item09= 0.98 0.06 0.00 0 23.44 16item10= 0.97 0.07 0.02 0 31.25 16item11= 0.89 0.29 0.21 0 21.88 16item12= 0.64 1.05 5.19 0 25.00 16item13= 1.14 -0.30 0.35 0 20.31 16item14= 0.94 0.14 0.02 0 25.00 16item15= 0.95 0.12 0.00 0 26.56 16item16= 0.40 2.15 13.93 1 26.47 17item17= 0.82 0.46 1.01 0 25.00 16item18= 0.53 1.51 12.24 1 19.12 17item19= 0.33 2.58 27.66 1 19.12 17item20= 0.23 3.50 38.32 1 22.06 17
The 20.00% of the items display DIF
Antes Después
• Coeficiente Alpha=0.86
• Diferencia en Puntuaciones típicas =-0.80
• Diferencia corregida por atenuación:
• -0.80/raiz(0.86)=-.86
35
• Coeficiente Alpha=0.84
• Diferencia en Puntuaciones típicas =-0.89
• Diferencia corregida por atenuación:
• -0.89/raiz(0.84)=-.97