evaluación diagnóstica cognitiva (cognitive diagnostic...
TRANSCRIPT
Evaluación Diagnóstica Cognitiva
(Cognitive
Diagnostic Assessment, CDA)
Roberto D. Cáceres Bauer
Unidad de Evaluación, Dep. de Educación Médica, Facultad de Medicina, UDELAR.
Teorías Psicométricas
y Evaluación Cognitiva
(PARTE I)
TEORÍA CLÁSICA DE LOS TESTS(CTT) Y EVALUACIÓN
COGNITIVA.
1. Introducción.
•
La construcción de tests
de evaluación cognitiva, basada en CTT, en su origen, se sustentan en teorías y técnicas que no incorporan el conocimiento actual en ciencias cognitivas (Psicología Cognitiva, Neurociencia Cognitiva).
•No se consideran modelos acerca de las estructuras específicas de conocimiento o los procesos mentales o cognitivos involucrados.
CTT y Evaluación Cognitiva.
•
El análisis factorial exploratorio de tests
construidos usando la CTT ha permitido desarrollar una taxonomia
de habilidades
cognitiva en los seres humanos.
• Puntaje Observado del Test
= Puntaje Verdadero Test
+ error
•La aplicación de CTT a la evaluación cognitiva permite desarrollar instrumentos de evaluación con propiedades psicométricas
conocidas que caracterizan el test: confiabilidad,
validez predictiva, validez de criterio.
•La estrategia para establecer la validez de constructo, es relativamente débil y limitada.
CTT y Evaluación Cognitiva.
•La selección de contenidos de los tests
es “artesanal”
y subjetiva.
•No obstante, los escores totales de tests
desarrollados dentro del marco de la CTT son una forma limitada de caracterización de los sistemas cognitivos relacionadas con las respuestas a un test.
•
La relación entre el puntaje total en un test
y las estructuras de conocimiento y procesos mentales involucrados es muy compleja.
TEORÍA DE RESPUESTA A LOS ÍTEMS (IRT)Y
EVALUACIÓN
COGNITIVA.
TRI y Evaluación Cognitiva.
•La estimación de los parámetros de los ítems es estadísticamente independiente de la muestra de sujetos.
•
En la TRI se obtienen modelos probabilísticos
que dan la probabilidad de respuesta correcta a un ítem.
•Un ítem está
compuesto por un estímulo complejo y un conjunto de prescripciones acerca de cómo responder a dicho estímulo.
•La interacción de un cierto dominio de sujetos y ítems es caracterizada en un espacio latente en el cual cada sujeto y cada ítem tiene sus coordenadas.
TRI y Evaluación Cognitiva.Ejemplo Modelo unidimensional 3pl:
( 1/ , ) (1 )1
j i j
j i ji j j j
eP X c ce
i
: habilidad latente
j
: dificultad del ítem
j
: asíntota inferior
cj
: asíntota inferior
Ejemplo Modelo unidimensional 3pl: Test
de Evaluación de Paridad.
j Item c
1 4 -1.836 12.19 0.0232 7 -0.672 16.24 0.7563 9 -0.609 14.44 0.611 4 6 -1.309 14.32 0.331
-4 -2 0 2 4
0.0
0.2
0.4
0.6
0.8
1.0
Item Characteristic Curves
Ability
Pro
babi
lity
par1
par2
par3 par4
TRI y Evaluación Cognitiva.
•La distribución conjunta de los patrones de respuesta son una caracterización más rica del proceso de respuesta que la distribución de puntajes totales y dificultades clásicas de los ítems, potencialmente más informativa para el estudio del sistema cognitivo subyacente relacionado con un test.
•El hecho de que el ítem es el elemento básico, es en si mismo un avance importante desde el punto de vista de la evaluación cognitiva, si se pretende estudiar cómo se procesan los estímulos que forman parte de un ítem.
•En general, los modelos de TRI se usan para modelizar
la distribución conjunta del patrón de respuesta de los ítems.
Evaluación Diagnóstica Cognitiva
(Parte II)
Evaluación Diagnóstica Cognitiva
•La evaluación diagnóstica cognitiva (CDA) en el contexto de la educación, tiene el propósito de medir las estructuras de conocimiento específicas y habilidades de procesamiento en sujetos de tal forma de proveer información sobre sus fortalezas y debilidades cognitivas.
•La evaluación diagnóstica cognitiva se basa en la psicología cognitiva y ciencias cognitivas que dan los fundamentos teóricos para la evaluación, en particular para la selección de contenidos de la evaluación.
Diferentes Enfoques en Evaluación Diagnóstica Cognitiva
Diseño Cognitivo de Test.
Diseño Cognitivo de Test.
•El marco procedural
es una serie de etapas requeridas para alcanzar simultaneamente
propiedades optimas
psicométricas
y cognitivas.
•
El diseño cognitivo de test
es un marco para utilizar la teoría cognitiva en el diseño de test
de habilidades.
•El marco conceptual
es una reformulación del concepto de la validez de constructo
para darle un papel central a la teoría
cognitiva en el desarrollo de tests.
Embretson
(1992)
Ejemplo: Linear Logistic
Trait
Model: LLTM
exp( )( 1)
1 exp( )
i m jmm
iji m jm
m
q dP X
q d
*j m jm
m
b q d
qjm
=factor
m de complejidad cognitiva del item
j
m
=peso del factor m en la dificultad del ítem
d=constante
de normalización
Fischer
(1973)
Propiedades del sistema de diseño cognitivo de test.
(1) El contenido del test
es delimitado por principios explícitos.
(2) El significado de los puntajes está
vinculado a los procesos cognitivos subyacentes.
(3) Los parámetros de los ítems representan las fuentes de complejidad cognitiva en el ítem.
(4) Las habilidades son vinculadas a los procesos que subyacen a la dificultad de la tarea.
Modelos de Estudiantes
Sistemas de Producción
•
Un sistema de producción
es un conjunto de reglas de condiciones y acciones que son llamadas producciones.
Anderson
(1993)
•
Cuando la condición de una producción se verifica, su acción se produce, resultando en un cambio que puede hacer que se verifiquen las condiciones para nuevas producciones.
•
Se producen comportamientos dinámicos flexibles y complejos.
•
Las acciones cognitivas tienen lugar con la restricción de un sistema de capacidad limitada llamado Memoria de Trabajo.
Sistemas de Producción
•
Pueden estar involucradas cientos de producciones en el modelo.
Anderson
(1993)
•
Las operaciones de muchas producciones son internas al sistema cognitivo y no observables.
•
Se asume que el aprendizaje puede ocurrir con la presentación de cada problema adicional.
•
Estimaciones del aprendizaje del estudiante de cada regla de producción son mantenidas y actualizadas mediante técnicas bayesianas.
•
Este modelo puede ser usado de hecho para resolver problemas.
Sistemas de ProducciónAnderson
(1993)
1 1( / ) ( / ) 1 ( / ) ( )n n n n n nP L C P L C P L C P T
1 1( / ) ( / ) 1 ( / ) ( )n n n n n nP L E P L E P L E P T
11
1 1
( ) ( / )( / )( ) ( / ) ( ) ( / )
nn n
n n
P L P C LP L CP L P C L P U P C U
11
1 1
( ) ( / )( / )( ) ( / ) ( ) ( / )
nn n
n n
P L P E LP L EP L P E L P U P E U
E -> “Error”;
C-> “acción correcta”;
L-> “Estado Aprendido”;
U-> “Estado no Aprendido”,
n-> etapa n-ésima de aplicación de una regla;
T-> transición del estado U al estado L dado la oportunidad de aplicar la regla.
Inferencia basada en probabilidad en diagnóstico cognitivo.
Mislevy
(1995)
•
Espacio de modelos de estudiantes: caracterización simplificada de los conocimientos de los estudiantes, habilidades, y/o estrategias, indexadas por variables que indican sus aspectos clave.
•
A partir de la teoría y datos, se postulan probabilidades para las formas en que los estudiantes con diferentes configuraciones en el espacio resolverán problemas, responderán preguntas, etc.
•
La aplicación de teoría de probabilidades permite asignar a las observaciones de las acciones de un estudiante valores más probables de los parámetros en un modelo de estudiante.
Redes de Inferencia.
Mislevy
(1995)
•“Independencia Condicional”: Un conjunto de variables puede estar relacionado en una población, pero son independientes dado un segundo conjunto de variables.
•
La representación recursiva y las relaciones de independencia y dependencia condicional simplifican en gran medida la expresión de la distribución conjunta.
•Representación Recursiva de la distribución conjunta de las variables:
1 2 1 11
( , ,..., ) ( / ,..., )n
n j jj
P X X X P X X X
Redes de Inferencia.Mislevy
(1995)
•La red se puede representar por un grafo dirigido acíclico
•
Las direcciones indican que variables son escritas cómo condicionales en otras en la representación.
•
Acíclico
refiere a que no se pueden dar ciclos de dependencia entre las variables.
• Cada variable es un nodo en el grafo.
•
La dirección de la flecha va de los eventos condicionantes a los eventos condicionados.
Redes de Inferencia.
Mislevy
(1995)
•“Cliques”:subconjunto de variables que están todas ligadas por pares unas a las otras.
•
“Intersección de cliques”: conjunto de variables comunes a dos cliques.
•“Cliques”
y “Intersecciones de Cliques”
son la estructura para la actualización local de la red.
•“Representación conjunta del árbol”
representa la estructura conectada en forma simple (por un solo camino) de “cliques”
y
“intersecciones de cliques”.
Redes de Inferencia.
Mislevy
(1995)
•“Tablas Potenciales”
contienen distribución conjunta de “cliques” y intesecciones.
•Las “tablas potenciales”
se usan para hacer actualizaciones locales de la red.
•Las actualizaciones se realizan cada vez que se recoge nueva evidencia, esto es cada vez que una variable observable cambia de valor.
Aplicación al diagnóstico cognitivo.Mislevy
(1995)
•“Universo de modelos de estudiantes”: es un “supermodelo” que está
indexado por parámetros que significan distinciones
entre estados de comprensión.
•
es un vector de parámetros del modelo de estudiante.
•
Los parámetros en
pueden ser cuantitativos o cualitativos, y los cualitativos pueden ser ordenados, parcialmente ordenados o no ordenados.
•
El problema de modelización
es delinear los estados o niveles de comprensión en el dominio de aprendizaje.
Aplicación al diagnóstico cognitivo.Mislevy
(1995)
•“Modelo de rendimiento”
consiste de una base de conocimiento y reglas de manipulación que pueden ser ejecutadas en un dominio de interés.•
El “problema de construcción de tareas”
es la elaboración
de situaciones para las cuales los estudiantes que difieren en los parámetros del espacio es probable que se comporten en formas observables diferentes.
•
P(X/), es la probabilidad condicional de diferentes comportamientos dado los estados no observables del estudiante, X representa las observaciones.
Aplicación al diagnóstico cognitivo.Mislevy
(1995)
•
El problema de inferencia es razonar desde las observaciones a los modelos de estudiante, para lo cual se usan las redes de inferencia y los cómputos locales.
•La “construcción del modelo” y “construcción de ítems” definen las variables relevantes (variables del modelo de
estudiante
y las variables observables X) y proveen de las probabilidades condicionales.
Aplicación al diagnóstico Cognitivo.Mislevy
(1995)
•P(
) y P(X/
)
implican lo que se espera inicialmente para lo que se puede observar a partir de un estudiante.
•
Una vez que se tienen nuevas observaciones se revisan las probabilidades sobre la red para hacer inferencias acerca de
dado X
mediante P(
/ X )
P(X/
) P(
).
•
P(
/ X ) carácteriza la creencia acerca de un modelo particular de estudiante después de haber observado una muestra de el comportamiento del estudiante.
Atributos Psicométricos
Atributos psicométricos.
• Los atributos caracterizan los ítems de un test.
•
Los atributos pueden ser interpretados como procesos cognitivos o habilidades que son requeridos para un desempeño correcto en un ítem particular de un test.
•
Un atributo puede ser también una producción individual en un modelo de sistema de producción de habilidad.
•
Un atributo puede ser en otros casos conceptos más vagos como “aprendizaje de fracciones”
o “habilidades de
razonamiento matemático”.
Rule
Space
Model.
Kikumi
K. Tatsuoka
Rule
Space
Model.Kikumi
K. Tatsuoka
•
El “análisis de espacio de reglas”
es una aproximación probabilistica a la evaluación diagnóstica cognitiva cuyo propósito es identificar los estados de conocimiento de los examinados, basándose en el análisis de los requerimientos cognitivos de la tarea, también llamados atributos.
•
Un atributo de una tarea es una expresión de una dimensión latente de la tarea que es requerida en orden de completar la tarea exitosamente.
•
Algunos ejemplos de tipos de atributos son: procedimientos, heurísticas, estrategias, habilidades, y otros conocimientos componentes.
Rule
Space
Model.Kikumi
K. Tatsuoka
•
El modelo de espacio de reglas permite el mapeo de patrones de atributos (estados de conocimiento) en patrones ideales de escores de ítems, correspondientes a los diversos estados de conocimiento.
•
Los atributos de una tarea se definen a partir del conocimiento
del dominio evaluado y del conocimiento de la psicología cognitiva relevante para la tarea.
Modelos Multidimensionales de Teoría de Respuesta a los Ítems.
(MIRT)
Modelos Multidimensionales de Teoría de Respuesta a los Ítems.
•
Se asume que la respuesta a un ítem depende de la posición del sujeto en un espacio latente multidimensional en el cual se representa la habilidad del sujeto para responder correctamente a un ítem.
•
Modelos “Compensatorios”
vs “Parcialmente Compensatorios”.
Modelos Multidimensionales de Teoría de Respuesta a los Ítems.
'
'
exp( 1| , , )
1 expj i j
ij i j jj i j
P x
1,...,j j jK j
1,...,i i iK
Discriminación Multidimensional del ítem.
2
1
F
j ijf
A
•
Aj
es la capacidad de un ítem de discriminar individuos a través de las F-
dimensiones del espacio latente
•
Aj
es una función de la pendiente de la superficie de respuesta a los ítems (SRI) definida por el modelo en el punto donde ocurre el máximo de las pendientes máximas, en la dirección indicada por la localización multidimensional.
•Este punto ocurre sobre la línea de inflexión de la SRI.
Dificultad Multidimensional del ítem: MDIFF.
•
La localización multidimensional de un ítem está
dada por,
y sus cosenos directores.
•
Indica la distancia a partir del origen en el espacio al punto de máxima pendiente (las discriminaciones máximas de los items) en una dirección particular a partir del origen.
jj
jA
Dirección de la pendiente máxima a partir del origen.
2
1
cos( ) jfjf F
jff
Ítem-vectores
•
El origen del vector esta dado por la dificultad multidimensional , esto es, la distancia del origen del espacio al punto de máxima pendiente.
• Su longitud está
dada por Aj.
• La dirección se deriva de los cosenos directores.
Ejemplo: Modelización del patrón de
respuesta de un test
de Evaluación de la Paridad.
• Existen dos grandes tipos de modelos de evaluación de la paridad.
•Uno se basa en asumir que la extracción de la paridad involucra alguna forma de cálculo mental. De acuerdo a dicha hipótesis se espera que exista un efecto denominado efecto del tamaño, en el cual existe una relación monótona creciente entre la magnitud de los números y los tiempos de respuesta y la frecuencia de errores, y la magnitud del número es entonces una variable relevante para explicar tiempos de respuesta y tasas de error .
•Otro tipo de modelos considera que en la extracción de la paridad esta involucrada la recuperación de información de la paridad de un número, a partir de una memoria semántica almacenada en la memoria a largo plazo, y que posiblemente involucra otras propiedades del número.
i v1 42 73 94 65 336 747 868 149 5110 38
i v11 2712 6613 5814 4015 7116 8517 12318 26919 49620 346
Tarea de Evaluación de la Paridad
•
Los ítems se presentan en forma visual, en un test
psicométrico
convecional.
•Al principio del test
se encuentra una consigna que explica en que consiste la tarea y define las restricciones que existen a la forma de respuesta a los ítems.
•La consigna fue leída por un evaluador previamente.
•La respuesta a cada ítems se hizo escribiendo una “P”
para indicar un número par, y una “I”
para indicar un número impar.
Figura 1. Parámetros estimados para el modelo MIRT para la solución de 2 y 3 dimensiones. Valores más negativos de MDIFF corresponden a ítems de menor dificultad. Con azul se señalan los ítems más fáciles y con rojo los más difíciles dentro de cada grupo de ítems (1 cifra, 2 cifras, 3 cifras).Los valores sombreados corresponden a el ítem más difícil (celeste) y más fácil (rosa).
Figura 1. Parámetros estimados para el modelo MIRT para la solución de 2 y 3 dimensiones. Valores más negativos de MDIFF corresponden a ítems de menor dificultad. Con azul se señalan los ítems más fáciles y con rojo los más difíciles dentro de cada grupo de ítems (1 cifra, 2 cifras, 3 cifras).Los valores sombreados corresponden a el ítem más difícil (celeste) y más fácil (rosa).
RESULTADOS: Test
de Evaluación de la Paridad.
Ejemplo de Curvas Obtenidas.
4
Ejemplo de Curvas Obtenidas.
7
Ejemplo de Curvas Obtenidas.
9
Ejemplo de Curvas Obtenidas.
6
Ejemplo de Curvas Obtenidas.
38
Ejemplo de Curvas Obtenidas.
27
Modelización
Cognitiva de los ítems.
•
La aproximación seguida para elaborar un modelo cognitivo de las respuestas a los ítems se basó
en la idea usada por “Embretson”
de analisar el efecto de “factores de complejidad cognitiva”.
•Tatsuoka
(rule
space
methods) usa también una aproximación similar para evaluar las matrices Q o de incidencia de atritutos
cognitvos
de los ítems de un test. Usa un modelo de regresión lineal que considera la variable respuesta “dificultad unidimensional del ítem”, y las columnas de la matriz Q de atributos cognitivos como variables explicativas (considera R2 y R2ajustado para comparar entre modelos).
•Para Tatsuoka
la matriz Q es una definición operativa del modelo cognitivo utilizado.
•En este caso se utilizó
como medida para caracterizar el procesamiento de información cogntiva
el MDIFF.
•Se consideraron todos los factores de complejidad cognitiva de acuerdo a las dos hipótesis alternativas.
•Se incluyeron en el modelo todos aquellos factores de complejidad cognitiva que tuvieran algún efecto en el MDIFF o bien si actúan como factores de confusión.
Modelización
Cognitiva de los ítems.
•
El enfoque seguido se basa en la Teoría de procesamiento de información cognitiva.
Información cognitiva.La información
refiere a las representaciones derivadas por un sujeto a partir de la estimulación ambiental o a partir del procesamiento de dichas influencias que producen selecciones entre opciones alternativas para la creencia o la acción.
Procesamiento de información Cognitiva. El procesamiento de información
refiere a cómo la información es modificada para que ésta eventualmente produzca su influencia observada.
Modelos de Procesamiento de información cognitiva.Los modelos de procesamiento de información
son descripciones teóricas de una secuencia de pasos o etapas a través de la cual este procesamiento es llevado a cabo.
Modelización
Cognitiva de los ítems.
Figura 4.
Modelo final de MDIFF, tabla anova
para el modelo y tabla de estimación de los coeficientes del modelo. E(MDIFF) es el valor esperado de acuerdo al modelo. El modelo explica un 82,7% de la varianza de MDIFF y el efecto conjunto de las variables explicativas es altamente significativo, valor-p<0.001.
Análisis de Cluster de Ítems para Confirmar la Estructura Dimensional.
•
Una aproximación a la determinación de la dimensión del espacio latente necesario para modelar bien las relaciones en los datos es hacer un análisis de cluster de una medida de similaridad
de los
constructos
medidos por los ítems.
•
El número de cluster encontrados es un límite superior para la dimensión del espacio latente.
•
El número de dimensiones se puede determinar usando análisis de cluster comparando los resultados de análisis con diferente número de dimensiones.
•
Si los análisis de cluster son esencialmente los mismos para
diferentes números de dimensiones, el menor número de dimensiones usado para el análisis es suficiente para modelizar
las relaciones en la
matriz de datos.
Medidas de Similaridad
• Ángulo entre cada par de vector-item
(Miller
y Hirsch, 1992)
'12 1 2cos(cos cos )ar
'1 2
122 21 2
1 1
cosm m
l ll l
a a
a a
Medidas de Similaridad
• Covarianza
condicional entre items.
0[cov( , )] ( ) cov( , )
n
i j i jk
E U U Y P Y k U U Y k
Y = número de respuestas correctas.
Métodos de Análisis de Cluster.
•
Kim
(2001) encontró
que el método que parece funcionar mejor con el ángulo entre ítems es el método de Ward
(1963).
•
Roussos
(1998) encontró
que el método que parece funcionar mejor con covarianzas
condicionales es “unweighted pair-group method of averages (UPGMA)”(Sokal y Michener 1958).
Ejemplo: Dimensión del espacio latente en el Test
de Paridad.
•
Se aplicó
cómo medida de similaridad
el ángulo entre ítems y el método de análisis de cluster fue el método de análisis de cluster gerárquico
de Ward.
• Para ello se compara la solución para d=2,3,4,5 y 6.
-4 -2 0 2 4
-4-2
02
4
1
21 234
5
6
7
89
10
1213
14
15
16
17
181920
Test
de Evaluación de la Paridad: Gráfico Vectorial en 2 dimensiones.
i v1 42 73 94 65 336 747 868 149 5110 38
i v11 2712 6613 5814 4015 7116 8517 12318 26919 49620 346
40 85 74 38 14 123 71 86 269 66 346 7
496 4 6 33 51 27 9 58
010
020
030
040
0Cluster Dendrogram
hclust (*, "ward")Valor del Ítem
Hei
ght
14 16
6 10 8 17 15 7 18 12 20 2 19 1 4 5 9 11 3 13
010
020
030
040
0
hclust (*, "ward")Número de Ítem.
Hei
ght
40 85 74 38 14 123 71 86 269 66 346 7
496 4 6 33 51 27 9 58
010
020
030
040
0Cluster Dendrogram:2D
hclust (*, "ward")Valor del Ítem
Hei
ght
58 346
86 14 496
74 38 9 51
4 6 40 7 66 85 269
27 123 33 71
010
020
030
0 Cluster Dendrogram:3D
hclust (*, "ward")Valor del Ítem
Hei
ght
496
86 14 58 346 74 38 6 4 9 40 7 66 85 269
123
27 71 33 51
050
150
250
Cluster Dendrogram:4D
hclust (*, "ward")Valor del Ítem
Hei
ght
74 496
58 346 38
86 14 33 9 6
4
66 7 40 85 269
27 123 51 71
050
150
Cluster Dendrogram:5D
hclust (*, "ward")Valor del Ítem
Hei
ght
58 346
86 14 496
74 38 9 51
4 6 40 7 66 85 269
27 123 33 71
010
020
030
0 Cluster Dendrogram:3D
hclust (*, "ward")Valor del Ítem
Hei
ght
496
86 14 58 346 74 38 6 4 9 40 7 66 85 269
123
27 71 33 51
050
150
250
Cluster Dendrogram:4D
hclust (*, "ward")Valor del Ítem
Hei
ght
74 496
58 346 38
86 14 33 9 6
4
66 7 40 85 269
27 123 51 71
050
150
Cluster Dendrogram:5D
hclust (*, "ward")Valor del Ítem
Hei
ght
74 496 14
86 38
58 346
9 6
4
66 7 40 85 269
27 123 33
51 71
050
100
150
200
Cluster Dendrogram:6D
hclust (*, "ward")Valor del Ítem
Hei
ght
•
dimensión = 2, no captura apropiadamente las relaciones entre los ítems.
• dimensión = 3, se observa una mejora importante.
•
dimensión = 4 y 5 una mejora relativamente pequeña respecto a dimensión = 3, pero poco diferencia entre d=4
y d=5.
Resumen de la interpretación de los resultados anteriores.
• Cluster 1: Contiene ítems de una sola cifra, “66”, “40”.
Resumen de la interpretación de los resultados anteriores.
•
Cluster 2: Contiene ítems “pares”
de múltiples cifras: ej. “38”. •
Cluster 3: Contiene ítems “impares”
de múltiples cifras:
ej. “27”.
Codificación del estímulo
Una hipótesis de Trabajo y muchas preguntas.
Extracción de la paridad de cada cifra.
Procesamiento Sintáctico
Respuesta
Extracción de la magnitud de cada cifra
Gracias