personalidad y hÁbitos de salud -...

Jordi Pérez

Universidad Pompeu Fabra

Pruebas de Elección múltiple y de Ensayo

Tipos de pruebas para evaluar conocimientos: a) Suministro - Ensayo extenso

- Ensayo reducido

- Respuesta breve - Respuesta de complemento b) Selección - Verdadero – falso

- Correspondencia

- Elección múltiple

- Correspondencia variable (Extended-Matching Items)

Poco objetivas

Objetivas

---------------------------------------------------------------------------------------

Evaluación de los aprendizajes

Taxonomía de Bloom

Nivel Proceso Tipo de comportamiento

abstracto

6. Evaluación Hacer un juicio crítico fundamentado sobre criterios internos y externos

5. Síntesis Hacer un trabajo personal después de haber concebido un plan de acción

4. Análisis Identificar los elementos, las relaciones y los principios de organización de una asociación

3. Aplicación Recordar los conocimientos o los principios necesarios para resolver un problema

2. Comprensión Traspasar, interpretar y extrapolar a partir de ciertos conocimientos

1. Conocimientos Recordar palabras, hechos, convenciones, clasificaciones, principios, teorías...

concreto


PEM Pruebas de ensayo

Resultados Buenas para medir resultados de conocimientos, comprensión, aplicación y análisis Inadecuadas para medir capacidad de síntesis y evaluación

Poco eficaces para medir conocimientos Buenas para medir comprensión, aplicación y análisis Optimas para medir síntesis y evaluación

Comparación de las pruebas PEM y de ensayo (1)



Variabilidad del contenido

El hecho de tener muchos ítems permite un buen muestreo representativo del contenido Validez de contenido alta

El hecho de tener pocos ítems impide un buen muestreo representativo de contenido. Validez de contenido baja

Preparación de los ítems Difícil y larga Menos difícil y corta





Calificación Objetiva, rápida y fiable Subjetiva, larga, menos fiable

Factores de distorsión debidos al examinado

Habilidad de lectura. Respuestas al azar. Facilidad de copia.

Habilidad de expresión escrita

Factores de distorsión debidos al examinador

Ninguno (Errores corrección mecanizada)

Emociones. Efecto “halo”, Cansancio, Presentación. Tipo de letra.




Efecto sobre el aprendizaje

Ayudan a recordar, interpretar y analizar ideas de otros El conocimiento de los resultados del examen puede ser inmediato y esto facilita el aprendizaje

Ayudan a organizar, integrar y expresar las ideas propias El conocimiento de los resultados es demorado


¿Cual de las siguientes personas es el autor de El Capital?

a) Mannheim b) Marx c) Weber d) Engels e) Michels

distractores enunciado

correcta

Normas para elaborar PEM (1) 1. El enunciado puede ser largo pero las alternativas cortas

2. Enunciado redactado en forma afirmativa

3. En caso contrario, hacer énfasis en forma negativa

4. Enunciado en lenguaje claro y sencillo

5. Asegurar que la respuesta presuntamente correcta lo sea

realmente 6. Consistencia gramatical en todas las opciones (evitar indicios sintácticos para la elección)


Normas para elaborar PEM (2) 7. Credibilidad de los distractores 8. Evitar las opciones “todas las anteriores ” y “ninguna de las

anteriores” 9. Variar al azar la posición de la respuesta correcta 10. Independencia de los ítems 11. Formato adecuado con diseño regular y claro 12. Revisión de los ítems por colegas



a) formato tradicional

¿Cual es la capital de Francia? a) Atenas b) Bruselas c) Tokio d) Praga e) París

b) Formato de tres alternativas ¿Cuál/es de los siguientes ríos

pasa/n por España? a) El Rin b) El Danubio c) Los dos anteriores d) El Ebro e) Todos los anteriores

PEM de 5 opciones con una correcta c) Formato tipo k (4 alternativas) Señala todas las afirmaciones correctas: 1. El Ebro es un río de la península ibérica 2. Atenas es la capital de Francia 3. Las Montañas Rocosas están en los EEUU 4. Suiza pertenece a la Unión Europea a) 1, 2 i 3 b) 1 i 3 c) 2 i 4 d) 4 e) 1, 2, 3 i 4



Análisis de las PEM • Puntuación directa y corregida

• Análisis de ítems

– Índice de Dificultad – Índice de Discriminación – Análisis de las opciones

• Análisis de la prueba

– Dificultad general – Fiabilidad – Validez


Puntuación corregida

PC = Aciertos - Errores

n-1

PC: Puntuación corregida Aciertos: número de ítems contestados correctamente Errores: número de ítems contestados erróneamente n: número de opciones de cada ítem

Evaluación de los aprendizajes Análisis de ítems

1. Ordenar los alumnos por su puntuación 2. Clasificarlos en dos grupos (50% superior vs 50% inferior) 3. En cada ítem, contar el número de individuos del grupo

superior que ha escogido la opción correcta y hacer lo mismo con el grupo inferior.

4. Hacer un ficha por cada ítem


Ítem X a b c* d e blanco

Grupo superior 5 5 20 0 10 5

Grupo inferior 17 3 13 0 4 8

*opción correcta

Índice de Dificultad

I. Dif =

Estudiantes que no responden correctamente

Número total de estudiantes



Índice de Discriminación

I. Disc =

Número de casos

grupo superior con respuesta

correcta

- Número de casos grupo inferior con respuesta correcta

Número de casos en cada grupo


Fiabilidad de consistencia interna

Coef. Fiabilitat KR-21 = 1- M(K- M) K S2

K: número de ítems de la prueba M: media de las puntuaciones S: desviación estandard


Pruebas de correspondencia variable (extended-matching items)

Lista de opciones (más o menos extensa)

Pregunta

Descripciones o viñetas (en general dos)



(a) Campylobacter jejuni, (b) Candida albicans, (c) Giardia lamblia, (d) Rotavirus, (e) Salmonella Typhi, (f) Yersinia enterolítica, (g) Pseudomonas aeruginosa, (h) Escherichia coli, (i) Helicobacter Pylori, (j) Clostridius perfringens, (k) Shigella flexneri, (l) Mycobacteriu tuberculosis. Para cada uno de los siguientes casos, selecciones de la lista anterior, el

microorganismo más probable: - Un hombre de 48 años con dispepsia crónica presenta repentinamente dolor

abdominal intenso. El examen físico revela dolor general a la palpación, con rigidez y signo de Blumberg. La radiología muestra aire libre bajo el diafragma

- Una mujer de 45 años es tratada con antibióticos por infecciones recurrentes de las

vías respiratorias. Presenta dolor abdominal intenso, con diarrea hemorrágica. Endoscópicamente muestra colitis pseudomembranosa.



(a) Las señoritas de Avignon, (b) El pantocrátor de Taull, (c) La virgen de Montserrat, (d) El molino de la Galete, (e) El Guernica, (d) El David, (e) La piedad, (f) Las Meninas, (g) Los fusilamientos del 2 de mayo, (h) La fuente de mercurio Seleccione, de la lista anterior, las obras que fueron realizadas por autores contemporáneos a la construcción de los siguientes edificios: - Edificio 1. Iglesia con bóveda de cañón, de tres naves, con ventanas pequeñas de

arco de medio punto con capiteles con decoración floral. - Edificio 2. Pabellón racionalista construido para la exposición universal que fue

celebrada en el París.

Evaluación de los aprendizajes Pruebas de correspondencia variable (extended-matching items)

(a) Lo que el viento se llevó, (b) Extraños en un tren, (c) Ben-Hur, (d) Titanic, (e) Con la muerte en los talones, (f) El hombre que mató a Liberty Valance, (g) Ciudadano Kane, (h) Rio Bravo, (i) Fort Apache, (j) Casablanca, (k) Sin perdón, (l) Solo ante el peligro, (j) El hombre tranquilo, (k) Rio Lobo. De la lista anterior, seleccione las películas de los siguientes directores de cine: - Americano de origen irlandés famoso por sus “westerns” que rodó muchos

exteriores en el Monument Valey. - Británico que desarrolló su obra principal en EEUU caracterizada por el suspense y

que acostumbraba a hacer “cameos” en sus propias películas

Normas sobre pruebas de ensayo (elaboración) • Usar principalmente para medir resultados complejos de aprendizaje • Preguntas a partir de objetivos • Formulación clara

• Decidir criterios de corrección • No permitir escoger el tema a los estudiantes (si no es objetivo docente)

• Tiempo suficiente pero marcar límites

• Proporcionar a los estudiantes las normas de corrección


Normas sobre pruebas de ensayo (corrección 1) • Evaluar a partir del aprendizaje a medir y no de otros factores

(presentación, letra, redacción, etc.). En caso contrario informar sobre la contingencia. • Uso de criterios de puntuación bien definidos (a más precisión más

objetividad) y conocidos por los estudiantes

• Si hay más de un profesor, corrección por separado • Evaluar de forma anónima

• Corregir todos los exámenes a la misma hora del día • Corregir por preguntas y no por estudiantes


Normes sobre pruebas de ensayo (corrección 2)

• Ocultar puntuaciones de preguntas anteriores

• Tener una política clara sobre errores, respuestas irrelevantes o

respuestas sobrevenidas (comunicada a los estudiantes) • Ante casos dudosos, evaluar dos veces con intervalo

• Comentarios orales o por escrito a los estudiantes (feed back) • Recomendación de cálculo de fiabilidad (nosotros dos veces) y de

objetividad (nosotros y otros colegas)


Evaluación de las habilidades (1)

- Necesidad de peso proporcional en la calificación final - Dos tipos de posibilidades: Evaluación directa Evaluación indirecta sobre aspectos necesarios o relevantes


Evaluación de las habilidades (2)


Un modelo simple de competencia

Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.

Sabe

Muestra

Sabe como

Actúa

Aute

ntic

idad

pro

fesi

onal

Conocimientos

Comportamiento

Tipos de pruebas para evaluar habilidades: 1. Examen teórico sobre requisitos prácticos (en situación de aula)

2. Presentación de casos reales o simulados con preguntas objetivas sobre

ellos (en situación de aula)

3. Examen práctico de suministro (en situación de aula)

4. Realización de una demanda (generalmente fuera del aula)

5. Pruebas programadas de resolución de problemas (informática)

6. Pruebas estandarizadas en estaciones de evaluación (simulación de la realidad)

7. Realización de la habilidad (en situación real)


personalidad y hÁbitos de salud -...

Documents