la autoevaluación como método de autoaprendizaje
DESCRIPTION
La autoevaluación como método de autoaprendizaje. Universidad de Oviedo Daniel Gayo Avello Hortensia Fernández Cuervo Fernando Torre Cervigón. Situación de partida. Algorítmica y Lenguajes de Programación es una asignatura de 12 créditos: 6 teóricos. 6 prácticos (tablero y laboratorio). - PowerPoint PPT PresentationTRANSCRIPT
La autoevaluación como método de autoaprendizaje
Universidad de Oviedo
Daniel Gayo Avello
Hortensia Fernández Cuervo
Fernando Torre Cervigón
2
Situación de partida
Algorítmica y Lenguajes de Programación es una asignatura de 12 créditos: 6 teóricos. 6 prácticos (tablero y laboratorio).
Impartida en primer curso de Licenciatura de Matemáticas de la Universidad de Oviedo.
Aunque la valoración hacia la asignatura y el profesorado por parte de los alumnos era positiva: la encontraban difícil. afirmaban estudiar poco o nada.
3
Planteamiento del problema
¿Podría crearse un sistema de autoevaluación mediante pruebas objetivas en la Web para que los alumnos conozcan su su grado de aprendizaje?
Inconvenientes: Creer erróneamente que la asignatura sería
evaluada mediante pruebas objetivas. Aprendizaje “por respuestas”. Frustración al aprender, por tratarse de pruebas
cerradas.
4
Opción alternativa: Duck
Herramienta desarrollada por el Biology Computer Resource Center de la Univ. de Massachutts Amherst.
Es un sistema de scripts PHP3. Es diferente de una prueba de respuesta múltiple por:
El tipo de preguntas... De respuesta múltiple. De respuesta corta. De respuesta extensa.
El tipo de evaluación... No hay respuestas correctas o incorrectas, sino que se proporciona
un feedback que ayuda a resolver las dudas del alumno. La navegación...
No tiene que ser necesariamente lineal.
5
Antecedentes Evaluación y Aprendizaje
Existen varios estudios sobre la “influencia” de la evaluación en el aprendizaje. Sin embargo, ninguno establece una vinculación clara entre ambas.
Algunos ejemplos: (Serra, 1997) presenta conclusiones sobre una aplicación
informática de autoevaluación con refuerzo, los datos obtenidos son puramente cualitativos.
(Davies, 1999) describe la utilización de herramientas de respuesta múltiple como sistema de evaluación on-line; el objetivo era la evaluación no el aprendizaje.
(Sly y Rennie, 1999) emplean una herramienta de evaluación por ordenador como sistema de evaluación formativa; tampoco vinculan evaluación y aprendizaje.
6
AntecedentesAprendizaje operante vs. significativo
En las herramientas de autoevaluación se dan implícitamente dos tipos de aprendizaje: Operante:
Aquel en el que la conducta se produce en función de sus consecuencias.
Presente en herramientas tradicionales de respuesta múltiple. Al obtener valoración en la respuesta (correcta o incorrecta), se provoca el refuerzo o la extinción del comportamiento (la respuesta del alumno).
Significativo: Se logra al establecerse relaciones entre conocimientos previos y
nuevos conocimientos. Duck estaría inspirado por este tipo de aprendizaje, pues no aporta
“valoración” sino argumentos sobre la pregunta y la respuesta dada que permiten al alumno elaborar asociaciones para construir su propia solución.
7
Formulación de hipótesis
Dos cuestiones clave: El uso de herramientas de autoevaluación on-line
¿mejora el aprendizaje? La aplicación con realimentación ¿es superior a
instrumentos de respuestas múltiples?
Hipótesis: La utilización de herramientas de autoevaluación en la
Web mejora el aprendizaje, por parte de los alumnos, de conceptos teóricos de programación.
La herramienta de autoevaluación Duck resulta más útil para los alumnos que herramientas de respuesta múltiple.
8
MetodologíaIdentificación de variables, población y muestra
Identificación de variables: Variable Independiente (VI): Herramienta de autoevaluación. Variable Dependiente (VD): Rendimiento académico
Población: Alumnos matriculados en ALP en la Licenciatura de Matemáticas de
la Universidad de Oviedo en el curso 2001/2002. 39 alumnos de 18 años y 3 de 19 años. 23 mujeres y 19 hombres. 3 repetidores.
Muestreo aleatorio estratificado. 24 alumnos. Distribuidos en tres grupos de 8 personas. 4 mujeres y 4 hombres en cada grupo. 1 repetidor por grupo.
9
MetodologíaDiseño del experimento
Diseño multivalente pretest-postest. Un grupo de control y un grupo experimental por cada
herramienta. Los tres grupos realizan un pretest y un postest. El grupo de control no recibe tratamiento. Los grupos experimentales recibirían dos niveles de la
VI: Grupo duck: herramienta Duck. Grupo tradicional: herramienta tradicional.Pretest Tratamiento Postest
Asignación Grupo ns1 s1 s2 s3
Azar Control 8 x1 - - x2
Azar Experimental Duck 8 x1 Duck Duck x2
Azar Experimental Tradicional 8 x1 R. múltiple R. múltiple x2
24
10
MetodologíaProcedimiento (i)
Las sesiones tuvieron lugar en una de las salas de ordenadores de la Facultad de Ciencias de la Univ. de Oviedo, durante tres viernes consecutivos en horario de mañana.
Los alumnos fueron informados sobre la forma en que se puntuarían las pruebas (pretest).
No se les informó sobre la naturaleza del experimento; se les hizo creer que participaban en un programa de evaluación de calidad de la enseñanza (efecto Hawthorne, desmoralización, rivalidad).
11
MetodologíaProcedimiento (ii)
09.00 Pretest grupos tradicional y duck.09.40 1º Tratamiento grupos tradicional y duck.
11.00 Cuestionario satisfacción grupos tradicional yduck.
1º Viernes
11.15 Salida grupos tradicional y duck.Pretest grupo control.
2º Viernes
09.00 2º Tratamiento grupos tradicional y duck
10.00 Cuestionario para determinar trabajopersonal grupos duck y tradicional.
10.15 Postest grupos duck y tradicional.
10.45 Cuestionario para determinar trabajopersonal grupo control.
3º Viernes
11.00 Postest grupo control.
12
Pretest para precisar rendimiento académico en la parte teórica de ALP: El pretest era un cuestionario con 20 ítems sobre
“Funciones y subrutinas” y “Recursividad”.Cada ítem presentaba 4 respuestas de las que
sólo 1 era válida.Se penalizaba el azar otorgando 1/2 por acierto y
-1/6 por fallo.
MetodologíaProcedimiento (iii)
Primera Sesión: Cuestionario para determinar la actitud
hacia la asignatura (Escala Likert)
13
MetodologíaProcedimiento (iv)
Los grupos duck y tradicional recibieron tras el pretest la primera sesión de tratamiento.
Grupo tradicional: Una hora con una herramienta de respuesta
múltiple similar a la utilizada en el pretest. Constaba de 40 ítems con 4 respuestas cada uno. Permitía saber al alumno:
Si “acertaba” o “fallaba” en sus respuestas.Cuáles eran las respuestas correctas.La “nota” que obtenía.
14
MetodologíaProcedimiento (v)
15
MetodologíaProcedimiento (vi)
Grupo duck: Una hora con una herramienta con 40
ítems. Mismos ítems y respuestas que en la
herramienta tradicional. El alumno no obtenía una evaluación de
sus respuestas sino una explicación detallada que le permitía deducir su grado de validez.
16
MetodologíaProcedimiento (vii)
17
MetodologíaProcedimiento (viii)
Tras el primer tratamiento: cuestionario para determinar grado de satisfación de cada grupo con su herramienta.
18
MetodologíaProcedimiento (ix)
Segunda Sesión: tratamiento Grupos duck y tradicional.
Tercera Sesión: Cuestionario (Escala Thurstone) a todos los alumnos para
conocer trabajo personal dedicado a la asignatura durante el experimento.
Postest a los tres grupos (igual que el pretest pero alterando el orden de preguntas y respuestas).
19
Discusión de resultados (i)
Se midió: La actitud de los alumnos ante la asignatura (escala Likert). Conocimientos teóricos antes (pretest) y después (postet) del
tratamiento. Esfuerzo personal dedicado a la asignatura (escala de
Thurstone).
¿Existen o no diferencias significativas entre los grupos antes y después del tratamiento?
Si los grupos fueran inicialmente equivalentes y tras el tratamiento existieran diferencias estadísticamente significativas, éstas serían debidas al tratamiento, es decir, la herramienta.
20
Discusión de resultados (ii)
Uso del paquete SPSS. ANOVA de un solo factor para actitud, aptitud
(pretest) y trabajo personal. Determinar si la situación del grupo control en el
postest era equivalente a la original (pretest). Comparar los grupos experimentales con el grupo
control y con la situación original de cada grupo. Uso de la prueba T de Student (contraste de
puntuaciones medias). Comprobar si el grupo duck había obtenido mejores
resultados que el grupo tradicional.
21
Discusión de resultados (iii)
Las puntuaciones de los tres grupos en todas las medidas seguían distribuciones normales y presentaban varianzas homogéneas, por tanto se podía aplicar ANOVA y prueba T de Student.
Los resultados de ANOVA en pretest, prueba de actitud y nivel de trabajo mostraron que los 3 grupos eran equivalentes. Por tanto, las diferencias en el postest (de haberlas) serían debidas al tratamiento.
La prueba T de Student demostró que en el postet los grupos duck y tradicional presentaron una mejoría significativa respecto al grupo de control y frente a su situación original.
El grupo de control empeoró ligeramente pero no de forma significativa. El grupo duck rindió más que el tradicional pero no de forma significativa. Se demuestra la primera hipótesis: “La utilización de herramientas
de autoevaluación en la Web mejora el aprendizaje por parte de los alumnos de conceptos teóricos de programación.”
No se pudo demostrar la superioridad de Duck frente a herramientas tradicionales de respuesta múltiple.
22
Discusión de resultados (iv)
Distribución de las puntuaciones en el pretest
00,050,1
0,150,2
0,250,3
0,35
0,0 1,0 2,0 3,0 4,0 5,0 6,0 7,0 8,0 9,0 10,0
Nota
Pro
babili
dad
Grupo control Grupo duck Grupo tradicional
23
Conclusiones
Se ha demostrado que la utilización de herramientas de autoevaluación en la Web facilita el aprendizaje de conceptos teóricos de asignaturas de programación.
Los resultados en el postest fueron equivalentes para los grupos duck y tradicional pero el grado de satisfacción fue mayor en el grupo duck.
Cuestiones abiertas: ¿Con qué tipo de herramientas (respuesta múltiple o con
feedback) se aprende más y mejor? Este tipo de iniciativas suele ser aprovechada por los alumnos
más destacados. ¿Qué hacer para fomentar el uso de las herramientas por parte de todos los alumnos?
La autoevaluación como método de autoaprendizaje
Universidad de Oviedo
Daniel Gayo Avello
Hortensia Fernández Cuervo
Fernando Torre Cervigón