la evaluación de las competencias orales con soporte tecnológico
DESCRIPTION
How to evaluate oral competence with neu technologies. What is a good evaluator?TRANSCRIPT
La evaluación de las competencias orales con soporte tecnológicoXXV Curso de verano UNED. Ponferrada
Lourdes Pomposo UNED: Universidad Nacional de Educación
a Distancia. Madrid
Facultad de Filologías Extranjeras y sus
Lingüísticas
La competencia oral en segundas lenguas
Dimensión cognitiva
Dimensión social
Organización del conocimiento: léxico, sintaxis,
fonología, cohesión.
Conocimiento pragmático
Funcional: pedir
disculpas, etc
Sociolingüístico: discurso s a
niños, empresarios…
Comunicación por medio de producción individual o interacción
13/04/2023
Tipos de interacción en la evaluación oral
E-C: Examinador-Candidato: requiere relativamente rápida respuesta = presión
E-C-C: Adaptabilidad a la competencia del compañero en L2. Impredecibles respuestas.
E-C-C-C: Necesidad de procesamiento de diferentes competencias y puntos de vista. Capacidad de seguir una conversación
Personalidad del candidato: el discurso y la preferencia de examen varían.
Candidato Introvertido: exámenes estructurados Candidato Extrovertido: Libertad de expresión
(Berry, 2004)
Evaluar conocimiento en un momento de presión (evaluador, grabación, tecnología).
Subjetividad por parte del evaluador.
Dificultad de la evaluación oral
Tipos de rúbricas de evaluación
Rúbrica analítica Rúbrica holística
Evalúa la comunicación como un todo.
Pocas escalas de evaluación (3 a 5). “as many as necessary, as few as posible” (Taylor, 2011)
Evaluación rápida. Poco diagnóstica pero descriptiva. Se presta más a direntes
interpretaciones. Rúbricas holisticas\5Tabla32.jpg Rúbricas holisticas\imagen-11.png
Identifica y evalúa los componentes de un producto finalizado.
Más fiable para evaluaciones decisivas ya que es diagnóstica.
Útiles para entrenar a examinadores. Útiles para autoevaluaciones de
alumnos. Consumen más tiempo.
Rúbricas analíticas\Marco Europeo.JPG
Rúbricas analíticas\Speaking Markscheme.pdf
El examinador en el test oral
Evaluador preparado y con experiencia docente. Conocer objetivos de cada nivel o cada examen. Conocer expectativas en cuanto a Microhabilidades (fonemas,
gramática, léxico, fluidez, interacción efectiva, etc) y Macrohabilidades (lenguaje no verbal, funciones comunicativas, discurso apropiado para la situación, etc)
(Brown, 2004) Personalidad afable y comunicativa. Facilitador de la interacción.
Influencia del examinador en el test oral
PERFORMANCE
RATERS SCORE
Influencia de la personalidad del examinador. El lenguaje no verbal del examinador. Respeto hacia el candidato y no interrumpir para corregir. Ejemplo de intervenciones en el que el examinador está dando vocabulario nuevo.
EN: What is she like in the class?CA: Well, she is very quiet.
EN: And you are noisier. Explicación correcta de las instrucciones: https://
www.youtube.com/watch?v=Iq0c9jFo89A Aceptar la coevaluación : efecto Rashomond: http://
es.wikipedia.org/wiki/Efecto_Rashomon
“No one judgement may be said to be definitive” (Lumley and McNamara 1995:57)
Contenido de un examen oral: producción individual e interacción
Información u opinión personal Descripciones (fotografía, lugares, aficiones…) Simulaciones de posibles diferentes
situaciones reales:- Inmigrantes- Estudiantes de secundaria- Viajeros frecuentes- Profesionales Interacción improvisada.
Formato de examen oral
Human-scored
Computer-scored: Reconocimiento
automático de voz (ASR)
Human-deliveredComputer-delivered
Semi-directoBulats online, TOEIC, TOEFL iBT
AutomáticoPearson PTE Academic, TOEFL iBT practice tests
DirectoCambridge
Examinations, Trinity
Examinations
Las nuevas tecnologías y la evaluación oral (1)
Examen automático: Reconocimiento automático de voz (ASR): poco fiable para evaluación de alumnos pero más fiable para aprendizaje y autoevaluación de pronunciación).
http://www.iallt.org/iallt_journal/an_online_oral_practiceassessment_platform_speak_everywhere International Association for Language Learning Technology
Examen semi.directo: https://www.youtube.com/watch?v=QKmcrjQxDMohttps://www.youtube.com/watch?v=TUPTT659464
Las nuevas tecnologías y la evaluación oral (2)
Herramientas de videoconferenciaComunicación síncrona: Skype, google + hangouts, AVIP (UNED), Viber, Tinychat, meetin.gs (móvil también), etc
Comunicación asíncrona: E-oral (UNED), AVIP (UNED): posibilidad de grabación individual y colectiva (Conferencia online): pizarra, compartir archivos, cuestionarios finales. https://www.intecca.uned.es/queEsAvip.php (Qué es?)
https://www.intecca.uned.es/portalavip/emision_dif.php?id=248 (Conferencia online UNED)
https://www.intecca.uned.es/portalavip/grabacion.php?ID_Grabacion=92724&ID_Sala=79466&hashData=e1af3cb10c870d6337ac6f7bf881a436
Las nuevas tecnologías y la evaluación oral (3)
Herramientas de audio online.
Audacity http://audacity.sourceforge.net/ (Grbador y editor de sonido)
Chirbit: www.chirbit.com#sthash.RHC8JsMK.dpuf (Grabar sonido y extraer sonido de videos)
Voki: www.voki.com (Crea un avatar que habla)
Voicethread: www.voicethread.com (Se puede subir contenido multimedia: en vídeo o audio y otros usuarios aportan comentarios en texto, audio y vídeo.
Voxopop: www.voxopop.com (grabación de audio entre profesores y alumnos)
Ventajas y limitaciones de las nuevas tecnologías en la evaluación oral
Ventajas
El examinador presencial desaparece.
Se puede volver a escuchar (evaluador).
Se puede enviar la mejor grabación (AVIP, alumno)
Menos vergüenza o miedo al ridículo (alumno).
Ahorro de tiempo. Evaluación más rápida.
Desventajas
El examinador presencial desaparece.
Presión mediática y temporal . Se necesita habilidad en el uso de las
nuevas tecnologías. Calidad de la grabación puede
impedir la comprensión. Fallos técnicos.
BIbliografía
Berry, V. (2004) A Study of the Interaction between Individual Personality Differences and Oral Performance Test Facets. Unpublished PhD Thesis. Kings College. The University of London.
Brown, H.D. (2004) Language Assessment: Principles and Classroom Practices, New York: Longman.
Fulcher, G. (2003) Testing Second Language Speaking. Harlow: Person Education Ltd.
Lumley, T. & McNamara, T.F. (1995) Rater characteristics and rater bias: implications for training, Language testing 12(1), 54-71.
Taylor, L. (Ed) (2011) Examining Speaking: Research and Practice in Assessing Second Language Speaking, Studies in Language Testing, volume 30, Cambridge: UCLES/Cambridge University Press.