avaluar nuestro avalúo: ¿cómo lo estamos...
TRANSCRIPT
Avaluar nuestro avalúo: ¿Como lo estamos haciendo? 11 de mayo de 2015
Por : Dr. Jodi Levine LaufgravenTraducción adaptada: Prof. Lillian E. Ríos-Rodríguez 1
Avaluar nuestro avalúo:¿Cómo lo estamos haciendo?
Dr. Jodi Levine LaufgravenVice ProvostAcademic Affairs, Assessment and Institutional Research,Temple University
Traducción adaptada autorizada: Prof. Lillian E. Ríos-Rodríguez
PresidentaDecanato de Asuntos Académicos,
Comité Institucional de AvalúoUPR, Recinto de Ciencias Médicas
Origen del Comité
Institucional de Avalúo (CoIA)
2002 –MSCHE incluye los estándares:
• Estándar 7: Avalúo institucional
• Estándar 14: Avalúo del aprendizaje de los estudiantes
2003 – Rector encomienda velar por su cumplimiento al Decano del DAA y se constituye el CoIA.• Atiende primordialmente el estándar 7
• Sienta bases para el estándar 14
2013 – Dos componentes en CoIA• CoIA: EI – Efectividad institucional
• CoIA: AE – Aprendizaje estudiantil
2
Avaluar nuestro avalúo: ¿Como lo estamos haciendo? 11 de mayo de 2015
Por : Dr. Jodi Levine LaufgravenTraducción adaptada: Prof. Lillian E. Ríos-Rodríguez 2
Marco de Referencia
3
• Certificación 08 SA, 1994-1995
Misión, metas y objetivos del RCM
• Certificación 49 SA, 2008-2009
Revisión visión, misión y valores RCM
• Certificación 136 JS, 2003-2004
Política sobre la Efectividad Institucional de UPR
• Certificación 33 S A, 2007-2008
Política sobre Avalúo de la Efectividad Institucional
del Recinto de Ciencias Médicas
• Certificación 03 JS, 2009-2010
30 indicadores de avalúo UPR
• Modelo de Cinco Columnas de Nichols para el avalúo de la Efectividad Institucional y del Aprendizaje
Marco de Referencia
Avalúo de la Efectividad Educativa
4
Revised: March 2011 (pages xii and xiii)
Characteristics of Excellence in Higher Education Requirements of Affiliation and Standards for
Accreditation (2011)
Standards for Accreditation and Requirements of
Affiliation (2014)
7 y 14
5
Avaluar nuestro avalúo: ¿Como lo estamos haciendo? 11 de mayo de 2015
Por : Dr. Jodi Levine LaufgravenTraducción adaptada: Prof. Lillian E. Ríos-Rodríguez 3
Aseveraciones que definen
el aprendizaje del estudiante en el RCM
Institucional (RCM)- Misión y visión institucional
- Metas, objetivos y valores institucionales
Programático- Metas y objetivos programáticos
(currículo)
Curso/Sala de clase- Descripciones de cursos
- Metas y objetivos de los curso
RCM
Programas
Cursos/Sala de clase
Lineamiento5
A Road Map for Improvement of Student Learning and Support Services Through Assessment (Nichols, 2005). Adaptación y
traducción del modelo para fines educativos.
Propósito InstitucionalExpandido
Objetivos (Resultados Esperados)
Criterios de Éxito y Método
de Avalúo
Resultados Obtenidos
Acción tomada (Uso de los Resultados)
Misión del RCM:
Ser un centro académico de…
Misión Decanato de Estudiantes:
Proveer servicios de calidad para atender y satisfacer las
necesidades del estudiante, en aras de propiciar su bienestar físico,
emocional, social y recreativo como complemento al desarrollo
académico del estudiante. De esta manera, promueven la
formación integral de un ciudadano que contribuya al
desarrollo de la sociedad.
Meta:
Ofrecer servicios ágiles y flexibles que se ajusten a las necesidades
cambiantes de la comunidad estudiantil.
Luego de visitar
el CECSi para recibir
consejería, los estudiantes
expresarán estar satisfechos con
el servicio recibido.
A través de una
encuesta que contestarán al
recibir servicios de consejería,
sobre la aseveración
“Estoy satisfecho con el servicio
recibido”, el 85%de los
estudiantes,responderá estar
de “de acuerdo” o “totalmente
de acuerdo”.
80%
respondió “de acuerdo” o
“totalmente de acuerdo”
Se discutieron los
resultados con las personas de interés.
Se identificaronáreas de
insatisfacción.
Se preparó e implantó un plan de
acciones correctivas para el año
académico 2014-2015.
Se estableció fecha
para avaluar los resultados luego de
haber implantado las medidas
correctivas.
Avaluar nuestro avalúo: ¿Como lo estamos haciendo? 11 de mayo de 2015
Por : Dr. Jodi Levine LaufgravenTraducción adaptada: Prof. Lillian E. Ríos-Rodríguez 4
7
Revisión literaturaConsultas externasEntrevistas Identificar:
. Fortalezas
. Debilidades
Infraestructura que se necesita
Metodología a usarPlanificar
Promoción misiónTalleres/OrientacionesEstablecer cicloInfraestructura electrónica. Equipo. Aplicaciones. Sistema Manejo Contenido. Página Web CoIA. Cuestionarios en línea. Instrumento digital (tasas)
Reunión/Pruebas con OSIInstrumento Web-based
OSI integrada (100%)
Ágil acopio datos Guía operar políticaInformesAuditar el procesoDivulgación (oportuna)
. Logros
. Ciclo
. Correo-e
. Página CoIA
. Resultados
. Guía operar política
sep 2011 - 2012 2012 - 2015 2015 - 2017
Metas de este taller
Fortalecer la base…
Identificar las fortalezas y debilidades de los actuales esfuerzos de avalúo
Comprender los usos de auditar el proceso de avalúo
Esbozar estrategias para interpretar y utilizar la información que resulta de la auditoría
Determinar cuántos programas pueden usar evaluaciones de los esfuerzos del avalúo general para el mejoramiento del aprendizaje estudiantil
08/03/2016Traducción adaptada: Prof. Lillian E. Ríos-Rodríguez
8
Avaluar nuestro avalúo: ¿Como lo estamos haciendo? 11 de mayo de 2015
Por : Dr. Jodi Levine LaufgravenTraducción adaptada: Prof. Lillian E. Ríos-Rodríguez 5
Fuerzas que Impulsan el Avalúo
• Agencias acreditadoras
• Exámenes nacionales
• Entidades federales
• Estudiantes potenciales
• Empleadores /La profesión
• Gerencia UPR (VAA)
• Liderato de avalúo (UPR y RCM)
• Liderato académico/administrativo
• Facultad/Departamento/Programa
• Estudiantes
• Exalumnos
Avalúo de Resultados
Externas
Internas
9
Ciclo de avalúo para el proceso de
enseñanza-aprendizaje
08/03/2016Traducción adaptada: Prof. Lillian E. Ríos-Rodríguez
10
2Oportunidades de aprendizaje
4Uso de los resultados
3Avalúo
1Metas de
aprendizaje
Avaluar nuestro avalúo: ¿Como lo estamos haciendo? 11 de mayo de 2015
Por : Dr. Jodi Levine LaufgravenTraducción adaptada: Prof. Lillian E. Ríos-Rodríguez 6
Modelar la conducta
¿Qué pasa si el proceso de avalúo fue realizado con estándares de avaluación que deben alcanzar los programas académicos?
08/03/2016Traducción adaptada: Prof. Lillian E. Ríos-Rodríguez
11
Prueba rápida (“quiz”)
Nuestra institución…A. Sabe exactamente qué programa está
haciendo avalúo y conoce qué están haciendo cada uno.
B. Tiene una idea general de quien está haciendo avalúo, pero no sabe qué está haciendo cada programa.
C. Sabe que se está haciendo avalúo, pero no dónde.
D. ¿Avalúo? ¿Se supone que hagamos eso?
08/03/2016Traducción adaptada: Prof. Lillian E. Ríos-Rodríguez
12
Avaluar nuestro avalúo: ¿Como lo estamos haciendo? 11 de mayo de 2015
Por : Dr. Jodi Levine LaufgravenTraducción adaptada: Prof. Lillian E. Ríos-Rodríguez 7
¿Qué nos motiva?
08/03/2016Traducción adaptada: Prof. Lillian E. Ríos-Rodríguez
13
Lo que debe ser
Demostrar lo que hacemos
bien
Identificar maneras en
que podamos hacerlo mejor
Aprender sobre las experiencias
estudiantiles
Enmarcar el modo en que hablamos del
éxito estudiantil
Lo quesuele ser
AcreditaciónRegional
AcreditaciónProfesional/
Especializada
Medidas de Rendimientode Cuenta
Lo se quiere que sea
Definido
Continuo
Sostenible
Útil
¿Dónde estamos?
Evidencia indirecta
• ¿Qué pregunta la gente?
• ¿Qué dice la gente?
Evidencia directa
• Planes
• Informes
• Acreditación programática
• Propuestas curriculares
• Auditorías
08/03/2016Traducción adaptada: Prof. Lillian E. Ríos-Rodríguez
14
Avaluar nuestro avalúo: ¿Como lo estamos haciendo? 11 de mayo de 2015
Por : Dr. Jodi Levine LaufgravenTraducción adaptada: Prof. Lillian E. Ríos-Rodríguez 8
Ejercicio 1: ¿Dónde estamos?
08/03/2016Traducción adaptada: Prof. Lillian E. Ríos-Rodríguez
15
Auditar su avalúo
Los modelos de mejoramiento continuo pueden ser aplicados a cualquier proceso, incluso al avalúo mismo.
08/03/2016Traducción adaptada: Prof. Lillian E. Ríos-Rodríguez
16
Avaluar nuestro avalúo: ¿Como lo estamos haciendo? 11 de mayo de 2015
Por : Dr. Jodi Levine LaufgravenTraducción adaptada: Prof. Lillian E. Ríos-Rodríguez 9
Auditarías
Cotejo o revisión cuidadosa de algo.
El proceso de evaluación o análisis de algo para determinar su precisión
Examen sistemático o verificación de algo
Mirar los "libros de avalúo"
08/03/2016Traducción adaptada: Prof. Lillian E. Ríos-Rodríguez
17
18
Institucional
Programático
Curso/Sala de clase
CoIA: AE
Avaluar nuestro avalúo: ¿Como lo estamos haciendo? 11 de mayo de 2015
Por : Dr. Jodi Levine LaufgravenTraducción adaptada: Prof. Lillian E. Ríos-Rodríguez 10
Metas
Todo buen avalúo comienza con metas:
¿Qué queremos lograr con la auditoría?
¿Qué queremos saber?
• Presencia
• Calidad
• Proceso
08/03/2016Traducción adaptada: Prof. Lillian E. Ríos-Rodríguez
19
¿Qué queremos saber?
Presencia:
¿Quién está o no está haciendo avalúo del aprendizaje estudiantil?
¿En qué parte del ciclo está cada programa académico?
08/03/2016Traducción adaptada: Prof. Lillian E. Ríos-Rodríguez
20
Avaluar nuestro avalúo: ¿Como lo estamos haciendo? 11 de mayo de 2015
Por : Dr. Jodi Levine LaufgravenTraducción adaptada: Prof. Lillian E. Ríos-Rodríguez 11
¿Qué queremos saber?
Calidad:
¿Cuál es la calidad del avalúo?
¿Cuán sofisticado es?
¿Se está expandiendo el avalúo?• ¿Cada vez se hace más y se extiende a otras áreas
programáticas?
• ¿Se conocen más los resultados?
¿Está conectado a los resultados de educación general?• Dominios generales del RCM esbozados en las metas
institucionales 1 y 308/03/2016Traducción adaptada: Prof. Lillian E. Ríos-Rodríguez
21
¿Qué queremos saber?
Proceso:
¿Está siendo el avalúo discutido y utilizado?
¿Está el avalúo enlazado e informando la planificación y la toma de decisiones?
¿Está funcionando el proceso de coordinación del avalúo?
¿Es realista el tiempo?
¿Hay suficientes recursos y apoyo para el avalúo?
¿Qué capacitación es necesaria?
¿El proceso está alineado con las expectativas de las agencias acreditadoras?
08/03/2016Traducción adaptada: Prof. Lillian E. Ríos-Rodríguez
22
Avaluar nuestro avalúo: ¿Como lo estamos haciendo? 11 de mayo de 2015
Por : Dr. Jodi Levine LaufgravenTraducción adaptada: Prof. Lillian E. Ríos-Rodríguez 12
¿Quién es la audiencia de
auditaría?
Interna
Liderato de avalúo
Liderato académico/administrativo
Facultad/Departamento
Estudiantes
Exalumnos
Externa
Agencias acreditadoras
Exámenes (“Boards”) del estado
Entidades federales
Estudiantes potenciales
Empleadores/La profesión
08/03/2016Traducción adaptada: Prof. Lillian E. Ríos-Rodríguez
23
Preguntar dónde ocurre avaluación
Definir las unidades de análisis de la avaluación
• Institución
• Departamento
• Programas
• Educación General
• Todas las anteriores
Auditar la actividad de avaluación
• ¿Qué avalúan los programas?
• ¿Cómo informan y comparten los resultados?
• ¿Cómo es usada la avaluación para mejorar?08/03/2016Traducción adaptada: Prof. Lillian E. Ríos-Rodríguez
24
Avaluar nuestro avalúo: ¿Como lo estamos haciendo? 11 de mayo de 2015
Por : Dr. Jodi Levine LaufgravenTraducción adaptada: Prof. Lillian E. Ríos-Rodríguez 13
¿Cuándo es un buen momento para
auditar?
Preparación para auto-estudio o informe de revisión periódica (“Periodic Review Report” -PRR)
Llegada de un nuevo líder
• Institución
• Avalúo / Investigación Institucional (II)
Cuando sea consistente con expectativas institucionales por la revisión del programa/ciclo de evaluación del programa (5, 7 ó 10 años)
¿Otro?08/03/2016Traducción adaptada: Prof. Lillian E. Ríos-Rodríguez
25
¿Cómo se quiere la información?
Resumen/Estatus
Cuantificada
Cualitativa vs cuantitativa
Retrato (“snapshot”)
• Fortalezas
• Debilidades
• Necesidades
08/03/2016Traducción adaptada: Prof. Lillian E. Ríos-Rodríguez
26
Avaluar nuestro avalúo: ¿Como lo estamos haciendo? 11 de mayo de 2015
Por : Dr. Jodi Levine LaufgravenTraducción adaptada: Prof. Lillian E. Ríos-Rodríguez 14
La herramienta
Claro y fácil de entender
Razonablemente fácil de completar
Periodo de análisis definido
Aspectos en auditoría están alineados con lo que necesita/quiere saber
• Presencia
• Calidad
08/03/2016Traducción adaptada: Prof. Lillian E. Ríos-Rodríguez
27
Seleccionar una herramienta
08/03/2016Traducción adaptada: Prof. Lillian E. Ríos-Rodríguez
28
Avaluar nuestro avalúo: ¿Como lo estamos haciendo? 11 de mayo de 2015
Por : Dr. Jodi Levine LaufgravenTraducción adaptada: Prof. Lillian E. Ríos-Rodríguez 15
Analizar su progreso
Del mismo modo que alentamos a nuestros programas a considerar sus fortalezas y debilidades, podemos conducir un análisis de trabajo de avaluación para considerar lo que funciona y dónde podemos hacerlo mejor.
08/03/2016Traducción adaptada: Prof. Lillian E. Ríos-Rodríguez
29
Recordar la intención
Auditar los programas individuales
Auditar todo avalúo
Determinar debilidades
Planificar para mejorar
08/03/2016Traducción adaptada: Prof. Lillian E. Ríos-Rodríguez
30
Avaluar nuestro avalúo: ¿Como lo estamos haciendo? 11 de mayo de 2015
Por : Dr. Jodi Levine LaufgravenTraducción adaptada: Prof. Lillian E. Ríos-Rodríguez 16
Ejemplo31
Programa(una)
Escuela(varias auditorías)
Institucional(todas las auditorías)
¿Qué se puede aprender de la
auditoría?
¿Dónde está ocurriendo el avalúo? (presencia)
• Dónde hay lagunas (“gaps”)
¿Cuán robusto es? (calidad)
¿Cómo está siendo usado? (proceso)
• ¿Dónde es discutido el avalúo?
Cursos
Programas
Institución
¿Cómo lo podemos hacer mejor?
08/03/2016Traducción adaptada: Prof. Lillian E. Ríos-Rodríguez
32