Instituto de Investigaciones PsicológicasInstituto de Investigaciones Psicológicas

Programa Permanente Prueba de Aptitud Académica Programa Permanente Prueba de Aptitud Académica y Programa de Pruebas Específicas para Ingreso a Carreray Programa de Pruebas Específicas para Ingreso a Carrera

El Modelo de Admisión en la UCR: El Modelo de Admisión en la UCR: Aspectos conceptuales y de validaciónAspectos conceptuales y de validación

Dra. Eiliana MonteroDra. Eiliana Montero

Octubre, 2011Octubre, 2011

PrincipiosPrincipios

ExcelenciaExcelencia: seleccionar los examinados con : seleccionar los examinados con las mayores posibilidades de éxito académico las mayores posibilidades de éxito académico en la Universidad y en en la Universidad y en carrcarreeras particularesras particulares

Equidad: No contribuir a ampliar las brechas Equidad: No contribuir a ampliar las brechas de oportunidades educativas entre diferentes de oportunidades educativas entre diferentes grupos de población, sino, más bien, en la grupos de población, sino, más bien, en la medida de lo científicamente posible, medida de lo científicamente posible, contribuir a disminuir estas brechas contribuir a disminuir estas brechas

La necesidad de diseñar modelos e instrumentos La necesidad de diseñar modelos e instrumentos de admisión que tomen, de partida, a la equidad de admisión que tomen, de partida, a la equidad como uno de sus pilares básicos, conjuntamente como uno de sus pilares básicos, conjuntamente con la excelenciacon la excelencia

Enfrentar este reto es esencial, en los tiempos que Enfrentar este reto es esencial, en los tiempos que corren, para que la Universidad pueda, corren, para que la Universidad pueda, efectivamente, ser capaz de contribuir a los efectivamente, ser capaz de contribuir a los procesos de movilidad e integración social que son procesos de movilidad e integración social que son parte de su misión fundamental parte de su misión fundamental

PrincipiosPrincipios

Empleo de múltiples indicadoresEmpleo de múltiples indicadores

Procesos continuos de validaciónProcesos continuos de validación

Contar con equipo humano permanente Contar con equipo humano permanente debidamente formado y capacitado debidamente formado y capacitado

MétodosMétodos

El análisis de validez predictiva es El análisis de validez predictiva es fundamental y se realiza para establecer el fundamental y se realiza para establecer el grado de asociación entre el puntaje del grado de asociación entre el puntaje del indicador y la medida de rendimiento indicador y la medida de rendimiento académico. académico.

Se emplean modelos de regresión y Se emplean modelos de regresión y modelos de ecuaciones estructuralesmodelos de ecuaciones estructurales

MétodosMétodos

Marco de referenciaMarco de referencia

Modelos jerárquicos de inteligencia y Modelos jerárquicos de inteligencia y habilidades intelectualeshabilidades intelectuales

Psicología cognitivaPsicología cognitiva

Psicometría Psicometría

Evaluación y medición educativaEvaluación y medición educativa

Los datos empíricos favorecen actualmente teorías Los datos empíricos favorecen actualmente teorías jerárquicas de las habilidades intelectualesjerárquicas de las habilidades intelectuales

C

Factor g

g: factor general de habilidad g: factor general de habilidad intelectual (inteligencia), intelectual (inteligencia), capacidad para procesar capacidad para procesar información en tareas de información en tareas de naturaleza intelectualnaturaleza intelectual

John B. Carroll: Teoría de los 3 estratos

Percepción visual:Perc. EspacialRastreo

F

Inteligencia cristalizada:Comp. lenguajeLéxicoSegunda lenguaGramática

Memoria y aprendizaje general:Memoria sem.Memoria visualAmpl. Mem.

Inteligencia fluida:InducciónDeducciónRaz. Cuant.Raz. Piagetiano

Percepción auditiva:Ajuste absolutoDiscri. sonidosDiscri. musical

Capacidad de recuperación:FluidezFlexibilidadOriginalidad

Rapidez de procesamiento de decisión:Tiempo de reacción simpleRapidez proc. semántico

Y V U R T

Teorías jerárquicas de habilidades Teorías jerárquicas de habilidades intelectualesintelectuales

Desde aquí se justifica el uso de indicadores Desde aquí se justifica el uso de indicadores de habilidades generales y habilidades más de habilidades generales y habilidades más específicas para ciertas áreas y carrerasespecíficas para ciertas áreas y carreras

Podría pensarse de este como un marco Podría pensarse de este como un marco teórico híbrido entre teorías monistas teórico híbrido entre teorías monistas (Spearman) y teorías pluralistas (Gardner)(Spearman) y teorías pluralistas (Gardner)

Validez y equidadValidez y equidad

La validez tiene que ver con cuán apropiadas son La validez tiene que ver con cuán apropiadas son las inferencias e interpretaciones que se hacen a las inferencias e interpretaciones que se hacen a partir de los puntajes de las pruebas (Samuel partir de los puntajes de las pruebas (Samuel Messick, uno de los autores contemporáneos más Messick, uno de los autores contemporáneos más importantes en medición educativa)importantes en medición educativa)

Los equipos constructores de pruebas deben Los equipos constructores de pruebas deben también preocuparse por los usos que se les dan y también preocuparse por los usos que se les dan y las consecuencias sociales que se derivan de estos las consecuencias sociales que se derivan de estos usos (la ciencia y la ética de la evaluación)usos (la ciencia y la ética de la evaluación)

Validez y equidadValidez y equidad

Validez y equidadValidez y equidad

Cómo identificar a los(as) estudiantes con Cómo identificar a los(as) estudiantes con desventajas educativas es también un retodesventajas educativas es también un reto

En Sudáfrica (Universidad de Ciudad del En Sudáfrica (Universidad de Ciudad del Cabo) utilizan 8 indicadores, uno de ellos es Cabo) utilizan 8 indicadores, uno de ellos es ser de “primera generación” ser de “primera generación”

Se habla de múltiples niveles o “capas” de Se habla de múltiples niveles o “capas” de desventajadesventaja

El Modelo de Admisión debería:El Modelo de Admisión debería:

1- Coadyuvar en los procesos de selección y/o de 1- Coadyuvar en los procesos de selección y/o de diagnóstico de candidatos(as) a la Universidad y a diagnóstico de candidatos(as) a la Universidad y a carreras particulares, suministrando instrumentos carreras particulares, suministrando instrumentos de alta validez y confiabilidad, orientados a medir de alta validez y confiabilidad, orientados a medir habilidades generales y habilidades específicas habilidades generales y habilidades específicas que se consideran fundamentales en el perfil de que se consideran fundamentales en el perfil de entrada del estudiante para el éxito académico en entrada del estudiante para el éxito académico en la Universidad y en áreas y carreras específicasla Universidad y en áreas y carreras específicas

El Modelo de Admisión debería:El Modelo de Admisión debería:

2- Lograr el propósito anterior con la mayor 2- Lograr el propósito anterior con la mayor equidad, de manera que el proceso no equidad, de manera que el proceso no contribuya a ampliar las brechas de contribuya a ampliar las brechas de oportunidades educativas ya existentes oportunidades educativas ya existentes entre diferentes grupos de poblaciónentre diferentes grupos de población

3- Mecanismo que permita seleccionar a 3- Mecanismo que permita seleccionar a aquellos (as) candidatos(as) que tengan aquellos (as) candidatos(as) que tengan mayores probabilidades de éxito académicomayores probabilidades de éxito académico

Concebido originalmente como un mecanismo que Concebido originalmente como un mecanismo que permita seleccionar a aquellos(as) candidatos(as) que permita seleccionar a aquellos(as) candidatos(as) que tengan mayores probabilidades de éxito académicotengan mayores probabilidades de éxito académico

Principio de excelencia: se deben seleccionar los(as) Principio de excelencia: se deben seleccionar los(as) examinados(as) con mayor potencial académico para examinados(as) con mayor potencial académico para la educación universitaria en la UCRla educación universitaria en la UCR

Principio de equidad: medir el potencial y no lo que Principio de equidad: medir el potencial y no lo que ya se ha aprendidoya se ha aprendido

El ModeloEl Modelo de Admisión de la UCRde Admisión de la UCR

PProcedimiento de selección para la rocedimiento de selección para la admisión admisión general a la Universidadgeneral a la Universidad

En términos operativos la aplicación de estos En términos operativos la aplicación de estos principios implica que los(as) candidatosprincipios implica que los(as) candidatos(as) (as) con con puntajes de admisión más elevados deben tener puntajes de admisión más elevados deben tener mayor probabilidad de entrar a la mayor probabilidad de entrar a la Universidad Universidad

Este principio se está violentando actualmente con Este principio se está violentando actualmente con el procedimiento para ingreso directo a carrerael procedimiento para ingreso directo a carrera

El ModeloEl Modelo de Admisión de la UCRde Admisión de la UCR

LaLa lógica del proceso es simple: seleccionar lógica del proceso es simple: seleccionar aquellos(as) examinados(as) con los puntajes de aquellos(as) examinados(as) con los puntajes de admisión más altos, ordenados de mayor a menor, admisión más altos, ordenados de mayor a menor, hasta llegar a llenar los cupos disponibles en la hasta llegar a llenar los cupos disponibles en la UniversidadUniversidad

Interpretación referida a normas Interpretación referida a normas

El modelo no contempla el uso del El modelo no contempla el uso del Promedio de Promedio de Admisión como instrumento de selección en carreras Admisión como instrumento de selección en carreras específicas (el último estudio de validez predictiva específicas (el último estudio de validez predictiva indica diferentes grados de predictibilidad para indica diferentes grados de predictibilidad para diferentes áreas)diferentes áreas)

El ModeloEl Modelo de Admisión de la UCRde Admisión de la UCR

Dos componentesDos componentes Educación Diversificada: RendimientoEducación Diversificada: Rendimiento

PAA: PAA: HHabilidades generales de razonamiento, en abilidades generales de razonamiento, en contexto verbal y en contexto matemáticocontexto verbal y en contexto matemático

Concepción equivocada: la prueba determina la Concepción equivocada: la prueba determina la admisiónadmisión. No se obtiene . No se obtiene un 600 en la prueba de un 600 en la prueba de admisión, 600 es el promedioadmisión, 600 es el promedio de los componentes de los componentes

Evidencia del estudio de validez predictiva: Evidencia del estudio de validez predictiva: deberían separarse la parte de contexto verbal y la deberían separarse la parte de contexto verbal y la de contexto matemáticode contexto matemático

Evidencias de validez predictivaEvidencias de validez predictiva– Estudio de factores asociados al rendimiento Estudio de factores asociados al rendimiento

(Montero y Villalobos)(Montero y Villalobos)» PPredredicción del Picción del Promedio romedio PPonderado onderado AAcumulado para cumulado para

estudiantes de segundo y tercer año de carreraestudiantes de segundo y tercer año de carrera» PredPredicción de icción de nota en curso específiconota en curso específico

– Estudio de validez predictiva Estudio de validez predictiva del Promedio de del Promedio de Admisión y sus componentes Admisión y sus componentes (Jiménez y Morales)(Jiménez y Morales)

» El puntaje en El puntaje en EEducación ducación DDiversificada y el puntaje en iversificada y el puntaje en la PAA son los mejores predictores del rendimientola PAA son los mejores predictores del rendimiento, , cohorte del año 1999cohorte del año 1999

» En conjuntoEn conjunto,, presentan una presentan una correlacicorrelación de ón de 0,4 con el 0,4 con el criterio “criterio “LLogro ogro AAcadcadéémico”mico”

VValidez de constructoalidez de constructo

Marco teórico Marco teórico inicial inicial no no estaba estaba claramente claramente especificado (desde SAT de EU). Se está especificado (desde SAT de EU). Se está haciendo explícito actualmente.haciendo explícito actualmente.

Basado en la teoría del factor Basado en la teoría del factor gg (Spearman) (Spearman) SigueSiguenn presentándose evidencias de la existencia presentándose evidencias de la existencia

de este factorde este factor, correlación entre pruebas de , correlación entre pruebas de habilidades intelectualeshabilidades intelectuales

Se puede definir como la capacidad para procesar Se puede definir como la capacidad para procesar información en tareas de naturaleza intelectualinformación en tareas de naturaleza intelectual

¿Qué hace el equipo técnico de la PAA para ¿Qué hace el equipo técnico de la PAA para enfrentar la problemática del impacto de la enfrentar la problemática del impacto de la cultura y el contexto de los examinados?cultura y el contexto de los examinados?

Mantener a un mínimo los conocimientosMantener a un mínimo los conocimientos Análisis de sensibilidadAnálisis de sensibilidad Estudios de DIFEstudios de DIF

– Públicos y privados Públicos y privados – Hombres y mujeresHombres y mujeres– Urbano y Rural (próximamente)Urbano y Rural (próximamente)

EEn ciertos casos calificados (por ejemplo cultura n ciertos casos calificados (por ejemplo cultura indígena) la brecha es tan amplia que no se puede indígena) la brecha es tan amplia que no se puede eliminar por completoeliminar por completo

Nuestra posiciónNuestra posición

El Promedio de El Promedio de AAdmisión puede ser dmisión puede ser complementado: mide solo ciertos aspectos de la complementado: mide solo ciertos aspectos de la aptitud académica y nunca fue pensado para ser aptitud académica y nunca fue pensado para ser utilizado como mecanismo de selección para utilizado como mecanismo de selección para ingreso a carreraingreso a carrera

Tapia y MolinaTapia y Molina: : “La PAA fue construida “La PAA fue construida pensando en la medición de habilidades generales pensando en la medición de habilidades generales y por tanto, de acuerdo con las tendencias actuales y por tanto, de acuerdo con las tendencias actuales en el campo de la psicología cognitiva, no es la en el campo de la psicología cognitiva, no es la prueba ideal para juzgar el posible desempeño de prueba ideal para juzgar el posible desempeño de un(a) estudiante en un campo específico”un(a) estudiante en un campo específico”

Jiménez y Morales: Jiménez y Morales:

““Se recomienda por tanto, continuar Se recomienda por tanto, continuar utilizando el Promedio de Admisión … como utilizando el Promedio de Admisión … como criterio de selección para el criterio de selección para el ingreso a la ingreso a la UniversidadUniversidad. . Para ingreso a carreraPara ingreso a carrera, se ve la , se ve la necesidad de la necesidad de la aplicación de pruebas aplicación de pruebas específicasespecíficas por áreas y a la vez, realizar por áreas y a la vez, realizar análisis que permitan confrontar los análisis que permitan confrontar los resultados obtenidos en este estudio.” (p. 71, resultados obtenidos en este estudio.” (p. 71, el subrayado es de quien escribe)el subrayado es de quien escribe)

Proyecto de Pruebas EspecíficasProyecto de Pruebas Específicas Responde a una decisión institucional, que se materializa en Responde a una decisión institucional, que se materializa en

un acuerdo del Consejo Universitario en sesión 4836, un acuerdo del Consejo Universitario en sesión 4836, celebrada el 13 de octubre del 2003 celebrada el 13 de octubre del 2003

El proyecto inicia a mediados del 2005 con apoyo de la El proyecto inicia a mediados del 2005 con apoyo de la RectoríaRectoría

A la fecha se han construido y recolectado diversas A la fecha se han construido y recolectado diversas evidencias de validez para cuatro instrumentosevidencias de validez para cuatro instrumentos

Prueba de Habilidades CuantitativasPrueba de Habilidades CuantitativasPrueba de Expresión Escrita, uso normativo del lenguaje, Prueba de Expresión Escrita, uso normativo del lenguaje, Prueba de Producción Escrita, habilidad comunicativaPrueba de Producción Escrita, habilidad comunicativaTest de Razonamiento AbstractoTest de Razonamiento Abstracto

Para reflexionarPara reflexionar

El reto es medir potencial de aprendizaje y no lo que El reto es medir potencial de aprendizaje y no lo que el examinado(a) ya sabeel examinado(a) ya sabe

Se debe garantizar no solo la admisión, sino también Se debe garantizar no solo la admisión, sino también la permanencia y la graduaciónla permanencia y la graduación

Una vez que un(a) estudiante de un grupo en Una vez que un(a) estudiante de un grupo en desventaja ingresa a la Universidad, se requieren desventaja ingresa a la Universidad, se requieren apoyos y orientación adicionales necesarios para su apoyos y orientación adicionales necesarios para su desarrollo académicodesarrollo académico

Para reflexionarPara reflexionar

Hay grupos con tantas “capas de desventaja Hay grupos con tantas “capas de desventaja educativa” que pueden requerir procesos alternativos educativa” que pueden requerir procesos alternativos de admisión y programas académicos diferenciados de admisión y programas académicos diferenciados para nivelarse con la población regularpara nivelarse con la población regular

Experiencia exitosa: Programa de Admisión Experiencia exitosa: Programa de Admisión Alternativo de la Universidad de Ciudad del Cabo en Alternativo de la Universidad de Ciudad del Cabo en Sudáfrica, coordinado por el Dr. Alan Cliff.Sudáfrica, coordinado por el Dr. Alan Cliff.

ArtículoArtículo

Cliff, A. y Montero, E. (2010). El Balance Cliff, A. y Montero, E. (2010). El Balance entre Excelencia y Equidad en Pruebas de entre Excelencia y Equidad en Pruebas de Admisión: Contribuciones de Experiencias Admisión: Contribuciones de Experiencias en Sudáfrica y Costa Rica. Revista en Sudáfrica y Costa Rica. Revista Iberoamericana de Evaluación Educativa, 3 Iberoamericana de Evaluación Educativa, 3 (2), pp. 7-28. (2), pp. 7-28. http://www.rinace.net/riee/numeros/vol3-num2/art1.pdf