introducción a los rankings universitarioslos rankings de universidades ! interés de los rankings...
TRANSCRIPT
© Laboratorio de Estudios Métricos de Información (LEMI)
M E J O R A D E L A V I S I B I L I D A D D E L A S
U N I V E R S I D A D E S E S P A Ñ O L A S E N L O S R A N K I N G S
I N T E R N A C I O N A L E S : I N D I C A D O R E S , D A T O S Y
H E R R A M I E N T A S D E S E G U I M I E N T O .
M A D R I D 2 2 d e a b r i l
Introducción a los rankings universitarios
Elías Sanz-Casado Instituto de Estudios Avanzados sobre la Evaluación de la Ciencia y la Universidad (INAECU UAM-UC3M)
q Los rankings de universidades
q Interés de los rankings de universidades: tendencias, ventajas y limitaciones
q Grupo de trabajo de Rankings del MECD: proyecto de mejora de la posición de las universidades españolas en los rankings internacionales
q Objetivos, metodología, algunos resultados, principales conclusiones
Introducción a los rankings de universidades 2
¿Qué vamos a ver?
Los rankings de universidades 3
q Desde el lanzamiento en 2003 del Academic Ranking of World Universi5es (Ranking de Shanghái), los rankings de universidades han tenido un crecimiento y una evolución muy importantes
q Se han desarrollado otros rankings internacionales de gran presAgio: THE, QS, Leiden, Scimago, etc.
q Se han realizado iniciaAvas similares en rankings nacionales (más de 60 países cuentan con rankings nacionales)
q Los rankings más presAgiosos se han consolidado y diversificado en nuevas clasificaciones especializadas: rankings por áreas, temáAcas, regiones, universidades menores de 50 años, etc.
q Los rankings se uAlizan como herramientas de evaluación aunque no susAtuyen a las evaluaciones en profundidad: Research Assessment Framework (RAF),Plan Nacional de Evaluación de la Calidad de las universidades (PNECU)
¨ Los rankings han tratado de cubrir la falta de información de estudios comparaAvos sobre la calidad del sistema universitario mundial/regional
¨ Permiten comparar insAtuciones muy heterogéneas
¨ En la elaboración se ha trabajado con pocos indicadores pero comunes a todas las universidades
¨ El nivel de profundidad de análisis es limitado
¨ Los rankings posibilitan la comparación del rendimiento de las insAtuciones a parAr de una serie de indicadores que pretenden medir (entre otros aspectos):
q La educación (recursos, profesorado, entorno de aprendizaje) q La invesAgación (recursos, repercusión, producción) q El tamaño/orientación de la universidad q Las transferencias de conocimiento a la industria q La reputación académica y en el mundo laboral q Las relaciones con el entorno
Los rankings de universidades 5
Interés de los rankings de universidades
q Los rankings de universidades pueden ser de uAlidad e interés para:
q Los estudiantes y los profesores. La compeAAvidad, la globalización y la incerAdumbre potencian la movilidad.
q El nº de estudiantes buscando universidades externas para su formación terciaria se duplicó desde el 2000 al 2012 (de 2,1 a 4,5 millones) (OCDE, 2014)
q En el curso 2012/13, 1 de cada 8 estudiantes matriculados en las universidades británicas provenía de fuera de la UE.
q Cada vez más países facilitan que sus estudiantes ingresen en universidades bien posicionadas en los rankings internacionales.
6
Interés de los rankings de universidades
q Gestores de polí=ca cien>fica q Comparación del sistema universitario nacional con el de otros
países
q IdenAficar las fortalezas y debilidades del sistema universitario
q Favorecer la calidad e internacionalización de las universidades
q Aumentar la visibilidad de las universidades
q Detectar áreas de especialización cienafica a nivel nacional e internacional
q Referentes para el desarrollo de estrategias cienaficas y de innovación
7
Interés de los rankings de universidades
q Gestores académicos q Ayudar a la internacionalización de las insAtuciones universitarias
q Transparencia. Ayudan a centralizar la información
q Favorecen el conocimiento de la propia insAtución
q Eficiencia: Reorganización de estructuras y procedimientos
q Reorganización de la invesAgación en campos de interés a nivel nacional e internacional
q Permiten comparar las universidades en el ámbito nacional e internacional
q Ayudar a establecer objeAvos en los planes estratégicos de las universidades (Univ chinas Ranking de Shanghái)
q Establecimiento de incenAvos
8
Interés de los rankings de universidades
q Empresarios/empleados
q Conocer las universidades en los ámbitos nacional e internacional, están mejor posicionadas en sus áreas de interés
q Áreas estratégicas en las que establecer colaboraciones
q Establecer programas de formación específica para sus empleados
q Búsqueda de expertos
q Ranking de Linkedin
8
Problemas metodológicos q Desconocimiento de muchas fuentes de obtención de datos,
fundamentalmente en otros países q Las encuestas no se sabe quiénes las contestan y cómo se han seleccionado a
los encuestados q A veces los indicadores solicitados no están bien definidos q La asignación de pesos a los indicadores así como los indicadores basados en
reputación introducen un elevado grado de subjeAvidad
Existencia de sesgos q Factores como el idioma, la trayectoria insAtucional y el presAgio
internacional favorecen a insAtuciones norteamericanas y europeas q Las universidades de gran tradición y presAgio salen favorecidas (Efecto
Mateo) q Se favorece la presencia de universidades con una fuerte orientación
invesAgadora en detrimento de las que Aenen perfil más docente o tecnológico
q No se Aene en cuenta el tamaño de las insAtuciones. Las grandes salen favorecidas
q Apenas se Aene en cuenta la producción cienafica en CCSS y Humanidades
Limitaciones que presentan los rankings
7
Grupo de trabajo de Rankings del MECD
10
Secretaría General de Universidades :
“Grupo de Trabajo para la mejora de la posición de las universidades
españolas en los Rankings Internacionales” Debido a :
• La dificultad de conocer los datos reales que las universidades españolas aportan a los rankings internacionales
• La complejidad de cada una de las metodologías utilizadas por los rankings
Actividades del Grupo de Trabajo: • Proyecto: Analizar los rankings
internacionales (metodología, indicadores, limitaciones, etc.) a partir del análisis de los datos que las universidades españolas envían a los rankings internacionales.
Elaboración de una Guía de buenas practicas
https://sede.educacion.gob.es/publiventa/descarga.action?f_codigo_agc=16810
Servicio de Apoyo
Obje=vos del proyecto 11
q Conocer qué universidades españolas enviaban datos a los rankings QS, THE, ARWU.
q Analizar la consistencia de los datos estructurales (nº de estudiantes, profesorado, financiación, etc.) que aparecen en los informes de cada universidad en los rankings.
q Contrastar la consistencia de los resultados elaborados por los tres rankings internacionales en función de las metodologías seguidas en su construcción.
q Validar los resultados bibliométricos de los perfiles suministrados por los rankings con fuentes externas (Observatorio IUNE).
q Analizar la influencia de los indicadores en los resultados obtenidos en cada una de las dimensiones consideradas en los 3 rankings.
Metodología del proyecto 12
Vías de obtención de datos: • Contacto con las universidades para solicitar datos (se enviaron varias
cartas de solicitud) • Análisis de informes que las universidades recibían de los rankings
Fuentes para la obtención de los datos: • A través de los propios rankings, consulta a sus páginas. • Consulta directa a las personas de contacto de cada uno de los rankings • Recogida directa de información procedente de las universidades
españolas • Otras fuentes:
Web of Science de Thomson Reuters. IUNE (Observatorio de la AcAvidad InvesAgadora de la Universidad Española)
Análisis estadís=co: • WEKA • EsAmación a través de indicadores y las herramientas de ARWU
Respuesta de las universidades (universidades que enviaron sus datos a los rankings internacionales)
13 UNIVERSIDADES que envían datos a los rankings y su posición en el ranking de
2013
QS THE ARWU
U. Autónoma de Madrid SI 195 SI 301/350 SI 201/300
U. Politécnica de Valencia SI 345 SI 351/400 SI 301/400
U. Autónoma de Barcelona SI 177 SI 201/225 SI 201/300
U. Carlos III de Madrid SI 317 SI -‐-‐ SI -‐-‐ U. de Navarra NO 315 Si 351/400 SI -‐-‐ U. Rovira i Virgili NO -‐-‐ SI 351/400 SI -‐-‐ U. Salamanca NO 441-‐450 SI -‐-‐ SI -‐-‐ U. Valencia SI 471-‐48
0 SI 351/400 SI 301/400
U. Alicante NO -‐-‐ NO -‐-‐ SI -‐-‐ U. Islas Baleares NO -‐-‐ NO -‐-‐ SI -‐-‐ U. de la Laguna NO -‐-‐ NO -‐-‐ SI -‐-‐ U. Miguel Hernández NO -‐-‐ NO -‐-‐ SI -‐-‐ U. San=ago de Compostela NO 501-‐550 NO -‐-‐ SI -‐-‐
U. Sevilla SI 551-‐ 600 NO -‐-‐ SI -‐-‐
U. Pompeu Fabra SI 281 SI 164
NO 301/400
U. Zaragoza NO 481-‐490 SI -‐-‐
NO 401-‐500
U. Politécnica de Madrid NO 389 SI -‐-‐
NO -‐-‐
U. de Barcelona SI 178 SI 201/225 SI 201/300
U. Complutense de Madrid NO 216 SI -‐-‐ NO 201/300
Respuesta de las
Universidades a la solicitud de datos
Nº
Nº de universidades a las que se envía solicitud
72
Responden 51
(70,8%)
19 Envían datos a los rankings
32 No envían datos a los rankings
No responden 21
(29,2%)
Ranking
Nº de universidades
que envían datos ARWU 15 QS 8 THE 13
Resultados del proyecto: presencia de las universidades españolas en ARWU en función de los ingresos de inves=gación
14
Estadístico
Total ingresos de
Investigación
Mínimo 5.263.957
Máximo 83.271.214
Mediana 45.077.567
Media 43.481.540 Estimación para las
universidades españolas Top 100
101-200
201-300
301-400
401-500 501-
Probabilidad para la Mediana del total ingresos de investigación de las universidades españolas
0.9% 5.4% 9.9% 13.5% 18.0% 52.3%
Probabilidad para la Media del total ingresos de investigación de las universidades españolas
0.8% 5.1% 12.7% 17.8% 18.6% 44.9%
Probabilidad para el valor Mínimo del total ingresos de investigación de las universidades españolas
0.0% 0.0% 0.0% 0.0% 0.0% 100.0
%
Probabilidad para el valor Máximo del total ingresos de investigación de las universidades españolas
3,6% 11.8% 20.0% 24.5% 14.5% 25.5%
Resultados del proyecto: Iden=ficación de los indicadores más relevantes en ARWU
15
Árbol de decisión con los indicadores de ARWU para las universidades españolas. El indicador más influyente para las universidades españolas fue el PUB, seguido del N&S. El indicador con menor influencia en la evaluación fue el HICI.
Según el árbol de decisión, una universidad con más de 1844 artículos en las bases de datos WoS estaría dentro de las 500 primeras. En caso de no llegar a ese volumen de publicación entraba en juego un segundo indicador: N&S. Si la institución tenía menos de 1844 artículos, pero publicaba más de 6 artículos en Nature o Science, entonces una de cada cuatro universidades entraría entre las 500 primeras del ranking.
Resultados del proyecto: presencia de las universidades españolas en ARWU a par=r de publicaciones WoS y Nature/Science (datos obtenidos de IUNE)
16
UB
UAM
UAB
UCM UV
UPV
UPF
UGR
EHU/UPV
UNIZAR
UPC
US
USC
UNIOVI
UPM
ULL
0 2 4 6 8
10 12 14 16 18 20 22 24 26 28 30 32 34 36 38 40 42 44 46 48 50 52 54 56 58 60 62 64
0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000 3200 3400 3600 3800 4000 4200
Núm
ero
de p
ublic
acio
nes
Nat
ure/
Scie
nce
Nº de Publicaciones en Web of Science (SSCI-SCIE)
Universidades con más de 6 Publicaciones en Nature/Science y con más de 1844 publicaciones en SSCI-SCIE)
Universidades con más de 6 Publicaciones en Nature/Science y con menos de 1844 publicaciones en SSCI-SCIE)
Univ. con menos de 6 Publicaciones en Nature/ Science y con más de 1844 publicaciones en SSCI-SCIE)
Principales conclusiones: recomendaciones estratégicas 17
q Fortalecimiento de la iden=dad de marca de la insAtución (firma única y normalizada)
q Las universidades deberían ser más proac=vas en la colaboración con los rankings internacionales recomendando a expertos académicos y empleadores, así como enviando los datos que les solicitan (lo hacen el 37% de las que han contestado). Esto mejoraría su visibilidad y compeAAvidad internacional.
q Incrementar la colaboración con otros centros de inves=gación (OPIs, CSIC y hospitales), desarrollando estrategias que impliquen alianzas de invesAgación.
q Desarrollar políAcas de atraer talento internacional (profesores, invesAgadores y estudiantes)
Principales conclusiones: recomendaciones opera=vas 18
q Establecer un centro de contacto entre los principales rankings internacionales y el SUE que desarrollase un protocolo para que las universidades que lo deseen sepan adonde dirigirse.
q Los datos que envían las universidades deberían ser revisados y consensuados con los responsables académicos, con el fin de que reflejen la realidad de su acAvidad.
q Las universidades deberían tener un interlocutor único para la difusión de sus datos, con el fin de controlar en todo momento la precisión de los datos que envían.
q Fomentar la viabilidad y uAlización de bases de datos únicas Apo IUNE, Encuesta de la Red OTRI, etc.
q IncenAvar al profesorado para que publique en revistas de presAgio internacional de mayor impacto y visibilidad (primer cuarAl), especialmente Nature y Science.
