informe u-ranking de universidades 2016

8/18/2019 Informe U-Ranking de Universidades 2016

1/138

U-Ranking

2016Indicadores sintéticos de lasuniversidades españolas

Cuarta edición, marzo 2016

Francisco Pérez (dir.)

Joaquín Aldás (dir.)


2/138

U-RANKING 2016. INDICADORES SINTÉTICOS DE LAS UNIVERSIDADES ESPAÑOLAS

Este proyecto ha sido realizado por el siguiente equipo:

Francisco Pérez (dir.) (Universitat de València e Ivie)Joaquín Aldás (dir.) (Universitat de València e Ivie)Rodrigo Aragón (Ivie)

Irene Zaera (Ivie)


3/138


Índice

5 AGRADECIMIENTOS

7 1. INTRODUCCIÓN

13 2. METODOLOGÍA2.1. CONSIDERACIONES EN EL DISEÑO DE RANKINGS

2.2. ACTIVIDADES CONSIDERADAS

2.3 DESAGREGACIÓN DE LAS ACTIVIDADES

2.4. INDICADORES, ÁMBITOS Y DIMENSIONES2.5. COBERTURA TEMPORAL DE LOS DATOS

2.6. CRITERIOS PARA LA CONSTRUCCIÓN DE INDICADORES

2.7. RANKINGS DE RESULTADOS VS. RANKINGS DE VOLUMEN

2.8. LAS UNIVERSIDADES PRIVADAS

29 3. RANKINGS PERSONALIZADOS POR EL USUARIO3.1. EJEMPLOS DE RANKINGS PERSONALIZADOS

3.2. DESCRIPCIÓN DE LA HERRAMIENTA WEB PARA GENERAR RANKINGS PERSONALIZADOS DETITULACIONES

3.3. INFORMACIÓN COMPLEMENTARIA SOBRE EL ENTORNO DE LAS UNIVERSIDADES

37 4. PRINCIPALES RESULTADOS4.1. U-RANKING

4.2. U-RANKING VOLUMEN

4.3. U-RANKING DE VOLUMEN VS. U-RANKING DE RENDIMIENTO

4.4. U-RANKING VS. RANKING DE SHANGHÁI

4.5. COMPARACIÓN DE RESULTADOS DE OTROS RANKINGS INTERNACIONALES

4.6. INVESTIGACIÓN VS. DOCENCIA: ANÁLISIS DE SENSIBILIDAD

4.7. RANKINGS DE DOCENCIA, INVESTIGACIÓN E INNOVACIÓN Y DESARROLLO TECNOLÓGICO

4.8. RESULTADO COMPARADO DE LAS UNIVERSIDADES PÚBLICAS Y PRIVADAS

4.9. U-RANKINGS 2015 Y 2016 DE LAS UNIVERSIDADES PÚBLICAS

4.10. EVOLUCIÓN 2013-2016 DE LAS UNIVERSIDADES PÚBLICAS

4.11. SISTEMAS UNIVERSITARIOS REGIONALES

4.12. GRUPOS ESTRATEGICOS

65 5. CONCLUSIONES

69 Anexo 1: Glosario de Indicadores

73 Anexo 2: Siglas utilizadas para identificar a cada universidad

75 Anexo 3: Panel de indicadores de las universidades

137 BIBLIOGRAFÍA


4/138

4


5/138


5

Agradecimientos

El proyecto ISSUE (Indicadores Sintéticos delSistema Universitario Español), desarrollado encolaboración por la Fundación BBVA y el Instituto

Valenciano de Investigaciones Económicas (Ivie),es una pieza central de un programa de activida-des de ambas instituciones dirigido a documentary analizar el papel del conocimiento en el desarro-

llo social y económico. Este documento presentauno de los productos básicos de dicho proyecto,los rankings U-Ranking y U-Ranking Volumen, sumetodología y los resultados correspondientes ala edición de 2016, la cuarta que se presenta.

El enfoque de ISSUE, la selección de las variablesen las que se basan los rankings elaborados y lametodología seguida en el tratamiento de la in-formación han sido exhaustivamente discutidospor el equipo del Ivie junto a un amplio grupo deexpertos en evaluación de universidades, informa-ción y gestión universitaria. A estos especialistaspertenecientes a catorce universidades, queremosagradecerles sinceramente su valiosa colabora-ción.

También es necesario reconocer el apoyo de lasuniversidades públicas valencianas en las fasesiniciales del proyecto y las sugerencias realizadaspor miembros de distintas universidades españo-las tras la presentación de los primeros resulta-dos, en junio de 2013, que han sido seguidos coninterés por muchas personas. Desde entonceshasta finales de febrero de 2016 la web de

U-Ranking ha recibido más de 420.000 visitas,buena parte de las cuales ha derivado en el cálcu-lo de los rankings personalizados (más de100.000) y se han realizado más de 24.300 des-cargas de las tres primeras ediciones del informe.

Además el proyecto cada vez es seguido con ma-yor interés desde el exterior: desde la presenta-ción de la edición de 2015 en el mes de marzo, el31% de las visitas a la web provenían de fuera deEspaña, destacando especialmente los paíseslatinoamericanos y EEUU que concentran el 26%de las visitas. Además, los principales países eu-ropeos como Reino Unido, Alemania, Francia,Italia y Portugal representan el 3,1% de las visi-

tas. Estos datos suponen un estímulo para man-tener la continuidad del proyecto y realizar mejo-ras en el mismo como las que se abordan en estacuarta edición.

Queremos agradecer de manera muy especial laamplia colaboración prestada por el Observatorio

IUNE1

en todo lo relativo a los datos deinvestigación e innovación y desarrollo tecno-lógico, especialmente en el área de bibliometría.

Además de participar en las reuniones de trabajorelativas a la disponibilidad e idoneidad de diver-sas fuentes y los distintos problemas de su tra-tamiento, el grupo del Observatorio IUNE, y enespecial el equipo de INAECU, dirigido por elprofesor Elías Sanz-Casado ha proporcionadodatos bibliométricos completos relativos a lainvestigación de todas las universidades españolas(fuente: Thomson-Reuters), a partir de los cuales

se han calculado muchos de los indicadoresrelativos a la investigación.

También, U-Ranking agradece la colaboración dela Secretaría General de Universidades y enespecial a la Subdirección General deCoordinación y Seguimiento Universitario delMinisterio de Educación, Cultura y Deporte quedesde esta edición ha permitido a U-Rankingacceder del Sistema Integrado de InformaciónUniversitaria (SIIU). Esta colaboración posibilita,como luego se detallará en la sección de

metodología, avanzar en el proceso de migraciónde datos hacia fuentes significativamente másfiables y consistentes temporalmente. Asimismo,

1 Dicho observatorio es el resultado del trabajo realizadopor un grupo de investigadores pertenecientes a las univer-sidades que integran la «Alianza 4U» (Universidad CarlosIII de Madrid, Universidad Autónoma de Madrid, Universitat Autònoma de Barcelona y Universitat Pompeu Fabra), bajola coordinación general de Elías Sanz-Casado, Catedráticoen el Departamento de Biblioteconomía y Documentaciónde la Universidad Carlos III de Madrid y Director del Institu-

to Interuniversitario «Investigación Avanzada sobre Evalua-ción de la Ciencia y la Universidad» (INAECU).


6/138

6

el equipo del Ivie quiere reconocer por un lado, elapoyo del Ministerio de Economía yCompetitividad que, a través de la DirecciónGeneral de Investigación Científica y Técnica, haproporcionado valiosa información sobre los

recursos de investigación de los que disponen lasuniversidades. Por el otro, la Conferencia deRectores de las Universidades Españolas (CRUE)ha prestado una valiosísima colaboración sumi-nistrando los datos de diversas ediciones delinforme La Universidad en Cifras.

El Ivie agradece también sus aportaciones a lassiguientes personas, participantes en el grupo deexpertos que ha seguido el desarrollo del proyec-to: Antonio Villar (Universidad Pablo Olavide yProfesor investigador del Ivie), Antonio Ariño

(Universitat de València), Álvaro Berenguer (Uni-versidad de Alicante), Gualberto Buela-Casal (Uni-versidad de Granada), José Miguel Carot (Univer-sitat Politècnica de València), Fernando Casani(Universidad Autónoma de Madrid), Daniela DeFilippo (Universidad Carlos III), M.ª Ángeles Fer-nández (Universitat Jaume I), José M.ª GómezSancho (Universidad de Zaragoza), Juan Hernán-dez Armenteros (Universidad de Jaén), Joan Oltra

(Universitat de València), Carmen Pérez Esparrells(Universidad Autónoma de Madrid), José AntonioPérez (Universitat Politècnica de València), Fer-nando Vidal (Universidad Miguel Hernández) y

Carlos García Zorita (Universidad Carlos III).Igualmente cabe dar las gracias al grupo de in-vestigadores y técnicos del Ivie que han partici-pado activamente en la elaboración de la metodo-logía de los Rankings ISSUE: Francisco Goerlich,José Manuel Pastor y Abel Fernández. El equipoha contado con la valiosa colaboración de otrosmiembros del Ivie. Alicia Raya, Susana Sabater,Belén Miravalles y Julia Teschendorff han realiza-do distintas tareas de documentación, edición ycomunicación. A ellos, el equipo U-Ranking agra-dece su dedicación y profesionalidad.

Los resultados del proyecto ISSUE son, por tanto,fruto de la colaboración de numerosas personas einstituciones que comparten nuestro interés poranalizar el funcionamiento de las universidadesespañolas y facilitar imágenes comparables ysintéticas de las mismas. En todo caso, la respon-sabilidad sobre los indicadores presentados y lasconclusiones derivadas de los mismos correspon-de solo al equipo del Ivie.


7/138


7

1. Introducción

Este documento presenta los resultados de lainvestigación desarrollada por el Ivie para cons-truir la cuarta edición de los Indicadores Sintéticosdel Sistema Universitario Español (ISSUE), a partirdel análisis de las actividades docentes, de inves-tigación y de innovación y desarrollo tecnológicode las universidades.

Los indicadores elaborados sirven de base para laelaboración de diversos rankings de las universi-dades españolas. El primero de ellos es U-Ranking que analiza el desempeño del sistemauniversitario sintetizando en un único índice suslogros en docencia, investigación e innovación ydesarrollo tecnológico. Que una universidad pe-queña logre grandes resultados no nos debe ha-cer ignorar que el impacto sobre su entorno pue-de ser mucho más limitado que el de una univer-sidad mucho más grande, aunque esta logre re-sultados menos destacados. Por este motivo se

ofrece un segundo ranking general, U-Ranking Volumen, que considera el efecto combinado deambas variables, resultados y tamaño, que ordenaa las universidades atendiendo a su contribucióntotal a la misión encomendada al sistema univer-sitario. A estos dos rankings generales se le aña-den otros más específicos (U-Ranking dimen-siones) centrados en la ordenación de las institu-ciones universitarias en cada una de las dimen-siones que conforman dicha misión de la universi-dad: la docencia, la investigación y la innovación ydesarrollo tecnológico, así como U-Ranking titu-laciones que ofrece la ordenación de los grados

ofrecidos por las distintas universidades, dandoinformación muy relevante para la adecuada se-lección de la universidad a un estudiante poten-cial.

Todos estos rankings constituyen aproximacionesa los resultados de las universidades que permitencompararlas desde distintas perspectivas. Median-te esas comparaciones, los indicadores sintéticospermiten evaluar su funcionamiento respondiendoa preguntas relevantes, como las siguientes:

•

¿Cuáles son las universidades españolas conmayor volumen de resultados?, ¿cuáles son

las universidades más productivas o eficien-tes?, ¿coinciden las mejor situadas en losrankings según cada una de estas dos pers-pectivas?

• ¿Responden las posiciones de las universida-des españolas en los rankings internacionalesa criterios de volumen de actividad, o más

bien a criterios de resultados?, ¿estáncorrelacionados los U-Rankings con las posi-ciones de las universidades españolas en losrankings internacionales más conocidos, co-mo el de Shanghái2?

• ¿Destacan las universidades con mejores re-sultados de investigación por sus resultadosdocentes?, ¿están correlacionados los resul-tados de investigación con los de innovacióny desarrollo tecnológico?

• ¿Presentan las posiciones de las universida-

des en los distintos rankings generales la su-ficiente regularidad como para clasificarlasen grupos homogéneos, o es demasiado va-riable la situación en unas u otras ordenacio-nes para establecer una tipología? ¿se man-tienen estables a lo largo del tiempo las po-siciones alcanzadas por las universidades?

• ¿Son similares los rankings generales corres-pondientes al conjunto de actividades de unauniversidad con los que se obtienen cuandose comparan titulaciones concretas?, ¿es

elevada la heterogeneidad interna de lasuniversidades?

Obtener respuestas para todas estas cuestionespuede ser de mucho interés para construir unavisión del sistema universitario español que identi-fique las fortalezas y debilidades de cada una delas instituciones que lo integran, así como paraordenar la posición dentro del mismo de las uni-

2 Academic Ranking of World Universities (ARWU) (Clasi-

ficación de las universidades del mundo).


8/138


8

versidades. Ese es el propósito de este proyecto yde este informe pues, como se señalaba en unestudio anterior del Ivie, publicado por la Funda-ción BBVA (Pérez y Serrano [dirs.] 2012), el sis-tema universitario español ha aumentado muchosu dimensión en las últimas décadas pero dista deser un conjunto homogéneo. No reconocer suheterogeneidad dificulta su evaluación, a pesar deque esta requiere tener en cuenta la distinta es-pecialización, las cambiantes características decada universidad y sus posibilidades efectivas decompetir en distintos ámbitos.

Los rankings como indicadores sintéticos de

resultados

El funcionamiento de las universidades españolases objeto de continuada atención y los debatessobre el aprovechamiento de los recursos queutilizan y sobre sus resultados son cada vez másfrecuentes. Tras ese interés se encuentra el im-portante volumen de recursos dedicados a estasactividades en la actualidad y el reconocimientode la relevancia que las universidades tienen en lageneración y transmisión del conocimiento, dosasuntos clave para el desarrollo social y económi-co de los países en la actualidad.

En España, las discusiones sobre los resultadosuniversitarios se centran con frecuencia en lasuniversidades públicas. Dos razones por las quesucede así son que el volumen de sus actividadesrepresenta la mayor parte del sistema universita-rio español y que el origen de la mayor parte delos recursos que emplean es público, por lo quese considera de interés general la evaluación desus resultados. Además existe una razón de ordenmás práctico: en España, tradicionalmente, hasido más factible realizar ejercicios de evaluación

de los recursos y resultados de las universidadespúblicas basados en datos relativamente homo-géneos, pues hasta hace poco la mayoría de lasnumerosas universidades privadas —ya son 343 en la actualidad— no ofrecían la información ne-cesaria para llevar a cabo los análisis. No obstan-te, la participación de las universidades privadasen los sistemas de información y estadísticaspúblicas es cada vez mayor y un proyecto como

3 De las 34 universidades privadas, 32 tienen actividad

en el curso 2015-16.

U-Ranking, que pretende ofrecer una visión inte-gral del sistema universitario español, debía asu-mir el reto de incluir a estas instituciones. En estesentido, profundizando en las mejoras introduci-das en la pasada edición, en esta también seincorporan al sistema de rankings aquellas univer-sidades privadas para las que se dispone de in-formación suficiente y de la calidad adecuada, demodo que el tratamiento de las mismas pueda serhomogéneo respecto a las públicas en el cálculode los indicadores sintéticos. Tras revisar la in-formación disponible, la IV Edición de U-Rankingconsidera, como se verá más adelante, trece uni-versidades privadas cuya información cumpleestas características.

Los ejercicios de evaluación de resultados de lasuniversidades en muchos países, y también enEspaña, usan cada vez más rankings que ordenana las instituciones desde distintas perspectivas ycon diversos criterios. Algunos de los rankingsuniversitarios internacionales han tomado carta denaturaleza en los debates sobre la calidad deestas instituciones, convirtiéndose en referenciasampliamente utilizadas para valorar la posición delas universidades y los sistemas universitariosnacionales. Así, por ejemplo, la presencia treceuniversidades españolas —el 14,5% del total delas 84 universidades públicas y privadas españo-las— entre las 500 primeras instituciones delmundo según el denominado Ranking deShanghái, y que solo una se coloque entre las 200primeras, es un dato mencionado con frecuenciacomo prueba de la limitada calidad y escasa pro-yección internacional de nuestro sistema universi-tario.

Las iniciativas para elaborar rankings son cadavez más numerosas, participando en ellas investi-gadores, instituciones públicas y privadas, asocia-

ciones de universidades, empresas de la informa-ción y medios de comunicación. Los objetivos eintereses de dichas iniciativas y el alcance de lasmismas son diversos, tanto por las actividadesuniversitarias contempladas —muchos de losrankings se concentran en la investigación— comopor la cobertura considerada —nacional, interna-cional—, la información utilizada y el tratamientodado a la misma. Algunos informes recientes(Rauhvargers 2011 y 2013) han subrayado laimportancia de evaluar con cuidado los criterioscon los que los rankings son elaborados a la hora

de acreditar su relevancia e interpretar sus resul-tados.


9/138

INTRODUCCIÓN

9

En realidad, los rankings son una manera particu-lar de abordar la evaluación de los resultados delas universidades, y su atractivo se deriva de queofrecen la información de manera simple y sintéti-ca. Esto facilita las comparaciones, al tiempo quelas simplifica y puede hacerlas sensibles a loscriterios y procedimientos seguidos en la cons-trucción de los indicadores. Por esta razón, elvalor otorgado a los rankings no debe desligarsede cómo se elaboran ni de la métrica utilizada.

Estas cautelas no siempre están presentes en eluso hecho de los rankings . Por una parte, la repu-tación que otorga una buena posición en los mis-mos los convierte en un activo intangible para las

universidades. Por ello, algunas desarrollan estra-tegias encaminadas a señalizarse haciendo publi-cidad de los resultados más favorables, y a mejo-rar su posicionamiento en los rankings . Cierta-mente, la rentabilidad esperada de una buenaposición en los rankings es relevante, pues puederepercutir en ámbitos tan diversos como la capta-ción de estudiantes, la atracción de investigado-res, la obtención de recursos y la proyección so-cial de las instituciones.

Por otra parte, el interés creciente por estas clasi-ficaciones se debe a que son percibidas comoherramientas útiles —aunque puedan ser impreci-sas— para varios propósitos y por distintos grupossociales interesados (stakeholders ) en las univer-sidades, porque:

a) Proporcionan a los usuarios de los serviciosuniversitarios información fácil de interpretaren clave de atractivo o calidad de las institu-ciones.

b) Facilitan información comparativa a los go-biernos, susceptible de ser utilizada para

asignar recursos o para la rendición de cuen-tas de las universidades a la sociedad.

c) Complementan el trabajo de las agencias deevaluación de la calidad de las universidadesy facilitan información a los analistas intere-sados en disponer de indicadores homoge-neizados.

Enfoque del proyecto

En España existen distintas iniciativas que presen-

tan regularmente rankings universitarios, elabora-dos desde perspectivas y con metodologías diver-

sas. Lo que distingue a ISSUE es que sus rankings (U-Ranking, U-Ranking Volumen, U-Ranking di-mensiones) son construidos siguiendo criteriosque responden a muchas recomendaciones inter-nacionales recientes. Una de ellas es que la cons-trucción de los indicadores se realiza con el obje-tivo de contemplar la actividad de las universida-des desde una perspectiva amplia, es decir, con-siderando la docencia, la investigación y las acti-vidades de innovación y desarrollo tecnológico.Otro elemento diferencial importante, como he-mos señalado, es que ISSUE ofrece rankings portitulaciones (U-Ranking titulaciones), elaboradospara orientar las decisiones concretas de los estu-diantes al elegir sus estudios.

Algunos de los criterios seguidos en el desarrollode ISSUE que conviene destacar han sido lossiguientes:

• Desarrollar múltiples rankings de las univer-sidades, según se contemple la actividaduniversitaria desde una perspectiva general oen un ámbito específico (docencia, investiga-ción, innovación y desarrollo tecnológico) ysegún se haga desde la perspectiva del ren-dimiento alcanzado (U-Ranking) por cada

universidad, pero también del volumen totalde los resultados (U-Ranking Volumen).

• Tener en cuenta las distintas perspectivas eintereses con las que los diferentes usuariospotenciales de la información contemplan losrankings. En particular, se ha prestado aten-ción a que muchos interesados en compararuniversidades desean contemplar ámbitosconcretos, como son las titulaciones. Pararesponder a esta preocupación se ha desa-rrollado una herramienta web que permite

elaborar rankings personalizados , referidos alos grados (U-Ranking titulaciones). Ha sidopensada para servir de orientación a los es-tudiantes, sus familias y los orientadores vo-cacionales a la hora de elegir la universidaden la que cursar estudios. Una ventaja de re-conocer que existen distintas preferencias delos usuarios es que se evita un problema alque se enfrenta la construcción de indicado-res sintéticos: su excesiva dependencia delas opiniones —subjetivas y a veces discuti-bles— de los expertos sobre los pesos que sedebe atribuir a la docencia o la investigación.


10/138


10

El proyecto ofrece, por tanto, dos productos dife-rentes:

• Una colección de rankings generales sobre

las universidades españolas, basados en loscriterios del equipo del proyecto y de los ex-pertos consultados, que permiten comparara cada institución con las demás desde dis-tintos puntos de vista: U-Ranking, U-Ranking

Volumen, U-Ranking dimensiones.

• Una herramienta web que ofrece rankings personalizados de los distintos grados, agru-pados por familias de titulaciones, y quepermite comparar las universidades teniendo

en cuenta los intereses y criterios de cadauno de los usuarios —en principio, estudian-tes que ingresan en la universidad— sobrelos estudios a cursar, las comunidades consi-deradas y la importancia otorgada a la do-cencia y la investigación: U-Ranking titula-ciones.

Es importante señalar que todas las ordenacionesson obtenidas a partir de unas bases comunes:los datos corresponden al mismo conjunto devariables y la metodología seguida para tratar yagregar variables es común, excepto obviamente

en lo que se refiere a las decisiones que puedenadoptar los usuarios para construir sus rankings

personalizados.

Estructura del documento

Tras esta introducción, el resto de este documen-to se estructura en 4 capítulos, con el siguientecontenido. En el capítulo 2 se detalla la metodolo-gía seguida en la confección de los distintos rankings . El capítulo 3 describe el enfoque dado a lapersonalización de los rankings por el usuario y la

herramienta web construida para la presentaciónde los resultados a los estudiantes. El capítulo 4ofrece un análisis de los principales resultadosagregados, poniendo especial énfasis en la com-paración de los U-Rankings con el principal ranking internacional de referencia. También se pre-senta un análisis de la sensibilidad de nuestrosresultados a variaciones en algunos de los su-puestos utilizados para la confección de los rankings y la comparación de los resultados obteni-dos en las últimas ediciones de los U-Rankings con el fin de evaluar su robustez. Se analizan,

asimismo, los resultados de los sistemas universi-

tarios por comunidades autónomas y el rendi-miento, según los rankings de los distintos gruposestratégicos que forman las universidades anali-zadas. Finalmente, el capítulo 5 resume las princi-pales características y resultados del proyecto.

Novedades de la cuarta edición de U- Ranking

Esta cuarta edición del proyecto ISSUE corres-pondiente a 2016 ofrece, como en ediciones ante-riores, tanto los rankings generales U-Ranking, U-Ranking Volumen y U-Ranking Dimensiones, comolos personalizados por titulaciones y presentavarias novedades:

En primer lugar, profundizando en las mejoras dela edición anterior, en la que se incorporó porprimera vez 11 universidades privadas y reco-nociendo la importancia que estas institucionesestán adquiriendo dentro del sistema universita-rio, la presente edición aumenta el número deuniversidades privadas a 13 instituciones. Tres deestas universidades son analizadas por primeravez en U-Ranking mientras que, siguiendo losestrictos criterios metodológicos, una que fueincluida en la edición de 2015 queda fuera delanálisis en 2016 por no contar con informaciónsuficiente para el cálculo fiable de sus índices.

La edición de 2016 también presenta importantesmejoras de la información utilizada para elcálculo de los rankings . Por un lado, se han actua-lizado los datos correspondientes a 23 de los 25indicadores. Destacan especialmente los de inno-vación y desarrollo tecnológico ya que la reactiva-ción de la Encuesta de Investigación y Transfe-rencia de Conocimiento de la RedOTRI ha permi-

tido contar con dos años más en tres indicadores,actualizando así el periodo de referencia de losmismos a 2008-2013 en lugar de 2006-2011.

Por otro lado, gracias a la colaboración del Minis-terio de Educación, Cultura y Deporte, el proyectoISSUE tiene desde esta edición acceso al SistemaIntegrado de Información Universitaria (SIIU). ElSIIU es una plataforma de recogida, procesamien-to, análisis y difusión de datos del Sistema Uni-versitario Español que ofrece información estadís-tica homogénea y comparable de las universida-

des españolas. Esta plataforma nos ha permitido:


11/138

INTRODUCCIÓN

11

- Mejorar la información sobre la oferta degrados de cada universidad así como loscentros en los que se imparte cada unode ellos.

- Incorporar mayor detalle sobre el porcen-taje de alumnado extranjero. En edicio-nes anteriores se disponía de informaciónpara el total de la universidad y en estaedición se cuenta con datos para cadagrado y universidad.

- Contar con información más homogéneay para mayor número de universidadessobre las tasas de éxito, evaluación y

abandono por ramas de enseñanza4

.U-Ranking tiene como uno de sus principios recto-res dar información lo más útil y detallada posiblepara los distintos públicos que son usuarios po-tenciales. Una ordenación de las universidadespermite ver la posición relativa que una institucióntiene respecto a otras, pero no resulta tan sencillopara el gestor universitario o el investigador anali-zar en profundidad el desempeño de una univer-sidad concreta y evaluar en qué aspectos destacao en cuáles puede estar más distanciada del pro-medio del sistema o de una universidad que quie-

ra tomar como referencia. Por este motivo, en lapresente edición la web www.u-ranking.es ofrecepara cada universidad el Panel de Indicadores5 que es una ficha con los valores de cada uno delos 25 indicadores utilizados de la institución, quese superponen con el valor medio de las institu-ciones analizadas de tal forma que el gestor ve ladistancia relativa al promedio del sistema y, utili-zando la ficha de cualquier otra universidad, per-mite su comparación directa. El valor agregado6 del indicador por universidad se presenta en unaescala de 0 a 100, siendo 0 el mínimo valor obte-

nido por una universidad del sistema en ese indi-cador y 100, el correspondiente a la universidad

4 Para el cálculo de los rankings personalizados se sigueutilizando la información que suministra la CRUE ya quese ofrece por grupos de grado y universidad, mientrasque la información del MECD está al nivel de agregaciónsuperior de rama de enseñanza.

5 En el anexo 3 recoge el panel de indicadores de las 61

universidades analizadas.

6 Sin distinguir por ramas de enseñanza, áreas de cono-

cimiento o grados.

que marca el máximo. De esta forma se facilita lacomparación entre indicadores muy distintos,ofreciendo un perfil general de la universidad y segarantiza el acuerdo de confidencialidad que semantiene con la CRUE para no publicar datosindividuales de cada universidad. El panel de indi-cadores contiene también la posición en U-Ranking, U-Ranking Volumen, U-Ranking dimen-siones, junto a información básica de la universi-dad como año de fundación, titularidad, alumna-do, profesorado, número de títulos, entre otros.

El hecho de que ésta sea la cuarta edición de U-Ranking hace que se disponga de datos sobre unhorizonte suficiente para que surja de forma natu-

ral la pregunta sobre cuál ha sido la evoluciónde los resultados del sistema universitarioespañol en el periodo 2013-2016. Para darrespuesta a esta cuestión este informe incorporaun enlace de los índices, tomando como base elaño 2013, que permite la realización de dos ejer-cicios. En primer lugar, analizar si el desempeñodel sistema en su conjunto ha mejorado o no enlos años cubiertos, tanto a nivel global como encada una de las dimensiones evaluadas (investi-gación, docencia y transferencia). En segundolugar, evaluar si se ha producido un proceso deconvergencia que ha reducido las diferenciasentre las universidades que conforman el sistemao si, por el contrario, cada vez el sistema es másheterogéneo en términos de resultados. A nivel decada universidad se muestra si en 2016 la institu-ción se ha aproximado o alejado del promedio delsistema.

Esta misma información permite en la edición de2016 profundizar en el análisis de los sistemasuniversitarios regionales evaluando si cadauno de ellos he mejorado o no su desempeño enel periodo analizado y si lo ha hecho más o menos

intensamente que el promedio de las universida-des españolas.

Una de las cuestiones que con más frecuencia seargumenta como limitación de los rankings es queno tienen en cuenta la distinta dotación de recur-sos, contextos geográficos, estructuras organizati-vas y origen histórico de las universidades que

jerarquiza. Aunque en nuestra opinión esta hete-rogeneidad no puede ocultar que al final los resul-tados de unas instituciones sean mejores que losde otras y así se refleje en el ranking, sí que plan-tea la cuestión de en qué medida contar con unassituaciones de partida determinadas puede facili-


12/138


12

tar o dificultar alcanzar posiciones elevadas en un ranking . Por ese motivo, la cuarta edición de U-Ranking presenta un ejercicio en el cual las uni-versidades se agrupan previamente en conjuntoshomogéneos en función de características delprofesorado, del alumnado, tamaño, complejidadorganizativa, recursos financieros y entorno en elque actúan, es decir, se identifican grupos es-tratégicos de universidades, para luego esta-blecer si algunos de estos grupos aparecen siste-máticamente en posiciones más elevadas o másretrasadas en U-Ranking.7

7 Este análisis se basa en los resultados del estudiorealizado en el marco del proyecto ISSUE (Aldás et al.

2016).


13/138


13

2.

Metodología

En el contexto planteado en las reflexiones y cri-terios descritos, el punto de partida del proyectoISSUE fue el examen detallado de los rankings demayor relevancia, a escala nacional e internacio-nal, con la finalidad de identificar las posibilidadesde paliar las carencias existentes en los mismos.

Los problemas más relevantes de los rankings seplantean en los siguientes ámbitos: (1) las activi-dades universitarias consideradas, (2) la desagre-gación por disciplinas o tipos de estudios, (3) lainformación disponible y utilizada, (4) el rigormetodológico en el tratamiento de la informacióny la construcción de indicadores, (5) el reconoci-miento de la perspectiva del usuario a la hora deconstruir y proporcionar la información y (6) eluso de herramientas de fácil manejo para que elusuario de los rankings pueda introducir en ellossus preferencias.

El proyecto ha contemplado las carencias en to-dos estos ámbitos, abordándolas de la maneraque se describe en este apartado.

2.1. CONSIDERACIONES EN ELDISEÑO DE RANKINGS

En ediciones anteriores del proyecto ISSUE, aten-diendo a la novedad del mismo, se dedicó uncapítulo completo a abordar las limitaciones de los

rankings y las mejoras que una nueva oferta co-mo esta debería incorporar. El lector puede con-sultar los informes precedentes —depositados enla web de U-Ranking (www.u-ranking.es)— sidesea encontrar un análisis detallado de estosaspectos, que en esta cuarta edición presentamosde forma más resumida.

La elaboración y el uso de rankings están sujetosa una serie de riesgos sobre los que es necesarioconviene estar prevenido. En primer lugar, noconviene orientar las políticas de mejora de losresultados de las instituciones atendiendo a las

variables que entran en los rankings , en vez de a

los problemas que subyacen a las mismas: lamejora de la institución debe estar orientada porprincipios de eficacia que luego se reflejarán enlos indicadores. Hay que evitar, asimismo, el usode indicadores poco robustos, muy volátiles, sen-sibles a los procedimientos de medición y agrega-

ción y centrados en lo que debe medirse, no soloen lo que es posible medir. Finalmente, un riesgomuy común de los rankings es centrarse en laélite y olvidar el resto de instituciones, una prácti-ca que acaba en ocasiones en comparar inade-cuadamente instituciones con especializaciones yrecursos muy distintos.

Algunos de los rankings publicados adolecen delimitaciones de las que el usuario debe serconsciente cuando los utiliza. Muchos se basanexclusivamente en indicadores centrados en la

actividad investigadora y en factores de repu-tación poco fiables cuando se aplican a universi-dades fuera del círculo de las verdaderas univer-sidades globales, que todo el mundo conoce. Porejemplo, el uso exclusivo de estos indicadorespara jerarquizar a las universidades españolas esinadecuado en muchos casos, arriesgado porequívoco y conducente a conclusiones erróneas.

Al igual que se hizo en la edición de 2015 y trastres informes, la revisión detallada de las condi-ciones de diseño que debe tener un buen ranking y que se incorporaron al proyecto ISSUE no es

necesaria, pero conviene resumir brevemente losaspectos que se han considerado:

• Principios de Berlín sobre los Ranking de lasInstituciones Superiores (Centrum für Hochs-chlentwicklung, CHE 2006), que aboga, entreotras recomendaciones, por indicar clara-mente el público al que va destinado el ranking , ser transparente en qué mide cada in-dicador y metodológicamente escrupuloso,centrarse en medidas de resultados (outco- mes ) y mantener un estándar ético debido a


14/138


14

la responsabilidad que se derivará del impac-to que estas clasificaciones tienen.

• Resultados de los debates en la European

University Association y del Grupo Interna-cional de Expertos en Rankings (CHE 2006)que insisten en la importancia de ofrecer unavisión global, atendiendo al carácter multidi-mensional de las universidades, y a la diver-sidad de las mismas, centrarse en la pers-pectiva del usuario y preservar la indepen-dencia y sostenibilidad temporal del ranking.

El sistema de rankings U-Ranking tiene presentesexpresamente los criterios derivados de estas

discusiones internacionales y las propuestas de laUnión Europea. Los siguientes apartados de estecapítulo detallan los numerosos aspectos que hansido tenidos en cuenta, durante la gestación ydesarrollo del proyecto, para trabajar con dichoscriterios.

2.2. ACTIVIDADES CONSIDERADAS

Una de las principales carencias de algunos de losrankings existentes —especialmente de los inter-

nacionales— para evaluar de manera general a lasuniversidades es que las actividades son contem-pladas desde una perspectiva muy parcial. Elproblema deriva de la escasa disponibilidad deinformación sobre los resultados de las activida-des docentes y las de innovación y desarrollotecnológico, mucho menos abundante que lareferida a la investigación.

En realidad, la mayoría de los rankings relevantescentran su análisis en la actividad investigadora,no teniendo apenas en cuenta la otra gran fun-ción de la Universidad, la docencia, y consideran-do solo marginalmente las actividades de desarro-llo tecnológico, cada vez más relevantes. Sin em-bargo, esos rankings sesgados hacia la investiga-ción son con frecuencia interpretados como repre-sentativos del conjunto de la actividad universita-ria y pueden no serlo.

Esta práctica puede obedecer a tres razones:1) se usa la información disponible y, sin duda, laabundancia, calidad y homogeneidad de la infor-mación sobre investigación, es mucho mayor queen los otros dos ámbitos; 2) se considera que la

actividad investigadora es el elemento distintivo

más relevante de la universidad en los últimos dossiglos; y 3) se sostiene la opinión de que la cali-dad investigadora de los profesores es una varia-ble «proxy» del resto de ámbitos, de modo quebasta con observar los resultados en este campopara predecir los restantes.

La primera de las razones es de orden práctico,pero puede inducir sesgos por omisión en losindicadores y rankings . La segunda necesita algu-na matización: es un argumento potente en rela-ción con los estudios de posgrado pero menos enrelación con el grado, sobre todo en sistemasuniversitarios de masas, como son la mayoría delos actuales de los países desarrollados; de hecho,

en la mayoría de ellos existe una importante con-centración de la actividad investigadora en unnúmero reducido de universidades y, en cambio,buena parte de las demás instituciones son fun-damentalmente docentes. La tercera razón es enrealidad una hipótesis cuya validez debería sercontrastada elaborando indicadores de todas lasactividades y comprobando si, en efecto, la corre-lación entre resultados docentes e investigadoreses elevada. Si no se comprueba la validez de estahipótesis, y puesto que la intensidad de la espe-cialización docente, investigadora y en innovacióny desarrollo tecnológico de las universidades esmuy variable8, ignorar los indicadores directos dedocencia e innovación y desarrollo tecnológicopuede sesgar los rankings .

Por consiguiente, en la medida que exista informa-ción relevante acerca de la actividad de la universi-dad en materia de docencia e innovación y desa-rrollo tecnológico, es necesario aprovecharla paraque los rankings reflejen mejor la actividad univer-sitaria en su conjunto. Además, de ese modo sepuede reconocer que las universidades tienen enrealidad perfiles de especialización distintos, cen-

trándose algunas de ellas más en la investigaciónbásica (como sucede en muchas de las recogidascon más frecuencia en los rankings mundiales),otras en la educación superior y la formación deprofesionales y otras en la investigación aplicada,la innovación y desarrollo tecnológico.

Considerar estos tres ámbitos permite dar unprimer paso en la dirección de atender las distin-tas perspectivas sobre la universidad y el diferen-te interés que puede tener cada tipo de usuario

8 Véase Pérez y Serrano (dirs.) (2012, caps. 1 y 4).


15/138

METODOLOGÍA

15

potencial de los rankings . Así, un estudiante degrado probablemente muestre mayor interés porla docencia, mientras un estudiante de posgrado yel profesorado atienden más a los aspectos rela-cionados con la calidad investigadora; en cambio,una empresa interesada en firmar un contratopara una línea de investigación específica puedequerer identificar qué universidad posee mayorcapacidad de desarrollar investigación aplicada oproducir patentes. Si la información se centra soloen los resultados de investigación estas distintasaproximaciones no se pueden realizar con preci-sión.

El sistema U-Ranking contempla expresamente

estas tres grandes categorías de actividades uni-versitarias y ha analizado la información disponi-ble sobre cada una de ellas en España. La dimen-sión nacional del proyecto facilita que se puedadisponer de datos razonablemente homogéneosde un conjunto de variables representativas de laactividad de las universidades públicas españolasy de un cierto número de universidades privadas.Desde luego, sería deseable que la informacióncorrespondiente al resto de universidades priva-das estuviera disponible en el futuro con garantíasde homogeneidad y calidad similares a las inclui-das en el ranking , con los que mejoraría el alcan-ce del proyecto.

El número total de universidades se eleva a 61 yes suficientemente elevado para que el banco dedatos disponible permita contrastar la hipótesis ala que antes nos referíamos: si los resultados deinvestigación predicen adecuadamente los docen-tes, o no. Ese es un objetivo específico que elproyecto ha contemplado, y cuyos resultados sepresentarán en el apartado 4.

2.3. DESAGREGACI N DE LAS ACTIVIDADES

Otra carencia advertida al analizar los rankings existentes es que muchos tratan a las universida-des de manera unitaria, sin reconocer la diversi-dad de áreas en las que esta puede ofrecer for-mación o desarrollar investigación. Este problemarequiere poca explicación: para ser de mayorutilidad, un ranking ha de informar al usuario, enla medida de lo posible, acerca de las áreas espe-cíficas o campos científicos de su interés, pues las

universidades pueden no ser homogéneas en lacalidad de cada una de sus partes.

Por esta razón, un sistema de rankings mejora siofrece información desagregada por áreas de estu-dio, campos de conocimiento o titulaciones especí-ficas. Este último nivel de detalle puede ser muyrelevante para los estudiantes, pues su interésfundamental estará por lo general ligado a la cali-dad de los estudios concretos que desea cursar.

Para tratar la desagregación, el proyecto ISSUEha tenido que trabajar en varias direcciones. Enprimer lugar, ha seguido el criterio de que esimportante partir de la información más desagre-

gada que esté disponible y mantener su detallesiempre que sea posible, para no perder la rique-za que representa su heterogeneidad. En segundolugar, ha sido necesario tratar con rigor la infor-mación desagregada para homogeneizarla ade-cuadamente antes de agregarla en los indicado-res. Y tercero, ha tenido que resolver los proble-mas que se plantean al combinar —para la cons-trucción de algunos de los indicadores considera-dos— información desagregada por campos cien-tíficos o titulaciones con otra agregada a nivel deuniversidad o rama. Cuando no existe informacióndesagregada, o no tiene sentido su desagrega-ción, se ha imputado la agregada a los distintoselementos del conjunto, siguiendo los criteriosconsiderados más razonables en cada caso.

Abordar los problemas anteriores no es trivial. Así,por ejemplo, en el caso de los rankings relativos alas titulaciones concretas de las universidadesespañolas, para tratar la información de ámbitoscon distintos niveles de desagregación se hanconstruido una serie de matrices que los relacio-nan. Para ello ha sido necesario establecer co-rrespondencias precisas entre universidad, rama,

categoría de Web of Science, áreas de la AgenciaNacional de Evaluación y Prospectiva (ANEP) ygrado. A partir de las mismas se han construidolas variables al nivel requerido en cada caso, me-diante las agregaciones o imputaciones corres-pondientes.

En la imputación de resultados de investigación acada grado se ha partido de la información des-agregada por categorías de la Web of Science(más de 250 elementos). Dado que una clasifica-ción no está perfectamente anidada en la otra, sehan relacionado ambas clasificaciones y se han


16/138


16

valorado los dos posibles tipos de errores que sepueden cometer:

1. Error por inclusión. Consistiría en imputar aun grado la investigación realizada por pro-fesores de otras áreas. Por ejemplo, se pue-de cometer un error si se imputa al grado deFarmacia de una universidad la investigaciónen «Hemathology» que realmente ha sidorealizada por profesores de la Facultad deMedicina y con docencia solo en Medicina.

2. Error por exclusión. Consistiría en excluir lainvestigación realizada en campos más ale-

jados del núcleo central de la titulación por

profesores de la misma, como consecuenciade ser excesivamente restrictivos con laimputación de áreas a grados. Por ejemplo,si en Economía solo imputásemos la catego-ría «Economics» dejaríamos de lado investi-gación que puede ser relevante del área de«Business, Finance», en teoría más cercanaa las titulaciones de Administración de Em-presas pero que también realizan economis-tas que enseñan en el grado de Economía.

Estos problemas no tienen una solución perfecta yhemos debido elegir una de las alternativas. He-

mos optado por un criterio más inclusivo, esto es,ante la duda sobre si asociar o no una categoría ocampo científico a un grado hemos optado porincluirlo, minimizando así los errores por exclusiónpor considerar que serían más graves.

2.4. INDICADORES, MBITOS YDIMENSIONES

El principal pilar de un sistema de rankings esindudablemente el rigor del procedimiento segui-

do al abordar los problemas existentes para quela ordenación construida se base en una informa-ción adecuada y sea tratada con criterios metodo-lógicos razonables. Muchos rankings presentandeficiencias claras en este sentido, que la literatu-ra internacional reciente ha analizado con detalle.

El sistema U-Ranking considera que un ranking deuniversidades debe considerar todas sus activida-des y estructurarse a partir de distinguir las tresgrandes dimensiones siguientes:

• Docencia

• Investigación

•

Innovación y desarrollo tecnológico La evaluación de cada una de estas dimensionespuede tomar en consideración múltiples ámbitosde actividad e indicadores, pero muchos expertoscoinciden en que un excesivo número de los mis-mos oscurece el significado de los rankings ycomplica la construcción de los índices sintéticos,un asunto ya de por sí complejo. Siguiendo uncriterio de simplicidad —relativa—, se han consi-derado cuatro ámbitos en cada una de las tresgrandes dimensiones mencionadas:

•

Acceso a recursos• Producción obtenida

• Calidad (sobre todo de los resultados y enalgún caso de los recursos o procesos)

• Internacionalización de las actividades

La principal referencia para valorar las universida-des deben ser los resultados, pero estos puedenser contemplados tanto desde la perspectiva desu volumen total como desde la de la calidad delos mismos. Esta es la perspectiva de U-Ranking.Si existiera un mercado que valorara las diferen-

cias de calidad, los resultados de mayor calidadtendrían un precio superior. Esos precios no exis-ten casi nunca en el ámbito de las universidadespúblicas y las diferencias en las tasas, actualmen-te muy diferentes entre comunidades autónomasy titulaciones, responden en muchos casos a fac-tores que no tienen que ver con la calidad. Noobstante, algunos indicadores pueden suplir enparte esa limitación de la información. Así, porejemplo, existen indicadores de calidad docente einvestigadora y también de un rasgo muy relevan-te en la actualidad de la especialización (y cali-dad) de las universidades: su internacionalización.

Pero, como señalábamos en la introducción, laperspectiva de la calidad de los resultados esincompleta si queremos tener en cuenta el impac-to del sistema universitario sobre su entorno. Unauniversidad puede generar resultados de grancalidad, pero si su tamaño es muy reducido sucontribución al desarrollo tecnológico o el capitalhumano generado con sus egresados puede teneruna influencia sobre el entorno productivo muchomenor que una universidad que tenga niveles


17/138

METODOLOGÍA

17

algo menores de calidad en esos resultados peroun tamaño significativamente mayor. Eso obliga aincorporar también el tamaño al sistema de rankings y así se genera U-Ranking Volumen.

Cada uno de los cuatro ámbitos mencionados hasido analizado a partir de una serie de indicado-res. En cada ámbito se han tenido en cuenta en-tre uno y tres indicadores, en función de la

disponibilidad e idoneidad de la información, se-gún la dimensión que se está estudiando.

El cuadro 1 describe la tabla de indicadores consi-derados tras analizar la disponibilidad de informa-ción y discutir las alternativas con el grupo deexpertos del proyecto. La propuesta se ha con-sensuado a partir de analizar la idoneidad de cadaindicador para captar información relevante sobre

Cuadro 1. Listado de indicadores, ámbitos y dimensiones

Dimensión Ámbito Indicador

Docencia

RecursosProfesor Doctor por cada cien alumnosPresupuesto / Alumno

Profesor Doctor / Profesores

Producción

Tasa de Éxito

Tasa de Evaluación

Tasa de Abandono

Calidad

Índice de capacidad de atracción

% de estudiantes de posgrado

Notas de corte

Internacionalización

% de alumnos extranjeros

% de alumnos en programas de intercambio

% de alumnos matriculados en programas en lenguas no oficiales

Investigación

RecursosRecursos públicos competitivos por profesor doctor

Contratos de personal doctor, becas de investigación y apoyo técnico sobre el presupuestototal

Producción

Documentos citables con referencia ISI por profesor doctor

Sexenios totales sobre sexenios posibles

Tesis doctorales leídas por cada cien profesores doctores

Calidad

Factor medio de impacto

% de publicaciones en el primer cuartil

Citas por documento

InternacionalizaciónFondos de investigación europeos o internacionales por profesor doctor

% de publicaciones en coautorías internacionales

Innovación yDesarrolloTecnológico

Recursos

Ingresos por licencias por cien profesores doctores

Ingresos por contratos de asesoramiento por cada cien profesores doctores

Ingresos por formación continua por profesor doctor

Producción

Número de patentes por cien profesores doctores

Horas de formación continua por profesor doctor

Número de contratos por profesor doctor

Calidad Patentes comercializadas por profesor doctor

InternacionalizaciónPatentes triádicas por cien profesores doctores

Ingresos por contratos internacionales por profesor doctor

Fuente: Elaboración propia.


18/138


18

el ámbito y la dimensión a los que pertenece9. Esimportante señalar que la información utilizada sepuede obtener de fuentes que permiten que elbanco de datos del proyecto y los rankings deri-vados del mismo no requieran que las universida-des suministren directamente los datos a ISSUE.

La lógica que subyace a esta selección de indicado-res, expuesta de forma sintética, es la siguiente:

Docencia

• Los recursos destinados a la docencia se ca-

racterizan a través de las dotaciones presu-puestarias por alumno y el personal docente

e investigador por alumno, prestándose es-pecial atención al personal doctor.

• La producción docente se mide por los resulta-dos obtenidos por los alumnos, analizandocuántos se someten a evaluación, cuántos tie-nen éxito en la misma y cuántos abandonan.

• La calidad de la docencia es por el momentomuy difícil de observar, pero hemos conside-rado como proxies de la misma la capacidadde atracción de alumnos de otras provincias,la calidad de los alumnos medida por la nota

de corte específica de cada área y el porcen-taje de estudiantes de posgrado.

• La internacionalización de la docencia quedarecogida por el porcentaje de estudiantes ex-tranjeros, el porcentaje de alumnos en pro-gramas de intercambio y los estudios ofreci-dos en lenguas no oficiales.

Investigación

• El proceso investigador se caracteriza me-diante dos tipos de recursos : los recursos

públicos competitivos captados, y la disposi-ción de personal investigador, becarios yapoyo técnico cualificado.

• La producción se materializa en los documen-tos citables que cada área publica, en los se-xenios que se consiguen con las publicacio-nes, así como en el número de tesis doctora-

9 Para garantizar la transparencia del proceso a desarrollara partir de los indicadores, se incluye la definición de cada

indicador, su fuente y su ámbito temporal en el Anexo 1 yen la siguiente página web del proyecto: www.u-ranking.es.

les, que suponen un indicador de la actividadde formación de investigadores en un área.

• La calidad de la investigación tiene su reflejoen el impacto medio de sus publicaciones y

en las citas que los documentos generan.

• Por último, una mayor proporción de publica-ciones internacionales, las coautorías tambiéninternacionales y el porcentaje de fondos deinvestigación procedentes de convocatoriasexternas señalizan una mayor vocación internacional de la actividad investigadora.

Innovación y desarrollo tecnológico

• Los recursos considerados cubren las tres prin-

cipales actividades de innovación y desarrollotecnológico: los ingresos por patentes, los in-gresos por contratos de asesoramiento y losingresos por la oferta de formación continua.

• En cuanto a las medidas brutas de produc- ción en estas actividades, se han considera-do el número total de patentes, las horas deformación continua y el número de contratospor servicios.

• Como indicador de calidad, debido a la esca-

sa disponibilidad de información, solo se in-cluyen las patentes comercializadas por pro-fesor doctor.

• La internacionalización en la transferencia deconocimiento se refleja mediante las paten-tes triádicas (válidas en Europa, EstadosUnidos y Japón) y los ingresos por contratosinternacionales.

El listado del cuadro 1 define la meta que se aspi-ra a completar a medio plazo, pues no toda lainformación deseable está disponible en la actua-

lidad. En parte, ello se debe al proceso en cursode transformación de licenciaturas a grados, cu-yos efectos finalizarán en breve, pero tambiénexisten otras causas de las carencias de informa-ción en algunos ámbitos10. El proyecto se conside-

10 Concretamente, no se toman en cuenta, por motivos dedisponibilidad o de calidad de la información en la actuali-dad, las siguientes variables: Índice de Capacidad de Atrac-ción, % de alumnos en programas en lenguas no oficiales,Horas de formación continua, Número de contratos porprofesor doctor y Número de patentes comercializadas porprofesor doctor. La relación de indicadores utilizados se

ajustará conforme se consolide y aumente la disponibilidadde la información con garantía de calidad.


19/138

METODOLOGÍA

19

ra abierto en este sentido, contemplando la posi-bilidad de completar la información conforme estamejore, en especial en los distintos ámbitos de lainnovación y el desarrollo tecnológico.

En este sentido, la segunda edición de U-Ranking,incorporó varias mejoras gracias a la inclusión denuevos indicadores y fuentes de información.Como muestra el cuadro 2, mientras que la ver-sión de 2013 contaba con 23 indicadores, en lastres últimas ediciones los rankings han sido calcu-lados a partir de 25 indicadores de los 31 defini-dos en el cuadro 1. Asimismo, esta última edicióncuenta con información más rica para el porcenta-

je de alumnado extranjero que ahora se dispone a

nivel de titulación de grado.

Cuadro 2. Indicadores y nivel de desagregación deU-Ranking 2013 a 2016

Ranking 2013

Ranking 2014 y 2015

Ranking2016

Indicadoresdefinidos

31 31 31

Indicadoresutilizados

23 25 25

Nivel Grado¹ 5 8 9

Nivel Familia 1 1 0

Nivel Rama 9 7 8

Nivel Universi-dad 8 9 8

¹Grado o grupo de grado. La categoría grupo de grado es la agregación de los másde 2.700 grados ofertados por las universidades españolas en 142 grupos.


2.5. COBERTURA TEMPORAL DE LOSDATOS

Los rankings de universidades, aunque aspiran aofrecer una imagen de la posición actual de cadainstitución, no pueden ser concebidos como fotofija de un año dado. Muchos indicadores tienencarácter de flujo y, como tales, pueden presentaruna alta variabilidad de año a año, tanto por lacalidad de la información como por la distanciaentre la realidad y lo que la información refleja.Otros indicadores reflejan la acumulación de resul-tados a lo largo de períodos de tiempo dilatados.

Los rankings de referencia suelen reconocer esteproblema tomando períodos de comparación másamplios que un único año, bien usando medias mó-viles (como los 5 o 10 años de los Rankings ISI de la

Universidad de Granada) o incluso considerando lahistoria completa de la Universidad (como en el casodel tratamiento de los Premios Nobel y MedallasFields en el Ranking de Shanghái). Este enfoquemetodológico proporciona una mayor estabilidadinteranual de los rankings y permite que alteracionespuntuales fruto de la aleatoriedad sean suavizadas alconsiderarse un mayor rango temporal.

Nuestro enfoque se dirige en esta línea y, conformeha ido estando disponible la información, hemosido convergiendo hacia una media móvil de 6 añospara casi todos los indicadores. La mayoría de lasvariables ligadas a la investigación y a la innovacióny desarrollo tecnológico, provenientes de Thomson-

Reuters (2009-2014) y de la RedOTRI (2008-2013),son ya calculadas como una media de seis años. Enesta edición, una gran parte de los resultados dedocencia también se han calculado a partir de in-formación que ya cubre un periodo de 6 años. Estoha sido posible gracias a la colaboración de laCRUE, que ha suministrado los datos por universi-dad de los informes La Universidad Española enCifras 2010, 2012 y 2014, y al SIIU que recogeinformación desde los cursos 2008-2009 o 2009-2010, dependiendo de la variable.

El cuadro 3 recoge la actualización en términos deaños y series temporales que han registrado losindicadores utilizados en el ranking de 2016. Sehan actualizado cuatro indicadores de la dimensiónInnovación y Desarrollo Tecnológico obtenidos apartir de la información que proporciona la Encues-ta de Investigación y Transferencia de Conocimien-to realizada por la RedOTRI. Para esta edición secuenta con datos desde 2008 a 2013, completandola serie de 6 años. Sin embargo, como ya ocurrióen la edición anterior, no ha sido actualizado elindicador Fondos de investigación europeos o internacionales por profesor doctor, incluido en el

ámbito de Internacionalización de la dimensióninvestigación, al no recogerse en los dos últimosinformes de la CRUE.

La metodología en la que se basa el cálculo delsistema U-Ranking hace esperable que las ordena-ciones de universidades no presenten, de un año aotro, cambios bruscos. La existencia de inercia enlos rankings parece una propiedad deseable pues lacalidad de las instituciones universitarias no cambiaradicalmente a corto plazo, aunque algunos de susresultados anuales puedan hacerlo.


20/138


20

Cuadro 3. Series temporales empleadas en los rankings de 2016

Dimensión Ámbito Indicador Ranking 2016

Docencia

Recursos

Profesor Doctor por cada cien alumnos 2008-09, 2010-11, 2012-13 y 2013-14

Presupuesto / Alumno 2008, 2010, 2012 y 2013

Profesor Doctor / Profesores 2008-09, 2010-11, 2012-13 y 2013-14

Producción

Tasa de Éxito 2009-10 a 2013-14*

Tasa de Evaluación 2009-10 a 2013-14*

Tasa de Abandono 2009-10 a 2013-14+

Calidad

Índice de capacidad de atracción -

% de estudiantes de posgrado 2008-09 a 2014-15

Notas de corte 2015-16


% de alumnos extranjeros 2009-10 a 2013-14

% de alumnos en programas de intercambio 2008-09, 2010-11, 2012-13 y 2013-14

% de alumnos matriculados en programas en lenguas no oficiales -

Investigación

Recursos

Recursos públicos competitivos por profesor doctor 2009-2014

Contratos de personal doctor, becas de investigación y apoyotécnico sobre el presupuesto total

2009-2014

Producción

Documentos citables con referencia ISI por profesor doctor 2009-2014

Sexenios totales sobre sexenios posibles 2012 y 2013

Tesis doctorales leídas por cada cien profesores doctores 2008-2013

Calidad

Factor medio de impacto 2009-2014

% de publicaciones en el primer cuartil 2009-2014

Citas por documento 2009-2014


Fondos de investigación europeos o internacionales por profesordoctor

2008 y 2010

% de publicaciones en coautorías internacionales 2009-2014

Innovación yDesarrolloTecnológico

Recursos

Ingresos por licencias por cien profesores doctores 2008-2013

Ingresos por contratos de asesoramiento por cada cien profesoresdoctores

2008-2013

Ingresos por formación continua por profesor doctor 2008, 2010, 2012 y 2013

Producción

Número de patentes por cien profesores doctores 2009-2014

Horas de formación continua por profesor doctor -

Número de contratos por profesor doctor -

Calidad Patentes comercializadas por profesor doctor -

InternacionalizaciónPatentes triádicas por cien profesores doctores 2008-2013

Ingresos por contratos internacionales por profesor doctor -

*Para el cálculo de los rankings personalizados se sigue utilizando la información que suministra la CRUE para los cursos 2008-09, 2010-11, 2012-13 y 2013-14 ya que seofrece por grupos de grado y universidadFuente: Elaboración propia.


21/138

METODOLOGÍA

21

2.6. CRITERIOS PARA LACONSTRUCCIÓN DE INDICADORES

Un aspecto clave para poder confiar en el signifi-cado de los rankings es que los procesos en losque se basan sean transparentes y respeten losfundamentos que establecen las publicacionesestadísticas sobre la construcción de indicadores.El equipo del proyecto ha procedido de ese modo,contando con especialistas en la materia y anali-zando los principios metodológicos establecidos enla literatura especializada, en especial en el Hand- book on constructing composite indicators: met- hodology and user guide (Organización para la

Cooperación y el Desarrollo Económicos, OCDE2008).

El proceso de elaboración que subyace a cual-quiera de los rankings de universidades construi-dos se estructura en los siguientes pasos,siendo el quinto paso innecesario en el caso de

los rankings parciales de docencia, investigacióne innovación y desarrollo tecnológico:

1. Elaboración del banco de datos y estimacióne imputación de valores faltantes

2. Normalización de indicadores

3. Ponderación y agregación de indicadoresdentro de los ámbitos de cada dimensión

4. Ponderación y agregación de indicadores deámbito, dentro de las dimensiones

5. Ponderación y agregación de las dimensio-nes

6. Obtención de los rankings

El siguiente esquema ilustra gráficamente lasecuencia temporal de los pasos. Para superarcada uno de ellos se necesita solucionar los co-rrespondientes problemas técnicos que a conti-nuación se describen, y que han sido abordadossegún los enfoques que se indican.


22/138


22

2.6.1. Imputación de datos faltantes

El punto de partida de cualquier ranking es dis-

poner de la información necesaria sobre las va-riables a considerar para construir cada indica-dor. Un primer problema técnico a resolver es eltratamiento de los datos faltantes para ciertasuniversidades en alguna de las variables a utili-zar. Por ejemplo, puede no estar disponible elnúmero de tesis leídas en el último año en unadeterminada universidad. Dichas ausencias pue-den deberse a varios factores, tanto técnicos (unfallo en la carga de datos), como de disponibili-dad (la universidad puede no haber generadouna información determinada o no haberlo hecho

a tiempo) e incluso estratégicos (una universidadpuede optar por no dar cierta información por noser conveniente para ella).

No afrontar este problema con rigor condicionaríala comparabilidad de las universidades, la calidadde los índices agregados y los resultados finales.Concretamente, calcular el ranking ignorandodicha información faltante sería equivalente aimputar un valor para dicha variable equivalente ala media del resto de variables que componen ladimensión. Este criterio es especialmente proble-mático si es la propia universidad la que notransmite la información por motivos estratégicos,pues es posible que ese valor medio le favorezca.Por otra parte, calcular el ranking suponiendo queel valor real de la variable faltante es cero suponepenalizar a la universidad de manera injusta si larazón es que ha habido un problema técnico dedisponibilidad de datos o de plazos.

Para estimar e imputar los valores faltantes decada variable hemos procedido como sigue:

1. A partir de una matriz de correlaciones11 se

identifican, para cada variable, las dos va-riables que tienen una mayor correlación(en términos absolutos) con la variable a es-timar.

2. Se estima un modelo lineal (por mínimoscuadrados) entre la variable a imputar y lasdos variables más correlacionadas —es de-cir, aquellas con las cuales la variable a

11 La matriz de correlaciones se construye calculando, para

cada par posible de indicadores, su coeficiente de correla-ción lineal.

estimar tenía una mayor correlación absolu-ta—. Para la estimación de este modelo seutiliza solo la información de la misma fami-lia de conocimiento, reconociendo así lasdistintas operativas de cada área en los ám-bitos estudiados.

3. A partir de los parámetros estimados en elanterior modelo se calcula el valor estimadode la variable faltante, utilizando dichos pa-rámetros y la información existente para di-cha universidad en las variables relaciona-das.

Por ejemplo, supongamos una universidad para

la que no existen datos de tesis doctorales dirigi-das por profesor doctor (T) en una titulación deingeniería. Tras analizar todas las variables de lasuniversidades españolas se observa que, dentrode las ingenierías, las tesis dirigidas están muycorrelacionadas con los sexenios de investigaciónobtenidos sobre el total de sexenios posibles desu profesorado (S) y también con el porcentajede alumnos de posgrado de dicha universidad(P). A partir de dicha relación, T = f(S,P) , seestima el modelo lineal T = a 0 + a 1 S + a 2 P . Unavez estimados los valores de a0, a1 y a2, se esti-man las tesis dirigidas en esa ingeniería de dichauniversidad a partir de sus datos disponibles desexenios y alumnos de posgrado.

2.6.2. Normalización de los indicadores

Uno de los pilares en los que se asienta la cons-trucción de índices sintéticos es la adecuadanormalización de la información, esto es, latransformación de la misma para homogeneizarlay hacer posible su comparación y agregación.Existen numerosos sistemas de normalización,

como la gaussiana (restar a cada variable sumedia aritmética y dividir por su desviación típi-ca), la ordenación relativa (ordenar los valoressegún su valor relativo), las distancias a la mediao la mediana, y la ratio entre la variable y sumedia o su mediana.

La normalización elegida debe estar en conso-nancia con el método posterior de agregación autilizar. Debido a que como norma general se haoptado por el método de agregación geométrica,que exige que el valor de las variables normali-zadas sea positivo, se deben excluir como alter-

nativas de normalización la gaussiana y las dis-


23/138

METODOLOGÍA

23

tancias absolutas a la media y a la mediana, quegeneran necesariamente valores negativos.

Por esta razón, el método de normalización ele-gido es el cálculo de la ratio entre la variable y sumediana. Teniendo en cuenta que la mediana esel valor que separa en dos mitades cada distribu-ción, los resultados normalizados estarán centra-dos en el valor 1: los valores inferiores a la me-diana se encuentran acotados entre 0 y 1, mien-tras los superiores estarán por encima del 1.

2.6.3. Ponderación y agregación de losindicadores dentro de un ámbito

Una vez imputados los valores faltantes y normali-zados los indicadores básicos, hemos procedido ala agregación de estos para obtener un primerindicador sintético para cada ámbito. Así, porejemplo, para obtener el valor del indicador delámbito calidad en la dimensión investigación seagregan los valores normalizados del Factor deimpacto medio de las publicaciones y el Porcentajede publicaciones en el primer cuartil .

Como en el caso de la normalización, existennumerosos procedimientos de agregación, como

el aritmético, el geométrico o los basados en elanálisis factorial. La elección de uno u otro mé-todo tiene implicaciones en aspectos como lasustituibilidad de los indicadores o el peso que

juegan los valores extremos (tanto grandes comopequeños). El criterio de agregación elegido llevaimplícita una ponderación de los indicadores, quees importante tener presente.

Debe tenerse en cuenta que es posible que algu-nas universidades tengan ceros en algún indica-dor de un ámbito concreto (por ejemplo, pueden

no poseer Patentes triádicas ). Por esta razónhemos optado en esta fase por una agregaciónaritmética, descartando la geométrica porque lapresencia de un cero en el producto haría quetomara valor nulo todo el ámbito analizado.

Como la ponderación de los indicadores revela laimportancia que se asigna a cada variable a lahora de su agregación en un indicador sintético,se ha reflexionado también sobre esta cuestión.Se trata de un problema clásico en la construcciónde dichos índices y que, por lo general, requiereun juicio de quien lo elabora acerca de la impor-

tancia relativa de cada elemento. En el caso de los

agregados económicos los pesos los ofrecen losprecios —que reflejan la valoración que realizanlos mercados de los bienes, servicios o factoresintercambiados—, pero en muchos otros casos noexisten precios y los indicadores han de ser cons-truidos siguiendo otros criterios, que con frecuen-cia se basan en opiniones subjetivas.

Existen tres posibles enfoques para la pondera-ción: 1) asignación de pesos idénticos (lo quetambién implica un juicio, pues el peso de unindicador acaba condicionado por el número deindicadores que se incluyen); 2) consulta entreexpertos para identificar las opiniones más com-partidas (mediante encuestas o métodos como el

Delphi); 3) ponderación según las preferenciasdel usuario. Estas tres alternativas han sido utili-zadas en cada caso según el nivel de la agrega-ción a realizar.

En este primer nivel de agregación (de indicado-res simples a indicadores sintéticos para cadaámbito) se ha optado por el primer sistema, esdecir, la equiponderación. La razón es que en lamayoría de los casos se trata de indicadores quecaptan distintos aspectos del ámbito analizado,pero no existen argumentos claros para otorgar auno de ellos mayor o menor importancia. Ade-más, la naturaleza de la información que se re-coge en cada indicador es bastante homogénea yen ese caso el interés de dar más peso a uno uotro indicador es menor, porque en muchos ca-sos están correlacionados. Así sucede, por ejem-plo, en el caso del índice de impacto medio delas publicaciones y el porcentaje de estas en elprimer cuartil. Por consiguiente, los distintosindicadores simples entrarán en el cálculo de lamedia aritmética con el mismo peso.

2.6.4. Ponderación y agregación de losindicadores de ámbito dentro de cadadimensión

En el segundo nivel de agregación se agrupan losindicadores de los distintos ámbitos en un indica-dor para cada una de las tres dimensiones consi-deradas: docencia, investigación e innovación ydesarrollo tecnológico. En esta etapa existenrazones para seguir un criterio de agregacióndiferente, pues tras la agregación aritmética dela etapa anterior ningún indicador de ámbitopresenta ceros.


24/138


24

Cuadro 4. Pesos para la ponderación de los distintos ámbitos Recursos Producción Calidad Internacionalización

Docencia 25,4 30,4 23,9 20,3Investigación 20 30 30 20Innovación y desarrollo tecnológico 34,2 26,3 21,1 18,4


En esta etapa se procederá mediante un métodode agregación geométrica . Entre las propiedadesmás interesantes de la agregación geométrica seencuentra que limita la sustituibilidad entre loscomponentes que agrega. En otras palabras, la

agregación geométrica penaliza a aquellas uni-versidades que tengan muy desatendido algunode los cuatro ámbitos transversales (Recursos,Producción, Calidad, Internacionalización ) frentea las que los atiendan de manera equilibrada.

En cuanto al peso a dar a cada ámbito dentro decada dimensión en este segundo nivel de agre-gación nos hemos inclinado por la realización deuna encuesta a expertos universitarios, mediantela aplicación del método Delphi, en lugar de op-tar por otorgarles un mismo peso, como en la

etapa anterior.Una de las razones para cambiar el criterio esque si todos los ámbitos fueran agregados con elmismo peso, al tratarse de una media geométricael número de ámbitos considerado influiría en elresultado. Por ejemplo, si hubiésemos decididoagrupar los indicadores de calidad e internacio-nalización en un solo ámbito, la influencia deestas materias en la dimensión habría sido menorde la que tienen con la opción de separarlos.Otra razón es que, a diferencia de lo que sucedíacon los indicadores básicos, en este caso pueden

existir razones para otorgar valores diferentes acada uno de los ámbitos. Así pues, las decisionessobre el número de ámbitos a considerar y suspesos son relevantes, y hemos preferido pregun-tar a expertos por la importancia que se debe dara cada ámbito. Para facilitar esa valoración se haseguido el criterio de que el número de ámbitossea reducido y similar dentro de cada dimensión.

El cuadro 4 recoge los pesos otorgados a losdistintos ámbitos por los expertos consultados12.

2.6.5. Ponderación y agregación de las

dimensiones para la obtención de losrankings

La última fase de la metodología es la que esta-blece cómo se elaboran los distintos rankings delproyecto ISSUE. Este ofrece rankings universita-rios de cada una de las tres dimensiones porseparado, pero para ello ya no es necesario darningún paso adicional a los descritos en los pun-tos anteriores. En cambio, para elaborar los rankings que combinan las tres dimensiones es ne-cesario realizar una nueva agregación y, de nue-

vo, decidir los criterios más razonables paraabordarla.

En el paso de las dimensiones al ranking finalconsideramos que la importancia atribuida a cadadimensión puede ser muy distinta según los in-tereses de las personas que contemplan el ranking , es decir de los potenciales usuarios delmismo: estudiantes, investigadores, gestores,sociedad. Por esa razón, hemos llegado a la con-clusión de que la perspectiva del usuario puedeser clave para dar más o menos importancia acada una de las dimensiones. Podría resultar

poco convincente imponer pesos desde unaperspectiva concreta —por ejemplo, la de ungrupo de expertos, que considera que la investi-gación es lo más importante—, en especial paraindividuos situados en otra perspectiva, porejemplo, para estudiantes u orientadores voca-cionales que consideran que es más importanteatender a los aspectos docentes.

12 Se realizaron dos rondas de consulta, tras las cuales se

alcanzó una reducción de 2,1 puntos porcentuales en elrango intercuantílico medio.


25/138

METODOLOGÍA

25

Por ello, tras la reflexión pertinente hemos opta-do por considerar dos alternativas.

1. En primer lugar, en U-Ranking titulacionesse ofrece la opción del sistema antes descri-to como ranking personalizado, basado enlas propias preferencias del usuario. Enten-demos que en este caso es más probableque los usuarios busquen comparar a lasuniversidades con intereses bastante defini-dos y criterios diversos, probablemente dis-tintos de los de los expertos. Por esta razón,con la ayuda de una herramienta web, losusuarios pueden manifestar la importanciaque para ellos tiene cada una de las tres

dimensiones a la hora de ordenar las titula-ciones y la herramienta les ofrece automáti-camente el ranking correspondiente a laspreferencias que el usuario revela.

Para aplicar este primer enfoque hemosconsiderado varias alternativas sobre cómose realiza la elección de pesos por parte delusuario. Nos hemos decantado por el pro-cedimiento conocido como Budget Alloca- tion Process, es decir, por el reparto porparte del usuario de 100 puntos entre lasdimensiones a valorar. Este método, am-pliamente utilizado en marketing para cono-cer la valoración que hace un consumidorde las características de un producto, tienecomo principal ventaja que obliga al usuarioa adoptar una posición más activa y reflexi-va al tener que repartir los puntos, siendopor ello más consciente de la opinión querefleja.

2. En segundo lugar, para los rankings genera-les (U-Ranking, U-Ranking Volumen), co-rrespondientes al conjunto de las activida-

des de las universidades, se ponderan lastres dimensiones a partir de las opinionesde los expertos, basándose en una encuestacomo la que se mencionaba anteriormenteal agregar ámbitos en dimensiones, y eldesarrollo de un proceso Delphi para lograrla convergencia entre las opiniones de losexpertos.

Los pesos finalmente otorgados a la docencia,investigación y a la innovación y desarrollo tec-nológico son los correspondientes al Delphi reali-zado entre los expertos, respectivamente, el

56%, el 34% y el 10%.

2.7. RANKINGS DE RENDIMIENTO VS.RANKINGS DE VOLUMEN

A la hora de comparar a las universidades, teneren cuenta o no el tamaño de las mismas es rele-vante. Hacer una opción u otra no es en sí mis-ma una carencia ni una ventaja metodológica,pero implica adoptar una perspectiva determina-da que afecta a los rankings y debe tenerse pre-sente al interpretar los resultados.

Del mismo modo que al analizar la actividad deuna empresa o un país se puede contemplar suvolumen de producción o el rendimiento en suconsecución y ambos planteamientos son razo-nables, así sucede en el caso del análisis de losresultados de las universidades. Ninguno de losdos enfoques es, a priori, más válido que el otroy la elección depende del uso que se quiera dar alos resultados. Análogamente el PIB per cápita esmás útil que el PIB total a la hora de comparar lacalidad de vida entre países o regiones, pero elvolumen o el crecimiento del PIB también sonimportantes para explicar, por ejemplo, el em-pleo generado. Así pues, aunque en algunoscasos el rendimiento de los resultados puede sermás importante que el volumen de los mismos,

en otros casos el tamaño también puede serrelevante. Una universidad muy productiva y es ala vez grande es más beneficiosa para la socie-dad que una con el mismo nivel de calidad peropequeña; de la misma forma, una universidadmuy grande pero con un nivel de resultados muypobre es un problema mucho mayor que unauniversidad con ese mismo nivel pero pequeña.

2.7.1. Interés de ambos enfoques

Los rankings existentes adoptan en ocasiones unenfoque basado en el rendimiento de los resulta-dos y en otros casos en el volumen de los mis-mos. Por ejemplo, algunos de los rankings inter-nacionales más citados —especialmente, el Aca- demic Ranking of World Universities conocidocomo Ranking de Shanghái— son rankings devolumen .

El Ranking de Shanghái se puede decir que esmás bien de volumen porque la mayoría de lasvariables con las que se construye —número depremios Nobel o medallas Fields entre sus

exalumnos o en su claustro, investigadores


26/138


26

altamente citados, publicaciones en Nature oScience , artículos publicados en revistasindexadas— no están relativizadas por el tamañode la universidad. Dichas variables suponen lamayor parte del peso en el ranking , mientras quesolo una —un indicador de rendimientoacadémico— está expresada en términos percápita. Así pues, la posición de las universidadesestá condicionada tanto por su calidad como porsu tamaño, siendo ambas cualidades necesariaspara poder alcanzar buenas posiciones en dichoranking .

Otros rankings, en cambio, hacen sus compara-ciones desde la perspectiva de la calidad. Ese es

el caso del QS World Universities Ranking , cuyosindicadores provienen de encuestas sobre repu-tación académica o son variables normalizadaspor tamaño. También existen ejemplos de rankings que contemplan expresamente ambasaproximaciones, y hacen comparaciones diferen-ciadas basándose en la calidad o en el volumentotal de resultados, como hace el ranking I-UGRde resultados de investigación(www.rankinguniversidades.es).

La razón para reconocer interés a ambas aproxi-maciones es que el tamaño de las institucionespuede ser relevante para valorar las contribucio-nes de las universidades, pero corregir los resul-tados por el tamaño permite comparar a lasuniversidades desde una perspectiva que lashace, en cierto sentido, más homogéneas. Ahorabien, dado que ya se ha señalado que no es lomismo para el sistema universitario que unauniversidad de alta (baja) calidad sea grande opequeña, es conveniente preguntarse si la posi-ción de las universidades sería la misma en tér-minos de rendimiento que en términos de volu-men de resultados y subrayar el significado es-

pecífico de ambos rankings . En suma:

• Los rankings de volumen de producción es-

tán basados en indicadores no relativizadospor el tamaño y dependen tanto de rendi-miento de la universidad como de su di-mensión. Así, una universidad puede gene-rar un volumen de resultados de investiga-ción mayor que otra de menor dimensión,aun siendo más productiva la segunda.

• Los rankings de rendimiento están basadosen indicadores de resultados corregidos por

el tamaño y buscan medir la producción por

unidad de inputs o recursos utilizados. Porejemplo, la producción científica se mide enfunción del número de profesores investiga-dores y los resultados docentes se relativi-zan por el número de alumnos. Ello facilitaque algunas universidades de tamaño pe-queño puedan obtener un resultado final enel ranking mejor que otras de tamaño mu-cho mayor.

Una pregunta interesante es si el tamaño influyepositiva o negativamente en el rendimiento, esdecir, si el rendimiento crece o decrece con eltamaño de la universidad. En el primer caso, lasposiciones de las universidades en los rankings

de volumen se verían favorecidas por dos facto-res (tamaño y rendimiento). El contraste de am-bas hipótesis es una cuestión empírica, que pue-de ser analizada elaborando con un mismo enfo-que los dos tipos de rankings , como hace el pro-yecto ISSUE. Dicho contraste será presentadomás adelante.

2.7.2. Tratamiento del tamaño de lasuniversidades

La selección de indicadores simples de los quehemos partido implica que todos están relativiza-dos en función de la variable considerada másapropiada (alumnos, profesores, presupuesto,etc.), de forma que el tamaño no tiene una in-fluencia directa en los resultados. Por consiguien-te, el planteamiento general de la metodologíadescrita conduce a medir los resultados de cadauniversidad con independencia de su tamaño, demodo que se trata de rankings de rendimiento.En consecuencia, para construir rankings devolumen hay que incorporar el tamaño a losindicadores hasta ahora descritos. Esta tarea ha

sido abordada siguiendo los criterios que se deta-llan a continuación.

El primer criterio para introducir el papel deltamaño en el sistema de rankings definido en elresto del proyecto ha sido preservar, en la medi-da de lo posible, la homogeneidad metodológicade ambos rankings , calculándolos a partir delmismo conjunto de indicadores y con los mismoscriterios de agregación. Este criterio aconseja noelaborar el ranking de volumen simplementedejando de relativizar aquellos indicadores quepueden ser expresados en términos totales —porejemplo, recogiendo

informe u-ranking de universidades 2016

Documents