el impacto de la evaluaciÓn de la investigaciÓn en las
TRANSCRIPT
1
EL IMPACTO DE LA EVALUACIÓN DE LA INVESTIGACIÓN EN
LAS POLITICAS DE I+D+i DE CASTILLA Y LEÓN
2
INTRODUCCIÓN
La “Estrategia de Investigación Científica, Desarrollo Tecnológico e Innovación” de la Comunidad
Autónoma de Castilla y León (España) tiene entre sus objetivos adecuar la financiación de la
I+D+i a las necesidades de los diferentes agentes del sistema de ciencia y tecnología regionales,
movilizando de la manera más eficiente posible los recursos económicos disponibles. La Agencia
para la Calidad del Sistema Universitario de Castilla y León (ACSUCyL) contribuye a la
consecución de este objetivo evaluando los proyectos de investigación que presentan los
investigadores a las convocatorias en régimen de concurrencia competitiva que Castilla y León
promueve, para asignar de manera óptima la financiación pública de la actividad investigadora.
La adecuada evaluación de los proyectos presentados por investigadores que aporten una
trayectoria científica excelente, con un impacto potencial relevante y alineado con las prioridades
establecidas en los diferentes planes y estrategias vigentes en el ámbito regional, nacional y
europeo, contribuye a integrar a la comunidad científica de Castilla y León dentro del Espacio
Europeo de Investigación.
ACSUCyL contribuye de esta manera a facilitar la participación de los investigadores de Castilla y
León en el futuro Programa Marco de Investigación e Innovación 2014-2020 (Horizonte 2020). El
acceso a dichos fondos es un objetivo a conseguir por parte de los grupos de investigación de
Castilla y León para fomentar su actividad investigadora.
Las evaluaciones de los proyectos de investigación realizadas por ACSUCyL contribuye también a
promover y garantizar la eficiencia del sistema de I+D+i de Castilla y León, primando la
colaboración entre grupos de investigación y organismos, la utilización de los medios y recursos
disponibles para investigación de manera conjunta, y la difusión, a través de canales públicos y
abiertos, de los avances científicos logrados a través de la actividad investigadora financiada con
fondos públicos.
CONTEXTO
En los últimos seis años ACSUCyL ha evaluado de 1933 solicitudes de programas y proyectos
investigación presentados por Grupos de Investigación de Excelencia, Grupos Estables de
Investigación o Grupos Noveles presentes en Castilla y León, en siete convocatorias públicas
destinadas a la financiación de programas y proyectos investigación.
3
El número de solicitudes presentadas ha variado sensiblemente de unas convocatorias a otras,
como se puede observar en la siguiente gráfica. Globalmente en este periodo, el 59% de las
solicitudes de los proyectos y programas evaluados han correspondido, en una proporción
similar, a investigadores vinculados con las dos Universidades de mayor tamaño de Castilla y
León (Salamanca y Valladolid); el 26% han sido programas y proyectos de investigadores
pertenecientes a las otras dos Universidades Públicas de Castilla y León (Burgos y León); el 9% a
solicitudes presentadas por centros o institutos de investigación (la mayoría vinculados al CSIC), y
Hospitales públicos; y, finalmente, un 6% a proyectos de las Universidades Privadas presentes en
esta Comunidad Autónoma.
El número de proyectos evaluados, tomando en consideración los grandes campos de
conocimiento, muestra un menor grado de variabilidad entre las diferentes convocatorias. En
conjunto, un tercio de las solicitudes han correspondido a programas y proyectos de las áreas de
Humanidades y CC. Sociales y Jurídicas; algo más de otro tercio a las áreas de Ciencias
Experimentales y Biosanitarias; y un último, un poco menos de un tercio a solicitudes de
proyectos y programas pertenecientes a los campos de la Ingeniería y la Tecnología.
0
25
50
75
100
125
150
175
200
225
250
275
300
325
350
375
400
425
PROGRA08y09 PROY09 PROY10 PROY11 PROY12 PROY13
1441 29 38 35 3318
85
61 54 46 4345
5390
121 134 129
64
38
86
114138
127
8
39
21
29
46
38
5823
10
16
9
EVOLUCIÓN DEL Nº DE SOLICITUDES DE PROGRAMAS Y PROYECTOS EVALUADAS POR ACSUCYL QUE SE HAN PRESENTADO A LAS CONVOCATORIAS DE LA DGUI DE CASTILLA Y
LEÓN EN EL PERIODO 2008-2013 (POR ENTIDADES SOLICITANTES)
Univ. Privadas
CSIC/Hosp/C.Inv.
Univ. de Valladolid
Univ. de Salamanca
Univ. de León
Univ. de Burgos
4
ACSUCyL a su vez, en estos años, ha realizado la evaluación Expost de 974 programas y
proyectos de investigación1 que han sido financiados a través de seis de las anteriores
convocatorias.
1 La duración habitual de los proyectos de investigación financiados es de tres anualidades.
0
25
50
75
100
125
150
175
200
225
250
275
300
325
350
375
400
425
PROGRA08y09 PROY09 PROY10 PROY11 PROY12 PROY13
1840 41 39 36 4927
86 8065 87
80
30
6546 62
84 67
16
3759 72
6053
22
33 4660
65
53
36
53 38
68
83
77
EVOLUCIÓN DEL Nº DE SOLICITUDES DE PROGRAMAS Y PROYECTOS EVALUADAS POR ACSUCYL QUE SE HAN PRESENTADO A LAS CONVOCATORIAS DE LA DGUI DE CASTILLA Y LEÓN EN EL
PERIODO 2008-2013 (POR CAMPOS DE CONOCIMIENTO)
CC. Biosanitarias
Tecnologías de la Vida
Ingeniería y Arquitectura
CC. Experimentales
CC. Sociales y Jurídicas
Humanidades
Áreas de conocimiento incluidas en los campos científicos:
Humanidades: Áreas de Filología, Traducción, Filosofía, Historia, Arte, Geografía.
CC. Sociales y Jurídicas: Áreas de Economía, Derecho, Ciencias Políticas, Psicología,
Sociología, Educación, Periodismo, Comunicación, Documentación, Geografía Humana.
CC. Experimentales: Áreas de Matemáticas, Física, Química, Geología, Ciencias de la Tierra
y del Espacio, Biología Vegetal y Animal, Ecología.
Ingeniería y Arquitectura: Áreas de Ingeniería (Eléctrica, Electrónica, Automática,
Telecomunicaciones, Informática), Tecnología de Materiales, Ingeniería Civil, Arquitectura.
Tecnologías de la Vida: Áreas de Tecnología Química, Ciencia y Tecnología de los
Alimentos, Ingeniería Agraria y Forestal, Producción Animal, Sanidad Animal.
CC. Biosanitarias: Áreas de Biomedicina, Medicina Clínica, Ciencias de la Salud, Biología
Fundamental y de Sistemas.
5
En la evaluación Ex-Ante y Ex-Post que realiza ACSUCyL de cada proyecto interviene un panel de
dos expertos en la temática del mismo (“evaluación por pares”). Cuando existe una discrepancia
entre sus evaluaciones superior al 10%, interviene también un "Coordinador de Área",
responsable de elaborar una propuesta de informe de evaluación a partir de los informes previos
emitidos por los expertos. Finalmente, es la "Comisión de Evaluación de la Investigación (CEI)" de
ACSUCyL, el órgano responsable de coordinar el proceso y de emitir los informes finales de
evaluación.
LA EVALUACIÓN DE LOS PROYECTOS DE INVESTIGACIÓN
A continuación se va a mostrar cómo el proceso de evaluación de los proyectos de investigación
realizado por ACSUCyL reúne las características necesarias que le permiten ser uno de los
garantes de la eficiencia del sistema de I+D+i de Castilla y León. Para ello, vamos a centrar el
análisis en cinco dimensiones o elementos del proceso de evaluación:
1. La selección de evaluadores.
2. Las discrepancias entre los evaluadores.
3. El grado de discriminación de las evaluaciones.
4. Las características de los informes de evaluación.La satisfacción de los agentes que
intervienen en los procesos de evaluación.
0
25
50
75
100
125
150
175
200
225
250
275
300
Expost06 Expost07 Expost08 ExpostGIE Expost09 Expost10
1533 34
9 14 25
28
40
89
15 17
30
42
40
42
2431
10
16
25
47
1211 14
22
40
51
166
18
24
34
37
29 18
16
EVALUACIONES EXPOST, REALIZADAS POR ACSUCYL, DE PROYECTOS Y PROGRAMASDE INVESTIGACIÓN FINANCIADOS POR LA DGUI DE LA JUNTA DE CASTILLA Y LEÓN
(POR CAMPOS CIENTÍFICOS Y CONVOCATORIAS)
CC. Biosanitarias
Tecnologías de la Vida
Ingeniería y Arquitectura
CC. Experimentales
CC. Sociales y Jurídicas
Humanidades
6
1. LA SELECCIÓN DE EVALUADORES.
Un objetivo fundamental del proceso de evaluación de los programas y proyectos de investigación
que realiza ACSUCYL es garantizar una evaluación lo más objetiva y equilibrada posibles. Para ello,
ha establecido un procedimiento acorde con las prácticas más consensuadas en el ámbito de la
evaluación científica.
Para garantizar la independencia de las evaluaciones, ACSUCYL selecciona a todos los evaluadores
que intervienen en el proceso fuera de la Comunidad de Castilla y León, y les pide que firmen su
Código Ético.
En el conjunto de todas estas evaluaciones han participado un total de 2852 expertos distintos. El
26% de los informes externos han sido realizados por investigadores que trabajan en la Comunidad
de Madrid; el 17% por investigadores de Cataluña; un 14% por expertos andaluces; y el 43% por
investigadores distribuidos por el resto de Comunidades Autónomas o por investigadores
extranjeros.
En correspondencia con esta distribución, la procedencia de los evaluadores externos, atendiendo a
las entidades donde desarrollan su actividad profesional, es muy variada. El mayor número de
informes realizados para ACSUCyL procede de investigadores vinculados al CSIC (un 11%), el resto
se distribuye de manera relativamente homogénea entre investigadores de las diferentes
Universidades españolas, Hospitales y centros de investigación de diferente naturaleza.
Madrid 26%
Cataluña17%Ancalucía
14%
Valencia11%
Galicia6%
Aragón5%
Asturias4%
País Vasco4% Otras CC.AA
13%
PROCEDENCIA DE LOS EXPERTOS EXTERNOS QUE HAN COLABORADO CON ACSUCYL EN LA EVALUACIÓN DE
PROGRAMAS Y PROYECTOS DE INVESTIGACIÓN
7
La idoneidad de los evaluadores externos está acreditada por su currículum vitae, por ser especialistas en
la materia del proyecto que valoran (el 96% de los evaluadores afirman haber evaluado proyectos
bastante o muy afines a su especialidad,) y por haber colaborado con otras Agencias de evaluación (en el
98% de los casos). De modo que todos ellos cuentan con trayectorias profesionales y méritos que les
permiten tener reconocidos al menos dos tramos de investigación (un reconocimiento de la calidad de su
actividad investigadora durante un periodo de al menos 12 años), en caso de no tenerlos, reúnen méritos
relevantes en el campo de los proyectos que evalúan.
No obstante, para garantizar aún más la adecuación de las evaluaciones, los Coordinadores de Área y la
CEI de ACSUCYL realizan una valoración de la calidad de los informes realizados por los “Paneles
Científicos”, de la que se desprende que solo un 8,5% de sus informes cabe calificarlos de deficientes o
cuestionables.
2. LAS DISCREPANCIAS ENTRE LOS EVALUADORES.
La evaluación por pares (peer review) conlleva la presencia de discrepancias entre los evaluadores. En el
conjunto de evaluaciones exante y expost realizadas por ACSUCyL en los últimos seis años, la desviación
típica entre evaluaciones ha sido igual o superior a 1 en el 8,5% de las mismas. Los coeficientes de
fiabilidad o consistencia derivados del análisis de varianza entre evaluadores indican que esta es, no
obstante, elevada. Por ejemplo, la alpha de Cronbasch se sitúa por encima del 0,8 sobre 1 en todos los
proceso de evaluación.
Otras Universidades
58%
Univer. Complutense
7%
Univer. Barcelona5%
Univer. València5%
Univer. Zaragoza4%
Univer. Granada4%
CSIC11%
Otras entidades6%
PROCEDENCIA INSTITUCIONAL DE LOS EXPERTOS EXTERNOS QUE HAN COLABORADO CON ACSUCYL EN LA EVALUACIÓN DE PROGRAMAS Y
PROYECTOS DE INVESTIGACIÓN
8
Los Coordinadores de Área y la CEI de ACSUCyL analizan las discrepancias entre las valoraciones
realizadas por los evaluadores, para corregir posibles sesgos y armonizarlas. Esto requiere que ACSUCyL
garantice su independencia, para ello adopta dos tipos de medidas. Unas orientadas a que los
Coordinadores realicen una “evaluación ciega” (sin conocer la autoría de los informes elaborados por los
expertos; y otras, orientadas a garantizar una cierta distancia entre el evaluador y el evaluado, intentando
evitar una concentración de los mismos en un mismo espacio geográfico y/o Institución. Así, los 37
Coordinadores que han colaborado con ACSUCYL en estos últimos seis años, realizan su actividad
profesional fuera de Castilla y León, en las diferentes Comunidades Autónomas españolas, vinculados a
24 instituciones diferentes.
3. EL GRADO DE DISCRIMINACIÓN DE LAS EVALUACIONES.
Los resultados de las evaluaciones de los programas y proyectos de investigación reflejan la adecuación
del proceso evaluativo, al discriminar de manera clara la calidad de los proyectos, tanto cuantitativa como
cualitativamente, como se puede observar en el siguiente gráfico. Se han analizado también las
diferencias entre el peso previsto en cada uno de los criterios contemplados en cada proceso de
evaluación, y el que efectivamente tienen finalmente respecto de las puntuaciones totales, y se ha
comprobado que no son significativas. Lo que confirma que la evaluación se ajusta a los criterios que se
fijan en las convocatorias.
< 0,2545%
>0,25 y <0,524%
>0,5 y <0,7515%
>0,75 y <18%
>1 y <1,254%
>1,25 y <1,52%
> 1,52%
DESVIACIÓN TÍPICA ENTRE LAS VALORACIONES REALIZADAS POR LOS EXPERTOS QUE HAN COLABORADO CON ACSUCYL EN LA EVALUACIÓN EXANTE Y EXPOST DE PROGRAMAS Y PROYECTOS DE INVESTIGACIÓN
9
Por otra parte, el reducido número de recursos que presentan los investigadores cuyos proyectos no son
financiados, es un buen indicador del grado de corrección que alcanzan las evaluaciones realizadas por
ACSUCyL. La media de recursos por convocatoria es del 6%, un porcentaje muy bajo teniendo en cuenta
que de media el 70% de los proyectos evaluados no son financiados, y que en algunas convocatorias son
incluso el 85% los proyectos que no reciben financiación. Los recursos estimados total o parcialmente
representan el 3,4% sobre el total de proyectos o programas no financiados.
Además de la evaluación ExAnte de los proyectos, ACSUCYL es la única agencia española que realiza una
evaluación ExPost sistemática de la totalidad de los proyectos financiados por la Comunidad de Castilla y
León, lo que supone un importante avance en las políticas de rendición de cuentas “accountability” y de
evaluación del impacto de las políticas de I+D+i de esta Comunidad.
ACSUCyL realiza estas evaluaciones ExPost con el objeto de verificar el cumplimiento de los planes de
trabajo propuestos en los proyectos financiado, el grado de consecución de los objetivos planteados, así
como la relevancia de los resultados obtenidos y el impacto socioeconómico que han tenido los proyectos.
Los criterios y referentes que se utilizan en estos procesos de evaluación son muy exigentes, se busca que
tenga una importante capacidad de discriminación, ya que la financiación de futuros proyectos en Castilla
y León está condicionada parcialmente a los resultados de la misma. Esto explica que el 25% de las
evaluaciones valoren como cuestionables al 25% de los proyectos y programas, como se puede observar
en el siguiente gráfico.
0
10
20
30
40
50
60
70
80
90
100
PROGRA08y09 PROY09 PROY10 PROY11 PROY12 PROY13 MEDIA
0,64,9 1,9 0,8 1,6
16,112,1
16,8
19,7
8,9 13,5 14,2
29,530,6
35,8 18,3
35,4
51,7
34,2
42,3 47,5
39,4
48,948,7
29,8
42,8
12,1 9,9 7,4 8,2 5,1 4,2 7,2
%
RESULTADOS DE LA EVALUACIÓN REALIZADA POR ACSUCYL DE LAS SOLICITUDES DE PROGRAMAS Y PROYECTOS DE INVESTIGACIÓN QUE SE HAN PRESENTADO A CONVATORIAS
DE LA DGUI DE LA JUNTA DE CASTILLA Y LEÓN (POR CONVOCATORIAS)
Muy bueno
Bueno
Aceptable
Cuestionable
Muy cuestionable
10
4. LAS CARACTERÍSTICAS DE LOS INFORMES DE EVALUACIÓN.
ACSUCYL entiende que su labor evaluadora, además de contribuir a la adecuada discriminación y
selección de los mejores proyectos de investigación, tiene también una componente propositiva y
formadora que incide sobre la mejora de proyectos que formulan los investigadores de Castilla y León. Por
ello, intenta cuidar especialmente en sus informes los apartados relativos a los puntos fuertes del
proyecto y las sugerencias de mejora que se les hacen a los investigadores. Solo un 11,5% de los
investigadores ha manifestado que estas sugerencias no les resultan de utilidad. También con el objetivo
apoyar y/o orienta a los investigadores en la elaboración de sus proyectos de investigación y de las
memorias que realizan a la conclusión de los mismos, ACSUCyL ha elaborado y difundido un conjunto de
sugerencias dirigidas a llamar su atención sobre algunos aspectos relacionados con la redacción de estos
proyectos y/o memorias que estima pueden contribuir a mejorarlas.
5. LA SATISFACCIÓN DE LOS AGENTES QUE INTERVIENEN EN LOS PROCESOS DE
EVALUACIÓN.
ACSUCyL realiza anualmente una metaevaluación de todos los procesos de evaluación que lleva a cabo,
en el marco de la política de mejora continua de la Agencia. Para ello, además de analizar el desarrollo de
los procesos y los principales indicadores asociados a los mismos, realiza también una encuesta de
satisfacción, dirigida tanto a sus colaboradores como a los Investigadores Principales (IP) de los proyectos
que valora (cuando se realiza la solicitud de los mismos y cuando estos concluyen, a través de la su
evaluación expost). Esta encuesta, de carácter anónimo, la ha cumplimentado 46,2% de los evaluadores,
el 76,7% de los coordinadores y el 51,1% de los Investigadores.
Muy cuestionable
9%Cuestionable
16%
Aceptable29%
Bueno37%
Muy bueno9%
RESULTADOS DE LAS EVALUACIONES EXPOST DE PROYECTOS Y PROGRAMAS DE INVESTIGACIÓN REALIZADAS POR ACSUCYL
11
El grado de satisfacción global de los evaluadores y los coordinadores con su colaboración con ACSUCyL
es muy elevado, como se puede apreciar en los siguientes gráficos, considerando la mayoría de ellos que
la calidad del desempeño de ACSUCyL se encuentra por encima de otras Agencias. En cambio, el grado de
satisfacción de los Investigadores Principales de los proyectos es sensiblemente menor, estando
altamente correlacionado el mismo con la valoración que ha realizado la Agencia de sus proyectos.
La alta valoración que los expertos y los coordinadores de área tienen de ACSUCyL se sustenta en su
satisfacción con los recursos facilitados por la Agencia para llevar a cabo los procesos de evaluación en
los que intervienen, y en la calidad de la atención que reciben.
0
10
20
30
40
50
60
70
80
90
100
Expertos-Evaluadores Coordinadores de área
Investigadores Valoración del Proyecto
45,8
60,7
5,7
50,332,1
38,5 Bueno o muy bueno
42,6
2,7
27,7Aceptable
31,3
8,9
Cuestionable19,6
2,8 4,5
19,2
6,5
%
GRADO DE SATISFACCIÓN CON LA COLABORACIÓN O EL SERVICIO OFRECIDO POR ACSUCYL EN LA EVALUACIÓN EX-ANTE Y EX-POST DE LOS PROYECTOS DE INVESTIGACIÓN QUE SE PRESENTAN A
CONVATORIAS DE LA DGUI DE LA JUNTA DE CASTILLA Y LEÓN (periodo 2009-14)
ns/nc
Nada satisfecho
Poco satisfecho
Bastante satisfecho
Muy satisfecho
0
10
20
30
40
50
60
70
80
90
100
Expertos-Evaluadores Coordinadores de área
20,3
50,0
38,3
37,530,2
1,99,3 12,5
%
VALORACIÓN DE ACSUCYL POR SU COLABORADORES EN LA EVALUACIÓN EX-ANTE Y EX-POST DE LOS PROYECTOS DE INVESTIGACIÓN QUE SE PRESENTAN A CONVATORIAS DE LA
DGUI DE LA JUNTA DE CASTILLA Y LEÓN EN COMPARACIÓN CON OTRAS AGENCIAS (periodo 2009-14)
ns/nc
Muy inferior
Por debajo
Similar
Por encima
Muy superior
12
Los Investigadores Principales de los proyectos de investigación valoran también positivamente los
diferentes aspectos que intervienen en los procesos de evaluación exante y expost de los proyectos, pero
en un grado menor. La valoración final que han recibido sus proyectos por parte de ACSUCyL parece
condicionar bastante la percepción que los Investigadores tienen del proceso:
0
10
20
30
40
50
60
70
80
90
100
Adecuación miembros de los
Órganos de Evaluación
Fiabilidad Órganos de Evaluación
Objetividad de las evaluaciones
Adecuación criterios de evaluación
Calidad argumentos
para justificar las valoraciones
Pertinencia y/o utilidad
sugerencias
Adecuación términos de
redacción del informe
Valoración del proyecto
9,1 8,8 11,05,2 6,8 9,6
SI71,641,7 38,6 31,4 46,7 44,4 43,0
NO17,2
Bueno o muy bueno
42,6
20,3 22,627,2
28,5 27,0 23,8Aceptable
31,3
6,7 7,9 9,1
8,2 9,5 11,5Cuestionable
19,6
22,1 22,1 21,211,3 12,3 12,1 11,2 6,5
%
VALORACIÓN DE LOS I.P. DE LOS PROYECTOS DE INVESTIGACIÓN QUE SE HAN PRESENTADO A CONVATORIAS DE LA DGUI DE LA JUNTA DE CASTILLA Y LEÓN, DE DISTINTOS ASPECTOS DE LOS
PROCESOS DE EVALUACIÓN EX-ANTE Y EXPOST DE ACSUCYL (periodo 2009-2014)
Nc/Nc
Nada
Poco
Bastante/Adecu./Útil
Totalmente/Muy…
13
CONCLUSIONES
Las características y la calidad del proceso de evaluación de los proyectos y programas de investigación
de Castilla y León que realiza ACSUCyL, la convierten en un agente fundamental para las políticas de I+D+i
de esta Comunidad. Son cuatro las dimensiones donde esto se plasma:
1. Lograr la mayor eficiencia en la financiación de la I+D+i
2. Garantizar la “accountability” de estas políticas.
3. Evaluar su impacto, no solo científico sino también socioeconómico.
4. Contribuir a la mejora de los proyectos de los investigadores de Castilla y León, para que sean más
competitivos en el Espacio Europeo de Investigación.
ACSYCYL ha certificado estos procesos de evaluación con una norma UNE-ISO 9001:2008, y la seguridad
del sistema que gestiona la información de los procesos con una norma UNE-ISO 27001.
14
Agencia para la Calidad del
Sistema Universitario de Castilla y León
Avda. Reyes Católicos, 2
47006 Valladolid
Tfno. 983 411743
Fax. 983 414654
www.acsucyl.es
https://www.facebook.com/Acsucyl