valutazione vqr: seminario giorgio sirilli 19.3.2012
TRANSCRIPT
![Page 1: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/1.jpg)
CONSIGLIO NAZIONALE DELLE RICERCHEIstituto di Studi sui Sistemi Regionali Federali e sulle Autonomie
''Massimo Severo Giannini''
Roma, 19 marzo 2012
La Valutazione della Ricerca del CNR
Le sfide della VQR dell’ANVUR
Giorgio Sirilli
![Page 2: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/2.jpg)
Un Seminario di politica scientifica
![Page 3: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/3.jpg)
La genesi L’approccio Gli attori La Valutazione della Qualità della Ricerca (VQR) Discussione Le sfide
Indice
![Page 4: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/4.jpg)
Quale sarà l’esito della valutazione del CNR da parte dell’ANVUR?
La domanda
![Page 5: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/5.jpg)
Possibile classifica degli enti di ricerca
INFN
CNR.…
.….…
.….…
![Page 6: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/6.jpg)
E’ possibile pronosticare l’esito della VQR per gli enti di ricerca?
No
![Page 7: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/7.jpg)
Un precedente
Studio all’inizio del millennio (2002) Il 3% di Lisbona
1,20
![Page 8: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/8.jpg)
L’approccio
Domanda di ricerca Dati Elaborazione Conclusioni Previsioni e raccomandazioni
![Page 9: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/9.jpg)
La valutazione della ricerca
La valutazione della ricerca può essere definita come un processo oggettivo mirato all’analisi critica della rilevanza, dell’efficienza e dell’efficacia di politiche, programmi, progetti, istituzioni, gruppi e singoli ricercatori nel perseguire gli obiettivi prefissati.
La valutazione consiste in un complesso di attività coordinate, di carattere comparativo, basate su metodi e tecniche formalizzate e realizzate attraverso procedure codificabili, volte ad esprimere un giudizio su interventi intenzionali rispetto al loro svolgimento ed agli effetti generati.
![Page 10: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/10.jpg)
Il primo giorno Dio creò il cielo e la terra. E Dio vide tutto quello che aveva fatto. “Guarda” disse Dio “è veramente molto buono”. E venne sera, e poi mattina: era il sesto giorno. Ed il settimo giorno Dio si riposò dopo il Suo lavoro. Venne quindi da Lui il Suo arcangelo che Gli chiese: “Dio, come fai a sapere che quello che hai creato è ‘veramente molto buono’?. Quali sono i Tuoi criteri? Su quali dati basi la Tua valutazione? Non sei Tu forse un po’ troppo direttamente coinvolto per dare un giudizio spassionato?” Dio rifletté su queste domande per tutto il settimo giorno, ed il Suo riposo fu molto agitato. L’ottavo giorno Dio disse: “Lucifero, vai all’inferno”.
La prima valutazione (Genesi)
![Page 11: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/11.jpg)
La valutazione e gli indicatori
![Page 12: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/12.jpg)
L’elefante ci ricorda che l’informazione che otteniamo dalle classifiche degli indicatori è corretta, ma è comunque parziale
La valutazione e gli indicatori
Each in his own opinionExceeding stiff and strong,Though each was partly
in the right,And all were in the wrong!
John Godfrey Saxe (1816–1887)
"The Blind Men and the Elephant"
Ciascuno con la sua opinioneConvinto caparbiamente di essere
nel giusto,Sebbene ciascuno fosse
parzialmente nel giusto,Tutti erano nell’errore!
John Godfrey Saxe (1816–1887)"The Blind Men and the Elephant"
![Page 13: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/13.jpg)
(Ben Martin) “Quando misuri un sistema, cambi il sistema” “I quattro principi di Merton:
- universalismo- comunitarismo- disinteresse- scetticismo organizzatosono sempre più erosi”
La valutazione
![Page 14: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/14.jpg)
14
La valutazione: il difficile equilibrio tra le esigenze della scienza e quelle della società
![Page 15: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/15.jpg)
La matrice multidimensionale della valutazione
Unità da valutare
Individuo
Gruppo di ricerca
Dipartimento
Istituzione
Area di ricerca
Obiettivo
Allocazione di risorse
Miglioramento della performance
Incremento della multidisciplinarità
Incremento del coinvolgimento regionale
Promozioni, reclutamento
Dimensioni dell’output
Produttività della ricerca
Impatto sulla comunità scientifica
Innovazione e beneficio sociale
Sostenibilità
Infrastrutture di ricerca
Indicatori bibliometrici
Pubblicazioni
Impact factor
Impatto delle citazioni
Collaborazioni internazionali
Prestigio delle citazioni
Altri indicatori
Valutazione dei pari
Brevetti, licenze, spin-off
Inviti alle conferenze
Finanziamenti esterni
“Qualità” dei PhD
![Page 16: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/16.jpg)
La VQR
Unità da valutare
Individuo
Gruppo di ricerca
Diparti-mento
Istituzione
Area di ricerca
Obiettivo
Allocazione di risorse
Miglioramento della performance
Incremento della multidisciplinarità
Incremento del coinvolgimento regionale
Promozioni, reclutamento
Dimensioni dell’output
Produttività della ricerca
Impatto sulla comunità scientifica
Innovazione e beneficio sociale
Sostenibilità
Infrastrutture di ricerca
Indicatori bibliometrici
Pubblicazioni
Impact factor
Impatto delle citazioni
Collaborazioni internazionali
Prestigio delle citazioni
Altri indicatori
Valutazione dei pari
Brevetti, licenze, spin-off
Inviti alle conferenze
Finanziamenti esterni
“Qualità” dei PhD
![Page 18: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/18.jpg)
Agenzia vigilata dal MIURSette membri (tutti universitari)
![Page 19: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/19.jpg)
Gli attori della VQR
ANVUR Gruppi di Esperti della Valutazione (GEV) Revisori
Strutture Università Dipartimenti Enti di ricerca
CINECA Ricercatori
![Page 20: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/20.jpg)
La VQR
GEV 14 Gruppi 450 esperti (di cui 3 del CNR)
Cronoprogramma della VQR Inizio: novembre 2011 Fine: giugno 2013
![Page 21: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/21.jpg)
VQR – Aree, GEV, ricercatori, prodotti
GEV Universities Research agencies
AreaFull professor
Assistant professor Researcher TOTAL
Researcher
Technologist
Max number of products
Mathematics and Information Science 25 968 1002 1256 3226 369 62 12075Physics 18 604 816 870 2290 262 44 8572Chemistry 23 703 963 1293 2959 338 57 11076Earth science 9 259 376 460 1095 125 21 4099Biology 38 1234 1361 2283 4878 557 94 18259Medicine 79 2186 2955 5052 10193 1165 196 38154Agronomy and Veterinary Medicine 24 821 898 1320 3039 347 58 11375Civil engineering and Architecture 28 978 1104 1520 3602 412 69 13483Industrial and Computer engineering 39 1600 1504 1961 5065 579 97 18959Ancient History Philological Literature and Arts 42 1512 1628 2256 5396 617 104 20198History, Philosophy Psychology Pedagogy 38 1478 1434 2022 4934 564 95 18469Law 37 1612 1123 2049 4784 547 92 17907Economics and Statistics 36 1580 1331 1758 4669 533 90 17477Political and Social sciences 13 437 485 775 1697 194 33 6352TOTAL 449 15972 16980 24875 57827 6609 1112 216455
![Page 22: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/22.jpg)
La metodologia
15 indicatori utilizzati 7 indicatori di Area 8 indicatori di “Terza missione”
![Page 23: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/23.jpg)
Indicatori
Indicatori di Area legati alla ricerca:qualità (0,5)attrazione di risorse (0,1)mobilità (0,1)internazionalizzazione (0,1)alta formazione (0,1)risorse proprie (0,05)miglioramento (0,05)
Oggi l’attenzione è tutta qui
![Page 24: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/24.jpg)
Qualità dei “prodotti”
Punteggi:eccellente 1,0 20% superiore della scala internazionale
buono 0,8 60-80%
accettabile 0,5 50-60%
limitato 0,0 <50%
mancante -0,5non valutabile-1,0plagio o frode -2,0
![Page 25: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/25.jpg)
Problemi della valutazione dei prodotti
Valutazione dei pari/bibliometria
Riviste da includere
Pesi20-20-10-50
Valori positivi e negativi
Prodotti 6/3
Selezione dei referee
Giudizio finale dei GEV
Presenza schiacciante degli universitari
Associati
![Page 26: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/26.jpg)
Gli indicatori
Indicatori di struttura di ‘terza missione’:conto terzi (0,2)brevetti (0,1)spin-off (0,1)incubatori (0,1)consorzi (0,1)siti archeologici (0,1)poli museali (0,1)altre attività (0,2)
![Page 27: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/27.jpg)
Quanti indicatori?Uno, nessuno, centomila?
Tre scenari per gli indicatori: un indicatore sintetico due indicatori (Area e Terza missione) cruscotto (scoreboard)
Scenari possibili: Graduatorie (Shanghai) multi-ranking
![Page 28: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/28.jpg)
Valutazione della Qualità della Ricerca (VQR)
Didattica
Ricerca
Terza missione
Ricerca
Terza missione
Enti di ricercaUniversità
![Page 29: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/29.jpg)
VAlutazione delle Strutture che svolgono Attività di
RIcerca e di TRAsferimento delle COnoscenze
Valutazione della Qualità della Ricerca (VQR)
(VASARITRACO)
![Page 30: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/30.jpg)
Il progetto della VQR
Il progetto della VQR è ancora una abbozzo, manca la stesura finale in cui sono specificate le modalità di misurazione
![Page 31: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/31.jpg)
Un profilo degli enti pubblici di ricerca
![Page 32: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/32.jpg)
Gli enti pubblici di ricerca: realtà molto eterogenee
![Page 33: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/33.jpg)
Alcune caratteristiche degli enti pubblici di ricerca vigilati dal MIUR e di altri grandi enti. Anno 2009
Sigla
differenziazione scientifica e tecnologica
svolge attività di
ricerca
svolge attività di
formazione
svolge attività di servizio
Enti vigilati dal MiurCnr alta sì sì sìInfn bassa sì sì noInaf bassa sì no noIngv bassa sì no sìAsi bassa no no noInrim media no sì sìOgs media sì no noStazione zoologica "A. Dohrn" bassa sì sì sìParco tecnologico Trieste alta no sì sìCentro Fermi bassa no no noIndam bassa no no noISG bassa no no no
Altri entiEnea alta sì sì siIstat bassa sì sì sìIss media sì sì sìIsfol bassa sì no siIit media sì no no
Caratteristiche
6/12 5/12 5/12
![Page 34: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/34.jpg)
La valutazione degli Istituti del CNR
Svolta nel 2009 Metodologia: “a tavolino” e “visita in loco”
![Page 35: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/35.jpg)
L a valutazione degli Istituti - 2009
![Page 36: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/36.jpg)
L a valutazione degli Istituti - 2009
![Page 37: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/37.jpg)
L a valutazione degli Istituti - 2009
![Page 38: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/38.jpg)
La valutazione degli Istituti del CNRUn’opportunità persa?
http://www.issirfa.cnr.it/download/File/Research%20Evaluation%2017_3_2011.pdf
![Page 39: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/39.jpg)
Alcune considerazioni
Gli enti pubblici di ricerca devono essere valutati La metodologia della VQR è inadatta per gli enti di ricerca Gli enti dovrebbero essere valutati ad hoc (“a tavolino” e
“in loco”) Informazioni “vecchie” (2004-2010) per un’utilizzazione
futura in tempi di “vacche magre” Valutazione adiuvante, non punitiva Modalità di utilizzazione dei risultati da parte dei policy
maker
![Page 40: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/40.jpg)
Sfide per il CNR
Penalizzazione del CNR – è più che un rischio Prestare attenzione agli “altri” 14 indicatori Tipo e qualità dei dati da fornire all’ANVUR Valutazione dell’ente, degli istituti e dei
ricercatori/tecnologi Come rapportarsi con gli altri enti (concorrenti)? Chiedere che gli enti di ricerca siano valutati a parte Chiedere un “momento di riflessione” per migliorare la
metodologia Gestire le tensioni all’interno del CNR
![Page 41: Valutazione VQR: seminario Giorgio Sirilli 19.3.2012](https://reader036.vdocuments.net/reader036/viewer/2022062709/5593026a1a28ab48768b4592/html5/thumbnails/41.jpg)
E ora … affrontiamo le sfideMettiamoci a lavoro
Grazie dell’attenzione