La ricerca scientifica in Economia Aziendale: problemi-opportunità emergenti e primi risultati del

progetto di classificazione delle riviste scientifiche

Ruolo e funzionamento

dell’ANVURFrancesco Favotto

ACCADEMIA ITALIANA DI ECONOMIA AZIENDALE (AIDEA)

Gruppo di Studio e Attenzione (GSA) su “Valutazione e misurazione delle performance in ambito

universitario”Università degli Studi di Bologna, Facoltà di Economia, 28 giugno

2007

2

Una storia recente ….

Proposta di legge Tocci Modica e al., 7 febbraio 2006, “Istituzione dell’Autorità per la valutazione del sistema delle università e della ricerca”; tre macro-motivazioni:

controllo continuo e severo della produttività degli investimenti pubblici

l’informazione e la comunicazione pubblica a beneficio di scelte ponderate di tutti i portatori di interesse

l’incentivazione della capacità degli atenei e degli enti di ricerca di darsi autonomamente i propri obiettivi e di saperne misurare il tasso di raggiungimento in un processo di miglioramento continuo

3

…. che viene da lontano

Legge n. 537 del 1993 (Finanziaria per 1994), istituisce l’Osservatorio Nazionale per la Valutazione e, in ciascun Ateneo, i Nuclei di Valutazione

Legge n. 370 del 1999; trasformazione dell’Osservatorio in Comitato Nazionale di Valutazione del Sistema Universitario (CNVSU) con riconfigurazione degli obiettivi della valutazione e avvio del Comitato di Indirizzo per la Valutazione della Ricerca (CIVR) (VTR 2001-03) e dell’approccio-metodo PRIN (valutazione anonima esterna nazionale e internazionale)

Anche esperienze di miglioramento della performance formativa con CAMPUS e CampusOne

4

Diagnosi severa, la valutazione è:

strutturalmente subalterna ai poteri di governo: centrale e di ateneo

più misura della produttività che promozione della qualità

sia sostantiva sui risultati sia procedurale sulle modalità con conseguente impropria e indebita incidenza sugli ambiti dell’autonomia universitaria

orientata a individuare-proporre standard formativi omogenei limitando spazi di autonomia e di emulazione competitiva fra atenei

inoltre manca l’indipendenza da MIUR e Atenei mentre centrale è la terzietà (vs

autoreferenzialità)

5

La proposta (cosa e perché)

Un’Autorità, garante del compito della valutazione, indipendente dal finanziatore pubblico e dagli stessi atenei ed enti valutati, e diversa da

caso francese, sistema dove la valutazione viene condotta in forme indipendenti dal potere politico ad opera di istituzioni prive di potere sanzionatorio

caso britannico, dove la valutazione determina l’attribuzione di risorse secondo un meccanismo di premio/punizione

caso tedesco, dove la situazione varia a livello regionale e dove le resistenze del mondo accademico sono tuttora rilevanti

6

Legge istituzione ANVUR DL n. 262, 3.10.2006

(conv. da L n. 286 del 24.11.2006, comma 140); il Ministro può emanare un regolamento che disciplini: struttura e funzionamento dell’ANVUR

secondo principi di imparzialità, professionalità, trasparenza e pubblicità degli atti e di autonomia organizzativa, amministrativa e contabile

nomina e durata in carica dei componenti dell’organo direttivo, scelti anche tra qualificati esperti stranieri, e le relative indennità

7

Linee Guida per Regolamento gennaio 2007 [Struttura, organi, attività, organizzazione,

finanziamento, collegamenti con CIVR e CNVSU] Attività:

valutazione esterna della qualità delle attività; intese sia come qualità-efficacia-efficienza della ricerca e della didattica sia come valutazione dei corsi di studio e delle strutture di ricerca sia come valutazione istituzionale e degli accordi di programma sia infine come accreditamento iniziale o periodico

indirizzo, coordinamento e vigilanza delle attività di valutazione demandate ai nuclei di valutazione interna

valutazione dell’efficienza e dell’efficacia dei programmi statali di finanziamento e di incentivazione delle attività di ricerca e di innovazione, anche mediante attività collaterali come banche dati, formazione e promozione, indirizzo e consulenza e vigilanza

8

Prima bozza di Regolamento12.3.2007

Raccolta pareri Accademia Lincei Management MIUR Consiglio Nazionale Universitario (CUN) Conferenza Rettori Università Italiane (CRUI) Coordinamento Nuclei di Valutazione Management MEF altri comitati, gruppi spontanei, ecc.

5 aprile 2007, lancio nel Consiglio dei MinistriOra al Consiglio di Stato e alle Commiss.

Parlamentari

9

Cosa e Perché ovvero CHI e Come

2.1 L’Agenzia ha personalità giuridica di diritto pubblico ed ha sede in Roma. E’ dotata di autonomia organizzativa, amministrativa e contabile ...

2.2 L’Agenzia ha il compito di promuovere la qualità del sistema italiano delle università e della ricerca. … sovrintende al sistema pubblico nazionale di valutazione della qualità, … delle attività istituzionali delle università e degli enti di ricerca, nonché dell’efficienza, efficacia, ed economicità dei programmi volti al finanziamento e all’incentivazione delle attività di ricerca e di innovazione di esclusiva competenza del Ministero, …

10

Cosa e Perché ovvero chi e COME

2.3 L’Agenzia opera in base ai principi di imparzialità, professionalità, trasparenza e pubblicità degli atti, ed è indipendente nella scelta dei criteri, dei metodi e degli strumenti di valutazione, nonché nella formulazione dei rapporti di valutazione.

2.4 L’Agenzia tiene conto dei criteri e dei metodi di valutazione riconosciuti a livello internazionale, …

2.5 Le attività dell’Agenzia sono svolte, ferma la vigilanza del Ministero, con piena autonomia operativa, sulla base di programmi annuali approvati dal Ministro.

2.6 L’Agenzia svolge le funzioni di agenzia nazionale sull’assicurazione della qualità, così come previste dagli accordi europei in materia. In particolare, essa collabora e scambia …

11

Attivita’ complessive (3.1- 3.5)

L’Agenzia svolge attività di valutazione, rendicontazione e raccolta e analisi di dati consulenza, formazione e promozione culturale, … proposta al Ministro di criteri per la ripartizione quote

FFO elaborazione e calcolo (costo standard degli studenti

universitari) monitoraggio e segnalazione (upgrading e rientro) pubblicazione-diffusione (… in forma analitica,

motivando) (relativamente alle attività didattiche) promozione del

coinvolgimento attivo degli studenti e dei loro organismi rappresentativi nella valutazione della qualità

12

… e, in particolare, valuta (4.1- 4.11)

la qualità, l’efficacia, l’efficienza e l’economicità delle attività istituzionali delle università e degli enti di ricerca

l’integrazione ed il mutuo sostegno tra attività didattiche e di ricerca delle università.

utilizza - per i corsi di studio, … anche aggregati tra loro per affinità disciplinare - i criteri, i metodi e gli indicatori più appropriati per ogni ambito disciplinare, tenendo conto delle esperienze sviluppate e condivise a livello nazionale e internazionale dalle relative comunità disciplinari

13

utilizza in particolare l’analisi e il confronto di indicatori qualitativi e quantitativi, dei risultati delle procedure di auto-valutazione, nonché dei rapporti di valutazione esterna preparati da esperti valutatori confrontandosi con i rapporti di auto-valutazione (peer-review) e tenendo anche conto dei risultati di verifiche in loco.

considera anche i fattori contestuali, …. (problematico)

… valuta (4.1- 4.11)

14

… valuta (4.1- 4.11) per l’istituzione di nuove università o di nuove sedi

distaccate di università esistenti, nonché per l’attivazione di tutti i corsi di studio universitari, ivi compresi i dottorati di ricerca e i master universitari, … determina i requisiti quantitativi e qualitativi, in termini di risorse umane, infrastrutturali e finanziarie stabili, adeguatezza dei programmi di insegnamento e di capacità di ricerca, che sono vincolanti

definisce altresì i criteri e i parametri per l’accreditamento periodico delle strutture didattiche universitarie e delle strutture di ricerca delle università e degli enti di ricerca, prevedendo comunque il contributo dell’auto-valutazione e la verifica, anche con visite ispettive, della sussistenza e permanenza nel tempo dei requisiti di cui al comma 4.

15

… valuta (4.1- 4.11)

Valutazione complessiva di ciascuna università e delle sedi decentrate delle medesime e di ciascun ente di ricerca, relativamente a: capacità di governare i processi e di darsi obiettivi

strategici grado di raggiungimento di tali obiettivi livello raggiunto negli scambi internazionali capacità di sostegno alla crescita del Paese e del

proprio territorio di riferimento ivi comprese:• le attività di formazione permanente• il rapporto tra risorse e risultati• il grado di realizzazione dei principi della Carta europea dei

ricercatori e del Codice di condotta per il loro reclutamento di cui alla raccomandazione della Commissione europea dell’11 marzo 2005, n. 2005/251/CE.

16

… valuta (4.1- 4.11)

Valuta la completezza e correttezza della comunicazione pubblica, soprattutto in materia di offerta formativa e di ricerche, nonché di servizi e strutture per gli studenti

Le attività di cui ai commi da 2 a 6 sono svolte anche nei confronti dei centri e consorzi interuniversitari e dei consorzi per la ricerca universitaria e con partecipazione, di enti di ricerca

17

… valuta (4.1- 4.11)

L’Agenzia svolge altresì funzioni di indirizzo, coordinamento e vigilanza delle attività di valutazione demandate ai Nuclei di Nuclei di Valutazione InternaValutazione Interna degli Atenei e degli enti di ricerca. Essa fornisce, in particolare, ai Nuclei:

con cadenza quinquennale, criteri, metodi e parametri inerenti alla valutazione periodica della qualità delle attività di ricerca condotte dal personale docente e ricercatore, anche non strutturato, degli atenei e degli enti di ricerca in relazione agli standard europei ed internazionali, con particolare riguardo alla qualità, all'intensità e alla continuità della produzione scientifica e della sua diffusione a livello nazionale e internazionale. L’Agenzia può altresì essere chiamata a svolgere funzioni di valutazione ex post della qualità del reclutamento del personale docente e di ricerca delle università e degli enti di ricerca;

criteri e metodi inerenti la valutazione periodica della qualità dei corsi di studio e dei servizi universitari da parte degli studenti, anche mediante l’acquisizione periodica, garantendone l’anonimato, delle opinioni degli studenti sulle attività didattiche.

18

… valuta (4.1- 4.11)

valuta l’efficienza e l’efficacia degli accordi di programma e dei programmi di esclusiva competenza del Ministero, di finanziamento e di incentivazione delle attività di ricerca e di innovazione, ricorrendo ad analisi, anche a campione, dei singoli accordi o programmi e dell’uso dei relativi finanziamenti.

informa il Ministro dei risultati della propria attività di valutazione, con particolare riferimento ad eventuali gravi inadempienze o situazioni di impossibilità ad adempiere alle finalità istituzionali.

promuove e diffonde la cultura della qualità e della valutazione nell’ambito della didattica universitaria e della ricerca, nonché la ricerca sulla valutazione e la formazione di specifiche competenze professionali, anche mediante la predisposizione di appositi progetti di ricerca e protocolli formativi, con particolare riferimento alle metodologie di auto-valutazione, di valutazione esterna in peer review e di miglioramento continuo.

19

Organi et al. Il Consiglio Direttivo, di 7 (+2 Press CNVSU e CIVR

per primo anno) nominato dal Presidente del Consiglio dei Ministri su proposta del Ministro, sentite le commissioni parlamentari competenti; il Ministro sceglie 1 su 3 da ERC e 1 su 3 da EUA e 3+2 da 15-20 indicati da Comitato di Selezione di sua nomina Il Presidente (eletto dal CD) Il Direttore (nominato dal CD) I consulenti e collaboratori esterni(nominati dal CD

max 50) Comitato Consultivo di 17 membri (due volte per

anno) Il Collegio dei Revisori dei Conti

Soppressi CNVSU e CIVR.

20

Commenti

Grande articolazione-complessità delle attività, incertezza sulle risorse e sul ruolo (da Autorià ad Agenzia), rischio di effettiva fattibilità, tensioni (dimissioni Tocci entro DS), professionalità (in fuga), ecc. forse più contenitore che progetto, e quale valutazione?

Ma è una occasione pur sempre strategica e “necessaria”: contribuirà a far crescere una “cultura del risultato qualità e innovazione come arene competitive fra

strutture impatto su politiche e decisioni e su formule

imprenditoriali di governo-gestione delle singole istituzioni

21

Commenti

Si potrà avere una gradualità programmata su tre-cinque-sette anni per

logica di fondo (positivistica o sperimentale, pragmatista o della qualità, costruttivista o del processo sociale)

tipologia di valutazione (macro vs micro, sistema vs processo, accountabiliy vs improvement, top down – bottom up, nazionale vs locale, ecc.)

modalità (partecipata vs dirigistica, statica vs dinamica) finalizzazione (allocaz risorse, accreditam, incentivaz. metodologia prevalente (ex-ante, in itinere, ex-post, ecc.) soluzioni tecniche (indicatori, standard, classifiche, certificazione,

ecc.) soggetti coinvolti e raccordo fra valutazioni e decisioni (fondi,

organico, strutture, ruoli, ecc.)

22

Commenti

Sarà uno spazio per opportunità e sperimentalità nella ricerca, nella didattica e nei servizi a livello di: singoli studiosi valutatori-valutati singole istituzioni accademiche società scientifiche sistema Università e Ricerca (SUR)