Il ruolo del valutatore: la ricchezza dell’esperienza a favore del territorio

Silvano CapitaniUniversità di Ferrara

Life Sciences Expert Evaluator (FP5, FP6 e FP7)

Verona, 23 Maggio 2008

Chi è l’esperto valutatore

• Acquisisce tale ruolo dopo essersi proposto alla Comunità Europea presentando la propria candidatura

• Esprime competenza in un determinato settore ed è caratterizzato da indipendenza, imparzialità, onestà intellettuale (conflitto di interessi)

• E’ chiamato periodicamente a partecipare a sessioni di valutazione di progetti

Attività “ovvia”

Valuta progetti

Attività “opzionale”

Partecipa alla rete territoriale che promuove i rapporti fra livello locale ed europeo

Come può agire il valutatore?

Secondo consuetudine………

• La figura del valutatore si costruisce spesso a livello strettamente individuale

• Questa attività di regola costituisce un evento “privato” della sua attività scientifica e professionale, talvolta all’insaputa della struttura di appartenenza

Occorre invece che il valutatore sia considerato un investimento, una risorsa a disposizione delle strutture di appartenenza e del territorio

• Partecipa alla costruzione di un network sul territorio, allo scopo di migliorare la task force che opera nell’interfaccia Bruxelles-realtà locali

• Esprime in sede comunitaria le linee concertate a livello locale nelle sedi in cui opera (può concorrere ad orientare le scelte sui metodi di valutazione, le strategie per migliorare/modificare nuove iniziative , ad esempio nel corso dei plenary meetings)

• Può sviluppare rapporti produttivi con gli independent observers

Ruolo “opzionale” del valutatore

se così è

Ruolo dell’expert evaluator

Giudicare i progetti e determinare l’eventuale accesso ai finanziamenti

Progetti di migliore qualità

TERRITORIO (enti, istituzioni, imprese, singoli, …..)

ovvio da sviluppare

Vantaggi che possono derivare dalla rete dei valutatori a livello territoriale

• Disporre di informazioni utili a migliorare le applications, incrementare il numero di quelle che avranno successo e aumentare così il drenaggio di risorse

• Incrementare le potenzialità dell’ente di appartenenza, che potrà così beneficiare delle esperienze e delle conoscenze acquisite

• Impostare più consapevolmente programmazione e rimodulazioni delle attività

• Sviluppare con maggiore efficacia azioni di lobbying

Cosa può fare in concreto il valutatore

Come scrivere una proposta di successo per una azione Marie Curie individuale

del 7° Programma Quadro

UN ESEMPIO

Esercitazione pratica, rivolta a potenziali applicanti

Uditorio: ricercatori, responsabili di uffici internazionali di enti, istituzioni, imprese

Sintesi del processo di valutazione

Proposal

Individual Evaluation

Consensus

Thresholds

Ranking by Commission

Negotiation

Result

negative

positive

Commission

Funding Decision

Rejection

EligibilityRejection

Rejection

Ethical Issues

Individual Evaluation

Consensus

Thresholds

Ranking by Commission

Rejection

FASE 1

3 esperti che nella prima fase valutano il progetto indipendentemente l’uno dall’altro.

Ogni esperto può accedere al giudizio degli altri 2 solo quando ha terminato la propria valutazione, che non è più modificabile prima della Fase 2

FASE 2

1 dei 3 esperti viene nominato RAPPORTEUR per redigere, assieme agli altri 2, il Consensus Report.

Momento del confronto, della discussione con eventuali modifiche dei giudizi individuali e redazione del rapporto che verrà inviato al proponente

Come aumentare la probabilità di successo

IEF ResultsDeadline Submitted

proposalsEligible

proposalsSelected

proposalsSuccess Rate

EUSuccess rate Italia Budget

(MEUR)

FP6

2003 1744 1619 378 23%

Host: 16%Fellow: 19%

55

2004 3161 2836 360 13% 60

2005 2405 2289 412 18% 65

2006 2199 2157 424 20% 70

FP7 2008 1701 1672 423 25%Host: 23%

Fellow: 28% 72

Total  11210 10573 1997 19% 322

IEF – By EU Host

FP6

IT: 92 finanziate

576 presentate Success rate 16%

FP7

IT: 19 finanziate

84 presentate 23% di successo

IEF – By EU Host

IEF – By Applicant Nationality

FP6

IT: 168 finanziate

884 presentate

FP7

IT: 53 finanziate

192 presentate

19% di successo

28% di successo

Difficoltà nella compilazione delle domande di finanziamento e altri problemi

• Difficile comprensione del significato delle diverse sezioni da compilare

• Ripetitività di alcune sezioni

• Difficoltà di identificare con chiarezza le informazioni che la valutazione richiede

• Punteggi molto elevati per elementi di difficile stesura da parte del richiedente

Evaluationcriterion

Weighting(in %)

Threshold

 S&T Quality 25 3

Training 15 3

Researcher 25 4

Implementation 15 N/A

Impact 20 N/A

0

5

10

15

20

25

30

S&T Quality Training Researcher Implementation Impact

HRM evaluation criterion

Wei

gh

ting

(%)

Marie Curie Intra-European Fellowships for Career Development

S&T QualityThreshold 3,

Weighting:25%

Scientific/technological quality, including any interdisciplinary and multidisciplinary aspects of the proposal

Research methodology

Originality and innovative nature of the project, and relationship to the 'state of the art' of research in the field

Timeliness and relevance of the project

Host scientific expertise in the field

Quality of the group/supervisors

Marie Curie Intra-European Fellowships for Career Development

TrainingThreshold 3,

Weighting:15%

Clarity and quality of the research training objectives for the researcher

Relevance and quality of additional scientific training as well as of complementary skills offered

Host expertise in training experienced researchers in the field and capacity to provide mentoring/tutoring

Marie Curie Intra-European Fellowships for Career Development

ResearcherThreshold 4,

Weighting:25%

Research experience

Research results including patents, publications, teaching etc., taking into account the level of experience

Independent thinking and leadership qualities

Match between the fellow's profile and project.

Potential for reaching a position of professional maturity.

Potential to acquire new knowledge.

Marie Curie Intra-European Fellowships for Career Development

ImplementationWeighting:15%

Quality of infrastructure / facilities and Internationalcollaborations of host

Practical arrangements for the implementation and management of the scientific project

Feasibility and credibility of the project, including work plan

Practical and administrative arrangements, andsupport for the hosting of the fellow

Marie Curie Intra-European Fellowships for Career Development

ImpactWeighting:20%

Potential of acquiring competencies during the fellowship to improve the prospects of reaching and/or reinforcing a position of professional maturity, diversity and independence, in particular through exposure to complementary skills training

Contribution to career development, or reestablishment where relevant.

Contribution to European excellence and European competitiveness

Peso relativo delle categorie di criteri

• “Science”…………… 50 %

• “Other”……………… 50 %

“Convergenza” fra i processi della compilazione e della valutazione

• Il richiedente segue precise regole di compilazione della domanda, che sono conosciute anche dal valutatore, definite nella Guide for Applicants

• Il valutatore, pur conservando libertà assoluta di giudizio, è chiamato a seguire a sua volta regole precise e ad esprimere pareri su punti specifici che il compilatore conosce al momento della preparazione del progetto

E’ opportuno che si crei “convergenza” fra i due percorsi (Compilazione e Valutazione) per raggiungere un

giudizio favorevole