la valutazione delle attività di innovazione - part.ii

59
La valutazione delle Politiche di R&I

Upload: arti-puglia

Post on 30-Nov-2014

485 views

Category:

Documents


2 download

DESCRIPTION

L’innovazione è un fenomeno multiforme. La varietà degli obiettivi e degli attori coinvolti nei processi attivati dalle politiche di innovazione, la natura intangibile dei principali esiti, l’orientamento emergente verso interventi di carattere sistemico ne rendono particolarmente complessa la valutazione. Nel rispetto di tale complessità, il workshop propone l’individuazione, nel confronto con gli orientamenti europei, di principi e pratiche utili a guidare la definizione e l’applicazione di metodi di analisi e di valutazione specifici per queste politiche.

TRANSCRIPT

Page 1: La valutazione delle attività di innovazione - part.II

La valutazione delle Politiche di R&I

Page 2: La valutazione delle attività di innovazione - part.II

Marco De Maggio, PhD – UVAL DPS

Agenda

- L’evoluzione delle politiche di R&I

- L’esperienza italiana

- La proposta della Commissione Europea

Page 3: La valutazione delle attività di innovazione - part.II

Marco De Maggio, PhD – UVAL DPS

L’evoluzione delle politiche di R&I

Page 4: La valutazione delle attività di innovazione - part.II

Anni ‘50: riorganizzazione dei principali enti di ricerca (CNR e ENEA) 1962: Ministro senza portafoglio per il coordinamento della ricerca scientifica presso la Presidenza del Consiglio Anni ’70: stimolo alla ricerca applicata (FRA – fondo speciale per la Ricerca Applicata) Anni ‘80: la ricerca diventa “industriale” 1982: legge 46 “Interventi per i settori dell’economia di rilevanza nazionale” – istituisce il FIT (Fondo speciale rotativo per l’Innovazione Tecnologica) 1983: legge 696, agevola l’acquisto di macchine utensili ad elevata tecnologia per le PMI 1986: legge 64 “Intervento straordinario nel Mezzogiorno” 1987 – 88: leggi 22, 49, 346 (progetti di ricerca in collaborazione con partner stranieri 1989: nasce il MURST (Ministero dell’università e della Ricerca Scientifica) 1991: legge 317, per lo sviluppo l’innovazione e la competitività delle PMI 1992: legge 488, estende l’intervento straordinario alle aree depresse

Un quadro normativo programmatico di riferimento

Marco De Maggio, PhD – UVAL DPS

Page 5: La valutazione delle attività di innovazione - part.II

1992: OCSE - Valutazione delle politiche della scienza e della tecnologia (OECD, 1992) “Le problematiche evidenziate nel rapporto riguardano la limitata spesa per ricerca, l’eccesso di burocrazia e di legalismo, le lentezze procedurali, lo scarso coordinamento fra i diversi soggetti, l’elevato peso delle imprese pubbliche, l’elevato status dei professori universitari, l’elevata priorità attribuita alla cosiddetta “big science” (grandi programmi nel campo della fisica e dello spazio che tendono a spiazzare le iniziative di minore dimensione), la mancata valutazione dei programmi e delle strutture, la scarsa mobilità del personale”.

Un quadro normativo programmatico di riferimento

Marco De Maggio, PhD – UVAL DPS

Page 6: La valutazione delle attività di innovazione - part.II

1998: DL 204/1998 “Disposizioni per il coordinamento, la programmazione e la valutazione dellan politica nazionale relativa alla ricerca scientifica e tecnologica 1999: DL 297/1999 “riordino degli interventi della ricerca industriale” Si razionalizzano gli attori e gli strumenti di intervento, si istituiscono i tre fondi (FAR - MIUR, FIT-MiSE, Fondo Unico regionale) 2000: DM 593/2000 “Modalità procedurali per la concessione delle agevolazioni previste dal DL 297/1999”: elimina la precedente regolamentazione, testo unico che regolamenta il complessivo pacchetto agevolativo diretto alle imprese che investono in R&S 2000: Strategia di Lisbona 2001: riforma del Titolo V della Costituzione (L. Cost. n. 3 del 2001), include in modo esplicito “ricerca scientifica e tecnologica e sostegno all'innovazione per i settori produttivi” tra le materie di legislazione concorrente Stato-Regioni.

Un quadro normativo programmatico di riferimento

Marco De Maggio, PhD – UVAL DPS

Page 7: La valutazione delle attività di innovazione - part.II

Programma Nazionale per la Ricerca (elaborato dal MIUR, approvato dal CIPE, secondo la legge 204/98) Piano per l’Innovazione la Crescita e l’Occupazione (a seguito del rilancio della Strategia di Lisbona del 2005, documento annuale – inviato in autunno alla CE)

POR – Programmi Operativi Regionali PON – Programmi Operativi Nazionali

2000 – 2006 PON SIL “Sviluppo Imprenditoriale Locale” (MiSE) e PON “Ricerca Scientifica, Sviluppo Tecnologico ed Alta Formazione” (MIUR) 2007 – 2013 PON R&C “Ricerca e Competività” (MIUR – MiSE)

2 principali cornici programmatiche

Programmi Operativi della Politica di Coesione (FESR – FSE)

Un quadro normativo programmatico di riferimento

Marco De Maggio, PhD – UVAL DPS

Page 8: La valutazione delle attività di innovazione - part.II

La strategia di Lisbona: globalizzazione e diffusione delle ICT, verso un’economia knowledge-based

Evolve in concetto stesso di innovazione (da processi lineari ad approcci sistemici)

In che modo cambiano strategie e obiettivi delle politiche pubbliche?

Marco De Maggio, PhD – UVAL DPS

Page 9: La valutazione delle attività di innovazione - part.II

Quali sono le ragioni dell’intervento pubblico in R&I?

presenza di beni pubblici ed esternalità, avendo i risultati dell'attività di R&S la natura di bene pubblico, generativo di esternalità, si determina una condizione sistematica di sottoincentivo all'investimento da parte degli agenti privati, rispetto ai livelli che sarebbero socialmente ottimali e desiderabili (Arrow, 1962).

imperfezioni del mercato dei capitali: attività di R&S sono tipicamente incerte negli esiti, intensive in capitale umano opache per gli osservatori esterni.

Presenza di asimmetrie informative (selezione avversa, azzardo morale) tra l'impresa e i suoi potenziali prestatori di capitali (razionamento del credito - livello insufficiente di prestiti - progressiva standardizzazione dei requisiti di accesso al credito (rating) innescata da BasileaII)

L’intervento pubblico a sostegno della R&S privata trova giustificazione teorica in due distinte tipologie di fallimento del mercato

A. Fallimento di mercato “statico”

Marco De Maggio, PhD – UVAL DPS

Page 10: La valutazione delle attività di innovazione - part.II

Quali sono le ragioni dell’intervento pubblico in R&I?

si riferisce alla letteratura economica di matrice evolutiva e alle PMI

insieme di competenze e capabilities relativamente limitato delle PMI come ostacolo rispetto alla R&S. difficoltà ad adeguare, attraverso processi di apprendimento interno e inter-organizzativo, le proprie competenze e capabilities agli stimoli provenienti dall’esterno

insufficiente investimento in R&S a causa di una scarsa conoscenza su come e dove acquisire le competenze necessarie a farlo: difficoltà a instaurare rapporti di partnership per la R&S con soggetti esterni (Università, centri di ricerca o altri technology providers)

carattere informale e discontinuo delle attività di R&S. Si mantengano elevate le barriere all’assorbimento di conoscenza e spillover tecnologici provenienti dall’esterno.

L’intervento pubblico a sostegno della R&S privata trova giustificazione teorica in due distinte tipologie di fallimento del mercato

B. Fallimento di mercato “dinamico”

Marco De Maggio, PhD – UVAL DPS

Page 11: La valutazione delle attività di innovazione - part.II

• la conoscenza quale fattore determinante per lo sviluppo, con conseguente

ripensamento dei modelli di sviluppo • l’ aumento della complessità dei processi innovativi:

– natura sempre più distribuita della scienza e della tecnologia – crescente importanza del “soft side” dell’innovazione (le risorse umane, gli

aspetti gestionali e organizzativi) – articolata serie di legami tra il livello internazionale, quello nazionale e quello

regionale dei sistemi di innovazione (rapporti ed aspettative dei diversi stakeholder, forti interdipendenze tra i vari livelli, aumento di effetti secondari che scaturiscono da tali sinergie).

• Nel cosiddetto “Mode 2” e nella visione a “tripla elica”(Etzkowitz e Laydesdorff,

2000) l’interazione tra produttori ed utilizzatori di conoscenze, tra ambiente interno ed esterno e tra sistema pubblico di ricerca, stato ed imprese presenta confini sempre più labili.

In che modo cambiano strategie e obiettivi delle politiche pubbliche?

FATTORI DI CAMBIAMENTO

Marco De Maggio, PhD – UVAL DPS

Page 12: La valutazione delle attività di innovazione - part.II

• rinegoziare il “contratto sociale” secondo cui la positività dei benefici (prodotti e risultati) della ricerca è data per scontata

• comporre la visione contraddittoria degli sviluppi scientifici in una visione armonica e coerente (il “costo” del progresso scientifico, fattore di diseguaglianza sia nella distribuzione dei benefici, sia nella ripartizione dei rischi e delle conseguenze - techology divide)

• orientarsi a far crescere una maggiore consapevolezza sui benefici sociali ed economici delle politiche intraprese piuttosto che ad introdurre elementi di misura.

In che modo questi cambiamenti condizionano la pratica della valutazione?

ESIGENZE EMERGENTI

Marco De Maggio, PhD – UVAL DPS

Page 13: La valutazione delle attività di innovazione - part.II

Logica - La valutazione diventa uno strumento di condivisione di saperi e conoscenze rivolta alla negoziazione tra i diversi soggetti, per adattare o correggere iniziative correnti o future e per determinare adeguati modelli di sviluppo (Kuhlmann, 1998; 2003).

Obiettivo - Non più focalizzata sulla misura della qualità, dell’economicità e dell’efficienza dei risultati raggiunti, quanto sull’utilizzo integrato degli esiti dei differenti approcci per migliorare la performance delle iniziative intraprese e sviluppare nuove strategie.

Metodo - Nuovi approcci basati sull’integrazione delle metodologie classiche di valutazione con tecniche nuove (e.g. technology foresight e technology assessment), al fine di fornire elementi informativi imparziali di supporto ai decision maker (“intelligenza strategica”) Aumentano i legami tra valutazione e strategia, si tenta di superare gli aspetti “metrologici”

NUOVO PARADIGMA

In che modo questi cambiamenti condizionano la pratica della valutazione?

Marco De Maggio, PhD – UVAL DPS

Page 14: La valutazione delle attività di innovazione - part.II

Se uno strumento di policy si traduce in un incentivo a realizzare attività di R&S, l’intervento pubblico si può ritenere efficace se gli esiti verificano un’”addizionalità”.

Nella letteratura si possono distinguere tre tipi di effetti di addizionalità:

effetti sugli input del processo innovativo (l’incentivo stimola l’investimento privato in R&S)

effetti sugli output del processo innovativo (si realizzano performance innovative che senza intervento non si sarebbero verificate; David et al, 2000; Cerulli, 2010),

effetti comportamentali (i soggetti incentivati cambiano comportamento in modo non transitorio; Buisseret et al, 1995; Clarysse et al, 2009).

Gli effetti di comportamento si riferiscono principalmente alla capacita innovativa in termini di base competenziale e capacita di networking.

La valutazione di questi effetti pongono una ulteriore condizione alla scelta del metodo/approccio.

In che modo questi cambiamenti condizionano la pratica della valutazione?

L’addizionalità: condizione per la scelta di metodo

Marco De Maggio, PhD – UVAL DPS

Page 15: La valutazione delle attività di innovazione - part.II

Marco De Maggio, PhD – UVAL DPS

L’esperienza italiana: una sintesi della valutazione degli interventi in R&I

Page 16: La valutazione delle attività di innovazione - part.II

Le valutazioni degli interventi in R&I in Italia. Una sintesi

“Sintesi valutativa” in corso di finalizzazione presso l’UVAL: oggetto: le valutazioni degli interventi per la ricerca e l’innovazione in Italia periodo di riferimento degli interventi: decennio 2000-2010 (a cavallo tra due programmazioni) soggetti attuatori: amministrazioni centrali che regionali risorse finanziarie: fondi per la politica di coesione e fondi ordinari

Procedura sistematica per organizzare i risultati di diversi studi valutativi che riguardano interventi analoghi, mettendo insieme i risultati per stabilire l’impatto complessivo. Il focus è sui risultati, a differenza della meta-evaluation, che consiste nella revisione di una o più valutazioni sulla base di criteri o standards predefiniti per stabilire la qualità del processo, in questo caso il focus è sul processo di valutazione. (General Accounting Office, (1992), The evaluation synthesis, Program Evaluation and Methodology Division, march

Cosa si intende per “sintesi valutativa”?

Marco De Maggio, PhD – UVAL DPS

Page 17: La valutazione delle attività di innovazione - part.II

Criterio per l’aggregazione dei contributi: “strumento di policy” Tassonomia di riferimento: classificazione a matrice (Rapporto “Regions and Innovation Policy” - OCSE, 2011) secondo due dimensioni a. obiettivo perseguito (orientamento prevalente) generazione di conoscenza (knowledge generation) diffusione di conoscenza (knowledgediffusion) sfruttamento della conoscenza (knowledge exploitation). b. accettabilità politica (grado di familiarità, di consapevole adozione) tradizionali emergenti sperimentali

Le valutazioni degli interventi in R&I in Italia. Una sintesi

Marco De Maggio, PhD – UVAL DPS

Page 18: La valutazione delle attività di innovazione - part.II

Le categorie di generazione e diffusione della conoscenza comprendono prevalentemente strumenti di sostegno all’offerta e ai processi lineari di innovazione. Gli strumenti orientati allo sfruttamento della conoscenza, e quindi all’applicazione generalmente industriale, sono prevalentemente di supporto alla domanda di innovazione. La nuova generazione di strumenti di policy traduce un approccio più sistemico all’innovazione, riducendo la delimitazione tra i tre obiettivi.

Le valutazioni degli interventi in R&I in Italia. Una sintesi

Marco De Maggio, PhD – UVAL DPS

Page 19: La valutazione delle attività di innovazione - part.II

Le valutazioni degli interventi in R&I in Italia. Una sintesi

Marco De Maggio, PhD – UVAL DPS

Page 20: La valutazione delle attività di innovazione - part.II

Le valutazioni degli interventi in R&I in Italia. Una sintesi

La ricerca desk ha riguardato 40 interventi che hanno avuto completa attuazione nel periodo 2000-2010 per i quali è disponibile almeno un lavoro valutativo, ovvero una valutazione in senso stretto (commissionata da amministrazione pubblica) o in senso lato (comprendente articoli accademici e ricerche valutative di altre istituzioni). Primi esiti: considerazioni su a. scelte metodologiche b. esiti effettivi degli interventi osservati c. caratteristiche della politica industriale e tecnologica in Italia nel

periodo considerato d. cultura della valutazione in Italia.

Marco De Maggio, PhD – UVAL DPS

Page 21: La valutazione delle attività di innovazione - part.II

Le valutazioni degli interventi in R&I in Italia. Una sintesi

a. Le scelte metodologiche

28

4

8

incentivi

altri tradizionali

emergenti

15

8

5

input

output

comportamentale

Strumenti

Incentivi Addizionalità

Numero totale di valutazioni oggetto di sintesi: 40

Marco De Maggio, PhD – UVAL DPS

Page 22: La valutazione delle attività di innovazione - part.II

Le valutazioni degli interventi in R&I in Italia. Una sintesi

a. Le scelte metodologiche

Valutazioni su addizionalità di input e output approccio controfattuale

oanalisi di regressione ometodi non sperimentali

Altre valutazioni (per la maggior parte commissionate dalle PA) si basano solo sull’analisi degli indicatori di realizzazione e di risultato, non compiono scelte metodologiche rigorose (disegno della ricerca valutativa) non approfondiscono i nessi di causalità tra le variabili

Marco De Maggio, PhD – UVAL DPS

Page 23: La valutazione delle attività di innovazione - part.II

Le valutazioni degli interventi in R&I in Italia. Una sintesi

b. Gli esiti effettivi degli interventi osservati

in massima parte di valutazioni aventi ad oggetto incentivi all’impresa, di varie tipologie, riducendo la varietà degli strumenti osservati Le valutazioni presentano, inoltre, come prevedibile, risultati eterogenei, con conseguenti difficoltà a trarne conclusioni univoche Ciononostante, dall’analisi emergono comunque alcuni principali elementi caratterizzanti gli interventi attuati nel periodo, e le principali variabili che ne hanno condizionato l’esito.

Marco De Maggio, PhD – UVAL DPS

Page 24: La valutazione delle attività di innovazione - part.II

Le valutazioni degli interventi in R&I in Italia. Una sintesi

b. Gli esiti effettivi degli interventi osservati

la dimensione del soggetto destinatario: variabile determinante, le valutazioni confermano la tesi secondo cui si individuano effetti di reale addizionalità principalmente nel caso delle piccole imprese, tipicamente più esposte al razionamento del credito privato. la combinazione tra dimensione ridotta, giovane età e settore di appartenenza, caratterizzato da alta intensità di innovazione (tipica delle start up innovative), sembra rappresentare la condizione su cui l’incentivo ha un effetto di addizionalità particolarmente evidente (progetti caratterizzati da alta rischiosità e basse garanzie finanziarie, condizioni entrambe che limitano la loro capacità di accesso al mercato dei capitali, e progetti di innovazione radicale e concentrati sulle fasi precompetitive, anziché su quelle di sviluppo, perché più incerti nei rendimenti attesi).

Le caratteristiche delle imprese

Marco De Maggio, PhD – UVAL DPS

Page 25: La valutazione delle attività di innovazione - part.II

Le valutazioni degli interventi in R&I in Italia. Una sintesi

b. Gli esiti effettivi degli interventi osservati

La dotazione di competenze delle imprese: in rari casi la valutazione di effetti di “addizionalità comportamentale” ha permesso di tracciare una differenza nella capacità di reagire all’incentivo collegata alla maggior presenza tra le risorse dell’impresa di competenze innovative già focalizzate sull’innovazione di prodotto, anche se non necessariamente legate all’attività di R&S.

Le caratteristiche delle imprese

Marco De Maggio, PhD – UVAL DPS

Page 26: La valutazione delle attività di innovazione - part.II

Le valutazioni degli interventi in R&I in Italia. Una sintesi

b. Gli esiti effettivi degli interventi osservati

L’utilizzo di incentivi fiscali ha avuto effetto solo nel lungo periodo: le imprese richiedono, infatti, tempi adeguati e continuità di trattamento per riorganizzare processi e costi interni in relazione a situazioni consolidate e percepite come stabili in termini prospettici.

La scelta tra incentivi automatici e discrezionali: sono discordanti i giudizi, positivi (e.g. rispettivamente celerità delle procedure, maggiore selettività) e negativi (e.g. rispettivamente generalisti, richiedono per la loro gestione elevate competenze difficilmente presenti) da non riuscire a trarne un giudizio unanime.

La natura dell’incentivo

Marco De Maggio, PhD – UVAL DPS

Page 27: La valutazione delle attività di innovazione - part.II

Le valutazioni degli interventi in R&I in Italia. Una sintesi

b. Gli esiti effettivi degli interventi osservati

Nonostante da alcuni il livello nazionale sia considerato troppo lontano dalle realtà territoriali, si rileva una maggiore efficacia degli interventi gestiti a questo livello per la maggiore “tensione all’innovazione” delle strategie di policy che informano questi interventi; Si ritiene che a livello di regione si ricorra a volte alle risorse destinate all’innovazione anche per interventi più generali di supporto all’attività produttiva, non riconducibili ad una strategia di sistema, che definisca obiettivi di lungo periodo di sviluppo del territorio.

La governance degli interventi (nazionale vs regionale)

Marco De Maggio, PhD – UVAL DPS

Page 28: La valutazione delle attività di innovazione - part.II

Le valutazioni degli interventi in R&I in Italia. Una sintesi

Il modello di politica tecnologica in Italia è classificabile tra quelli cosiddetti diffusion oriented, in contrapposizione con le politiche mission oriented.

L’approccio di tipo diffusion oriented si caratterizza per la capillarità degli interventi, miranti a coinvolgere un numero più ampio possibile di imprese (acquisto di macchinari e di strumenti tecnici).

Il sistema degli incentivi all’innovazione in Italia è effettivamente più capillare e diffuso rispetto alla media europea, con interventi ad ampio spettro miranti ad offrire incentivi all’attività di innovazione di imprese già esistenti. Gli interventi riguardano prevalentemente finanziamenti di importo limitato e finalizzati al sostegno di attività innovative di tipo incrementale.

Il modello di politica tecnologica

c. Le caratteristiche della politica industriale e tecnologica in Italia nel periodo considerato

Marco De Maggio, PhD – UVAL DPS

Page 29: La valutazione delle attività di innovazione - part.II

Le valutazioni degli interventi in R&I in Italia. Una sintesi

Le imprese italiane sembrano meno capaci di usufruire degli incentivi la cui erogazione dipende da programmi comunitari, con particolare riferimento ai Programmi Quadro dell’Unione Europea, sostegno ad attività innovative radicali collegate a progetti di R&S.

Tra i pochi strumenti attuativi di una politica mission oriented in Italia ricordiamo i distretti tecnologici e le grandi aggregazioni pubblico-private, qualificabili come interventi sistemici con riferimento a specifiche specializzazioni tecnologiche, e quindi in linea con la cd. Smart Specialization Strategy. Si tratta, tuttavia, di interventi sui quali non è disponibile un numero adeguato di evidenze valutative.

Il modello di politica tecnologica

c. Le caratteristiche della politica industriale e tecnologica in Italia nel periodo considerato

Marco De Maggio, PhD – UVAL DPS

Page 30: La valutazione delle attività di innovazione - part.II

Le valutazioni degli interventi in R&I in Italia. Una sintesi

c. Le caratteristiche della politica industriale e tecnologica in Italia nel periodo considerato

Osservando la spesa in R&S sul PIL nel 2010, ultimo anno del periodo considerato dalla sintesi valutativa, emerge che in Italia essa è stata di 1,26, contro una media europea del 2% e valori per Germania, Francia e Austria rispettivamente di 2,82%, 2,26% e 2,76%, inferiore anche a Spagna, Repubblica Ceca ed Estonia. Il dato e la sintesi valutativa confermano la necessità non tanto di riorientare i singoli strumenti utilizzati, quanto di rafforzare un principio di selettività dei destinatari degli interventi, basato non esclusivamente sulle caratteristiche strutturali delle imprese (e.g. classi dimensionali, settore di appartenenza), ma dando rilevanza ad altri requisiti che possono rappresentarne il potenziale innovativo, come ad esempio l’attitudine dell’impresa a svolgere attività ad alta intensità di conoscenza, indipendentemente dal settore di appartenenza, e la dotazione e il livello di investimento nella qualificazione delle competenze interne.

Considerazioni

Marco De Maggio, PhD – UVAL DPS

Page 31: La valutazione delle attività di innovazione - part.II

Le valutazioni degli interventi in R&I in Italia. Una sintesi

d. La cultura della valutazione in Italia Le valutazioni disponibili sulle politiche R&I in Italia sono molto limitate, riguardano in larga misura gli strumenti tradizionali ed utilizzano una strumentazione metodologica classica.

In Italia la cultura della valutazione si conferma in forte ritardo: l’Italia, insieme al Portogallo, infatti, si colloca tra i “paesi con sistemi di valutazione al di sotto della media europea”, rientrando ancora pienamente tra i paesi con una rigida legislazione che lascia poco spazio all’emergere di una cultura della valutazione” (Georghiou, 2000). Il maggior ostacolo è collegato alle caratteristiche del sistema politico e dell’apparato burocratico e amministrativo in generale, che mostra difficoltà a muoversi da una cultura di tipo amministrativo orientata principalmente al controllo formale da parte dello Stato, ad una cultura gestionale mirante al raggiungimento di risultati prefissati.

Marco De Maggio, PhD – UVAL DPS

Page 32: La valutazione delle attività di innovazione - part.II

Marco De Maggio, PhD – UVAL DPS

La proposta della Commissione Europea

Page 33: La valutazione delle attività di innovazione - part.II

Evaluation of Innovation activities: methods and practice

• Committente: DG Regio della Commissione Europea

• Autori: consorzio tra TECHNOPOLIS GROUP & MIOIR (2012)

• Oggetto: stato dell’arte della pratica metodologica nella valutazione agli interventi in Innovazione - Analisi di 15 valutazioni di di diverse misure cofinanziate dal FESR

• Destinatari: Autorità di gestione e soggetti “familiari” con le politiche di innovazione

Marco De Maggio, PhD – UVAL DPS

Page 34: La valutazione delle attività di innovazione - part.II

4 steps di un ciclo valutativo

Marco De Maggio, PhD – UVAL DPS

1. In fase di “programme design” stabilire un set limitato di “key performance indicators” come base per il sistema di monitoraggio. Se la logica di intervento non è chiara i valutatori devono ricostruirla e definire nuovi indicatori per la valutazione, ripartendo dai dati di base o conducendo una survey (retrospective task)

2. Decidere sullo scopo e il livello della valutazione e definire criteri e domande di valutazione: la valutazione può riferirsi ad una singola misura o ad un portafoglio, ad una misura nella sua interezza o sulla base dei progetti che la compongono.

3. Guidare la valutazione a produrre risultati rilevanti per la politica: la selezione del team di valutazione, il budget e l’orizzonte temporale, il coinvolgimento degli stakeholders, l’interpretazione dei risultati in lezioni di policy rilevanti.

4. Usare un mix di metodi per rispondere alle esigenze e al contesto di ogni valutazione. Non esiste un “magic bullet”: un singolo metodo non può rispondere a tutte le principali domande di valutazione nè può essere applicato ad una serie variegata di misure di policy.

Page 35: La valutazione delle attività di innovazione - part.II

5 Innovation Measures

Marco De Maggio, PhD – UVAL DPS

Science-industry

co-operation

Strategic research

programmes

Innovation ‘brokers’

Funding of innovative companies

Cluster policies

5 “innovation measures”

Page 36: La valutazione delle attività di innovazione - part.II

Tipologia di misura di innovazione

Modalità di intervento e obiettivo

Casi di studio di valutazione

Reti e piattaforme di cooperazione ricerca-impresa

Fondi dedicati a consorzi o progetti congiunti tra imprese e centri di ricerca o di formazione superiore

Danish Innovation Consortium Scheme

Programmi, centri e infrastrutture di ricerca

Finanziamento di istituzioni della ricerca per condurre attività di ricerca di base o applicata

Austrian Genome Research Programme (GEN-AU) Irish SFI Centres for Science, Engineering and Technology (CSETs) and Principal Investigator (PI) programmes

Servizi (consulenza, trasferimento tecnologico, formazione) per innovare le imprese

Finanziamento di incubatori, BICs, reti di supporto del business, ecc.

Swedish National Incubator Programme West of Scotland Science Park

Sostegno alle imprese innovative Finanziamento alle imprese sotto forma di incentivi, sussidi e meccanismi di garanzia

Estonian Enterprise Policy 2007-13 Flanders IWT R&D grants Dutch Innovation Voucher

Politiche di cluster Finanziamento alla gestione del cluster e/o a gruppi di società

Danish Innovation Consortium Scheme Finnish Programmes for Centres of Excellence in Research

Page 37: La valutazione delle attività di innovazione - part.II

a. delle attività di innovazione sostenute con la specifica misura di policy, che possono variare a seconda degli attori e dei contesti delle regioni

b. della logica di intervento e dei risultati attesi della misura. La logica di intervento spiega il cambiamento voluto e il modo per conseguirlo

c. delle principali domande valutative e gli indicatori applicabili, collegati alla logica e all’obiettivo dell’intervento

d. delle modalità di disegno e gestione della valutazione per il tipo di misura, coerentemente con la finalità della valutazione (di pertinenza, finanziaria, risultati e impatti)

e. dei principali metodi utilizzabili per valutare ogni tipo di misura, pro e contro e possibili alternative

f. una sintesi di punti chiave da tenere presenti durante la valutazione

Per ogni sezione, una descrizione

Marco De Maggio, PhD – UVAL DPS

Page 38: La valutazione delle attività di innovazione - part.II

Science-industry co-operation

Progetti di piccola taglia, di collaborazione tra ricercatori/istituti di ricerca, spesso focalizzati su uno specifico risultato/prodotto (e.g. innovation voucher)

Progetti più ampi, di collaborazione strategica di lungo termine tra istituti di ricerca e imprese (innovation networks, piattaforme di collaborazione, centri di competenza)

Descrizione delle attività

Marco De Maggio, PhD – UVAL DPS

Page 39: La valutazione delle attività di innovazione - part.II

Science-industry co-operation

Logica di intervento e risultati attesi

Marco De Maggio, PhD – UVAL DPS

Page 40: La valutazione delle attività di innovazione - part.II

Science-industry co-operation

Principali domande valutative e

indicatori applicabili

Marco De Maggio, PhD – UVAL DPS

Page 41: La valutazione delle attività di innovazione - part.II

Science-industry co-operation

Analisi della domanda di collaborazione e delle evidenze nella cooperazione tra imprese

Disegno di valutazione “formativa” che coinvolga i beneficiari

Ricorso a peer review internazionale e panel di esperti.

Disegno e gestione della valutazione

uso di dati quantitativi e qualitativi

mix di metodi: Social Network Analysis per rilevare cambiamenti di comportamento; piuttosto che l’approccio controfattuale (difficile da realizzare) international peer review e benchmarking

Uso di interviste-surveys e casi di studio

Principali metodi utilizzabili

Page 42: La valutazione delle attività di innovazione - part.II

Strategic research programmes

creazione di centri di ricerca regionali che possano essere coordinati a livello nazionale

programmi di ricerca di grandi dimensioni

progetti di cooperazione, di rete e progetti di pilota di accompagnamento alle attività di ricerca

Descrizione delle attività

Marco De Maggio, PhD – UVAL DPS

Page 43: La valutazione delle attività di innovazione - part.II

Logica di intervento e risultati attesi

Strategic research programmes

Marco De Maggio, PhD – UVAL DPS

Page 44: La valutazione delle attività di innovazione - part.II

Principali domande valutative e

indicatori applicabili

Strategic research programmes

Marco De Maggio, PhD – UVAL DPS

Page 45: La valutazione delle attività di innovazione - part.II

Combinazione di analisi desk e survey – interviste che coinvolgano i beneficiari

Peer review se la valutazione riguarda centri di ricerca

Efficacia ed efficienza sono obiettivi secondari, richiedono il confronto tra output scientifici e costi

Disegno e gestione della valutazione

La misurazione degli output è parziale. Consigliata una combinazione di indicatori (pubblicazioni, brevetti, ecc) e di metodi (studi bibliometrici, casi di studio e SNA)

Panel internazionali di peer review

Principali metodi utilizzabili

Strategic research programmes

Marco De Maggio, PhD – UVAL DPS

Page 46: La valutazione delle attività di innovazione - part.II

Innovation “brokers”

Finanziamento a

Parchi Scientifici

Technology business incubators

Uffici di trasferimento tecnologico

Descrizione delle attività

Marco De Maggio, PhD – UVAL DPS

Page 47: La valutazione delle attività di innovazione - part.II

Logica di intervento e risultati attesi

Innovation “brokers”

Marco De Maggio, PhD – UVAL DPS

Page 48: La valutazione delle attività di innovazione - part.II

Principali domande valutative e

indicatori applicabili

Innovation “brokers”

Marco De Maggio, PhD – UVAL DPS

Page 49: La valutazione delle attività di innovazione - part.II

ampio spettro di valutazioni possibili: di rilevanza, di efficacia ed efficienza, di impatto, di spiazzamento di altre iniziative distrettuali nel territorio

Disegno e gestione della valutazione

approccio partecipativo che coinvolga finanziatori pubblici, managers, e altri attori nel supervisionare lo studio

metodologie sperimentali con misurazioni precedenti e successive dell’impatto dell’innovazione su variabili come competitività e occupazione, dove possibile approcci di logica controfattuale

Principali metodi utilizzabili

Innovation “brokers”

Marco De Maggio, PhD – UVAL DPS

Page 50: La valutazione delle attività di innovazione - part.II

Funding of innovative companies

incentivi a fondo perduto e altre forme agevolative a copertura di costi di R&S nelle imprese

agevolazioni erogate attraverso agenzie governative o banche commerciali

garanzie governative di stimolo del finanziamento da parte di intermediari finanziari, seed capital, business angels,

Descrizione delle attività

Marco De Maggio, PhD – UVAL DPS

Page 51: La valutazione delle attività di innovazione - part.II

Logica di intervento e risultati attesi

Funding of innovative companies

Marco De Maggio, PhD – UVAL DPS

Page 52: La valutazione delle attività di innovazione - part.II

Principali domande valutative e

indicatori applicabili

Funding of innovative companies

Marco De Maggio, PhD – UVAL DPS

Page 53: La valutazione delle attività di innovazione - part.II

l’ampia varietà di incentivi richiede di restringere il focus delle valutazioni per territorio o settore

il tipo di restrizione può compromettere l’uso di metodi controfattuali

Disegno e gestione della valutazione

uso di statistiche strutturali o dati da archivi da agenzia delle entrate

uso di survey e analisi econometrica su micro-dati per l’applicazione dell’approccio controfattuale

studi di caso o analisi su campioni di imprese beneficiarie

Principali metodi utilizzabili

Funding of innovative companies

Marco De Maggio, PhD – UVAL DPS

Page 54: La valutazione delle attività di innovazione - part.II

Cluster policies

Finanziamento al soggetto gestore di cluster per attività di supporto alla cooperazione tra imprese, intermediari ecc.

progetti che coinvolgono organizzazioni appartenenti a un cluster

rafforzare le condizioni di contesto per lo sviluppo di cluster come l’aggiornamento delle risorse umane, miglioramento del “business environment” e delle infrastrutture di ricerca

supporto all’internazionalizzazione

Descrizione delle attività

Marco De Maggio, PhD – UVAL DPS

Page 55: La valutazione delle attività di innovazione - part.II

Logica di intervento e risultati attesi

Cluster policies

Marco De Maggio, PhD – UVAL DPS

Page 56: La valutazione delle attività di innovazione - part.II

Principali domande valutative e

indicatori applicabili

Cluster policies

Marco De Maggio, PhD – UVAL DPS

Page 57: La valutazione delle attività di innovazione - part.II

due possibili obiettivi:

efficacia dello sviluppo del cluster, in termini di realizzazione di effetti e risultati sperati

impatto della policy sul cluster trattato, in termini di tendenza nella performance delle imprese appartenenti al cluster

Disegno e gestione della valutazione

combinazione metodi di ricerca quantitativi e qualitativi

monitoraggio di programma, survey, casi di studio, analisi econometrica

approcci sistemici (input-output, social network analysis)

Principali metodi utilizzabili

Cluster policies

Marco De Maggio, PhD – UVAL DPS

Page 58: La valutazione delle attività di innovazione - part.II

Marco De Maggio, PhD – UVAL DPS

Per saperne di più

Bianchi T., De Maggio M. (a cura di) “Valutazione di impatto, metodi ed esperienze”, Collana Quaderni di Innovazione, QI11, Rubbettino Editore (2012)

“Reviews of Regional Innovation: Regions and Innovation Policy”, OECD (2011)

Sirilli G. (a cura di) “La produzione e la diffusione della conoscenza. Ricerca, innovazione e risorse umane”, Fondazione CRUI, (2010)

Technopolis Group & Mioir, “Evaluation of Innovation Activities. Guidance on methods and practices”, European Commission, Directorate for Regional Policy (2012).

Page 59: La valutazione delle attività di innovazione - part.II

Marco De Maggio, PhD – UVAL DPS

Grazie dell’attenzione

[email protected]