TYÖ- JA ELINKEINOMINISTERIÖ

EAKR-ARVIOINTIEN TILANNEKATSAUS

Itä-Suomen ja Pohjois-Suomenseurantakomitean kokous 18.12.2012

EAKR-ARVIOINNIT VUOSINA 2011 - 2013

• Ramboll Management Consulting Oy on toteuttanut vuosina 2011 – 2013 EAKR-arviointeja kolmessa teemassa

• Teema 1: EAKR-toimenpideohjelmien hallintojärjestelmän toimivuuden arviointi

• Teema 2: EAKR-rahoituksen vaikutus alueiden yritystoiminnan uudistumiseen, verkottumiseen ja kansainvälisen kilpailukyvyn parantamisee

• Teema 3: EAKR-rahoituksen merkitys alueellisten osaamisympäristöjen kehittämisessä sekä osaamista, innovaatiotoimintaa ja verkottumista mittaavien indikaattoreiden kehittäminen

• Arvioinnit ovat keskittyneet erityisiin teemoihin ja työlle on ollut luonteenomaista hakea yksityiskohtaista tietoa rajatuista kysymyksistä

TEEMA 2: EAKR-RAHOITUKSEN VAIKUTUS ALUEIDEN YRITYSTOIMINNAN UUDISTUMISEEN, VERKOTTUMISEEN JA KANSAINVÄLISEN KILPAILUKYVYN PARANTAMISEEN

ARVIOINNIN PAINOPISTE

• Arviointisuunnitelman mukaisesti painopisteenä on ollut tarkastella EAKR-ohjelman avulla yritystasolla syntyneitä tuloksia ja vaikutuksia.

• Tiedonkeruumenetelmänä on ollut yli 80 henkilökohtaista yrityshaastattelua.

• Väliraportin tavoitteena on ollut tuottaa ohjelman vastuuhenkilöille aikaisempia arviointivuosia tarkempaa kuvausta yrityskohtaisista vaikutus-dynamiikoista eli toisin sanoen siitä, mitä lisäarvoa EAKR-hanketuet ovat yrityksille tuottaneet.

4

ARVIOINNIN PAINOPISTE

• Keväällä 2012 esitetyssä raportissa haettiin tiedonkeruun kokonaisjoukon (80 yritystä) ja 20 minitapaustutkimuksen kautta vastauksia seuraaviin kysymyksiin:

• Tuottaa kokonaiskuvaa rahoitetusta kehittämistoiminnasta – millaista kehittämistoimintaa yrityksissä on käytännössä toteutettu?

• Välittömät tulokset – mitä muutoksia kehittämisrahoituksella on saatu liiketoiminnan kehittymisessä aikaan?

• Välilliset lyhyen aikavälin vaikutukset – mitä vaikutuksia kehittämisrahoituksella on ollut yritysten kilpailukyvylle ja tuloksellisuudelle?

• Keväällä raportoitua ja esiteltyä työtä on täydennetty syksyllä 2012 viidellä uudella minitapaustutkimuksella. Tapaustutkimusten kohteena olleet yritykset ovat saaneet Finnveran kautta pääomasijoitusta

5

KEHITTÄMISAVUSTUSTEN ADDITIONALITEETTI (80 HAASTATELTUA YRITYSTÄ, EI PÄÄOMASIJOITUKSET)

6

• Tutkituista yrityksistä 81 % ilmoitti, että kehittämisavustuksella on ollut vaikutuksia yrityksen liiketoimintaosaamisen kasvuun.

• Merkittävimmät vaikutukset kohdistuvat seuraaville osa-alueille:

• Yrityksen strategiseen suunnitteluun liittyvän osaamisen kehittäminen

• Myynti- ja markkinointiosaamisen kehittäminen

• Markkina- ja kilpailutilanteen kartoittamiseen liittyvä osaaminen

• Yrityksen johtamiseen liittyvän osaamisen kehittäminen 7

PÄÄOMASIJOITUSTEN MYÖNTÄMINEN

• Tavoitteena tehdä sijoituksia 44 yritykseen vuoden 2015 loppuun mennesää (tällä hetkellä noin 20 yritystä)

• Kohteena toiminnan alkuvaiheessa olevat pienet, innovaatiiviset ja lähinnä teknologiapainotteiset yritykset. Yritysten toiminta vielä suurelta osin keskittynyttä tuotekehitykseen ja myynnin käynnistämiseen

• Keskimääräinen pääomasijoitus on 250 000 – 300 000 euroa

• 85 % hakemuksista ei johda sijoitukseen. Pääomasijoituksen myöntämisen kriteerit ovat seuraavat:

• Yrityksellä pitää olla olemassa kaupallistettava tuote

• Tuotteen tulee olla innovatiivinen

• Yrityksen pitää pyrkiä kansainvälisille markkinoille

8

PÄÄOMASIJOITUSTEN MERKITYS YRITYKSILLE (5 TAPAUSKUVAUSTA)

• Finnvera on valinnut kohdeyritykset satunnaisesti siten, että muodostuu maantieteellisesti jokseenkin edustava otos

• Sijoitusten tekemistä on kulunut vasta alle vuosi tai noin vuoden verran. Merkittäviä vaikutuksia yritysten liiketoiminnan kehityksessä ei tästä syystä voida havainnoida

• Pääomasijoituksilla voidaan kuitenkin havaita olleen merkittäviä myönteisiä vaikutuksia yritysten tuotekehitykseen. Sijoitukset ovat mahdollistaneet tuotannolliset investoinnit sekä panostukset markkinointiin ja myyntiin KV –markkinoille

• Sijoituksilla on myös ollut positiivinen vaikutus yritysten muuhun varainhankintaan – rahoitusratkaisujen toteutuminen on voinut edellyttää oman pääoman vahvistumista

• Osa yrityksistä esitti kritiikkiä, minkä mukaan pääomarahoituksen hakeminen oli työläs ja hidas prosessi. Osa yrityksistä taas piti hyödyllisenä sitä, että he ovat saaneet Finnveran edustajan hallitukseensa

9

VAIKUTUSDYNAMIIKAN KUVAUS (PÄÄOMASIJOITUKSET)

10

Yritystoiminnankäynnistäminen

Pääoma-sijoitus

Hallituksenjäsen

Pääomasijoitus mahdollistaa

Markkinointiin ja kvmyyntiin panostaminen

(esim. rekrytointi tai markkinatutkimukset)

Päätuotteen tuotekehitys-työn jatkaminen /

tuotteistaminen / uusientuotteiden kehittäminen

Tuotannon aloittamisenvaatimat investoinnit

Oman pääomanlisääminen, mikä

edellytyksenä muunrahoituksen saamiseksi

Lyhyen aikavälin tulokset

Toimenpiteet luovat paremmatedellytykset liiketoiminnan kasvulle

Liiketoiminnanvolyymin kasvu

Liiketoimintakannattavaksi

Myynninkäynnistäminen

Vakaanasiakaskunnansaavuttaminen

Liiketoiminnanjatkuvuus ja

vakiintunut asemamarkkinoilla

Liikevaihdon, liikevoiton ja

henkilöstön määränkasvu

Pidemmän aikavälin vaikutuksetToimenpiteet

TEEMA 3: EAKR-RAHOITUKSEN MERKITYS ALUEELLISTEN OSAAMISYMPÄRISTÖJEN KEHITTÄMISESSÄ SEKÄ OSAAMISTA, INNOVAATIOTOIMINTAA JA VERKOTTUMISTA MITTAAVIEN INDIKAATTOREIDEN KEHITTÄMINEN

FOKUKSESSA ERITYISESTI TOIMINTALINJA 2

Toimintalinja 2 keskeiset tavoitteet ovat: Yritysten, yliopistojen ja tutkimuslaitosten välisen innovaatiotoiminnan aktivointi Innovaatio- ja osaamisrakenteiden vahvistaminen Verkottumisen edistäminen

Osaamis- ja innovaatioympäristöjen kehittäminen painottuu seuraaviin tekijöihin:

Huippuosaamisen kehittymisen tukeminen Tuotekehitystoiminnan ja soveltavan tutkimuksen edistäminen ja hyödyntäminen

Teknologian siirron ja uusien ideoiden hyödyntämisen edistäminen

Tuotantoprosessien ja teknologioiden kehittäminen

Innovaatiotoimijoiden (koulutus, tutkimus, ja yritykset) yhteistyöverkostojen ja oppimisympäristöjen kehittäminen

Innovaatiokeskittyminen tukeminen ja toimintojen kokoaminen

Välittäjäorganisaatioiden toiminnan ja palveluiden kehittäminen ja uudistaminen

Kansainvälistymisen tukeminen (markkinat, verkostot ja tutkimus)

Toiminnassa painottuvat sektorit tai toimijatahot: Pk-yritysten

innovaatiotoiminnan kehittäminen Julkisen sektorin

innovaatiotoiminnan kehittäminen Palvelusektorin kehittäminen Uusiutuviin energialähteisiin

liittyvä kehittäminen ICT:n parempi hyödyntäminen eri

toiminnoissa ja eri sektoreilla Alueiden erityisolosuhteita

hyödyntävät toimialat ja teknologiat

ARVIOINTITEEMAN SISÄLTÖ

• Analyysi projektien loppuraporteista

• Maakuntakohtaiset hanke-, innovaatio- ja osaamisprofiilit

• Verkostoanalyysi (Kaupunkitutkimus TA Oy)

• Hanketoimintaa kuvaavat tapaustutkimukset

• Verkostoanalyysin kehitäminen

• Indikaattoreiden kehittäminen

13

Raportoitu erillisessä raportissa

keväällä 2012

Raportoitu syksyllä 2012

Syksyn 2012 työssä keskeisessä roolissa on ollut indikaattorityö ja muissakin työvaiheissa on otettu kantaa hankkeiden tuloksellisuuden seurantaan

ARVIOINNIN JATKO VUONNA 2013

• Yhdistetään nyt erillisenä olevat raportit

• Päivitetään ja kehitetään edelleen analyysia maakuntakohtaisista hanketiedoista sekä päättyneiden hankkeiden loppuraporteista

• Tarjotaan arviointitietoa tulevan ohjelmakauden valmistelun tueksi olemalla käytettävissä osallistumaan ohjelmien valmisteluun liittyviin tilaisuuksiin

14

HANKETOIMINTAA KUVAAVAT TAPAUSTUTKIMUKSET

TAPAUSTUTKIMUSTEN TARKOITUS JA TOTEUTUS

• Tapaustutkimusten kautta kuvataan toimintalinja 2:seen liittyvien hankkeiden erilaisia vaikutuslogiikoita hakemalla vastausta kysymykseen: Millainen hanketoiminta synnyttää minkäkinlaisia tuloksia?

• Samalla tarkoituksena on ollut tarjota tukea indikaattorien kehittämistyölle. Tapaustutkimusten yhteydessä on ollut mahdollista käydä läpi hanketoimijoiden näkemyksiä tulosten seurannasta

• Iso osa työtä on ollut päättyneiden hankkeiden luokittelu sen mukaan, miten hankkeet ovat toimineet ja minkätyylisiä tuloksia niiden on voitu olettaa tavoitelleen (280 päättynyttä hanketta)

• Luokittelun perusteella on tehty tapaustutkimusten valinta, jonka jälkeen on haastateltu yhtä hanketoimijaa sekä käyty läpi hankehakemus ja loppuraportti

16

HANKKEIDEN LUOKITTELU

Kategoria Määrä Kohteet

Oppimis- ja tutkimusympäristöjen kehittäminen/luominen 103 8

Yritystoiminnan ja yritystoimintaa tukevien organisaatioiden kehittäminen

66 4

Strategiat, selvitykset, suunnitelmat 38 1

Infrastruktuurin, mallien, palveluiden ja tuotteiden kehittäminen

53 4

Markkinointi, viestintä ja vaikuttaminen 17 2

HAVAINTOJA HANKKEIDEN TULOKSISTA

• Esille voidaan nostaa laaja kirjo erilaisia tuloksia:

• Osa hankkeista on hyvin suoraviivaisia (esim. selkeitä investointeja) ja ne vaikuttavat hyvin selkeästi esimerkiksi oman alueen osaamisympäristön kehittymiseen

• Osaamisympäristöjen kehittämisen kannalta useat hankkeet vaikuttavat perustelluilta ja ne pohjautuvat alueilla pitkäjänteisesti tehtyyn työhön

• Seurantaindikaattoreilla mitattuna (esim. uudet työpaikat) pärjäävät hyvin sellaiset hankkeet, joiden toiminta kohdistuu suoraan yrityksiin tai yrityksille järjestettäviin palveluihin (esim. yrityshautomopalveluiden kehittäminen)

• Hankkeiden tuloksina alueiden yrityksille on tarjottu uusia palveluita ja kehitetty palvelumalleja. Hankkeissa on tehty aktiivisesti alueellisesta yhteistyötä ja yhteistyön lisääntyminen mainitaan usein toiminnan tuloksena

• Pysyviä tuloksia nähdään syntyneen hankkeista, jotka auttavat kehittämään hanketyötä tekevän organisaation osaamista

• Monissa hankkeissa jatkonäkymät kuitenkin epävarmoja hankerahoituksen päättyessä

18

HANKETOIMINNAN TULOSTEN JA VAIKUTUSTEN SEURANNASTA

• Hanketoimijat suhtautuvat varauksellisesti seurantaindikaattoreihin, kuten uudet työpaikat ja uudet yritykset. Hankkeiden merkitystä on vaikea tunnistaa ja hanketoimijat puhuisivat mieluummin esim. myötävaikutuksesta

• Osallistuvien yritysten lukumäärää pidetään hyvänä indikaattorina. Sen kehitys kertoo toiminnan houkuttelevuudesta ja kysynnästä

• Yritysten osalta voidaan seurata esim. niiden T&K-osaamisen kehittymistä (esim. kyky saada Tekes -rahaa)

• Hanketoimijat toivovat säännöllisesti kerättävää palautetta esim. osallistuvilta yrityksiltä (osallistujien palaute nähdään keskeisenä onnistumisen mittarina). Palaute voi tehdä seurantatiedosta hankekohtaisempaa

• Hankkeiden onnistuminen voidaan tarkastella myös sen kautta, miten ne kehittävät ja tukevat alueen olemassa olevaa osaamisympäristöä tai palveluntarjontaa. Hanketoiminnan merkitys rakentuu alueen kehittämistyön fokuksen kautta

19

INDIKAATTORIEN KEHITTÄMISTYÖ

INDIKAATTORITYÖN TAVOITTEET

• On toivottu, että vaikutavuuden analysointiin ja seuraamiseen kiinnitettäisiin enemmän huomiota. Seurantajärjestelmässä ei ole hankkeiden varsinaisia tuotoksia ja tuloksia mittaavia indikaattoreita

• Osa Teema 3:sen arvioinnin panoksesta on käytetty indikaattorijärjestelmän pohtimiseen ja siihen liittyvien ehdotusten tekemiseen

• Indikaattorityön yhteydessä on tutustuttu erilaisiin seurantamalleihin ja kehikoihin sekä pohdittu uudenlaisia seurantaindikaattoreita

• Indikaattorityön toivotaan tukevan tulevan ohjelmakauden valmistelua ja vuonna 2013 tehtävässä arvioinnin tulosten jalkauttamistyössä indikaattorijärjestelmiin liittyvillä kysymyksillä on keskeinen rooli

• Työstä on vastannut Ramboll Management Consulting Oy:n Kimmo Viljamaa (kimmo.viljamaa@r-m.com)

21

LÄHTÖKOHTIA:VIIDES KOHEESIORAPORTTI - SUOSITUKSIA

• Koheesiopolitiikan tulosuuntautuneisuuden parantaminen, jonka lähtökohdan muodostavat raportin mukaan erityisesti ennakkoon asetettavat selkeät ja mitattavissa olevat tavoitteet ja tulosindikaattorit

• Indikaattoreista ja tavoitteista olisi sovittava ohjelma-asiakirjoista käytävässä keskustelussa

• Lisäksi jokaisessa toimintaohjelmassa olisi oltava muutamia rahastokohtaisia perusindikaattoreita, jotka liittyvät Eurooppa 2020 –strategiaan

• Kehittämistoiminnan jatkuvaluonteiseen seurantaan arviointiprosessien ohessa

• indikaattoreita ja sovittuihin tavoitteisiin etenemistä koskevien ajanmukaisten ja täydellisten tietojen antaminen olisi nykyistä keskeisemmässä roolissa muun muassa vuosikertomuksissa.

LÄHTÖKOHTIA:KOMISSION EHDOTUKSIA

• Komissio ehdottaa vahvempaa tulosfokusta

• Tällä voidaan varmistaa, että koheesiopolitiikan ohjelmilla on selkeä toimintalogiikka ja ne ovat tulossuuntautuneita

• Nykyiset laajat vaikuttavuusmittarit liian etäällä itse toiminnasta

• Käytännössä tämä tarkoittaa että ohjelmissa on tarvetta

• Kuvata kunkin painopisteen vaikutuslogiikka ja määrittää siihen liittyvät tuotos- ja tulosindikaattorit

• Raportoida entistä yksityiskohtaisemmin indikaattoreiden kehitystä

• Tämä edellyttää

• Millä indikaattoreilla mitataan ohjelman tavoitteisiin liittyviä keskeisiä kehityksen osa-alueita

• Mitkä ovat tiedonlähteet ja tiedonkeruumenetelmät?

ERILAISIA INDIKAATTORITYYPPEJÄ

• Erityyppisiä indikaattoreita:

• Panos- ja/tai resurssi-indikaattorit tuottavat tietoa esim. rahallisista ja inhimillisistä

panostuksista, joita ohjelman toimeenpanossa on käytetty

• Tuotosindikaattorit antavat informaatiota ohjelman ja hankkeiden sisältämän toiminnan

tuotoksista. Tuotokseksi voidaan laskea kaikki se, mitä ohjelmaan uhratuilla panoksilla on saatu

aikaiseksi.

• Tulosindikaattorit kuvaavat aikaansaatua muutosta suhteessa ohjelmalle tai painopisteelle

asetettuihin tavoitteisiin. Ne ovat vahvasti sidoksissa tavoitteenasetantaan sekä ohjelman

interventiologiikkaan.

• Vaikuttavuusindikaattorit kuvaavat yleensä ohjelman tai politiikkakokonaisuuden vaikutusta

ja/tai kontribuutiota tiettyyn muutokseen. Oleellinen ero tulosindikaattoreihin on se että

vaikuttavuusindikaattorit kohdistuvat laajempiin muutoksiin.

POHDINTAA TULOSINDIKAATTOREISTA

• Ohjelmassa jokaisen painopisteen osalta tulisi määritellä se sosioekonominen ilmiö, johon on tarkoitus vaikuttaa – “tulos”

• Tähän muutokseen liittyvä yksi tai enintään muutama painopistekohtainen tulosindikaattori

• Pääosin tilastoindikaattoreita

• Joissakin (mutta ei kaikissa) tapauksissa tulosindikaattoreille on mahdollista asettaa myös tavoitetaso

• Tulosindikaattoreiden käytöstä:• muutos tulosindikaattorissa = intervention kontribuutio + muiden tekijöiden

kontribuutio

• Intervention (ohjelman ja/tai hankkeiden ) kontribuution osuutta arvioidaan laadullisin menetelmin osana arviointia

VAIKUTUSKETJUT HANKETYÖN VÄLINEENÄ

• Vaikutusketjujen ja välitavoitteiden tunnistaminen

• Mitä ja kenen resursseja?

• Millä keinoilla ja toimenpiteillä tavoitteisiin on tarkoitus päästä?

• Mitä tuloksia tarvitaan matkalla kohti vaikuttavuustavoitteita?

• Vaikutusketjut ovat karkean tason oletuksia siitä, millaisia lyhyen aikavälin välittömiä vaikutuksia sekä pidemmän tähtäimen vaikutuksia toimenpiteillä on pyritty saavuttamaan

TAVOITTEET, OSATAVOITTET JA MITTARIT - ESIMERKKI

Ohjelman tavoitteet

Tavoite 1: Energiate-hokkuuden lisääminen

Tavoite 2: Uusiutuvan energian

tuotannon lisääminen

Osatavoite 1: julkisten tilojen

energiatehokkuuden lisääminen

Esitetty toiminta:Julkisten tilojen

peruskorjaushankkeet, joissa energiatehokkuus

yhtenä kohteena

Tulosmittari:

Kiinteistöjen energia-

kulutuksen väheneminen

Tuotosmittari:

Toteutetut energiatehok-kuushankkeet

Päätavoite: Energiansääs-töpotentiaalin

kartoitus kunnan X tiloissa

Tulokset:Julkisen energia-

tehokkuus-konseptin

kehittäminen

Tavoitteet: energiasäästö-

potentiaalin kartoitus- ja

mittaus-palvelujen

kehittäminen

Tuotokset: Julkisten tilojen energiatehok-kuusstrategia.

Energiansäästö-suunnitelma ja

ohjeistus

OHJELMA PROJEKTI

JOITAKIN HAASTEITA

• Kontribuutiohaaste: Yksittäiset hankkeet usein osa laajempaa kokonaisuutta, jossa kehitys riippuvainen mm. suhdanne- ja rakennekehityksestä sekä muista viranomaistoimenpiteistä

• Vaikutusmekanismihaaste: osa kehittämistoimenpiteistä kohdistuu toimintaympäristön kehittämiseen, missä hankkeiden vaikutusmekanismi suhteessa lopullisiin tavoitteisiin on välillinen

• Tavoitehaaste: monet maakuntaohjelman tavoitteista ovat hyvin laajoja ja yleisiä, eikä niihin pääsemiseen liittyvää polkua ole selkeästi määritelty

• Aikajännehaaste: Erityisesti vaikuttavuusindikaattoreiden osalta haasteen se, että monet vaikutukset näkyvät vasta viiveellä

HUOMIOITA SEURANTAJÄRJESTELMÄSTÄ TULEVAA OHJELMAKAUTTA VARTEN (1)

• Hankeraportointi

• Nykyiset raportit eivät ole seurannan ja arvioinnin kannalta tarkoituksenmukaisia

• Eivät kuvaa selkeästi vaikutuslogiikkaa (mikä lopullinen tavoite)

• Ei yleensä riittävästi seurantatietoa hankkeen tuloksista ja hankkeeseen osallistuneiden toimijoiden palautteesta (relevanssi, tuloksellisuus)

• Kehittämisehdotuksia:

• Vaatimus selkeämmästä vaikutuslogiikan ja seurantajärjestelmän kuvauksesta

• Miten hankkeen on tarkoitus tuottaa painopisteen mukaisia vaikutuksia suoraan ja välillisesti, lyhyellä ja pitkällä aikavälillä

• Mikä on vaikutusketju

• Miten toimintaa ja tuloksia on tarkoitus mitata ja miten tietoa kerätään hankkeen aikana

• Loppuraportti voisi täten suoraan peilata hakemuksessa kuvattuja asioita (Tavoitteet, toiminta, tuotokset ja tulokset ja näihin liittyvät mittarit)

HUOMIOITA SEURANTAJÄRJESTELMÄSTÄ TULEVAA OHJELMAKAUTTA SILMÄLLÄ PITÄEN (2)

• Seurantajärjestelmä

• Seurantajärjestelmään voisi lisätä tuotosmittareita raportointiin

• Haasteena hankkeiden erilaisuus (kukin hanke raportoi vain heille relevantit tiedot)

• Tulosmittareiden määrittäminen ja keruu

• Kullekin painopisteelle soveliaimpien tulosmittareiden arviointi ja valinta vuorovaikutteisena prosessina

• Tiedonkeruun suunnittelu (osa mittareista ei valmiina, vaikka tiedot saatavana)

• Arviointi- ja seurantatiedon hyödyntäminen

• Indikaattoritiedon integrointi osaksi ohjelmien ja toimenpiteiden valmisteluprosessia (mikä toimii – mikä ei, missä ollaan jäljessä – missä ei)

AJATUKSIA INDIKAATTORITYÖN KEHITTÄMISESTÄ

• Indikaattoreiden ensisijainen tavoite on

• tuottaa informaatiota ohjelman sekä erityisesti hankkeiden etenemisestä (toiminta, tuotokset) ja

• onnistumisesta (tulokset, tavoitteiden toteutuminen)

• Indikaattorityön pääpaino kannattaisi olla hankekohtaisen seurantajärjestelmän suunnittelussa ja ohjeistuksessa

• Miten hankesuunnitelmissa kuvataan vaikutuslogiikka (logiikkaviitekehys tai muu vastaava tapa)

• Miten hankesuunnitelmassa kuvataan hankkeen seuranta (tavoitteet, mittarit, tideonkeruu)

• Indikaattorit pitäisi nähdä ensisijaisesti projektijohtamisen välineenä

PALAUTETTA JA LISÄTIETOJA

Antti Eronen

antti.eronen@r-m.com

Kimmo Viljamaa

Kimmo.viljamaa@r-m.com