Eläketurvakeskuksen tutkimuksen ulkoinen arviointi Susan Kuivalainen

Arvioinnin sisältö

• ETK tilasi ulkoisen arvioinnin tutkimustoiminnastaan keväällä 2013.

• Arvio tutkimustoiminnasta yleisesti ja painopistealueittain (tieteellinen laatu, eläkepoliittinen relevanssi, painottuminen, tulokset, viestintä ja hyödyntäminen, merkitys ETK:n strategian toteuttamisessa, tutkimuksen resurssit ja toimintatapa), arvio tutkimustoiminnan tuloksellisuudesta ja vaikuttavuudesta sekä kehittämisehdotuksia tutkimustoiminnan suuntaamiseksi.

• Kolme arvioijaa: Olli Kangas (Kela), Jukka Pirttilä (Tampereen yliopisto), Jussi Simpura (THL).

Toteutus

• Käynnistystapaaminen 15.5.2013, jossa tutkimustoiminnan esittely, keskustelua tehtävästä ja materiaalin antaminen

• Arviointi käynnistetty 1.6.2013. Arvioijien keskinäinen työnjako tutkimuksiin tutustumisesta; kokoontumiset kerran kuukaudessa.

• Haastattelukierros tutkimustoiminnan vaikuttavuudesta (7 haastattelua: työeläkelaitokset, tutkimustahot, ministeriöt).

• Arvion suullinen esittely 11.12.2013, raportin luovutus 21.12.2013 ja lopullinen versio 20.1.2014.

Arvio tutkimustoiminnasta yleisesti

• Yleiskatsaus ETK:n tutkimustoiminnasta ja sen toimintaympäristöstä on myönteinen.

• Tutkimustoiminta ”varsin laajaa”, ja on ”merkittävä osa ETK:n toimintaa”.

• Suhteellinen etu vakaa rahoitusasema ja tietovarannot sekä muu organisaatiosta saatava tuki tutkimukselle (viestintä ym.) keskimääräistä paremmat edellytykset tutkimukselle

• ETK:n tutkimustoiminta verkostoituminen neljälle kehälle: 1) työeläkekysymyksiä sivuavat (talous)tutkimuslaitokset, 2) muut asiantuntijalaitokset, mm. TTL, 3) yliopistot ja 4) kansainvälinen yhteistyö.

Arvio tutkimuksesta painoalueilla

• Työurat ja eläkkeelle siirtyminen + Ajantasaisen tiedon tuottaja, eläkepolitiikan ydintä, tiedolla tärkeä merkitys, suunnitelmallista tutkimusta + Tärkeitä, huolellisia ja luotettavia tutkimuksia, osin innovatiivisiakin

• Eläketurvan rahoitus + Pts-työ + Mikrosimulointimallin kehittäminen

• Eläkkeiden riittävyys

+ Erittäin relevantti alue, tematiikasta kattavaa tutkimustoimintaa + Tuotettu tärkeää tietoa, laatu on luotettavaa, tulokset käyttökelpoisia - Julkaisut omissa sarjoissa, vertaisarvioituja julkaisuja vähän - Ambitiotasoa korkeammaksi, lisää kv. yhteistyötä ja julkaisemista

”Tutkimusohjelma on selkeä ja hyvin ennakoiva.”

Tuloksellisuus

• Arvioinnissa hyödynnetty VATU-kehikkoa, jossa tuloksellisuus =

– Palvelukyky (asiakaspalvelun tavoitteiden ja laadun toteutuminen)

– Aikaansaannoskyky (kyky saada resursseilla tuloksellisuutta)

– Tuottavuus ja taloudellisuus (tuotosten ja panosten suhde; panokset tuotannontekijöinä tai rahana)

– Vaikuttavuus (tavoitteeksi asetettujen yhteiskunnallisten tilojen saavuttamisen aste)

Arvioijien kysymys: voisiko tutkimustoiminnan tavoitteita asettaa tarkemmin näiden pohjalta?

• Arvio: ”palvelukyky hyvä, aikaansaannoskyky kohtalainen tai hyvä, tuottavuus ja taloudellisuus hyväksyttävällä tasolla”.

Vaikuttavuus

• Sidosryhmien mielestä merkittävä laitos, jonka asiantuntemukseen luotetaan ja joka saa palveluistaan korkean arvosanan.

• Tutkimustoiminnan vaikuttavuus liittyy erityisesti uudistusten valmisteluun, arviointiin ja seurantaan.

• Tutkimuksilla erilaiset kohdeyleisöt, niihin viitataan vaihtelevasti.

Eläketurvakeskus 7

”Yleisvaikutelmana on, että verrattuna muihin vastaavankaltaisiin tutkimuslaitoksiin ETK:n tutkimus näyttää toimivan tehokkaasti ja suhteellisen pienillä resursseilla. ETK:n tutkimuksen etuna on myös suhteellisen matala organisaatio ja suora ja toimiva yhteys ETK:n johtoon.”

Yhteenveto

• ”Ohjelmallinen, huolellinen, varovainen, tuottelias”.

• Yleisvaikutelma laadusta ”varsin positiivinen”.

• Tutkimus suuntautuu eläkepoliittisesti erittäin relevantteihin teemoihin, katvealueita ei juuri jää. Päällekkäisyyttä muihin laitoksiin ei ole.

• ETK on luotettava tiedon tuottaja ja tulokset ovat relevantteja.

• Tutkimus on vaikuttavaa. Tutkimustieto helposti saatavilla, tutkimus vastaa ETK:n strategiaa, ja on vaikuttavaa.

• Kokonaisarvio tutkimuksen laadusta ja sen yhteiskunnallisesta merkityksestä on hyvin myönteinen.

Kriittisempiä huomioita

• Tutkimus on lähes yksinomaan kotimaista ja julkaisufoorumina ETK:n julkaisusarja

• Vähäinen kansainvälinen yhteistyö

• Vertailevien tutkimusten vähäinen määrä

• Tutkimustulokset eivät leviä laajalle yleisölle

• Tutkimustoimintaa leimaa tietty konservatiivisuus: ”Ei ole tieteellisesti kunnianhimoinen, kokeileva ja yllätyksellinen, ei ole akateemisia meriittejä etsivä tai kansainvälisesti suuntautunut.”

Seuraamuksia • Tuoko ohjelmallisuus jäykkyyttä ja konservatiivisuutta?

• Nykyisen eläkejärjestelmän vaihtoehtoja ei pohdita tai tuoda esille.

• Kansainväliseen julkaisemiseen ei panosteta vaikka siihen olisi edellytykset.

• Suomen eläkejärjestelmä tunnetaan kansainvälisesti huonosti (vrt. Ruotsi)

Arvioinnin kehittämisehdotukset

• Tieteellisen laadun ja kattavuuden kehittäminen

• Aihevalintojen laajentaminen (eläkejärjestelmien) kansainvälisiin vertailuihin

• Kansainvälisen yhteistyön vahvistaminen

• Ekonometristen arvioiden vahvistaminen

• Tutkimusrahoitus (ulkopuolinen) selvemmäksi

• Avoimen datan mahdollisuuksien selvittäminen