Relevanz2:DieRelevanzvonRelevanzBeobachtungenaussiebenMeta-StudienzuStellenwert,AnalyseundBewertungdesOECD-DACKriteriums‚Relevanz‘inEvaluaDonen

Dr.StefanSilvestriniDeGEvalArbeitskreisEntwicklungspoli7kGOPA,BadHomburg,12.April2018

Gliederung

ü  ZurDefiniDonvonRelevanzü  HintergrundundDatengrundlageü  Fragestellungenü  Ergebnisse

ü  StellenwertvonRelevanzbeiEvaluaDonenü  KriterienundMethodenzurBewertungvonRelevanzü  BewertungvonRelevanz

ü  Schlussfolgerungen

212.04.2018 Silvestrini:DieRelevanzvonRelevanz

Defini4onRelevanzI

DACDefini4on

“[…]Theextenttowhichtheobjec4vesofadevelopmentintervenDonareconsistentwithbeneficiaries’requirements,countryneeds,globalpriori4esandpartner’anddonors’policies.

Note:Retrospec4vely,thequesDonofrelevanceoZenbecomesaquesDonastowhethertheobjecDvesofanintervenDonoritsdesignares4llappropriategivenchangedcircumstances.”

BewertungaufgrundderBewertungvon

ü  ÜbereinsDmmungmitdenBedarfenderBegünsDgten,ü  mit(entwicklungspoliDschen)ZielsetzungendesPartnerlandes,ü  mitinternaDonalenLeitlinien,ü  sowiedenPartner-unddes‚Geber-‘Strategien/PoliDken.ü  ImNachhinein:AngemessenheitvonIntervenDonsdesignund

-zielsetzung

312.04.2018 Silvestrini:DieRelevanzvonRelevanz

Defini4onHintergrundundDatengrundlageFragestellungenErgebnisseSchluss-folgerungen

Defini4onRelevanzII

BMZDefini4on

AusgehendvonDACDefiniDon:“Ausmaß,indemdieZielederEntwicklungsmaßnahmemitdemBedarfderZielgruppen,denPoli4kendesKoopera4onslandesundderPartnerins4tu4onen,denglobalenEntwicklungszielensowiederentwicklungspoli4schenGrundausrichtungderBundesregierungübereinsDmmen.”

BewertungaufgrundderBewertungvon

ü  BeitragzurLösungeines„entwicklungspoliDschwichDgenKernproblemsderZielgruppe(n)“

ü  ÜbereinsDmmungmitentwicklungspoliDscherZielsetzungdesPartnerlandesàwiederumBezugaufBeitragzuProblemlösung

ü  ÜbereinsDmmungmitZielenundRichtliniendesBMZü  BezugzuAnspruchsniveau,heuDgemWissenstandundheuDgen

Rahmenbedingungen

412.04.2018 Silvestrini:DieRelevanzvonRelevanz

Defini4onHintergrundundDatengrundlageFragestellungenErgebnisseSchluss-folgerungen

HintergrundundDatengrundlage

ü  VermehrteAnfragenfürMeta-EvaluaDonenundEvaluaDonssynthesenindenvergangenenJahren

ü  MimlerweileachtabgeschlosseneMeta-Studien,davonbeisiebenmitSynthesenunddabeiimpliziteoderexpliziteBewertungvonRelevanz

ü  AusgearbeitetesAnalyserasterzurBewertungderQualitätderEvaluaDonensowiezuAggregaDonihrerErgebnisse

ü  Zwei-undvierstufigenSkalensowieDefiniDonenfürSkalenwertebzw.AnleitungfürBewertungen

ü  Insgesamtca.250EvaluaDonenmeta-analysiertmitunterschiedlichenSchwerpunkten

ü  Datengrundlage:zweiStaatlicheTrägerorganisaDonen,zweiTransnaDonaleNGOsundeineSDZung

ü  KeineeinheitlicheodergarrepräsentaDveDatengrundlage

512.04.2018 Silvestrini:DieRelevanzvonRelevanz

DefiniDonHintergrundundDatengrundlageFragestellungenErgebnisseSchluss-folgerungen

Fragestellungen

ü WelchenStellenwerthatdieBewertungvonRelevanzinderEvaluierungspraxis?

ü WelcheKriterien/IndikatorenwerdenzurBewertungderRelevanzeinesProjektsoderProgrammsherangezogen?

ü  GibtesspezifischeErhebungsinstrumente,AuswertungsverfahrenoderAnsätzezurRelevanzbewertung?

ü WiewirddieRelevanzbeiEvaluaDonenbewertet?

612.04.2018 Silvestrini:DieRelevanzvonRelevanz

DefiniDonHintergrundundDatengrundlageFragestellungenErgebnisseSchluss-folgerungen

StellenwertvonRelevanz

ü WirdinnahezuallenEvaluaDonenbehandeltü  Jedochauchi.d.R.kürzestesKapitelbeider

Ergebnisdarstellung

ü  ZusammenfassendeBewertungbeziehtsichmeistaufPerspekDvepoliDscherAkteuresowiediederinsDtuDonellenPartner

ü  EheruntergeordneteBerücksichDgungbeiSchlussfolgerungenundEmpfehlungen

712.04.2018 Silvestrini:DieRelevanzvonRelevanz

DefiniDonHintergrundundDatengrundlageFragestellungenErgebnisseSchluss-folgerungen

KriterienzurRelevanzbewertungI

ü  PrimärerBezugaufKohärenzmitentwicklungspoliDscherZielsetzungdesPartnerlandesundBedarfederdirektenZielgruppen/Mimler

ü  BedarfederEndbegünsDgtenspielenhingegenoZmalseineuntergeordneteRolle

ü  SehrunterschiedlicheBerücksichDgungderstrategischenLeitlinienderTrägerorganisaDonund/oderdes‚Geber-‘landes

ü  ZurBewertungwerdennurseltenSMARTeKriterienherangezogen–selteneralsbeiBewertungvonEffekDvitätoderWirksamkeit

812.04.2018 Silvestrini:DieRelevanzvonRelevanz

DefiniDonHintergrundundDatengrundlageFragestellungenErgebnisseSchluss-folgerungen

KriterienzurRelevanzbewertung–Beispiel

912.04.2018 Silvestrini:DieRelevanzvonRelevanz

4

4

1

1

1

7

8

11

3

4

14

23

27

15

16

0 5 10 15 20 25 30 35 40 45 50

Doestheinterventionmeettheneedsofthefinalbeneficiaries?(n=25)

Doestheinterventionmeettheneedsofthetargetgroups?(n=35)

Istheinterventionconsistentandsupportiveofpartnergovernments/regionalpolicies?(n=39)

IstheinterventionconsistentwithMFA'sdevelopmentpolicy?(n=19)

Istheinterventionaddressinginternationalconventions,policiesstrategiesofgoals?(n=21)

no ratherno ratheryes yes

Quelle: Silvestrini/Väth/Römling/Lieckefem/Mikkolainen(2018):Meta-evaluaDonofprojectandprogrammeevaluaDons2015-2017,imAuZragdesFinnischenAußenministeriums

InstrumenteundVerfahren

ü  KeinespezifischenErhebungsinstrumenteidenDfizierbarü  BeiSekundärquellenBezugnahmeaufInformaDonenaus

Programmkonzepten,-anträgen,jedochselteneraufDokumente,dieüberPartnerstrategienAuskunZgeben

ü  BeiPrimärquellenv.a.BezugaufAussagenvonProjektverantwortlichenundPartnerinsDtuDonen,seltenerBegünsDgte

ü  WenigDaten-undQuellentriangulaDonü  BeiderAuswertungkommenfastausschließlichqualitaDve

VerfahrenzumEinsatz

ü  KeinevergleichendenAnalysenü  Bewertungenbasiereni.d.R.aufExperteneinschätzungen

1012.04.2018 Silvestrini:DieRelevanzvonRelevanz

DefiniDonHintergrundundDatengrundlageFragestellungenErgebnisseSchluss-folgerungen

BewertungvonRelevanzI

ü  MitAbstandambestenbewertetesOECD/DACKriteriumü  KeinesystemaDschenregionalen,sektoralenoder

trägerspezifischenUnterschiedeerkennbar

ü  Ebensoscheintes,dassVoluminaundIntervenDonsansätzekeinenEinflussaufdieBewertungderRelevanzvonProjekten/Programmenzuhaben

ü  JedochspielenbisweilenderZeitpunktunddieZielederEvaluaDoneineRolle

ü  BewertungderRelevanzeinesProjektskorreliertoffenbarmitderBewertungdessenWirksamkeit

ü  HäufigunzureichendeDifferenzierungnacheinzelnenPrüffragenbzw.Kriterien

1112.04.2018 Silvestrini:DieRelevanzvonRelevanz

DefiniDonHintergrundundDatengrundlageFragestellungenErgebnisseSchluss-folgerungen

BewertungvonRelevanz–Beispiel

1212.04.2018 Silvestrini:DieRelevanzvonRelevanz

Quelle: Stockmann/Silvestrini(2012):MetaevaluierungBerufsbildung,imAuZragderGIZ

Schlussfolgerungen

ü  AlleuntersuchtenProjekteundProgrammesindrelevant?

ü  BewertungvonRelevanzstelltfürGutachter/inn/enkeinProblemdar?

ü  RelevanzbewertungenstützensichoZmalsnuraufTeilaspektebzw.berücksichDgennichtalleKriteriengleichermaßen

ü  Relevanzbewertungenweisen–wieauchdieBewertungenandererOECD/DAC-Kriterien–methodischeSchwächenauf

ü  RelevanzbewertungenhängenbisweilenvonintervenDonsunabhängigenFaktorenab

1312.04.2018 Silvestrini:DieRelevanzvonRelevanz

DefiniDonHintergrundundDatengrundlageFragestellungenErgebnisseSchluss-folgerungen

VielenDankfürIhreAufmerksamkeit!

14