wirkungsmessung im performance measurement · 2015-06-01 · soziale diagnostik 28 ei...
TRANSCRIPT
Wirkungsmessung Prinz
Prof. (FH) Mag. Dr. Thomas Prinz
Fakultät für Gesundheit und Soziales
Fachhochschule Oberösterreich Campus Linz
Wirkungsmessung im Performance Measurement
Forum Sozialmanagement Linz 7. Februar 2014
1
Wirkungsmessung Prinz
Ausgangssituation
Performance Measurement
Erfolg in NPO
Wirkungsorientierung
Wirkungsmodelle
Wirkungsmessung
Beispiele
Conclusio und Ausblick
Überblick
2
Wirkungsmessung Prinz
Ausgangssituation
3
• Druck auf die Budgets der NPO steigt weiter
• Rückzug bzw. Kürzungen der Förderungen durch die öffentliche Hand
• Unterschiedliche Stakeholder-Interessen
• Rechtfertigungsdruck: Mehr Offenheit und Transparenz hinsichtlich der Mittelverwendung gefordert
• Effektivere und effizientere Steuerung notwendig
Wirkungsmessung Prinz
Performance Measurement und Wirkungsmessung
4
• Performance Measurement: Multikriterielle Kennzahlenzusammenstellung für diagnose- als auch steuerungs- und reporting-bezogene Zwecke (Greiling)
• Wirkungen: Ergebnisse von Leistungen, Ressourcen, Logische Kette: Ressourceneinsatz (input) - gesellschaftlicher Nutzen (outcome) - subjektiv erlebte Wirkung (impact)
• Wirkungsmessung: Nachweis, welche Wirkungen eine Intervention/Maßnahme erzielt
• Ergebnisse der Wirkungsmessung in Form von Kennzahlen, Indikatoren, Korrelationen (Zielerreichungsgrad) etc. Im Performance Measurement/ Management integrierbar
Wirkungsmessung Prinz
Gesellschaftliche Wirkungen/Wirksamkeit
5
• Wirkung = Integration in die Gesellschaft (Schellberg)
• Personenbezogene und soziale Wertschöpfung und Rendite = Gewinn an Lebensqualität und an Humanvermögen (Wendt)
• Wirksamkeit verlangt verbindliche Festlegung operationalisierter Ziele und Maßnahmen. Interessensdurchsetzung: Keine ökonomische, sondern eine politische Frage (Finis-Siegler)
• Erreichen der Wirkung hängt ab von:
* Intervention und
* Lebensumständen der Leistungsempfänger (Bettig et alt.)
Wirkungsmessung Prinz
Wirkungsmessung Warum sie nicht funktionieren kann
6
• Methodologische Defizite: Kausalität zwischen Tätigkeit und Wirkung. Ausschluss anderer Wirkfaktoren. Keine Methodik bildet alle Ebenen sozialer Wirkung ab
• Divergierende Definitionen von Outcome und Impact
• Konflikte der Stakeholder-Interessen
• Wirkung durch Leistungsempfänger selbst mitbestimmt
• Prozesse schwer standardisierbar, weil Leistungsempfänger den Verlauf mit entscheiden
• Externe Wirkungen: Entwicklungs- und Reifeprozesse (bei Kindern und Erwachsenen, Persönlichkeits- oder Situations- merkmale (Attributionsproblem)
* Motivation zur Wirkungsmessung bei Freiwilligenarbeit und Spenden: „einem geschenkten Gaul schaut man nicht in´s Maul“ …
Wirkungsmessung Prinz
Erfolg in NPO
7
• Zielansatz: Verwirklichung der Mission und Sachziele, Erhaltung Zahlungsfähigkeit (Andeßner)
• Systemansatz: Erfolg als Fähigkeit zur Systemerhaltung
• Erfolg ist keine „objektive“ Dimension in NPO – viele Stakeholder definieren ihren subjektiven Erfolg. Interessenspluralistischer Ansatz = Wahrung dieser Interessen
• Erfolg ist das Ergebnis eines Aushandlungsprozesses über ein gemeinsames Verständnis von Erfolg, letztlich ein Konstrukt (dominiert von Vorgaben der Geldgeber?), erschwert die Standardisierung der Erfolgsmessung
• Erfolg in Form von „Wirkungszielen“ zB in Leistungsverein- barungen festgelegen
Wirkungsmessung Prinz
Wirkungsorientierung Beispiel Verkehrspolitik
8
Handbuch Wirkungsorientierung, BMASK
Wirkungsmessung Prinz
Input-Output-Outcome orientierte Steuerung
9
Geldmittel
Personal
Produktions
-prozess
Dienstleistungen
Planung und Steuerung
über Menge, Qualität,
Preis
(Vereinbarung über Ziele
und Leistungsverträge)
INPUTOUTPUT
„Optimum“
„Optimum“Steuerung
Geldmittel
Personal
Produktions
-prozess
Dienstleistungen
Planung und Steuerung
über Menge, Qualität,
Preis
(Vereinbarung über Ziele
und Leistungsverträge)
INPUTOUTPUT
„Optimum“
„Optimum“Steuerung
OUTCOME
Wirkungsmessung Prinz 10
… sind erwünschte individuelle und/oder gesellschaftliche Zustände im Sinne einer Beibehaltung oder Veränderung der persönlichen oder gesellschaftlichen Situation.
Wirkungsziele werden entwickelt in Bezug auf:
o Zielgruppen oder Einzelpersonen
o das System Organisation und seine Umgebung,
o die Lebensqualität in all ihren Facetten heute und zukünftig
o die Nachhaltigkeit von Entwicklungen
Wirkungsziele
Wirkungsmessung Prinz 11
• Allgemeine Oberziele (zB Lebensqualität, Attraktivität,
Mobilität etc.) in Zielfelder aufteilen
• Jede Dienstleistung hinsichtlich beabsichtigter / vermuteter
Wirkung für Handlungsfeld / Zielgruppe hinterfragen
• Ermittelte Wirkung in Zielformulierung kleiden, in welcher
der erwünschte Zustand als erreicht beschrieben wird
(„alle BewohnerInnen sind satt“ )
Ziele steuerungsrelevant machen: Indikatoren oder Kennzahlen zur Zielformulierung hinzufügen. Festsetzen von Zielwerten. Messung der Istwerte.
Wirkungsziele am Beispiel Seniorenheim
Wirkungsmessung Prinz
Wirkungsziele und Messgrößen
12
Wirkungsmessung Prinz
Wirkungszielsystem
13
Wirkungsmessung Prinz
Exkurs: Ursache-Wirkung-Ziel-Prozess
14
„Integration von Menschen mit Behinderung in den Arbeits- markt“
Ishikawa-Diagramm
Erkannte maßgebliche Ursache wird zum bearbeitbaren Teilwirkungsziel (zB Positive Einstellung der Familie zur Intervention)
Welchen Beitrag leistet das Teilwirkungsziel zum Erreichen des Endergebnisses? -> Korrelation, Zielerreichungsgrad
Dem Teilwirkungsziel werden Tätigkeiten zugeordnet (zB Elterngespräche) Tätigkeiten werden zu (Teil)Prozessen verbunden
(zB Teilprozess „Umfeld des/r Klient/in“)
Wirkungsmessung Prinz
Wirkungsmodell – ein Beispiel
15
-> zB univation
Kein Standard-modell in Wissenschaft oder Praxis.
Im Folgenden Modell aus SROI-Kontext, da sehr verbreitet.
Wirkungsmessung Prinz
Wirkungsdimensionen
16
Outcome Gesellschaftliche Wirkungen und Nutzen, der von der NPO erstellten Güter und Dienstleistungen
Impact Subjektiv erlebte Wirkung bei Leistungsempfänger bzw. Stakeholder
Effect Unmittelbare, objektiv ersichtliche und nachweis-bare Wirkung für einzelne Stakeholder
Wirkungsmessung Prinz
Wirkungskette (logic model)
17 Verändert nach: Rauscher et alt. 2012, nach Beywl et alt. 2004
Wertstrom-analyse
(Wirkungs)Prozesskostenrechnung
Wirkungsmessung Prinz
Wirkungskette praktisch nef – „Impact Value Chain“
Input
Aktivitäten der Organisation (Wirkungs)Prozesse
Output
Deadweight Outcome Impact = -
Income (Zielgruppe)
Kontext
…in Tabellenform gebracht entsteht daraus die „impact map“ : Für jeden Stakeholder wird die Wirkungskette analysiert.
18
Wirkungsmessung Prinz
Beispiel einer Wirkungskette
19
Wirkungsmessung Prinz
Wirkungen messen
20
• Kennzahlen für quantitativ messbaren Output (Outcome). Verdichtet, quantifiziert, Auskunft über erfolgsrelevante Sachverhalte, unmittelbar messbar • Indikatoren für schwer/nicht messbare Wirkungen. Sachverhalt, der sich unmittelbarer Messung entzieht. zB Chancengerechtigkeit <- Schulabschlussquote
• Bei Schätzungen (proxies): zumindest auf empirische Forschungsergebnisse zurückgegriffen werden
Bewertung der Wirksamkeit braucht den Vergleich: • Vorher-Nachher-Vergleich • Vergleich mit einer Kontrollgruppe (with–without–Vergleich,
„counterfactual analysis“), Benchmark, Best Practice • Vorgabe Fördergeber / Auftrag (Zielerreichungsgrad messen)
Wirkungsmessung Prinz
Wirkungsindikatoren und Erfolgsmessung
21
Bestimmung von Wirkungs-indikatoren durch Aufgliederung in die Dimensionen Qualität Quantität, Leistung Ergebnis (Bettig et alt.)
Wirkungsmessung Prinz
22
Wirkungsmessung und Vereinbarung
Wirkungsmessung Prinz
Wirkungsmessung in NPO
Konkrete Formulierung von Wirkungszielen bzw. Wirkungsmessung oder Wirkungsindikatoren manchmal schwierig oder nicht möglich:
○ Multikausale Wirkungszusammenhänge ○ Externe, nicht kontrollierbare Einflussfaktoren ○ Sehr lange Zeiträume in Wirkungszusammenhängen ○ Sehr hoher Messaufwand (Kosten) ○ Methodische Herausforderungen etc.
=> Annäherung der Messung über: ○ Beschreibung der intendierten Wirkung ○ Wirkungshypothesen: Zusammenhang zwischen Leistungen (Outputindikatoren) und (vermuteter) Wirkung
○ Ursache-Wirkungsketten
○ Prozessorientierung
○ Ganzheitliches Denken (Probst/Gomez)
23
Wirkungsmessung Prinz
Wirkungsmessung in NPO 3 Typen von Messinstrumenten in NPO
University of St. Gallen 24
* Social Reporting Standard (SRS) * IOOI (Bertelsmannstiftung)
Wirkungsmessung Prinz
Wirkungsmessung in NPO P
hin
eo gA
G, K
PM
G, In
stitut fü
r den
öff. Sekto
r e.V., W
irkun
gsorien
tierte Steueru
ng in
NP
O, Stu
die 2
01
3
25
Wirkungsmessung Prinz
Wirkungen messen - Evaluation Wirkungsmessung oft in Form von Evaluationen.
* Kontrollorientierte Evaluation Ziele: Erfolgskontrolle (Messung und Überprüfung der Wirkungen). Überprüfung der Rechtmäßigkeit und der Wirtschaftlichkeit von Maßnahmen oder Programmen.
* Wirkungsorientierte Evaluation Berücksichtigt intendierte Wirkungen. Informationen für Planung der Programm-wirkungen (Wirkungsmodellierung), Wirksamkeit der Aktivitäten erkennen (Wirkungsfeststellung). Deckt nicht intendierte Wirkungen auf (Wirkungsidentifizierung). Ermöglicht Zielerreichungskontrolle. (W. Beywl nach univation 2005)
* Partizipative Evaluation zB KlientInnen als ausgebildete EvaluatorInnen in Maßnahme integriert (Bsp: atempo, Graz)
* Outcome-Monitoring Unterschied zu Evaluation: Dauerbeobachtung, Wirkungen regelmäßig erfasst. Organisationsintern durchgeführt.
26
Wirkungsmessung Prinz
Eingesetzte Verfahren zur Analyse und Messung von Wirkungen
27
Phineo gAG, KPMG, Institut für den öff. Sektor e.V., Wirkungsorientierte Steuerung in NPO, Studie 2013
(Mehrfachantworten in %, n = 83)
Wirkungsmessung Prinz
Soziale Diagnostik
28
Bei „Anamnese-/Income“ als auch an „Check-Points“ entlang der Wirkungsprozesskette einsetzbare Diagnoseinstrumente:
• Sichtdiagnosen, Kurzdiagnosen, Notationssysteme • Netzwerkdiagnostik • Biografische Diagnostik, Lebenslagendiagnostik • Klassifikationssysteme (ICD-10, DSM-IV, ICF, PIE) • Kooperative und Black-Box-Diagnostik • Interventionsassessement, Symptom- und Risikofaktorenlisten • Typenbildungen Sie stellen keine persönlichkeitsdiagnostischen Verfahren der Psychologie dar und sind personenzentriert (nicht Gemeinwesen bezogen) P. Pantucek, Soziale Diagnostik. Verfahren für die Praxis Sozialer Arbeit, Wien Köln Weimar 2012
Arbeitsmarktbezogene Diagnostik mittels integrachart ®: standardisierte Dokumentation der Anamnese-Ergebnisse, Fortschrittsvisualisierung und Analyse von Maßnahmenwirkungen T. Hausegger (HG.), Arbeitsmarktbezogene Diagnostik und Wirkungsorientierung, Wien Köln Weimar 2012
Wirkungsmessung Prinz
Sozialökonomische Verfahren der Wirkungsanalyse (Ökonomische Evaluation)
* Kosten-Wirksamkeits-Analyse (Kosten-Effektivitäts-Analyse): nicht-monetäre, messbare Wirkungskomponenten den Kosten gegenübergestellt (zB Kosten für die Senkung der Säuglingssterblichkeit um 10 %)
* Nutzwert-Analyse (cost-utility-analysis): Gewichtung und Bewertung nicht-monetärer Wirkungskomponenten nach relativer Bedeutsamkeit (zB Auswahl des besten alternativen Standortes)
* QUALY-Konzept: Restlebenserwartung mit Lebensqualitätseffekten in Beziehung gesetzt, Alternativen-Beurteilung (zB Lohnt sich eine Chemotherapie aus Sicht der Lebensqualität bereinigten Jahre?)
* Social-Return-on-Investment-Berechnung: Monetarisierte Wirkungen sozialer Dienstleistungen mit Investitionen verglichen, Ergebnis: (soziale) Wertschöpfung, Kennzahl
* Zahlungsbereitschaftsmessung („willingness to pay“): Aspekte von Lebens- qualität in Geldeinheiten messen, wie Handel auf Markt (zB Wie hoch wäre der maximal akzeptierte Preis für perfekte Sauberkeit im Wohnumfeld?)
29
Wirkungsmessung Prinz
Social Return on Investment (SROI)
Der SROI ist ein Konzept zur Messung des gesellschaftlichen Nutzens („Social Return“) von Investitionen.
Erfasst werden dabei • die Kosten, die der Gesellschaft für eine spezifische
Maßnahme entstehen sowie
• die gesellschaftlichen Erträge, die aus den Wirkungen entstehen und diese werden‐ soweit möglich ‐ finanziell bewertet
Der SROI stellt damit eine Weiterentwicklung der allgemeinen Kosten‐Nutzen‐Analysen oder gesundheitsökonomischen Analysen für den Sozialbereich dar.
30
Wirkungsmessung Prinz
SROI - Berechnungsformel
(Gesellschaftliche) Erträge (Rückflüsse an / Ersparnisse für öffentliche Hand)
SROI = Investitionen in Projekt
Mittels der Discounted Cash Flow (DCF) Methode werden die Beträge einem (aktuellen Betrachtungs-)Zeitpunkt zugezinst.
31
Wirkungsmessung Prinz
SROI-Modelle
• REDF-Methode (Roberts Enterprise Development Fund):
Ursprung 90er Jahren, USA. Investitionen in Obdachlosen-Projekte. Soziale, ökonomische und sozio-ökonomische Wirkungen Keine Stakeholderanalyse
• nef-Modell (new economics foundations):
Weiterentwicklung des REDF-Modelles. Großbritannien. Berechnet Wirkungen gegliedert nach Stakeholdern
• xit-SROI (Schellberg-Methode):
5-stufige SROI-Berechnung mit Stakeholder-Differenzierung. Nicht nur Berechnung einer („Spitzen“)Kennzahl. Berücksichtigt zB regionalökonomische Wirkungen
32
Wirkungsmessung Prinz
Stakeholder und impact map
33
Gesellschaft, Politik, Öffentliche Hand, Fördergeber, Auftraggeber, KlientInnen, MitarbeiterInnen, Lieferanten, Mitbewerber, Mitglieder, Kooperationspartner, Medien… -> Interessensvielfalt und -kollision
Stakeholder-Analyse und Abgleich der strategischen Ziele der Organisation mit den Zielen/Interessen/ Vorgaben der Key-Stakeholder -> „impact map“
Größte Aufmerksamkeit jenen Stakeholdern, die den Handlungsspiel-raum der NPO abdecken: Leistungsempfänger, Träger, Financiers…
Wirkungsmessung Prinz
34
Impact Map – „thesroinetwork“ I
34
Wirkungsmessung Prinz
Impact Map – „thesroinetwork“ II
Welche anderen Maßnahmen haben wir verdrängt/ersetzt?
Was wäre ohne unsere Maßnahme geschehen?
Wer hat noch zur Wirkung beigetragen?
Lässt die Wirkung im Zeitablauf nach?
= Outcome minus deadweight, displacement, attribution und drop off
35
Wirkungsmessung Prinz
Auszug aus einer „Impact Map“ Projekt „enterprise“ (Unternehmensgründung durch MmB)
36
Wirkungsmessung Prinz
Potenzial des SROI
• Bindet Stakeholder-Sichtweise mit ein
• Hilft das eigene Geschäftsmodell besser zu verstehen
• Hilft Ziele und Wirkungsweisen festzulegen und zu verstehen
• Legitimation für Tätigkeiten von NPO (gesellschaftliche Rendite) in „ökonomischer“ Sprache
• Entscheidungshilfe für Investoren zwischen verschiedenen Projekten bzw. Organisationen
• Brücke zwischen NPO-Sektor und CSR erwerbswirt-schaftlicher Unternehmen
37
Wirkungsmessung Prinz
Hindernisse und Grenzen des SROI
• SROI-Wert ersetzt Vertrauen und politische Zielvorgaben
• Vergleichbarkeit zwischen SROI-Ansätzen sehr eingeschränkt. (Noch) keine Standardisierung.
• Prognoserechnungen durch Annahmen stark beeinflussbar
• Bei schlecht skalierbaren Projekten (zB kleine Zielgruppe) und Projekten, die einen indirekten, langfristigen Nutzen erbringen ist der SROI-Wert tendenziell niedrig
• Ethische Grenzen: SROI im Pflegeheim? Ermessen eines Schadens (bzw. dessen Vermeidung) durch Missbrauch? …
• Konzentration auf ein finanzielles Ergebnis => qualitative Faktoren wie Lebensqualität, Ansehen etc. in Geld bewertet
38
Wirkungsmessung Prinz
Blitzlicht in Praxis und Lehre
39
Kinder- und Jugendhilfe: Jugendwohlfahrt und einzelne soziale Organisationen
arbeiten an sozialer Diagnostik bzw. Wirkungsmodellen. Definierte Hilfe-
prozesse (Richtlinien). Kein konzertiertes Vorgehen, anwendungs- und
einzelfallorientierte Methoden. Fehlendes wissenschaftliches Fundament.
Vereinzelt Nachhaltigkeitsansätze: Wo stehen KlientInnen 10 Jahre nach
Maßnahmenende?
Bereich Menschen mit Behinderung: Arbeitsgruppen Wirkungsmonitoring/-
evaluation. zB Diagnostik in Organisation: Tagebuch führen, Betriebsklima…
Arbeitsmarktbezogene Maßnahmen: Vermittlungsquote. Entwicklung von
Wirkungskennzahlen. Regelmäßige online-Befragungen. Nachhaltigkeits-
prüfungen: nach 6 Monaten noch im Job …
Lehrveranstaltung Performance Measurement im SGI: Fallstudie
Seniorenzentrum: Auf vier Ebenen (Ressourcen, Leistungsziele, Prozesse,
Wirkungsziele) kritisch Kennzahlen / Indikatoren sowie Wirkungskette mit
Ursache-Wirkungs-Gefüge erarbeiten
Wirkungsmessung Prinz
Beispiel Hilfeplanverfahren Jugendamt Stadt Hessen
40
Wirkungsmessung Prinz
Conclusio und Ausblick • Es gibt noch viel zu tun in Wissenschaft und Praxis! Komplexität in der
Sozialwirtschaft als Herausforderung sehen und Wirkungs(messung)modelle weiter entwickeln
• Soziale Diagnostik: Entwicklung wissenschaftlich fundierter Standards und in Wirkungsmodelle integrieren
• Prozessorientierung forcieren (Wirkungsprozessketten). Quasi-experimentelle Fallstudie als Forschungsprojekt der FH OÖ in Planung
• Wertstromanalyse (Wertstromdesign), Prozesswertanalyse mit funktions-orientierter Prozesskostenrechnung in Wirkungsorientierung „übersetzen“
• Kooperativ standardisierte wissenschaftlich fundierte Modelle entwickeln (Stichwort: Normkostenmodell)
• Netzwerkarbeit der sozialen Organisationen: Austausch, Benchmark… • Verstärkte Verzahnung von sozialer Praxis und wissenschaftlicher Forschung:
PraktikerInnen arbeiten mit wissenschaftlich fundierten Methoden und Studierende bringen Theorie anwendungsorientiert in die Organisationen (Praktika, Bachelor-, Masterarbeiten, Studierendenprojekte)
• Wirkungsmessung als Thema im NPO-ControllerInnen-Netzwerk und in der Arbeitstelle NPO-Controlling/SROI der KU Eichstätt-Ingolstadt
Lesetipps: Kursbuch Wirkung (phineo gAG) und Strategien wirksam umsetzen (E. Bauer)