wirkungsmessung im performance measurement · 2015-06-01 · soziale diagnostik 28 ei...

Wirkungsmessung Prinz

Prof. (FH) Mag. Dr. Thomas Prinz

Fakultät für Gesundheit und Soziales

Fachhochschule Oberösterreich Campus Linz

Wirkungsmessung im Performance Measurement

Forum Sozialmanagement Linz 7. Februar 2014

1

Wirkungsmessung Prinz

Ausgangssituation

Performance Measurement

Erfolg in NPO

Wirkungsorientierung

Wirkungsmodelle

Wirkungsmessung

Beispiele

Conclusio und Ausblick

Überblick

2

Wirkungsmessung Prinz

Ausgangssituation

3

• Druck auf die Budgets der NPO steigt weiter

• Rückzug bzw. Kürzungen der Förderungen durch die öffentliche Hand

• Unterschiedliche Stakeholder-Interessen

• Rechtfertigungsdruck: Mehr Offenheit und Transparenz hinsichtlich der Mittelverwendung gefordert

• Effektivere und effizientere Steuerung notwendig

Wirkungsmessung Prinz

Performance Measurement und Wirkungsmessung

4

• Performance Measurement: Multikriterielle Kennzahlenzusammenstellung für diagnose- als auch steuerungs- und reporting-bezogene Zwecke (Greiling)

• Wirkungen: Ergebnisse von Leistungen, Ressourcen, Logische Kette: Ressourceneinsatz (input) - gesellschaftlicher Nutzen (outcome) - subjektiv erlebte Wirkung (impact)

• Wirkungsmessung: Nachweis, welche Wirkungen eine Intervention/Maßnahme erzielt

• Ergebnisse der Wirkungsmessung in Form von Kennzahlen, Indikatoren, Korrelationen (Zielerreichungsgrad) etc. Im Performance Measurement/ Management integrierbar

Wirkungsmessung Prinz

Gesellschaftliche Wirkungen/Wirksamkeit

5

• Wirkung = Integration in die Gesellschaft (Schellberg)

• Personenbezogene und soziale Wertschöpfung und Rendite = Gewinn an Lebensqualität und an Humanvermögen (Wendt)

• Wirksamkeit verlangt verbindliche Festlegung operationalisierter Ziele und Maßnahmen. Interessensdurchsetzung: Keine ökonomische, sondern eine politische Frage (Finis-Siegler)

• Erreichen der Wirkung hängt ab von:

* Intervention und

* Lebensumständen der Leistungsempfänger (Bettig et alt.)

Wirkungsmessung Prinz

Wirkungsmessung Warum sie nicht funktionieren kann

6

• Methodologische Defizite: Kausalität zwischen Tätigkeit und Wirkung. Ausschluss anderer Wirkfaktoren. Keine Methodik bildet alle Ebenen sozialer Wirkung ab

• Divergierende Definitionen von Outcome und Impact

• Konflikte der Stakeholder-Interessen

• Wirkung durch Leistungsempfänger selbst mitbestimmt

• Prozesse schwer standardisierbar, weil Leistungsempfänger den Verlauf mit entscheiden

• Externe Wirkungen: Entwicklungs- und Reifeprozesse (bei Kindern und Erwachsenen, Persönlichkeits- oder Situations- merkmale (Attributionsproblem)

* Motivation zur Wirkungsmessung bei Freiwilligenarbeit und Spenden: „einem geschenkten Gaul schaut man nicht in´s Maul“ …

Wirkungsmessung Prinz

Erfolg in NPO

7

• Zielansatz: Verwirklichung der Mission und Sachziele, Erhaltung Zahlungsfähigkeit (Andeßner)

• Systemansatz: Erfolg als Fähigkeit zur Systemerhaltung

• Erfolg ist keine „objektive“ Dimension in NPO – viele Stakeholder definieren ihren subjektiven Erfolg. Interessenspluralistischer Ansatz = Wahrung dieser Interessen

• Erfolg ist das Ergebnis eines Aushandlungsprozesses über ein gemeinsames Verständnis von Erfolg, letztlich ein Konstrukt (dominiert von Vorgaben der Geldgeber?), erschwert die Standardisierung der Erfolgsmessung

• Erfolg in Form von „Wirkungszielen“ zB in Leistungsverein- barungen festgelegen

Wirkungsmessung Prinz

Wirkungsorientierung Beispiel Verkehrspolitik

8

Handbuch Wirkungsorientierung, BMASK

Wirkungsmessung Prinz

Input-Output-Outcome orientierte Steuerung

9

Geldmittel

Personal

Produktions

-prozess

Dienstleistungen

Planung und Steuerung

über Menge, Qualität,

Preis

(Vereinbarung über Ziele

und Leistungsverträge)

INPUTOUTPUT

„Optimum“

„Optimum“Steuerung

Geldmittel

Personal

Produktions

-prozess

Dienstleistungen

Planung und Steuerung

über Menge, Qualität,

Preis

(Vereinbarung über Ziele

und Leistungsverträge)

INPUTOUTPUT

„Optimum“

„Optimum“Steuerung

OUTCOME

Wirkungsmessung Prinz 10

… sind erwünschte individuelle und/oder gesellschaftliche Zustände im Sinne einer Beibehaltung oder Veränderung der persönlichen oder gesellschaftlichen Situation.

Wirkungsziele werden entwickelt in Bezug auf:

o Zielgruppen oder Einzelpersonen

o das System Organisation und seine Umgebung,

o die Lebensqualität in all ihren Facetten heute und zukünftig

o die Nachhaltigkeit von Entwicklungen

Wirkungsziele

Wirkungsmessung Prinz 11

• Allgemeine Oberziele (zB Lebensqualität, Attraktivität,

Mobilität etc.) in Zielfelder aufteilen

• Jede Dienstleistung hinsichtlich beabsichtigter / vermuteter

Wirkung für Handlungsfeld / Zielgruppe hinterfragen

• Ermittelte Wirkung in Zielformulierung kleiden, in welcher

der erwünschte Zustand als erreicht beschrieben wird

(„alle BewohnerInnen sind satt“ )

Ziele steuerungsrelevant machen: Indikatoren oder Kennzahlen zur Zielformulierung hinzufügen. Festsetzen von Zielwerten. Messung der Istwerte.

Wirkungsziele am Beispiel Seniorenheim

Wirkungsmessung Prinz

Wirkungsziele und Messgrößen

12

Wirkungsmessung Prinz

Wirkungszielsystem

13

Wirkungsmessung Prinz

Exkurs: Ursache-Wirkung-Ziel-Prozess

14

„Integration von Menschen mit Behinderung in den Arbeits- markt“

Ishikawa-Diagramm

Erkannte maßgebliche Ursache wird zum bearbeitbaren Teilwirkungsziel (zB Positive Einstellung der Familie zur Intervention)

Welchen Beitrag leistet das Teilwirkungsziel zum Erreichen des Endergebnisses? -> Korrelation, Zielerreichungsgrad

Dem Teilwirkungsziel werden Tätigkeiten zugeordnet (zB Elterngespräche) Tätigkeiten werden zu (Teil)Prozessen verbunden

(zB Teilprozess „Umfeld des/r Klient/in“)

Wirkungsmessung Prinz

Wirkungsmodell – ein Beispiel

15

-> zB univation

Kein Standard-modell in Wissenschaft oder Praxis.

Im Folgenden Modell aus SROI-Kontext, da sehr verbreitet.

Wirkungsmessung Prinz

Wirkungsdimensionen

16

Outcome Gesellschaftliche Wirkungen und Nutzen, der von der NPO erstellten Güter und Dienstleistungen

Impact Subjektiv erlebte Wirkung bei Leistungsempfänger bzw. Stakeholder

Effect Unmittelbare, objektiv ersichtliche und nachweis-bare Wirkung für einzelne Stakeholder

Wirkungsmessung Prinz

Wirkungskette (logic model)

17 Verändert nach: Rauscher et alt. 2012, nach Beywl et alt. 2004

Wertstrom-analyse

(Wirkungs)Prozesskostenrechnung

Wirkungsmessung Prinz

Wirkungskette praktisch nef – „Impact Value Chain“

Input

Aktivitäten der Organisation (Wirkungs)Prozesse

Output

Deadweight Outcome Impact = -

Income (Zielgruppe)

Kontext

…in Tabellenform gebracht entsteht daraus die „impact map“ : Für jeden Stakeholder wird die Wirkungskette analysiert.

18

Wirkungsmessung Prinz

Beispiel einer Wirkungskette

19

Wirkungsmessung Prinz

Wirkungen messen

20

• Kennzahlen für quantitativ messbaren Output (Outcome). Verdichtet, quantifiziert, Auskunft über erfolgsrelevante Sachverhalte, unmittelbar messbar • Indikatoren für schwer/nicht messbare Wirkungen. Sachverhalt, der sich unmittelbarer Messung entzieht. zB Chancengerechtigkeit <- Schulabschlussquote

• Bei Schätzungen (proxies): zumindest auf empirische Forschungsergebnisse zurückgegriffen werden

Bewertung der Wirksamkeit braucht den Vergleich: • Vorher-Nachher-Vergleich • Vergleich mit einer Kontrollgruppe (with–without–Vergleich,

„counterfactual analysis“), Benchmark, Best Practice • Vorgabe Fördergeber / Auftrag (Zielerreichungsgrad messen)

Wirkungsmessung Prinz

Wirkungsindikatoren und Erfolgsmessung

21

Bestimmung von Wirkungs-indikatoren durch Aufgliederung in die Dimensionen Qualität Quantität, Leistung Ergebnis (Bettig et alt.)

Wirkungsmessung Prinz

22

Wirkungsmessung und Vereinbarung

Wirkungsmessung Prinz

Wirkungsmessung in NPO

Konkrete Formulierung von Wirkungszielen bzw. Wirkungsmessung oder Wirkungsindikatoren manchmal schwierig oder nicht möglich:

○ Multikausale Wirkungszusammenhänge ○ Externe, nicht kontrollierbare Einflussfaktoren ○ Sehr lange Zeiträume in Wirkungszusammenhängen ○ Sehr hoher Messaufwand (Kosten) ○ Methodische Herausforderungen etc.

=> Annäherung der Messung über: ○ Beschreibung der intendierten Wirkung ○ Wirkungshypothesen: Zusammenhang zwischen Leistungen (Outputindikatoren) und (vermuteter) Wirkung

○ Ursache-Wirkungsketten

○ Prozessorientierung

○ Ganzheitliches Denken (Probst/Gomez)

23

Wirkungsmessung Prinz

Wirkungsmessung in NPO 3 Typen von Messinstrumenten in NPO

University of St. Gallen 24

* Social Reporting Standard (SRS) * IOOI (Bertelsmannstiftung)

Wirkungsmessung Prinz

Wirkungsmessung in NPO P

hin

eo gA

G, K

PM

G, In

stitut fü

r den

öff. Sekto

r e.V., W

irkun

gsorien

tierte Steueru

ng in

NP

O, Stu

die 2

01

3

25

Wirkungsmessung Prinz

Wirkungen messen - Evaluation Wirkungsmessung oft in Form von Evaluationen.

* Kontrollorientierte Evaluation Ziele: Erfolgskontrolle (Messung und Überprüfung der Wirkungen). Überprüfung der Rechtmäßigkeit und der Wirtschaftlichkeit von Maßnahmen oder Programmen.

* Wirkungsorientierte Evaluation Berücksichtigt intendierte Wirkungen. Informationen für Planung der Programm-wirkungen (Wirkungsmodellierung), Wirksamkeit der Aktivitäten erkennen (Wirkungsfeststellung). Deckt nicht intendierte Wirkungen auf (Wirkungsidentifizierung). Ermöglicht Zielerreichungskontrolle. (W. Beywl nach univation 2005)

* Partizipative Evaluation zB KlientInnen als ausgebildete EvaluatorInnen in Maßnahme integriert (Bsp: atempo, Graz)

* Outcome-Monitoring Unterschied zu Evaluation: Dauerbeobachtung, Wirkungen regelmäßig erfasst. Organisationsintern durchgeführt.

26

Wirkungsmessung Prinz

Eingesetzte Verfahren zur Analyse und Messung von Wirkungen

27

Phineo gAG, KPMG, Institut für den öff. Sektor e.V., Wirkungsorientierte Steuerung in NPO, Studie 2013

(Mehrfachantworten in %, n = 83)

Wirkungsmessung Prinz

Soziale Diagnostik

28

Bei „Anamnese-/Income“ als auch an „Check-Points“ entlang der Wirkungsprozesskette einsetzbare Diagnoseinstrumente:

• Sichtdiagnosen, Kurzdiagnosen, Notationssysteme • Netzwerkdiagnostik • Biografische Diagnostik, Lebenslagendiagnostik • Klassifikationssysteme (ICD-10, DSM-IV, ICF, PIE) • Kooperative und Black-Box-Diagnostik • Interventionsassessement, Symptom- und Risikofaktorenlisten • Typenbildungen Sie stellen keine persönlichkeitsdiagnostischen Verfahren der Psychologie dar und sind personenzentriert (nicht Gemeinwesen bezogen) P. Pantucek, Soziale Diagnostik. Verfahren für die Praxis Sozialer Arbeit, Wien Köln Weimar 2012

Arbeitsmarktbezogene Diagnostik mittels integrachart ®: standardisierte Dokumentation der Anamnese-Ergebnisse, Fortschrittsvisualisierung und Analyse von Maßnahmenwirkungen T. Hausegger (HG.), Arbeitsmarktbezogene Diagnostik und Wirkungsorientierung, Wien Köln Weimar 2012

Wirkungsmessung Prinz

Sozialökonomische Verfahren der Wirkungsanalyse (Ökonomische Evaluation)

* Kosten-Wirksamkeits-Analyse (Kosten-Effektivitäts-Analyse): nicht-monetäre, messbare Wirkungskomponenten den Kosten gegenübergestellt (zB Kosten für die Senkung der Säuglingssterblichkeit um 10 %)

* Nutzwert-Analyse (cost-utility-analysis): Gewichtung und Bewertung nicht-monetärer Wirkungskomponenten nach relativer Bedeutsamkeit (zB Auswahl des besten alternativen Standortes)

* QUALY-Konzept: Restlebenserwartung mit Lebensqualitätseffekten in Beziehung gesetzt, Alternativen-Beurteilung (zB Lohnt sich eine Chemotherapie aus Sicht der Lebensqualität bereinigten Jahre?)

* Social-Return-on-Investment-Berechnung: Monetarisierte Wirkungen sozialer Dienstleistungen mit Investitionen verglichen, Ergebnis: (soziale) Wertschöpfung, Kennzahl

* Zahlungsbereitschaftsmessung („willingness to pay“): Aspekte von Lebens- qualität in Geldeinheiten messen, wie Handel auf Markt (zB Wie hoch wäre der maximal akzeptierte Preis für perfekte Sauberkeit im Wohnumfeld?)

29

Wirkungsmessung Prinz

Social Return on Investment (SROI)

Der SROI ist ein Konzept zur Messung des gesellschaftlichen Nutzens („Social Return“) von Investitionen.

Erfasst werden dabei • die Kosten, die der Gesellschaft für eine spezifische

Maßnahme entstehen sowie

• die gesellschaftlichen Erträge, die aus den Wirkungen entstehen und diese werden‐ soweit möglich ‐ finanziell bewertet

Der SROI stellt damit eine Weiterentwicklung der allgemeinen Kosten‐Nutzen‐Analysen oder gesundheitsökonomischen Analysen für den Sozialbereich dar.

30

Wirkungsmessung Prinz

SROI - Berechnungsformel

(Gesellschaftliche) Erträge (Rückflüsse an / Ersparnisse für öffentliche Hand)

SROI = Investitionen in Projekt

Mittels der Discounted Cash Flow (DCF) Methode werden die Beträge einem (aktuellen Betrachtungs-)Zeitpunkt zugezinst.

31

Wirkungsmessung Prinz

SROI-Modelle

• REDF-Methode (Roberts Enterprise Development Fund):

Ursprung 90er Jahren, USA. Investitionen in Obdachlosen-Projekte. Soziale, ökonomische und sozio-ökonomische Wirkungen Keine Stakeholderanalyse

• nef-Modell (new economics foundations):

Weiterentwicklung des REDF-Modelles. Großbritannien. Berechnet Wirkungen gegliedert nach Stakeholdern

• xit-SROI (Schellberg-Methode):

5-stufige SROI-Berechnung mit Stakeholder-Differenzierung. Nicht nur Berechnung einer („Spitzen“)Kennzahl. Berücksichtigt zB regionalökonomische Wirkungen

32

Wirkungsmessung Prinz

Stakeholder und impact map

33

Gesellschaft, Politik, Öffentliche Hand, Fördergeber, Auftraggeber, KlientInnen, MitarbeiterInnen, Lieferanten, Mitbewerber, Mitglieder, Kooperationspartner, Medien… -> Interessensvielfalt und -kollision

Stakeholder-Analyse und Abgleich der strategischen Ziele der Organisation mit den Zielen/Interessen/ Vorgaben der Key-Stakeholder -> „impact map“

Größte Aufmerksamkeit jenen Stakeholdern, die den Handlungsspiel-raum der NPO abdecken: Leistungsempfänger, Träger, Financiers…

Wirkungsmessung Prinz

34

Impact Map – „thesroinetwork“ I

34

Wirkungsmessung Prinz

Impact Map – „thesroinetwork“ II

Welche anderen Maßnahmen haben wir verdrängt/ersetzt?

Was wäre ohne unsere Maßnahme geschehen?

Wer hat noch zur Wirkung beigetragen?

Lässt die Wirkung im Zeitablauf nach?

= Outcome minus deadweight, displacement, attribution und drop off

35

Wirkungsmessung Prinz

Auszug aus einer „Impact Map“ Projekt „enterprise“ (Unternehmensgründung durch MmB)

36

Wirkungsmessung Prinz

Potenzial des SROI

• Bindet Stakeholder-Sichtweise mit ein

• Hilft das eigene Geschäftsmodell besser zu verstehen

• Hilft Ziele und Wirkungsweisen festzulegen und zu verstehen

• Legitimation für Tätigkeiten von NPO (gesellschaftliche Rendite) in „ökonomischer“ Sprache

• Entscheidungshilfe für Investoren zwischen verschiedenen Projekten bzw. Organisationen

• Brücke zwischen NPO-Sektor und CSR erwerbswirt-schaftlicher Unternehmen

37

Wirkungsmessung Prinz

Hindernisse und Grenzen des SROI

• SROI-Wert ersetzt Vertrauen und politische Zielvorgaben

• Vergleichbarkeit zwischen SROI-Ansätzen sehr eingeschränkt. (Noch) keine Standardisierung.

• Prognoserechnungen durch Annahmen stark beeinflussbar

• Bei schlecht skalierbaren Projekten (zB kleine Zielgruppe) und Projekten, die einen indirekten, langfristigen Nutzen erbringen ist der SROI-Wert tendenziell niedrig

• Ethische Grenzen: SROI im Pflegeheim? Ermessen eines Schadens (bzw. dessen Vermeidung) durch Missbrauch? …

• Konzentration auf ein finanzielles Ergebnis => qualitative Faktoren wie Lebensqualität, Ansehen etc. in Geld bewertet

38

Wirkungsmessung Prinz

Blitzlicht in Praxis und Lehre

39

Kinder- und Jugendhilfe: Jugendwohlfahrt und einzelne soziale Organisationen

arbeiten an sozialer Diagnostik bzw. Wirkungsmodellen. Definierte Hilfe-

prozesse (Richtlinien). Kein konzertiertes Vorgehen, anwendungs- und

einzelfallorientierte Methoden. Fehlendes wissenschaftliches Fundament.

Vereinzelt Nachhaltigkeitsansätze: Wo stehen KlientInnen 10 Jahre nach

Maßnahmenende?

Bereich Menschen mit Behinderung: Arbeitsgruppen Wirkungsmonitoring/-

evaluation. zB Diagnostik in Organisation: Tagebuch führen, Betriebsklima…

Arbeitsmarktbezogene Maßnahmen: Vermittlungsquote. Entwicklung von

Wirkungskennzahlen. Regelmäßige online-Befragungen. Nachhaltigkeits-

prüfungen: nach 6 Monaten noch im Job …

Lehrveranstaltung Performance Measurement im SGI: Fallstudie

Seniorenzentrum: Auf vier Ebenen (Ressourcen, Leistungsziele, Prozesse,

Wirkungsziele) kritisch Kennzahlen / Indikatoren sowie Wirkungskette mit

Ursache-Wirkungs-Gefüge erarbeiten

Wirkungsmessung Prinz

Beispiel Hilfeplanverfahren Jugendamt Stadt Hessen

40

Wirkungsmessung Prinz

Conclusio und Ausblick • Es gibt noch viel zu tun in Wissenschaft und Praxis! Komplexität in der

Sozialwirtschaft als Herausforderung sehen und Wirkungs(messung)modelle weiter entwickeln

• Soziale Diagnostik: Entwicklung wissenschaftlich fundierter Standards und in Wirkungsmodelle integrieren

• Prozessorientierung forcieren (Wirkungsprozessketten). Quasi-experimentelle Fallstudie als Forschungsprojekt der FH OÖ in Planung

• Wertstromanalyse (Wertstromdesign), Prozesswertanalyse mit funktions-orientierter Prozesskostenrechnung in Wirkungsorientierung „übersetzen“

• Kooperativ standardisierte wissenschaftlich fundierte Modelle entwickeln (Stichwort: Normkostenmodell)

• Netzwerkarbeit der sozialen Organisationen: Austausch, Benchmark… • Verstärkte Verzahnung von sozialer Praxis und wissenschaftlicher Forschung:

PraktikerInnen arbeiten mit wissenschaftlich fundierten Methoden und Studierende bringen Theorie anwendungsorientiert in die Organisationen (Praktika, Bachelor-, Masterarbeiten, Studierendenprojekte)

• Wirkungsmessung als Thema im NPO-ControllerInnen-Netzwerk und in der Arbeitstelle NPO-Controlling/SROI der KU Eichstätt-Ingolstadt

Lesetipps: Kursbuch Wirkung (phineo gAG) und Strategien wirksam umsetzen (E. Bauer)