Tue Gutes und lass andere darüber reden –
Evaluation20. Workshop für Forscherberaterinnen
und Forscherberater EURAXESS Deutschland
21. Mai 2014
Dr. Johannes DinglerWelcome CenterUniversität KonstanzTel: 07531 [email protected]/Welcome
Definition Evaluation• Begriff Evaluation: vom lateinischen Wort „valor“, d.h. Wert, und der Vorsilbe
e/ex, d.h. aus. Zusammen: 'einen Wert aus etwas ziehen (Reinhard Stockmann)
• Allgemein: Bewertung, Beurteilung von Projekten, Prozessen und Organisationseinheiten.
• Die grundsätzliche Untersuchung, ob und inwieweit etwas geeignet erscheint, einen angestrebten Zweck zu erfüllen (Wikipedia).
• Evaluation dient der rückblickenden Wirkungskontrolle, der vorausschauenden Steuerung und dem Verständnis von Situationen und Prozessen (Wikipedia).
• Anhand der Evaluationsdaten können untersuchte Prozesse angepasst und optimiert werden (Wikipedia).
• Evaluation ist die systematische und zielgerichtete Sammlung, Analyse und Bewertung von Daten zur Qualitätssicherung und Qualitätskontrolle (evaluationsnetz.com).
Methoden der EvaluationPrinzipiell: angewandte Sozialforschung: Nutzen für die „Praxis“ im Vordergrund
•Beobachtung/Expertenteilnahme
•Fragebogen
•Interview
•Fallstudie
•Experiment
•Sekundäranalysen vorhandener Materialien
•Qualitative Methoden
•Quantitative Methoden (Statistische Methoden)
Evaluation in Welcome Centern
• Information über Stärken und Schwächen
• Standardkontrolle
• Einheitliches Serviceniveau
• Neue Services
• Legitimation, Selbstdarstellung
• Qualitätsmanagement
• Qualitätsentwicklung
Qualitätsmanagement zentraler Grund für Evaluation
Welcome Center Universität Konstanz
• Ca. 300 Fälle pro Jahr• Ca. 240 Personen in Konstanz in Betreuung• Ca. 80 Personen nach Konstanz kommend• Umfassender Service in Zeit und Umfang• 5 MitarbeiterInnen• Vollerhebung in Evaluation
Qualitätsmanagement und Evaluation
• Strukturelle Integration beim Aufbau• Definierte Prozesse und Workflows• Definiertes Qualitätsniveau• Einheitliche Standards• Gleiche Behandlung unabhängig von
BearbeiterIn• Regelmäßige Statistik (Quartal)
Qualitätsmanagementzyklus
Qualitätsmanagementzyklus Bedürfnisse der Forschenden und ihrer Familien
Definition von Aufgaben
Definition von Standards und Serviceniveaus
Definition von Workflows und Prozessabläufen
Implementierung
Dokumentation
Evaluation
Neue AufgabenFeedbackschleifeBeschwerde- management
Qualitätsmanagementinstrumente
Qualitätsmanagement
Welcome Center
De
finitio
n v
on
Sta
nd
ards
Do
ku
me
ntatio
n
Sta
nd
ard
ko
ntro
lle
Zu
friede
nh
eits
be
frag
un
g
Ab
sch
luss
ge
sprä
ch
Qualitätsmanagementinstrumente
Qualitätsmanagement
Welcome Center
De
finitio
n v
on
Sta
nd
ards
Do
ku
me
ntatio
n
Sta
nd
ard
ko
ntro
lle
Zu
friede
nh
eits
be
frag
un
g
Ab
sch
luss
ge
sprä
ch
Besch
werd
eman
agem
ent
Dokumentation
• Instrument: Datenbank• Erinnerungsfunktion für eigene Fälle• Fallrekonstruktion für andere MitarbeiterInnen• Statistik• Qualitätsmanagement:
Ist-Soll-Vergleich
Standardkontrolle
• 6 Wochen nach Ankunft
• Beurteilung aller Fälle: Vollerhebung
• Selbsteinschätzung
• Jede(r) BetreuerIn schätzt eigene Fälle selbst ein
• Reflektion über die Qualität der Arbeit
• Einschätzung zu strukturellen Schwächen
• Feedback und strukturelle Rückkoppelung
Zufriedensheitsbefragung
• Online Befragung
• Vollerhebung
• 6 Wochen nach Ankunft
• Über Software EvaSys
• Voll anonymisiert: Zusendung eines Links per E-Mail
• Automatische Auswertung per Software
• Meist ca. 40% Rücklauf
• Bias??
Beschwerdemanagement• Instrument zum Qualitätsmanagement und zur
Evaluation: Beschwerden sind Chancen• Noch nicht voll implementiert• Beschwerdemanagementprozess:
– Beschwerden erhalten– angemessen bearbeiten– auswerten: Analyse und Offenlegung von Fehlern– angemessene Lösung suchen– daraus lernen: Feedback und Lernprozess
• Schutz der individuellen MitarbeiterInnen• Suche nach strukturellen Ursachen
Strukturelle Anpassung
Abschlussgespräch
• Findet für jede Person statt
• Kein weiterer Fragebogen
• Leitfragenorientiert
• Im Gespräch eingeflochten
• Anschließende Dokumentation und Auswertung
• Rückbezug in Strukturanpassungsprozess
Leitfragen• Did you like your stay in Konstanz?
• How useful do you consider the services of the Welcome Center?
• How did you experience the quality of the services of the Welcome Center?
• Which services did you mainly use?
• Which services do you consider the three most important services offered by the Welcome Center?
• Which services did you miss in the range of services of the Welcome Center?
• What do you suggest in order to improve our services?
• Do you have any other comments?
Fazit
• Qualitätsmanagement und Evaluation als integraler struktureller Bestandteil
• Systematisierte Instrumente
• Mix von Instrumenten
• Aufwand überschaubar
• Großer Nutzen für– Außendarstellung, Selbstvermarktung, Legitimation– Analyse und Verbesserung der eigenen Prozesse
Vielen Dank!!
Dr. Johannes DinglerWelcome CenterTel: 07531 [email protected]/Welcome