ist die wirkung von präventionsmassnahmen messbar? beat burri, link institut ruedi kaufmann, suva
TRANSCRIPT
Ist die Wirkung von Präventionsmassnahmen messbar?
Beat Burri, LINK InstitutRuedi Kaufmann, Suva
Agenda
1 Einleitung
2 Präventionsarbeit der Suva "Vision 250 Leben"
3 Ausgangslage / Idee
4 Wirkungsmodell der Suva
5 Aufbau und Betrieb des Präventionspanels
6 Erkenntnisse für die Suva, Ausblick
Vision "250 Leben"
Vision "250 Leben"
Mit dem Präventionsprogramm «Vision 250 Leben» hat sich die Suva zum Ziel gesetzt, innerhalb von zehn Jahren 250 Berufsunfälle mit Todesfolge und ebenso viele schwere Invaliditätsfälle zu verhindern. Dazu muss die jährliche Anzahl schwerer Unfälle mehr als halbiert werden.
Tödliche Berufsunfälle pro Jahr
Todesfälle BUV, 2000-2020Quelle: SSUV
Vision "250 Leben"Lebenswichtige RegelnIm Zentrum der «Vision 250 Leben» stehen die "Lebenswichtigen Regeln". Diese werden für alle Branchen und Tätigkeiten mit hohen Risiken erarbeitet. Beim Einhalten gilt Null-Toleranz. Wird eine lebenswichtige Regel verletzt, heisst es: STOPP, die Arbeiten einstellen und die gefährliche Situation beseitigen.
Schutz vor AsbestAuch im Zusammenhang mit Asbest sterben jedes Jahr etwa 100 Personen. Obwohl seit 1990 ein Asbestverbot gilt, stösst man bei Abbruch, Umbau- oder Renovationsarbeiten noch vielerorts auf asbesthaltige Werkstoffe. Hier setzt das Präventionsprogramm "Asbest" an. Es gilt, Arbeitnehmende vor freigesetzten Asbestfasern zu schützen.
Schwerpunkte der PräventionIm Rahmen der Präventionsprogramme bilden folgende Themen die Schwerpunkte:- Sicheres Instandhalten- Sichere Baustelle- Sichere Lehrzeit- stolpern.ch- STOPP dem Manipulieren von Schutzeinrichtungen- Risikoverhalten Forst- Sichere Elektrizität- Asbest erkennen - richtig handeln
Ausgangslage – Problematik
› Unsere Problematik› Mehrfaches Ansprechen der gleichen Zielgruppen
› Überschneiden von Themen
› Wechselwirkung der einzelnen Kampagnen unbekannt
› Wirkungsmessung für jeden einzelnen Präventionsschwerpunkt teuer und aufwendig
Ausgangslage – Ziel / Idee
› Ziel/Idee› 1. Quantitative Erhebung (übergreifend):
Entwicklung und Einsatz eines standardisiertes Erhebungsinstruments, welches die Wirkung der gesamten Suva Präventionsmassnahmen misst.
› 2. ad hoc Erhebung (individuell): Individuelle Befragungsmöglichkeit für vertiefte Fragenstellungen bezüglich Eignung einzelner Mittel resp. Schwerpunkte.
Wirkungsmodell der SuvaMassnahmen
Einflussfaktoren
M2 "primär Suva"
Sensibilisierung,Kommunikation
M3 "primär Betrieb"
Schulung /Befähigung am Arbeitsplatz
M4 "primär Suva"
WahrnehmungKontrolle
S + O System, Führung und Organisation
T Technik undVerhältnisse
P PersonelleRessourcen und Verhaltensmuster
Sicherheit am Arbeitsplatz
Generelle Indikatoren der Sicherheitskultur
Sicherheitskultur
Messmodell Prävention - Zielsetzungen
› Langfristiges Controlling der Präventionsprogramme „Vision 250 Leben“ und „Asbest“.
› „Präventionspanel“: Wir betreiben eine dauerhafte Stichprobe von N=4‘000 Personen in Suva-versicherten Betrieben.
› Wirkungsmodell: Wir messen die Wirkung des Präventionsprogramms ganzheitlich, aber auch für die einzelnen Aktivitäten.
› Das Wirkungsmodell muss alle relevanten Treiber der Gesamtwirkung in einer Gesamtsicht darstellen.
› Präventionsprogramme: Verbesserungsmassnahmen werden abgeleitet und kontinuierlich umgesetzt.
Vorgesetzte (leitende Mitarbeiter)
2‘000 Personen, aus Suva-versicherten Betrieben
Mitarbeitende (Facharbeiter/Hilfsarbeiter)
2‘000 Personen, aus Suva-versicherten Betrieben
Analysen
Betriebsgrösse (1-10, 11-100, >100 Mitarbeiter)
Wichtigste Versicherungsklassen(42B/45L/44E/11C/41A /52D/70C/38S/45G/45M/47E/18S/44D/01B/ 49A /55D/47B)
Differenzierte Modellierung (nach Clusters)
Regionen: D-CH, W-CH, Tessin
Das Präventionspanel
Wellenvergleiche zwischen verschiedenen Hauptwellen
Vom Wirkungs- zum Messmodell
MassnahmenEinflussfaktoren
M2 "primär Suva"
Sensibilisierung,Kommunikation
M3 "primär Betrieb"
Schulung /Befähigung am Arbeitsplatz
M4 "primär Suva"
WahrnehmungKontrolle
S + O System, Führung und Organisation
T Technik undVerhältnisse
P PersonelleRessourcen und Verhaltensmuster
Sicherheit am Arbeitsplatz
Generelle Indikatoren der Sicherheitskultur
Sicherheitskultur
Messung mit konkreten, Fragen (Kenntnis, Verhalten) im SUVA Präventionspanel
Beispiel: Kenntnis "STOPP bei Gefahr"
Beispiel: Bei Sicherheitsmängeln wird erstweitergearbeitet, sobald diese behoben sind
Kenntnis - Stopp bei Gefahr
‘STOPP bei Gefahr‘
‘Asbest erkennen, richtig handeln‘
Die sogenannte Sicherheits-Charta
‘Lebenswichtige Regeln‘
Habe von keinem dieser Themen gehört
0% 20% 40% 60% 80% 100%
9
24
35
42
80
0% 20% 40% 60% 80% 100%
8
16
29
33
82
Vorgesetzte [1315] Mitarbeitende [1451]
Frage 104
Seite 14
Beurteilung Sicherheitskultur
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
1
2
3
4
5
6
7
8
9
10
1 1 1 1 21 1 11 1 1 1 12 1 1 14 3 2 3 44
31
2 37
64
56
1515
1011
16
2022
1718
20
4548
6457 46
8.56 8.82 AE 9.25 ABDE 8.95 ABE8.62
Stimme voll und ganz zu (10)
(9)
(8)
(7)
(6)
(5)
(4)
(3)
(2)
Stimme überhaupt nicht zu (1)
Mittelwert
Sicherheits-mängel erst
behoben
Gefährliches Verhalten wird
korrigiert
Ich sage ‘Stopp‘ Vorgesetzter sagt ‘Stopp‘
Bei Gefahr denke ich an das Risiko
(A) [2766] (B) [2766] (C) [2766] (D) [2766] (E) [2766]
Statistisch Signifikante Abweichung(en) (T-Test) Frage 403
LINK InstitutBeat Burri:
Aufbau und Betrieb des Präventionspanels
Panel für regelmässige online-Befragungen
› Rekrutierung telefonisch › Erhebungen im Präventionspanel online› Wirkungsmodell 2x / Jahr › Ad hoc Fragestellungen „Zwischengondeln“
Die Herausforderungen › Wie können wir die Zielgruppe vom Nutzen der Befragung überzeugen? › Erreichen wir auch die Mitarbeitenden?
› Ist die Ausschöpfung bei den online-Befragungen genügend gross?
› Wie können wir die Panelmortalität gering halten?
› Messmodell: Gelingt es uns, ein umfassendes und valides Messmodell erstellen zu können?
2011: Vorbereitungen und Pre-test
Vorbereitungen Pre-test
Ab 20142013
Entwicklung MessmodellFragebogenentwicklungTest Rekrutierungsmethode
20122011
Pre-test › Entwicklung Messmodell
› Expertengespräche und desktop research (internationaler Kontext)
› Hypothetisches Messmodell (Workshop), Messdimensionen (Fragenkatalog)
› Fragebogenentwicklung
› Pre-test: Prüfung Messdimensionen
› Verfeinerung Fragebogen
› Hauptwelle 1: Definitives Mess- und Wirkungsmodell
› Modellierung, Analyse › Einsatz der Bayes Regression Referat Dr. Thomas Jensen
Test RekrutierungsmodellFragebogenentwicklungEntwicklung Messmodell
Pre-test › Kundenliste von Suva › CATI-Rekrutierung
› Prio 1: Vorgesetzte
› Prio 2: Mitarbeitende (Facharbeiter / Hilfsarbeiter)
› Mitarbeitende: Zusätzliche Rekrutierung aus LINK Internet-Panel
› Online-Registrierung für das Panel
Test RekrutierungsmodellFragebogenentwicklungEntwicklung Messmodell
Pre-test › Tests und Experimente:
› Test und Optimierung Rekrutierungsmodell
› Überprüfung des „Ausfüllortes des Fragebogens“ – auch am Smartphone möglich und genutzt
› Abklären, welche Sprachen von Nutzen sind (z.B. portugiesisch, tamilisch)
› Experiment verschiedener Incentive-Höhen und Incentive-Arten
› Unterstützung durch Information auf Suva-Homepage
› Beobachten von online-Interviews (Verfeinerung des Wordings)
Test RekrutierungsmodellFragebogenentwicklungEntwicklung Messmodell
Herausforderungen gemeistert Wir können die Zielgruppe vom Nutzen der Befragung überzeugen.
Wir erreichen auch die Mitarbeitenden.
Messmodell: Erste Validierung vielversprechend.
Noch offen: › Ist die Ausschöpfung bei den online-Befragungen genügend gross? › Wie können wir die Panelmortalität gering halten?
› Hauptwelle
Rekrutierung Vorgesetzte und Mitarbeitende
Pre-test
Ab 2014201320122011
Vorbereitungsphase Rekrutierung
Entwicklung MessmodellFragebogenentwicklungTest Rekrutierungsmethode
Vorgesetzte (leitende Mitarbeiter)
2‘000 Personen, aus Suva-versicherten Betrieben
Mitarbeitende (Facharbeiter/Hilfsarbeiter)
2‘000 Personen, aus Suva-versicherten Betrieben
Analysen
Betriebsgrösse (1-10, 11-100, >100 Mitarbeiter)
Wichtigste Versicherungsklassen(42B/45L/44E/11C/41A /52D/70C/38S/45G/45M/47E/18S/44D/01B/ 49A /55D/47B)
Differenzierte Modellierung (nach Clusters)
Regionen: D-CH, W-CH, Tessin
Akribische Panelrekrutierung
Wellenvergleiche zwischen verschiedenen Hauptwellen
Hauptwelle 1: Ein Erfolg?
Vorbereitungsphase
Hauptwelle 1
Entwicklung zusätzlicher
Massnahmen
Rekrutierung
Pre-test
Ab 20142013
Test RekrutierungsmodellFragebogenentwicklungEntwicklung Messmodell
20122011
DatenerhebungInhaltliche Analyse Analyse Erhebungsmethode
Massnahme 1Massnahme 2Massnahme 3
Hauptwelle 1: Ein Erfolg? › Versand an mehr als N=4‘000 Zielpersonen
› Nachfassen per E-Mail bei Nicht-Teilnehmern (Sommerferien)
› Rücklauf 70% (N = 2‘800)
› Vorgesetzte und Mitarbeitendeetwa gleich hohe Teilnahmebereitschaft
DatenerhebungInhaltliche Analyse Analyse Erhebungsmethode
Aufwändiges Panelmanagement › Beantwortung persönlicher E-Mails
› Zuverlässiges Management Panelaustritte
› Sorgfältige Nachrekrutierung innerhalb der Quotenzellen, teilweise gleiche Unternehmen
Entwicklung zusätzlicher Massnahmen
Problem Massnahme
Nach telefonischer Rekrutierung zu wenig online-Registrierungen
Vereinfachung der online-Registrierung, dafür Ausbau der CATI-Rekrutierung (Statistikfragen)
Zusätzliches telefonisches Nachfassen bei Nicht-Registrierten
Zu wenig zusätzlicher Rücklauf nach online-Erinnerung
Zusätzliches telefonisches Nachfassen
› Zielsetzungen: › Stabilisierung Rücklauf 70%
› Wenig Austritte aus Panel (limitierte Adressen pro Cluster)
Erkenntnisse und Ausblick
Vorbereitungsphase
Hauptwelle 1
Entwicklung zusätzlicher Massnahmen
Betrieb ab Hauptwelle 2
Rekrutierung
Pre-test
Ab 20142013
Test RekrutierungsmodellFragebogenentwicklungEntwicklung Messmodell
20122011
DatenerhebungInhaltliche Analyse Analyse Erhebungsmethode
Massnahme 1Massnahme 2Massnahme 3
2 Hauptwellen pro Jahr Zwischengondeln Weitere Zielgruppen
SuvaRuedi Kaufmann:
Erkenntnisse für die SuvaAusblick
Quantifizierung wirksamer Massnahmen und Einflussfaktoren
Verfolgen im Zeitverlauf
Unterstützung für die Massnahmenfindung
Hohe Validität
Beobachten des Impacts bei neuen Massnahmen
Ergänzung und Justierung Fragenkatalog
Erkenntnisse in Bezug auf das Modell
Wichtigste Erkenntnisse für die Suva
Schulung und Befähigung am Arbeitsplatz erzielen Wirkung Einflussstärke der Suva-Kontrollen nicht klar beantwortet Wenig Einfluss des Arbeitnehmers auf die Sicherheitskultur "Stopp bei Gefahr" greift noch zu wenig
Zusätzliche Investitionen in Inserate und redaktionelle Beiträge Management motivieren, mehr über Sicherheit zu informieren und
Sicherheit einzufordern Bewusstsein "Stopp bei Gefahr" weiterpflegen Bekanntheit Asbest-Kampagne aufrechterhalten Regelmässige und systematische Instruktionen am Arbeitsplatz fördern Information über Konsequenzen der Sicherheitskontrolle
Empfehlungen an die Suva
Kontinuierliche Durchführung (2x jährlich)
Punktuelle Erweiterung des Panelfragebogens bezüglich einzelnerMassnahmen resp. Schwerpunkte einer Kampagne
„Zwischengondeln“
Bildung von Sub-Samples für Kampagnen spezifische Zielgruppen(Beispiel "Sichere Lehrzeit")
Wie weiter?
Das Präventionspanel war der letzte Mosaikstein, der uns für die kontinuierliche und vor allem systematische Prozessverbesserung unseres Präventionsauftrages fehlte.
Es ist gelungen ein seriöses Werkzeug zu schaffen, das Suva-intern eine hohe Akzeptanz geniesst und im Austausch mit vergleichbaren Institutionen im Ausland grossen Anklang fand.
Dass wir uns mit dem Wirkungs- und Messmodell intensiv auseinandersetzen mussten, hat uns viele wertvolle Erkenntnisse gebracht. Ganz nebenbei hat es uns auch geholfen, unbeantwortete Fragen zu klären und unterschiedliche Ansichten abzugleichen.
Armin Zimmermann, Bereichsleiter Support und Grundlagen, Suva
Gedanken aus Kundensicht
Herzlichen Dank für Ihre Aufmerksamkeit!