violence au travail : apport potentiel de la recherche évaluative à l’étude des interventions
DESCRIPTION
Violence au travail : apport potentiel de la recherche évaluative à l’étude des interventionsTRANSCRIPT
Bienvenue à la conférence en ligne Violence au travail : apport potentiel de la recherche évaluative à l’étude des interventions
Conférencière : Henriette Bilodeau, Ph. D., chercheure au Centre d’étude sur le trauma et professeure au département d’organisation et ressources humaines à l’École des sciences de la gestion de l’Université du Québec à Montréal.
- La conférence en ligne commence à 13 h
1
Apport potentiel de la recherche évaluative à l’étude des interventions en violence au travail
18 mars 2014
Henriette Bilodeau, Ph.D.
ESG-UQAM
Plan de la présentation
1. Qu’est ce que l’évaluation?
2. Pourquoi faire de l’évaluation?
3. Présentation d’un cadre conceptuel de l’évaluation
4. Exemple d’application sur une intervention post traumatique au Centre jeunesse de Montréal-institut universitaire
3
Qu’est ce que l’évaluation?
Plusieurs définitions
Dictionnaire:
« Déterminer plus ou moins approximativement la valeur de quelque chose »
Suchman:
La mesure des résultats obtenus par une activité qui avait été établie pour accomplir un (des) but(s) quelconque(s).
Rossi et coll. 2004 :
Activité des sciences sociales qui vise à recueillir, analyser, interpréter des données et à communiquer les informations sur le processus et l’efficacité du programme social
4
Qu’est ce que l’évaluation?
Plusieurs définitions et aucun consensus…
Arnold :
l’évaluation est une rétroaction systématique permettant de recueillir des informations nécessaires pour guider les actions futures.
Mark et coll.:
« Evaluation assists sensmaking about policies and programs through the conduct of systematic inquiry that describes and explains the policies’ and the programs’ operations, effects, justifications and social implications » (2000; p.3)
Source: Mark M.M., Henry G.T., Julnes G. (2000): Evaluation: An Integrates framework for
understanding, guiding and improving policies and programs, Jossey Bass, CA, 400p.
5
Qu’est ce que l’évaluation
Plusieurs définitions, plusieurs façon de concevoir …
Définition retenue…
Contandriopoulos et coll.:
Évaluer consiste fondamentalement à porter un jugement de valeur sur une intervention ou sur n’importe laquelle de ses composantes dans le but d’aider à la prise de décision
Ce jugement peut résulter de l’application de critères et de normes (approche normative) ou s’élaborer à partir d’une démarche scientifique en investiguant les liens entre diverses composantes de l’intervention (approche relationnelle-recherche évaluative*)
Les critères utilisés et les questions peuvent concerner la pertinence, le bien fondé, la qualité, les effets, les modalités de production des effets et les coûts.
Source: Contandriopoulos et coll. 2000. L’évaluation dans le domaine de la santé: concepts et méthodes –
Revue d’épidémiologie et Santé Publique, 48: 517-539.
6
Définitions de l’évaluation
Particularités de la définition retenue:
1. Appréciation normative vs recherche évaluative (rigueur, validité)
2. Plusieurs critères ou questions possibles
3. Effets > objectifs
4. Besoins d’information de « décideurs »
7
Définitions de l’évaluation
Avantages d’une définition plus exhaustive,
Peut être réalisée à tous les stades de la vie d’une intervention:
La situation problématique à l’origine de l’intervention jusqu’à la fin de sa mise en place et sa durée de vie
Permet de s’intéresser à un nombre varié de questions d’évaluation
La pertinence, la qualité, l’implantation, les coûts, efficience, les effets…
Permet l’utilisation de différentes approches, d’une variété de méthodes de recherche, d’outils de collecte des données
8
Pourquoi évaluer?
Prendre une décision
intuitions et les perceptions basées sur les expériences passées (connaissances du travail)
compréhension de la situation locale (connaissance du contexte)
la présence d’enjeux politiques (connaissance politique) peut influencer le processus décisionnel
Besoin :
De données systématiques qui seront utilisées dans le processus décisionnel
Rareté des ressources -----» Imputabilité
9
Pourquoi évaluer?
Ces données systématiques permettront:
Comparer, faire des choix éclairés entre plusieurs interventions
Éliminant les biais ou du moins les minimiser
Vérifier si l’intervention répond aux standards
Vérifier l’implantation d’une intervention (fidélité)
Comprendre la logique de l’intervention
Accroître la capacité des organisations à évaluer
Processus amélioration continue…
10
Évaluer quoi? Définition d’une intervention
L’ensemble des moyens (physiques, humains, financiers, symboliques) organisés dans un contexte spécifique, à un moment donné pour produire des biens ou des services dans le but de modifier une situation problématique
Par exemple une intervention peut être:
un traitement
une pratique, une technique
un programme
une organisation, un département, une unité
une politique
11
Les composantes d’une intervention
Situation Problème / besoin
C o n t e x t e
Effets Objectifs
Services
Ressources
12
Situation problématique
C o n t e x t e
Effets Objectifs
Services
Ressources Analyse du rendement
Analyse stratégique
Analyse de l’intervention
Analyse de la productivité
Analyse de l’implantation
Cadre conceptuel de l’évaluation (Contandriopoulos A.P. et coll.; 2000 )
Analyse des effets
Appréciation des résultats
Appréciation du processus
Appréciation de la structure
RECHERCHE ÉVALUATIVE
ÉVALUATION NORMATIVE
13
Évaluation
normative
Recherche
non
évaluative
Apport potentiel du cadre conceptuel ÉVALUATION VS RECHERCHE
ÉVALUATION RECHERCHE
14
Recherche
évaluative /
Approche
relationnelle
DÉFINITION DE LA RECHERCHE ÉVALUATIVE
LA RECHERCHE ÉVALUATIVE EST UNE DÉMARCHE QUI PERMET DE
POSER UN JUGEMENT EX-POST SUR UNE INTERVENTION EN
EMPLOYANT DES MÉTHODES SCIENTIFIQUES.
PLUS SPÉCIFIQUEMENT, IL S’AGIT D’ANALYSER LA PERTINENCE, LES
FONDEMENTS THÉORIQUES, LA PRODUCTIVITÉ, LES EFFETS ET LE
RENDEMENT D’UNE INTERVENTION AINSI QUE LES RELATIONS
EXISTANTES ENTRE L’INTERVENTION ET LE CONTEXTE DANS LEQUEL
ELLE SE SITUE GÉNÉRALEMENT DANS LE BUT DE MIEUX
COMPRENDRE L’INTERVENTION ET D’AIDER À LA PRISE DE
DÉCISION.
15
Source: Contandriopoulos et coll. 2000. L’évaluation dans le domaine de la santé: concepts et
méthodes – Revue d’épidémiologie et Santé Publique, 48:517-539.
QUESTIONS DE RECHERCHE ÉVALUATIVE
Analyse stratégique
L’intervention est-elle justifiée par rapport aux problèmes de la
population?
Est-il pertinent que ce soit cet intervenant qui prenne la
responsabilité de l’intervention?
Analyse logique (de l’intervention)
L’intervention permet-elle d’atteindre les objectifs de façon
satisfaisante?
Analyse de la productivité
Les ressources sont-elles utilisées de façon à maximiser la valeur
des services produits?
16
QUESTIONS DE RECHERCHE ÉVALUATIVE suite...
Analyse des effets
Quels sont les effets attribuables à l’intervention?
* Selon le contexte: contrôlé, utilisation ou populationnel
Analyse du rendement
À quel coût les effets de l’intervention sont-ils obtenus?
Analyse de l’implantation
Comment et pourquoi les effets varient-ils dans les différents
milieux? (3 sous-questions)
Quelle est l’influence du milieu d’implantation sur le degré de mise en œuvre
d’une intervention?
En quoi les variations dans la mise en œuvre influencent-elles les effets
observés? Quelle est la contribution de chacune des composantes dans la
production des effets?
Quelle est l’influence de l’interaction entre le milieu d’implantation et
l’intervention sur les effets observés?
17
L’enjeu en recherche évaluative -» analyse des effets
Établir des inférences de causalité
• Démontrer (vérifier si)
Cause reliée à effet présumé
Modifications apportées à la cause précèdent celles qui surviennent dans les effets
Existence d ’une seule explication possible de la relation cause à effet i.e. “ cause telle que traitée a influé sur effet tel que mesuré”
Cook et al., 1982
Validité (Shadish, Cook, Campbell, 2002)
Propriété d’une inférence et non d’un devis ou de méthodes
Le choix d’un devis et de méthodes a une incidence sur les différents types de validité La solution à un problème de validité entraîne souvent un
autre problème…
Réfère à la véracité approximative
À quel point les informations pertinentes disponibles confirment-elles que l’inférence est véridique?
Résultats empiriques de l’étude
Consistance avec d’autres sources de connaissances incluant des résultats antérieurs et des théories
Comprendre le pourquoi des effets
Documentation de l’inférence de causalité:
La recherche évaluative propose:
une connaissance approfondie de l’intervention
Modèle logique de l’intervention
Composantes (quantité, intensité, qualité)
Hypothèses sous-jacentes (d’intervention, causale)
Mise en lumière des différents effets (chaîne des effets- temps)
une connaissance du niveau d’implantation selon le contexte
Comment le contexte influence le degré d’implantation?
Comment le degré d’implantation (« dose ») influence les résultats?
Comment l’interaction « contexte -- degré d’implantation » influence les résultats?
l’utilisation de méthodes mixtes (Shadish, 1994)
Implique le choix d’un devis de recherche (expérimental ou quasi-expérimental et qualitatif)
20
Objectif 1
Dégager le modèle théorique de l’intervention et la théorie sous-jacente de l’IPT du CJM-IU
-----» Analyse logique de l’intervention
22
Méthodologie - objectif 1
Recension de la documentation relative à l’IPT
Politiques, guides de pratique,…
Validation du modèle de l’IPT auprès des concepteurs
Entrevues individuelles avec 6 des 11 concepteurs
Présentation du modèle aux concepteurs pour validation finale
Logique théorique sous-jacente
Examen de la littérature scientifique
23
Résultats – objectif 1
L’étude a permis d’établir le modèle théorique de l’IPT du CJM-IU
L’étude a permis de démontrer la pertinence théorique et empirique de l’intervention
L’IPT intègre les principales données scientifiques disponibles concernant la prévention des réactions post-traumatiques
Les interventions immédiates et post-immédiates de l’IPT s’appuient sur les recommandations des organismes officiels américains et britanniques œuvrant en santé mentale
24
Objectif 2
Décrire les variations dans l’implantation de l’IPT :
Les caractéristiques des ressources
La formation des membres de l’ÉIPT
Les activités dispensées par les membres de l’ÉIPT
L’information distribuée aux gestionnaires de premier niveau
L’information distribuée à l’ensemble des employés du CJM-IU
---» Analyse de l’écart dans l’implantation
25
Méthodologie – objectif 2
Volet Quantitatif
• Questionnaires (en ligne ou papier)
• 838 des 2059 employés à risque d’être exposés ou témoins d’un événement à potentiel traumatique (ÉPT) – Connaissance de leur rôle dans l’IPT
• 80 des 122 gestionnaires de premier niveau – Connaissance de leur rôle dans l’IPT
– Application de l’IPT lors des ÉPT survenus au cours de la dernière année (2011 ou 2010)
26
Méthodologie – objectif 2
Volet Qualitatif • Entrevues individuelles
• La consultante psychologue externe de l’IPT
– Les activités de formation et de supervision dispensées
• 7 des 12 intervenants actifs de l’ÉIPT (2011)
– Les activités de formation et de supervision reçues
– Déroulement des 2 dernières interventions IPT de 2011
• 11 des 17 gestionnaires impliqués dans un comité de coordination au cours des 3 dernières années
– Déroulement des activités du comité de coordination
• Observation de la formation initiale de 2011
27
Méthodologie – objectif 2 • Analyse des données
– Analyse quantitative des questionnaires
– Analyse de contenu des entrevues individuelles
• Analyse des écarts
– Comparaison de chacune des composantes de l’intervention (objectif 1) avec les données quantitatives et qualitatives (objectif 2)
• Données quantitatives: Conformité lorsque 90% des répondants ont identifié correctement ou réalisé (systématiquement ou souvent) chacune des actions prévues par le protocole d’IPT (actions jugées essentielles)
• Données qualitatives: Conformité établie par jugement consensuel
28
Quelques résultats – objectif 2
Volet quantitatif
La connaissance des employés
• La majorité (71,6%) des employés sondés avait entendu parler de l’IPT
• La moitié des actions (4 sur 8) prévues par le protocole dans la phase immédiate (0-4 heures) ont été identifiés correctement par 90% des répondants
La connaissance des gestionnaires de premier niveau
• Les gestionnaires ont tous entendu parler de l’IPT et en ont informé leurs employés
• Les gestionnaires semblent assez bien connaître leur rôle dans la phase immédiate de l’IPT, mais leur connaissance des actions à réaliser diminue à chacune des périodes temporelles subséquentes de l’intervention (4-72 heures et 72 heures et +)
29
Quelques résultats – objectif 2
Volet quantitatif
Nous avons pu observé que:
• Les gestionnaires ont peu recours à l’ÉIPT dans la phase immédiate et post-immédiate pour :
– Analyser la situation, obtenir des conseils et offres de soutien
• Les gestionnaires ont peu recours aux mesures administratives associées à l’IPT :
– Signalement de l’événement à la DRH (SS)
– Soutien dans les démarches administratives et judiciaires
– Compensation des dommages matériels
30
Résultats – objectif 2
Volet qualitatif
• Stratégies d’interventions des membres de L’EIPT
– Les intervenants utilisent les stratégies prévues
Systématique Au besoin /selon le cas
- Consentement éclairé - Récit de l’événement - Psychoéducation - Évaluation des symptômes ESA, ESPT - Évolution des symptômes (> 1 rencontre) - Évolution dans le milieu de travail - Sensibilisation à la mise en place d’un réseau de
soutien
- Sensibilisation à la mise en place de mécanismes d’adaptation positifs
- Réduction de l’activation neurovégétative
- Recommandation d’un suivi médical
- Restructuration cognitive par questionnement socratique
- Prévention de l’évitement par l’inoculation au stress
31
Résultats – objectif 2
Volet qualitatif
• Écarts dans l’application des stratégies d’intervention
– Réduction de l’activation neurovégétative par la respiration diaphragmatique et la relaxation • Respiration: 7/14 cas
• Relaxation: 2/14 cas
• Suggestion de comportements présents dans le répertoire de la personne touchée (ex. activité de loisir, détente, etc.).
– L’analyse qualitative ne permet pas de tirer de conclusions sur l’utilisation : • Du questionnement socratique
• De l’inoculation au stress • Ces techniques sont perçues comme étant moins bien maîtrisées par les
intervenants
32
Utilité de ces étapes pour la suite…
Analyse logique de l’intervention
Faire un consensus sur l’intervention et ses composantes
Démontrer la validité théorique de l’intervention
Plausibilité de produire les effets attendus
Analyse de l’implantation en contexte réel
Identifier les écarts et leur importance
Donne des indications claires sur les éléments « critiques » à documenter dans l’analyse des effets
33
iusmm.ca/recherche
À la fine pointe des connaissances, le Centre de
recherche de l’Institut universitaire en santé mentale de
Montréal est le plus important lieu de recherche en santé
mentale dans le milieu francophone canadien.
Grâce à son partenariat avec le Service de la recherche
de l’Hôpital Rivière-des-Prairies et le Centre de recherche
de l’Institut Philippe-Pinel de Montréal, il regroupe le plus
important nombre de chercheurs en santé mentale des
facultés de médecine, des arts et des sciences et des
sciences infirmières de l’Université de Montréal et
d’autres universités.
34