webinaire du ccnmo : metaqat
TRANSCRIPT
Follow us @nccmt Suivez-nous @ccnmo
Financé par l’Agence de la santé publique du Canada | Affilié à l’Université McMasterLe développement de cette présentation a été rendu possible grâce à une contribution financière de l'Agence de la santé publique du
Canada. Les opinions exprimées ici ne représentent pas nécessairement celles de l’Agence de la santé publique du Canada.
Conférencières : Laura Rosella, Ph. D., maîtrise en sciences de la santé
Catherine Bornbaum, Ph. D.
21 mars 2017 13 h-14 h 30 HE
MetaQAT
Follow us @nccmt Suivez-nous @ccnmo2
Utilisez Chat pour partager vos questions
et commentaires pendant le webinaire.
• « Envoyez » les questions à tous
(et non en privé à l’animatrice)
Problèmes de connexion
• Connexion à Internet filée (et non
sans fil) recommandée
• Ligne d’aide WebEx offerte
24 heures sur 24, sept jours sur
sept
• 1-866-229-3239
Gestion internePanneau latéral du
participant dans
WebEx
Chat
Follow us @nccmt Suivez-nous @ccnmo3
Après aujourd’hui
La présentation PowerPoint (en anglais et en français) et l’enregistrement audio en anglais seront offerts.
Ces ressources se trouveront à l’adresse :
PowerPoint :https://www.slideshare.net/NCCMT/presentations
Enregistrement audio : https://www.youtube.com/user/nccmt/videos
Follow us @nccmt Suivez-nous @ccnmo4
1re question de sondage
Combien de personnes regardent la
séance d’aujourd’hui avec vous?
A. Il n’y a que moi
B. De 1 à 3
C. De 4 à 5
D. De 6 à 10
E. Plus de 10
NoImage
Follow us @nccmt Suivez-nous @ccnmo
Votre profession? Mettez un √ sur votre réponse (ou RSVP par courriel)
/
5
Épidémiologiste Direction (directeur,
superviseur, etc.)
Professionnels de la
santé connexes
(infirmier, diététicien,
hygiéniste dentaire,
etc.)
Bibliothécaire Médecin/Dentiste Autre
6
NoImage
Follow us @nccmt Suivez-nous @ccnmo 76
Épisode 32
MetaQAT
http://www.nccmt.ca/fr/ressources/interrogez-le-registre/243
CCN des
maladies
infectieusesWinnipeg, MB CCN des
méthodes
et outilsHamilton, ON
CCN sur les
politiques
publiques et
la santéMontréal, QC
CCN des
déterminants
de la santéAntigonish, N.-É.
CCN de la
santé
autochtonePrince George,
C.-B.
CCN en santé
environne-
mentaleVancouver (C.-B.)
7
Registre des méthodes
et des outils
Possibilités
d’apprentissage
en ligne
AteliersMultimédia
Santé publique+
Réseautage et
relations
externes
Produits et services du CCNMO
8
Follow us @nccmt Suivez-nous @ccnmo9
2e question de sondage
Dans quelle mesure connaissez-
vous la méthode ou l’outil dont
nous discutons aujourd’hui?
A. Je ne connais pas la méthode ni l’outil
B. J’ai entendu parler de la méthode ou de
l’outil
C. J’ai utilisé la méthode ou l’outil
Follow us @nccmt Suivez-nous @ccnmo10
Conférencière
Laura Rosella, Ph. D., maîtrise en
sciences de la santé
Chaire de recherche du Canada en analyse
de la santé de la population
Professeure adjointe, École de santé
publique Dalla Lana, Université de Toronto
Chercheuse, Santé publique de l’Ontario
Chercheuse associée, Institut de recherche
en services de santé
Follow us @nccmt Suivez-nous @ccnmo11
Conférencières
Catherine Bornbaum, Ph. D.
Associée de recherche, École de santé
publique Dalla Lana, Université de
Toronto
Professeure auxiliaire de recherche,
Université Western
Une approche de santé publique del’évaluation des données probantes :
méta-outil pour l’évaluation de la qualité (MetaQAT)
Laura Rosella, Ph. D.École de santé publique Dalla LanaSanté publique de l’Ontario
21 mars 2017
Équipe du projet
• Laura Rosella, scientifique
• Beata Pach, gestionnaire, Services de bibliothèque
• Carolyn Bowman, coordonnatrice principale de la recherche
• Sarah Morgan, bibliotechnicienne
• Tiffany Fitzpatrick, épidémiologiste
• Vivek Goel, scientifique
13
Objectifs
1. Raison d’être et développement de l’outil MetaQAT de SPO
2. Orientation de l’outil et guide de l’utilisateur
14
15
Idée/demande de sujet d’examen
Formulation de la question d’examen précise
Recherche documentaire
Application des critères d’inclusion et d’exclusion
Évaluation de la qualité des études incluses
Extraction et analyse des données
Synthèse ou conclusions
Commencera directement ici pour
l’examen d’une étude
Une certaine itération peut être nécessaire
Peut être fait en même tempsex. lors de la documentation de l’évaluation,
vous pouvez aussi ajouter les champs d’extraction des données souhaitées
« L’évaluation critique est le processus qui consiste à examiner systématiquement et soigneusement les recherches pour juger de leur fiabilité, de leur valeur et de leur pertinence dans un contexte particulier. »• Évaluer judicieusement la qualité des données est difficile
• Nécessite une expertise (de préférence des méthodes et des contenus)
• Si nous tentons de constituer une base de données probantes qui orientera les décisions de santé publique – le processus doit être judicieux et transparent
• La transparence est essentielle – elle nous permettra non seulement de mieux soutenir des recommandations, mais aussi de remettre en question nos propres hypothèses pour faire en sorte que la science soit le plus solide possible
• Le « pourquoi » est souvent aussi important que le résultat
Évaluation qualitative (critique)
16Source: Burls A. What is critical appraisal? 2nd ed. [Internet]. Newmarket, UK: Hayward Group; 2009 [cited 2015 Mar 2]. Available fromhttp://www.bandolier.org.uk/painres/download/whatis/What_is_critical_appraisal.pdf
L’évaluation doit être une question de compréhension
• Les forces et les faiblesses
• Nous devons prendre des décisions, il est important d’utiliser les données probantes à leur pleine mesure
• Comprendre comment les données peuvent être utilisées de manière appropriée
17
Subjectif n’est pas nécessairement mauvais
• Les jugements sont fondés sur les principes d’évaluation
• En utilisant les mêmes principes, on décèlera des problèmes similaires
• Le fait qu’il n’y ait pas une seule bonne réponse ne veut pas dire qu’on peut affirmer n’importe quoi!
• La transparence est la clé : une autre personne devrait être en mesure de comprendre pourquoi vous avez fait votre évaluation
18
Transparence
• Importance de la documentation – si les autres savent ce que vous avez évalué et pourquoi, ils peuvent « évaluer votre appréciation »
• La transparence est la clé : une autre personne devrait être en mesure de comprendre pourquoi vous avez fait votre évaluation
• Pensez-y comme à un moyen pour une autre personne de vérifier votre analyse des données probantes – comme un audit de code suivant une analyse statistique
19
Validité interne
• Elwood : mesure la facilité avec laquelle une différence entre les résultats de deux groupes peut être attribuée aux effets d’une exposition ou d’une intervention
• L. Green : « l’essence de la rigueur »
Validité externe
• Généralisation des résultats de l’étude à la population dans laquelle l’échantillon a été prélevé (ou même au-delà de cette population à un énoncé plus universel)
• Sans validité interne, une étude ne peut pas avoir de validité externe
• L. Green : « L’essence de la pertinence »20
Validité interne et externe
La validité interne peut être influencée par...
• la méthodologie de l’étude
• les propriétés de mesure des variables
• le recrutement des participants à l’étude/le taux de réponse
• les pressions liées à la sélection
• la stratégie d’échantillonnage
• le milieu
• les chercheurs/le financement
• entre autres facteurs…
• terme privilégié : RISQUE DE BIAIS (RdB)21
22
24
Le risque de biais ne nous renseigne pas sur l’utilisation prévue des données probantes
• L’application des données probantes est importante pour la santé publique
• Le contexte compte – où les données probantes ont été générées, où elles seront appliquées
• L’importance des différents facteurs lorsque l’évaluation des données probantes doit être guidée par l’application prévue
25
Vision contemporaine de « fondé sur des données probantes »• Guidé par des données probantes
• L’idée que les données probantes (au sens scientifique) orientent la pratique, mais que d’autres facteurs sont importants
• Le poids des données probantes par rapport à la force des données probantes• La médecine fondée sur des données probantes se concentre
traditionnellement sur la solidité des données probantes (ex. essais contrôlés randomisés) et écarte les données probantes indirectes d’autres sources
• Larry Green : « Si nous voulons plus de pratiques fondées sur des données probantes, il nous faut de données probantes fondées sur les pratiques »
26
La santé publique fondée sur des données probantes (SPFDP)
• « initiative de santé publique dans laquelle il y a une utilisation éclairée, explicite et judicieuse des données probantes obtenues grâce à une méthode parmi un éventail de méthodes de recherche et d’évaluation des sciences et des sciences sociales »
• Reconnaît les nombreux facteurs, au-delà des simples données probantes, qui influencent la prise de décision
• « La SPFDP est un processus multidisciplinaire complexe, qui se produit au sein de communautés dynamiques et en constante évolution et englobe différents secteurs de la société »
http://www.nccmt.ca/uploads/media/media/0001/01/b331668f85bc6357f262944f0aca38c14c89c5a4.pdf
27
Méfiez-vous de la pyramide des données probantes
28
Hiérarchie de la solidité des données probantes pour les décisions relatives au traitement ou aux interventions (Recherche quantitative)
29
Solidité relative des données probantes (1 étant le plus solide)
Type de données probantes
1 • Examen systématique des essais contrôlés randomisés
2 • Examen systématique des études d'observation portant sur les résultats importants pour la santé de la population
3 • Un seul essai randomisé
4 • Étude d'observation unique des questions importantes pour la population
• Résultats
5 • Étude épidémiologique et physiologique (ex., étude de la prévalence de l'infection, prévalence des facteurs de risque cardiovasculaire)
http://www.nccmt.ca/uploads/media/media/0001/01/b331668f85bc6357f262944f0aca38c14c89c5a4.pdf
Qu’est-ce qui est préférable? • Une vaste et rigoureuse étude de cohorte prospective ou un
petit essai contrôlé randomisé mal réalisé?
• Un examen systématique de douzaines d’études de cas-témoins bien conduites ou un vaste essai clinique randomisé?
• Un vaste et rigoureux essai contrôlé randomisé effectué au Japon ou une analyse de séries chronologiques menée à Calgary? (en supposant que vous vivez à Toronto)
30
L’évaluation critique et la hiérarchie des données probantes
Qu’est-ce qui est préférable? • Une vaste et rigoureuse étude de cohorte prospective ou un petit essai
contrôlé randomisé mal réalisé?
• Un examen systématique de douzaines d’études de cas-témoins bien conduites ou un vaste essai clinique randomisé?
• Un vaste et rigoureux essai contrôlé randomisé effectué au Japon ou une analyse de séries chronologiques menée à Calgary? (en supposant que vous vivez à Toronto)
• Une étude bien menée, qui occupe un rang « inférieur » dans la hiérarchie des données probantes peut effectivement être meilleure... chaque étude doit être interprétée et évaluée séparément
31
L’évaluation critique et la hiérarchie des données probantes
32
Points à retenir :1. Évaluation de la qualité globale ≠ validité
interne seulement2. L’évaluation du risque de biais touche
principalement la validité interne 3. La qualité de l’étude n’est qu’une
considération parmi d’autres dans le poids des données probantes
Compétences et connaissances requises pour l’évaluation de la qualité
• Connaissance du domaine thématique
• Connaissances et expériences des méthodes précises utilisées
• Connaissance de l’application prévue
• Expérience en évaluation
• Excellentes aptitudes en documentation – consigner les motifs des prises de décision
• Remarque : Ces caractéristiques peuvent refléter les capacités de l’équipe
33
UN FOISONNEMENT D’OUTILS
34
Un examen systématique de 121 outils d’évaluation critique publiés • 87 % des outils d’évaluation critique étaient propres à une
méthodologie de recherche, la plupart des outils ayant été mis au point pour des études expérimentales
• 49 % des outils d’évaluation critique résument l’évaluation de la qualité en un score numérique global
• Peu d’outils d’évaluation critique avaient des données probantes documentant la validité de leurs articles, ou la fiabilité d’utilisation
• « Nous n’avons trouvé aucun outil d’évaluation critique qui soit la référence absolue pour tout type de méthodologie d’études »
35
Source : Katrak P, Bialocerkowski AE, Massy-Westropp N, Kumar S, Grimmer KA. A systematic review of the content of critical appraisal tools. BMC Med Res Methodol. 2004 [cité le 7 août 2014];4 h 22. Accessible ici : http://www.biomedcentral.com/content/pdf/1471-2288-4-22.pdf
Avantages proposés des cadres d’outils d’évaluation• Des listes de vérification pour nous assurer que nous ne
négligeons pas des considérations importantes (ex. Aide-mémoire)• PEUT limiter ce que nous recherchons, selon le contenu de l’outil
• Standardiser l’approche de l’examen des données probantes• Ceci peut être facilement contesté parce que de nombreux jugements
sont subjectifs – je préfère savoir pourquoi vous avez jugé quelque chose de telle manière plutôt que ce qu’était votre jugement
36
Une comparaison des outilsVoss et Rehfuess
ÉVALUATION DE LA QUALITÉ DANS LES EXAMENS SYSTÉMATIQUES DES INTERVENTIONS DE SANTÉ PUBLIQUE : UNE ÉTUDE EMPIRIQUE DE L’IMPACT DU CHOIX DE L’OUTIL SUR LA MÉTA-ANALYSE
Recommandations :
1) Mise à l’essai d’un ensemble plus large d’outils d’évaluation de la qualité (OEQ) sur un examen systématique actualisé d’une intervention de santé publique couvrant un large éventail de méthodologies d’études épidémiologiques
2) La recherche sur le développement d’un OEQ fiable ayant une large applicabilité dans toutes les méthodologies d’études
37
Source : Voss PH, Rehfuess EA. Quality appraisal in systematic reviews of public health interventions: an empirical study on the impact of choice of tool on meta-analysis. J Epidemiol Community Health. 2013;67(1):98-104.
Caractéristiques d’un OEQ qui serait la référence absolueVoss et Rehfuess1) Plutôt, un ensemble d’OEQ complémentaires ayant des éléments communs et des
éléments propres à la méthodologie d’une étude pourrait d’abord être mis au point pour les méthodologies standards, puis étendu à des méthodologies plus complexes.
2) Un score global de synthèse peut entraîner une perte d’informations et la sursimplification. Les auteurs proposent plutôt la quantification minutieuse des domaines (plutôt que des questions individuelles) dans une liste de contrôle pondérée.
3) Examinerait à la fois la validité interne et externe en faisant une distinction claire entre les deux.
4) Beaucoup plus d’efforts devraient être investis dans le développement et la mise à l’essai des catégories de questions et de réponses appropriées et spécifiques; un guide peut en faciliter la bonne interprétation.
5) L’adaptation de certaines questions selon la discipline rend l’évaluation de la qualité plus précise et plus fiable qu’un OEQ universel.
38
Source : Voss PH, Rehfuess EA. Quality appraisal in systematic reviews of public health interventions: an empirical study on the impact of choice of tool on meta-analysis. J Epidemiol Community Health. 2013;67(1):98-104.
PROCESSUS DE METAQAT
39
Les étapes du projet MetaQAT
40
Étape 1 : Collecte des informations
Étape 2 : Synthèse des informations
Étape 3a : Rédaction du méta-outil
Étape 3 b : Peaufinage du
projet de méta-outil
Étape 4 : Réalisation des tests pilotes
Étape 5 : Validation
Étape 1 : Collecte des informations
• Recherche des outils existants• Bases de données
• Documentation parallèle
• Documents d’orientation et de référence sur l’évaluation critique de la santé publique (NICE, ECDC, CCNMO, Cochrane)
• Sites Internet
• Universités offrant des programmes de santé publique
• Répertoire d’outils d’évaluation critique du CCNMO
• Consultation des experts
• Consultation du personnel de SPO
41
Résumé des outils pour orienter l’évaluation
• De nombreux outils existent (la plupart non validés)
• La plupart reflètent le point de vue de la médecine fondée sur des données probantes • Accent sur la validité interne (ou le risque de biais)
• Beaucoup utilisent des échelles ou des scores numériques• Non valides, non recommandés par la Collaboration Cochrane
• De nombreux outils appropriés pour des contextes précis (sujet, projet, méthodologie de l’étude)
• Quelque chose de plus souple était nécessaire
42
Quel genre d’outil?
• Un outil convenant à notre contexte • Divers types d’examen
• Examens rapides, sommaires de preuves, examens systématiques, etc.
• Divers types de contenu
• Les maladies chroniques, les maladies infectieuses, la santé environnementale, la promotion de la santé, la prévention des blessures, etc.
• Attention particulière accordée à l’applicabilité des données probantes
• Pas seulement à la qualité
• Ne pas réinventer la roue• Prendre pour point de départ le contenu existant
43
Quel outil pour SPO?
• De nombreux outils appropriés à des contextes précis (sujet, projet, méthodologie de l’étude)
• Ressources permettant de trouver des outils• Répertoire d’outils du CCNMO
• Bibliothèque SA de l’Université
• Besoins de SPO :• Compatible avec tous les types de données probantes que nous
utilisons
• Compatible avec tous les types de projets que nous réalisons
• Conforme aux pratiques exemplaires actuelles
• Pas de scores numériques; acceptable pour le domaine
• Favorise un processus transparent
• Résultat de l’étape 1 : pas un outil d’évaluation critique (trop limité) 44
Étape 2 : synthèse de l’information
• Regrouper les outils selon la méthodologie de l’étude• Comparer les questions d’un outil à l’autre
• Similitudes entre les outils dans chaque méthodologie
• Comparer les similitudes entre les méthodologies des études• Le processus de base de tous les outils est semblable
• La couverture du processus correspond au guide de l’OPHLA
• Générique, s’applique à tous les types de données probantes
• Un cadre générique se dégage• Toutes les questions peuvent être regroupées en quatre catégories
• Encore besoin de détails propres à l’étude pour un niveau élevé de rigueur
• Pas un outil d’évaluation critique, un processus d’évaluation de la qualité
45
Étape 3a : rédaction du projet de méta-outil
• Élaborer un cadre et sélectionner les outils complémentaires
• Outils complémentaires – approche pragmatique• Utilisation répandue dans la littérature en santé publique
• Préférence aux outils dont la validation est documentée
• Compromis – outils de production de rapports largement utilisés
• Facilité d’utilisation
• Réviser en fonction des avis scientifiques
46
Étape 3 b : peaufinage du projet de méta-outil
• Séances de rétroaction• Sélection du personnel pour des séances de rétroaction
• Évaluation de l’article échantillon, interprétations des questions
• Révisions apportées par souci de clarté, réorganisation
• Version révisée présentée au troisième groupe
• Révisions effectuées
• Outil approuvé pour les essais pilotes, la poursuite du développement et l’évaluation
47
Étape 4 : réalisation des tests pilotes
• Introduit aux équipes pour une période d’essai dans des projets précis• Éventail de sujets et de types de projets
• Mise au point des méthodes de formation• L’introduction à l’outil comme projet a atteint le stade de l’évaluation
• Évaluation• Convenance de l’outil pour les projets et le personnel, exigences
relatives à la mise en œuvre complète
48
Résultats choisis des tests de l’étape pilote
INTÉGRATION DE DIVERS GROUPES DE DONNÉES PROBANTES
• Application à des projets ayant un mélange hétérogène de données probantes
• La flexibilité de MetaQAT a permis l’évaluation intégrée des données probantes quels que soient leurs méthodes et modèles
• A facilité les décisions de sélection
• A élargi le champ d’évaluation et promu la considération appropriée du contexte par rapport à la validité interne seulement
• Observe un processus cohérent d’évaluation dans un groupe de données probantes qui comprend la documentation parallèle et la veille de littérature
49
Étape 5 : Validation
• Deux groupes d’évaluateurs• un groupe a utilisé MetaQAT, d’autres groupes ont évalué les forces et
les faiblesses de plusieurs études
• Analyse des évaluations écrites• Analyse de contenu
• Les deux groupes ont cerné des problèmes similaires
• Le groupe MetaQAT a déterminé la pertinence pour la santé publique
50
Méta-outil
• Le concept de « méta » n’est pas un seul outil ou cadre (sens traditionnel), c’est un guide de processus qui oriente l’utilisateur dans l’emploi approprié de plusieurs outils d’évaluation, et les situe dans un cadre plus large pour guider leur utilisation
• Un outil d’outils : cadre d’évaluation qui intègre les outils existants pour l’évaluation du risque de biais propre à la méthodologie
• Documentation – consigne le processus d’évaluation de la transparence
51
Structure de MetaQAT
52
Pertinence
Outils complé-mentaires
AMSTARCASPTRENDCONSORTMéthodes mixtesAGREE IIGuide de navigationGuide d’évaluation de la documentation parallèle de SPO
Fiabilité
Validité
Applicabilité
Cadre d’évaluation
Rosella, L. Bowman, C., Pach, B., Morgan, S., Fitzpatrick, T., Goel, V. The development and validation of a meta-tool for quality appraisal of public health evidence: Meta Quality Appraisal Tool (MetaQAT). Public Health. 2016;136:57-65.
Structure de MetaQAT
Domaine Idée
Pertinence
• Déterminer si l'élément évalué est suffisamment lié à votre sujet ou question de recherche.
• Dans un examen systématique structuré, la pertinence peut également être prise en compte dans les critères d'inclusion et d'exclusion.
Fiabilité
• Évaluer l'intégralité des rapports; un rapport complet est nécessaire afin de procéder à un examen approfondi de la qualité.
• Le manque de détails concernant la conduite de l'étude ou le rapport peut être une indication d'information de moindre qualité.
Validité• La probabilité et l'ordre de grandeur de l'erreur ou du biais dans une étude. • « Risque de biais » ou « Validité interne»
Applicabilité
• Envisager comment les données probantes peuvent être appliquées à la pratique en santé publique.
• Peut aussi envisager plus largement les enseignements à tirer des données probantes et comment appliquer ces connaissances à la prise de décision en santé publique.
53Rosella, L. Bowman, C., Pach, B., Morgan, S., Fitzpatrick, T., Goel, V. The development and validation of a meta-tool for quality appraisal of public health evidence: Meta Quality Appraisal Tool (MetaQAT). Santé publique.
Dans le formulaire, le terme « étude » désigne le travail qui fait l’objet d’une évaluation et vise à inclure tous les types d’études, y compris la recherche publiée à titre de documentation parallèle, de synthèse, et tout autre type de donnée probante à l’étude.
Formulaire d’évaluation de MetaQAT
54
• Domaine
• Question principale
• Questions incitatives• Orienter la réflexion sur
la question principale
• Stimuler la réflexion,ne pas la limiter
• Réponse par écrit
• Cases à cocher en option
Formulaire d’évaluation de MetaQAT
• Format de réponse par écrit
• Résumé écrit des points clés
• Options de case à cocher offertes MAIS
• Un résumé écrit est la réponse à la question (nombreux formats possibles)
55
Formulaire d’évaluation de MetaQAT
• Point de branchement en préparation – vers des outils complémentaires propres à la méthodologie SI DÉSIRÉ• Dans le domaine de la validité, question b) La méthodologie de recherche est-elle libre
de parti pris?
• Détails propres à la méthodologie grâce à des outils complémentaires SI DÉSIRÉ
56
• Peut aussi créer des questions incitatives propres au contexte
Résumer l’évaluation d’un élément
• Le résumé textuel des principales forces et des faiblesses par domaine et par question• Cette information fournira une bonne compréhension de la qualité de
l’élément
• Par exemple, lequel est plus utile? « 8 sur 10 » ou : « le groupe d’étude était petit, mais ses caractéristiques sont très semblables à celles de notre population locale »
• Nous élaborons des conseils pour le développement d’un vocabulaire des résumés/synthèses
• « L’utilisation d’échelles d’évaluation de la qualité ou du risque de biais est explicitement déconseillée dans les examens de Cochrane »
57
Source : Higgins JPT, Green S, editors. Cochrane handbook for systematic reviews of interventions. Version 5.1.0 [Internet]. London : Cochrane Collaboration; 2011 [cited 2015 Feb 10]. Section 8.3.3, Quality scales and Cochrane reviews. Accessible à : http://handbook.cochrane.org
Guide de l’utilisateur de MetaQAT
• Le document de MetaQAT comprend des renseignements généraux pertinents et des conseils d’utilisation – nous vous invitons à le lire! (URL à venir)
• Pour plus de détails :
Rosella L, Bowman C, Pach B, Morgan S, Fitzpatrick T, Goel V. The development and validation of a meta-tool for quality appraisal of public health evidence: Meta Quality Appraisal Tool (MetaQAT). Public Health. 2016;136:57-65. Accessible ici : http://www.publichealthjrnl.com/article/S0033-3506(15)00437-0/abstract
58
Dur travail en perspective
• Le processus de l’évaluation systématique des données probantes et la documentation de ce processus sont ardus et peuvent prendre du temps, mais ces défis peuvent exister indépendamment de l’outil ou du cadre
59
60
https://www.publichealthontario.ca/fr/ServicesAndTools/Pages/Critical-Appraisal-Tool.aspx
Captures d’écran à venir
61
62
63
Bibliographie
• Rosella L, Bowman C, Pach B, Morgan S, Fitzpatrick T, Goel V. The development and validation of a meta-tool for quality appraisal of public health evidence: Meta Quality Appraisal Tool (MetaQAT). Public Health. 2016;136:57-65. Accessible ici : http://www.publichealthjrnl.com/article/S0033-3506(15)00437-0/abstract
• Voss PH, Rehfuess EA. Quality appraisal in systematic reviews of public health interventions: an empirical study on the impact of choice of tool on meta-analysis. J Epidemiol Community Health. 2013;67:98-104.
• Heller RF, Verma A, Gemmell I, Harrison R, Hart J, Edwards R. Critical appraisal for public health: A new checklist. Public Health. 2008;122:92-98.
• Jüni P, Witschi A, Bloch R, Egger M. The hazards of scoring the quality of clinical trials for meta-analysis. JAMA. 1999;282(11)1054-1060.
• Katrak P, Bialocerkowski AE, Nassy-Westropp N, Kumar VSS, Grimmer KA. A systematic review of the content of critical appraisal tools. BMC Med Res Methodol. 2004 [cité le 16 décembre 2013];4(22) : . Accessible ici : http://www.biomedcentral.com/1471-2288/4/22
64
Gestion de l’information
• La version Excel du formulaire est accessible en tant que modèle
65
66
67
68
69
Pleins feux sur les méthodes et outils du CCNMO :Utilisation de MetaQAT pour l’évaluation de la qualité
dans un examen systématique
Catherine Bornbaum, Ph. D.Directrice générale, Programme de recherche en analyse de la santé de la population
Associée de recherche, École de santé publique Dalla Lana, Université de Toronto
Professeure auxiliaire de recherche, Sciences de la santé et de la réadaptation, Université Western
Contexte• La non-optimisation de l’utilisation des données issues de la recherche peut
entraîner une diminution de la qualité des soins1, l’utilisation inefficace des ressources2,3 et de moins bons résultats de santé chez les individus et les communautés4
• Compte tenu des difficultés relatives à la transmission efficace des connaissances entre les chercheurs, les praticiens et les décideurs5, les experts en application des connaissances ont plaidé en faveur de la désignation d’un intermédiaire pour atténuer les difficultés inhérentes au partage des connaissances6,7
• Les courtiers de connaissances travaillent en collaboration avec les principales parties prenantes pour faciliter l’application et l’échange de données probantes et du contexte
• Rôles clés :• Gestionnaire de connaissances, agent de liaison, agent de
renforcement des capacités
70
Comprendre comment les courtiers de connaissances fonctionnent dans la pratique liée à la santé, et évaluer si l’utilisation d’un courtier de connaissances pourrait faciliter les initiatives d’application efficace des connaissances.
Objectifs : 1. Améliorer la conceptualisation du rôle du courtier de connaissances dans
les milieux liés à la santé; et• Mettre à l’épreuve la théorie du courtage de connaissances dans la
pratique (analyse thématique confirmatoire8)
2. Déterminer si les courtiers de connaissances contribuent à l’application des connaissances efficace dans les milieux liés à la santé
• Explorer les données sur les résultats pour déceler des signes d’évolution des connaissances, des compétences, des politiques et des pratiques9
• Réaliser une évaluation critique des données probantes à l’aide du méta-outil d’évaluation de la qualité (MetaQAT)
71
Objectif
Critères d’inclusion et d’exclusion
• Critère d’inclusion• Rapport sur une application réelle du courtage de connaissances
dans la pratique
• Milieu lié à la santé (ex., santé publique, milieu clinique, réadaptation)
• Document accessible en anglais
• Critère d’exclusion• Rapport sur les hypothèses théoriques concernant uniquement la
pratique du courtage de connaissances
• Protocoles d’étude
72
MéthodeStratégie de recherche
Sources de données
• Bases de données• MEDLINE; EMBASE; PsychINFO; CINAHL; SCOPUS; SocINDEX; Health Business
Elite
• Documentation parallèle• Réseaux d’application des connaissances : Fondation canadienne pour
l’amélioration des services de santé, Centre de collaboration nationale des méthodes et outils
• Organisations axées sur la santé : IRSC, Canadian Public Health Information, Health Evidence, Bureau de santé publique de l’Ontario, Organisation mondiale de la Santé
• La recherche manuelle • ex., Implementation Science, BMC Health Service Research, etc.
• Listes de références
73
Méthode
74
Ide
nti
fica
tio
nSé
lect
ion
Ad
mis
sib
ilité
Incl
us
Documents trouvés par les bases de
données (n = 7022)
Documents trouvés par d’autres sources
(n = 340)
Documents trouvés par les bases de
données (n = 502)
Documents trouvés par d’autres sources
(n = 71)
Janvier 2014 Novembre 2014
Documents après suppression des
doublons (n = 6363)
Documents examinés (n = 227)
Articles en texte intégral évalués
pour l’admissibilité (n = 46)
Articles en texte intégral exclus
(n = 181)
Documents exclus
(n = 6 136)
Articles inclus dans la synthèse (n = 26)Projets uniques inclus dans la synthèse (n = 20)
Articles inclus dans la synthèse (n = 3)Projets uniques inclus dans la synthèse (n = 3)
Total des articles (n = 29)Nombre total de projets uniques (n = 23)
Documents après suppression des
doublons (n = 573)
Documents examinés (n = 13)
Articles en texte intégral évalués
pour l’admissibilité (n = 12)
Documents exclus
(n = 560)
Articles en texte intégral exclus
(n = 1)
TÉMOIGNAGES DES UTILISATEURS DE METAQAT
• Adapté les formulaires de MetaQAT pour étudier le contexte avant de procéder à une évaluation critique
• Modifié les « questions-indices » le cas échéant
• Adapté pour Excel
MéthodeÉvaluation critique
• Pourquoi nous avons choisi le MetaQAT pour mener une évaluation critique
• Permet l’analyse de divers modèles de recherche (ex., qualitative, quantitative, documentation parallèle) et de milieux liés à la santé
• Cadre d’évaluation critique en quatre étapes mesurant : la pertinence, la fiabilité, la validité et l’applicabilité
• Permet de faire des recherches sur des outils d’accompagnement propres à la méthodologie pour l’évaluation selon la méthode quantitative, qualitative et mixte de la méthodologie de la recherche
75
La conduite d’une évaluation critiqueUtilisation d’un modèle Excel pour organiser les résultats
76
D’autres outils complémentaires
nécessaires?
Évaluations de la pertinence, de la validité, de la fiabilité et
de l’applicabilité
La conduite d’une évaluation critiqueRemplir les outils complémentaires
77
Le cas échéant, remplir l’outil complémentaire avant le MetaQAT
78
Présentation des résultats de MetaQAT Format PowerPointProjet Pertinence Fiabilité Validité Applicabilité
A16,17 Milieu et population pertinents
Description insuffisante de la population, de l'intervention, des résultats
Biais potentiel dans la méthodologie, l'échantillonnage, les résultats
Description insuffisante du contexte/des résultats
B18 Milieu et population pertinents
Description insuffisante de la population et de l'intervention
Biais potentiel dans l'échantillonnage, les résultats (réflexion non systématique)
Difficile à généraliser
C19 Milieu et population pertinents
Aucune description des méthodes analytiques
Biais potentiel dans l'échantillonnage, les résultats (aucune perspective du courtier des connaissances (CC)
Description insuffisante du contexte/des résultats
D20-22 Milieu et population pertinents
Aucune préoccupation significative
Aucune préoccupation significative
Aucune préoccupation significative
E23 Milieu et population pertinents
Description insuffisante de la population, de l'intervention, des résultats
Biais potentiel dans la méthodologie, l'échantillonnage, les sources de données
Données insuffisantes pour soutenir l'applicabilité
F24,25 Milieu et population pertinents
Description insuffisante de la population et de l'intervention
Biais potentiel dans la méthodologie, les sources de données, les critères d'exclusion
Description insuffisante du rôle du CC et des résultats
G26-28 Milieu et population pertinents
Aucune préoccupation significative
On ne peut exclure la chance (aucun intervalle de confiance présenté)
Aucune préoccupation significative
79
Présentation des résultats de MetaQAT Format des manuscrits
Vous désirez être tenu au courant de nos résultats?
80
Examen accessible à : https://implementationscience.biomedcentral.com/articles/10.1186/s13012-015-0351-9
• Lors d’une métasynthèse, l’outil d’évaluation de la qualité doit être suffisamment large pour tenir compte des diverses préoccupations propres à la méthodologie
• Bien que conçu pour les contextes de santé publique, MetaQAT est applicable à divers contextes liés à la santé
• ex., milieu clinique, réadaptation, politiques publiques en santé
• L’évaluation de l’« applicabilité » a été très utile pour évaluer l’utilité des stratégies de courtage des connaissances – un élément clé de notre examen
• Dans l’ensemble, MetaQAT était le seul outil capable de répondre à nos besoins diversifiés en ce qui concerne la méthodologie et les facteurs contextuels
81
Enseignements
Services de bibliothèque de Santé publique Ontario :
https://www.publichealthontario.ca/fr/ServicesAndTools/Pages/Critical-Appraisal-Tool.aspx
82
Prêt à l’essayer?
Remerciements• Nous tenons à remercier les Instituts de recherche en santé du Canada
pour leur soutien à ce programme de recherche (KAL-129895).
• Nous tenons à remercier les bibliothécaires de recherche de Santé publique Ontario, Allison McArthur et Domna Kapetanos pour leur aide dans la conception et la conduite de la stratégie de recherche.
83
Merci!
Vous voulez vous connecter? N’hésitez pas à nous écrire :
Catherine Bornbaum, Ph. D.
@CathBornbaum
84
Bibliographie
1. Jernberg T, P Johanson, Held C, Svennblad B, Lindbäck J, L Wallentin et al.: Association between adoption of evidence-based treatment and survival for patients with ST-elevation myocardial infarction. Journal of the American Medical Association 2011, 305: 1677-1684.
2. David D, Davis M, Jadad A, Perrier L, Rath D, Ryan D et al. (Eds):The case for knowledge translation: Shortening the journey from evidence to effect. In British Medical Journal 2003, 327 : 33-35.
3. Madon T, Hofman K, Kupfer L, Glass R: Public health: Implementation science. Science 2007, 318 : 1728-1729.
4. Chalmers I (Eds):If evidence-informed policy works in practice, does it matter if it doesn't work in theory?In Evidence & Policy: A journal of Research, Debate and Practice 2005, 1: 227-242.
5. Graham I, Logan J, Harrison M, Straus S, Tetroe J, Caswell W et al. (Eds):Lost in knowledge translation: Time for a map? In Journal of Continuing Education in the Health Professions 2006, 26: 13-24.
6. Dobbins M, DeCorby K, Twiddy T (Eds):A knowledge transfer strategy for public health decision makers. In Worldviews on Evidence-Based Nursing 2004, 1 : 120-128.
7. Ward V, Maison A, S Hamer : Knowledge brokering: The missing link in the evidence to action chain?Evidence & Policy 2009, 5 : 267-279.
8. Popay J, Roberts H, Sowden A, Petticrew M, L Arai, Rodgers M, et al. : Guidance on the conduct of narrative synthesis in systematic reviews: A product from the ESRC methods programme. 2006.
9. Kujbida G, Stratton J. Effective knowledge translation tactics for increasing the use of health status and surveillance data. 2014. Retrieved from : www.peelregion.ca/health/library/pdf/effective-kt.pdf
85
Follow us @nccmt Suivez-nous @ccnmo86
Vos commentaires ou
questions
• Utilisez Chat pour partager vos
questions et commentaires.
• « Envoyez » les questions à
tous (et non en privé à
l’animatrice)
Panneau latéral du
participant dans
WebEx
Chat
Follow us @nccmt Suivez-nous @ccnmo87
3e question de sondage
Cette méthode ou cet outil pourrait-il
être utile dans la pratique?
A. Énormément
B. Quelque peu
C. Pas du tout
D. Je l’ignore
Follow us @nccmt Suivez-nous @ccnmo88
Veuillez prendre quelques minutes pour partager vos idées sur le webinaire d’aujourd’hui.
Vos commentaires et vos suggestions permettent d’améliorer les ressources que nous offrons et de planifier d’autres webinaires.
Le sondage court se trouve à l’adresse : https://nccmt.co1.qualtrics.com/SE/?SID=SV_23nCMSgc5sz9QJD
Votre rétroaction est importante
Follow us @nccmt Suivez-nous @ccnmo89
4e question de sondage
Quelles étapes suivrez-vous ensuite? (Cochez toutes celles qui s’appliquent.)
A. Accéder à la méthode ou l’outil dont il est question dans l’exposé.
B. Lire le sommaire du CCNMO sur la méthode ou l’outil décrit aujourd’hui.
C. Songer à mettre en pratique la méthode ou l’outil. D. Parler de la méthode ou de l’outil à un collègue.
Follow us @nccmt Suivez-nous @ccnmo90
DATE : Mercredi 5 avril 2017
HEURE : De 13 h à 14 h 30 (HE)
Vous cherchez un outil pour soutenir le développement de
programmes de planification? Vous planifiez la mise en œuvre de
programmes? Un aperçu des concepts clés concernant la mise en
œuvre de pratiques fondées sur des données probantes vous
intéresse? Joignez-vous à notre webinaire pour en apprendre
davantage sur notre série de vidéos sur l’application des
connaissances et la mise en œuvre.
Inscrivez-vous à :
https://health-evidence.webex.com/health-
evidence/onstage/g.php?MTID=e4a0468604363b8e349ce95b2277da0f6
Pleins feux sur les méthodes et les outils du CCNMO :
série de vidéos sur l’application des connaissances et
la mise en œuvre
Rejoignez-nous pour notre prochain webinaire.
Follow us @nccmt Suivez-nous @ccnmo
Financé par l’Agence de la santé publique du Canada | Affilié à l’Université McMasterLe développement de cette présentation a été rendu possible grâce à une contribution financière de l'Agence de la santé publique du
Canada. Les opinions exprimées ici ne représentent pas nécessairement celles de l’Agence de la santé publique du Canada.
Pour plus d’information sur le Centre de
collaboration nationale des méthodes et
outils (CCNMO)
Site du CCNMO : www.nccmt.ca/fr/
Courriel : [email protected]