![Page 1: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/1.jpg)
Revisiones sistemáticas y realistas para la gestión basada
en evidencias
Anibal Velásquez, MD, MSc DGSYE Viceministerio de Políticas y Evaluación Social del MIDIS
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
![Page 2: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/2.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
Objetivo de la presentación
• Presentar la metodología y el uso de las revisiones sistemáticas y realistas para la gestión basada en videncias
14/04/23 2
![Page 3: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/3.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
Contenido
• Marco conceptual y metodológico de las revisiones sistemáticas, meta-análisis y revisiones realistas
• Niveles de evidencia y recomendación
• Ejemplos de su uso en la gestión de programas sociales
14/04/23 3
![Page 4: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/4.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
¿Qué es evidencia?
• Certeza clara y manifiesta de una cosa, de tal forma que nadie puede dudar de ella ni negarla
• Diccionario de la Lengua Española
14/04/23 4
![Page 5: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/5.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
Política basada en evidencias (I)
• "La elaboración de políticas basada en la evidencia se refiere a un proceso político que ayuda a los planificadores a tomar decisiones mejor informadas, poniendo la mejor evidencia disponible en el centro del proceso político ".
• Evidencia: puede incluir la información producida mediante el control integrado y sistemas de evaluación, la investigación académica, la experiencia histórica y "buenas prácticas"
14/04/23 5
![Page 6: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/6.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
Política basada en evidencias (II)
14/04/23 6
Cap
acid
ad té
cnic
a
Proceso político
Basada en opiniones
Influenciadapor
evidencia
Basada en evidencia
![Page 7: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/7.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
Política basada en evidencias (III)
14/04/23 7
Pruebas piloto
Internet Expertos
Evaluaciones
Revisiones sistemáticas
![Page 8: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/8.jpg)
Uso de la evidencia para las decisiones del alcance, objetivos y metas de políticas
Decisión de la finalidad, alcance, objetivos y metas
de la política
Recursos/ grupos de
interés/opi-nión pública
Evidencia/ cono-
cimiento
Ideología/ experiencia/a
utoridad
![Page 9: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/9.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
DGSYE y el ciclo del diseño e implementación de políticas y
programas con base en evidencias
Gestión de la
información y la
evidencia
![Page 10: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/10.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
La jerarquía de la evidencia
Rango• Revisiones sistemáticas y
metanálisis• Experimentos controlados
aleatorizados• Estudios de cohortes• Encuestas transversales • Reportes de casos• Opinión de expertos• Anécdotas
14/04/23 10
Los m
ás robustos y objetivos
![Page 11: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/11.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
Investigación por revisión
• Revisión narrativa• Revisión sistemática• Meta-análisis• Revisiones realistas
14/04/23 11
![Page 12: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/12.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
Revisión narrativa
• Es una investigación NO sistemática, NO reproducible.
• Comparar y analiza los resultados de varios estudios, SELECCIONADOS POR EL AUTOR, sin criterios explícitos.
14/04/23 12
![Page 13: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/13.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
Revisión sistemática
• Es una investigación sistemática reproducible que permite comparar y analizar los resultados de varios estudios
• Tiene un protocolo que define los pasos de la revisión:– La estrategia de búsqueda de información– Los criterios para evaluar la calidad de las
evaluaciones o investigaciones
14/04/23 13
![Page 14: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/14.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
Meta-análisis
• Es una revisión sistemática en el cual se combinan los resultados de varios estudios que examinan la misma pregunta
• Se trata de resumir en un valor numérico toda la evidencia relacionada a un tópico específico, mediante la combinación estadística de los resultados de estudios previos.
14/04/23 14
![Page 15: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/15.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
¿Para qué sirven las revisiones sistemáticas y meta-análisis?
• Para resumir la evidencia en forma precisa y válida
• Ayudan a tomar decisiones• Ayudan a presentar pruebas sobre
beneficios, daños y riesgos de intervenciones
• Es una fuente para conocer las necesidades de nuevas investigaciones
14/04/23 15
![Page 16: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/16.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
Ventajas de las RS y meta-análisis
• Aporta un resultado global sobre el tamaño del efecto de un tratamiento o la tendencia de su efecto protector o de riesgo
• Detecta y explora las contradicciones aparentes en los resultados
• La combinación de los estudios incrementa la potencia estadística y mejora la precisión en la estimación de la magnitud del efecto
• Facilita las decisiones menos subjetivas y reduce sesgos atribuibles al investigador
14/04/23 16
![Page 17: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/17.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
Sesgos de publicación
• Los estudios “negativos” o que no muestran diferencias significativas son más difíciles de publicar que los estudios positivos o que muestran resultados con diferencias estadísticamente positivas
• Los resultados de los meta-análisis pueden estar influenciados por el sesgo de publicación
14/04/23 17
![Page 18: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/18.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
Pasos para realizar una RS
• Especificación del problema: definición de las preguntas
• Especificación de los criterios de inclusión y exclusión de los estudios
• Formulación del plan de búsqueda de la literatura • Selección y recuperación de los estudios que
cumplen los criterios• Valoración crítica de la calidad científica de los
mismos• Combinación de los resultados • Formulación de las conclusiones y
recomendaciones14/04/23 18
![Page 19: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/19.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
Principal recurso
• Horas investigador• El tiempo requerido depende:
– del tema– del número de estudios– de los métodos utilizados (por ejemplo,
la magnitud de tiempo utilizado para obtener información no publicada)
– la experiencia de los revisores y el tipo de apoyo de expertos
![Page 20: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/20.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
Decisiones clave
• ¿Cuál es el alcance de la revisión?• ¿Cuáles intervenciones?• ¿Qué poblaciones?• ¿Qué lugares?• ¿Qué resultados?
![Page 21: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/21.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
Estrategia PICO para ayudar a formular las preguntas de la RS
• P= población. Definición del grupo de participantes
• I=intervenciones o exposición• C=comparación. Grupo de control• O= outcomes. Efectos de la
intervención o exposición • Tipo de diseño del estudio
14/04/23 21
![Page 22: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/22.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
Preguntas amplias o restringidas?
• Las revisiones restringidas pueden no ser generalizables a entornos diversos o a distintas poblaciones
• La búsqueda de datos para las preguntas muy amplias resulta más lenta y costosa, y la síntesis e interpretación de los datos es un desafío
![Page 23: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/23.jpg)
Fuentes de sesgo
Fuentes de sesgo
Población
Asignación Sesgo de selección (diferencias sistemáticas entre los grupos de comparación)
Grupo de intervención Grupo control
Expuesto a la intervención No expuesto a la intervención Sesgo de realización (diferencias sistemáticas en la provisión de la intervención)
Seguimiento Seguimiento Sesgo de detección (diferencias sistemáticas en la medición de los resultados)
Resultados Resultados
![Page 24: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/24.jpg)
Criterios para evaluar la calidad de RCT
Para estudios controlados aleatorizados (RCT) y ensayos clínicos controlados (CCT) Criterios de evaluación Si No ¿La asignación del grupo de tratamiento y el de control han sido realmente aleatorizada?
¿La aleatorización ha sido ciega? ¿La pérdida fue grande que afecta la validez del estudio? ¿El porcentaje de pérdidas fue similar en el grupo de estudio y grupo control? ¿Los resultados de las pérdidas se describen y se incluyen en el análisis? ¿Los que realizaban la medición de los efectos del tratamiento fueron ciegos a la asignación del tratamiento?
¿El grupo experimental y el control fueron similares al inicio del estudio? ¿Los grupos de estudio fueron separados desde la intervención?
![Page 25: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/25.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
Métodos para resumir la calidad de los estudios
Riesgo de sesgos Interpretación Relación a los criterios A. Bajo riesgo de sesgos Los sesgos no alteran
seriamente los resultados Todos los criterios se cumplen
B. Riesgo moderado de sesgos
Los sesgos generan alguna duda sobre los resultados
Uno o más de los criterios no se cumplen
C. Alto riesgo de sesgos Los sesgos debilitan seriamente la confianza en los resultados
Uno o más de los criterios no se cumplen
![Page 26: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/26.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
Nivel de calidad de evidencia
14/04/23 26
Diseño del estudio Calidad de la evidencia Más baja si Más alta siRiesgo de sesgo Magnitud del efecto- 1 Serio +1 Grande-2 Muy serio +2 Muy grande
Inconsistencia Respuesta a la dosis- 1 Seria-2 Muy seria
Relación indirectaPosibles confusiones por variables endógenas
- 1 Seria-2 Muy seria
Imprecisión- 1 Seria-2 Muy seria
Sesgo de publicación- 1 Serio-2 Muy serio
+1 Sugeriría un efecto espurio cuando los resultados no muestran efecto
Muy baja
+1 Reducirían un efecto demonstrado o
BajaEstudio observacional
Experimento aleatorio Alta
+1 Evidencia de una gradiente
Moderada
![Page 27: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/27.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
GRADE Grupo de los grados de evidencia
• De alta calidad: más investigación es muy poco probable que cambie nuestra confianza en la estimación del efecto.
• Calidad moderada: La investigación adicional es probable que tenga un impacto importante en nuestra confianza en la estimación del efecto y puede cambiar la estimación
• De baja calidad: La investigación adicional es muy probable que tenga un impacto importante en nuestra confianza en la estimación del efecto y es probable que cambie la estimación
• De muy baja calidad: los resultados no son válidos
14/04/23 27
![Page 28: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/28.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
Niveles de recomendación
• GRADE (Grading of Recommendations Assessment,
Development and Evaluation): dos tipos: fuerte y débil recomendación
• Fuerte: para administrar o no una intervención, si los beneficios superan los riesgos y los costos
• Débil: si los beneficios y los riesgos son similares, o existe apreciable incertidumbre sobre la magnitud de los beneficios y los riesgos.
14/04/23 28
![Page 29: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/29.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
Ejemplo de RS: objetivo
• Realizar una revisión sistemática sobre la eficacia de las intervenciones de reducción de la pobreza en la desnutrición de ámbitos rurales y pobres de países en desarrollo.
14/04/23 29
![Page 30: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/30.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
Ej: Metodología
• Se realizó la búsqueda en la base de datos “PubMed” de publicaciones registradas antes de diciembre 2005. Se emplearon las siguientes palabras clave:
• Effectiveness malnutrition evaluation• Malnutrition & level income• Malnutrition & economic interventions
• Se hizo una búsqueda adicional de artículos relevantes en la Biblioteca “Cochrane” para identificar revisiones sistemáticas sobre la relación de los ingresos y la nutrición
14/04/23 30
![Page 31: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/31.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
Tabla 1. Resultado de la búsqueda en la base de datos de PubMed, 2005
14/04/23 31
Palabras claveNo. de
publicaciones en PubMed
No. de resúmenes seleccionados
Effectiveness malnutritionevaluation
157 11
Malnutrition & level income 125 17
Malnutrition & economicinterventions
113 12
Total 395 40
![Page 32: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/32.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
14/04/23 32
Búsqueda en PubMed
Palabras clave:
395 títulos
81 títulos seleccionados
Criterio: estudios sobre intervenciones que reducen la pobreza o sobre
factores/determinantes de la desnutrición
40 resúmenes seleccionados
Criterio: estudios sobre intervenciones de reducción de la pobreza y
desnutrición y/o estudios sobre factores relacionados a la
disponibilidad, acceso, ingesta o desnutrición
31 artículos en texto completo9 artículos no disponibles
(4 estudios transversales y 5 revisiones)
![Page 33: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/33.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
14/04/23 33
Filtro: países en desarrollo o áreas pobres, las intervenciones deben ser relacionadas a la mejora de los ingresos y los
factores/determinantes estudiados deben ser económicos
6 artículos sobre factores/
determinantes
5 artículos sobre intervenciones
11 artículos sobre factores/
determinantes
15 artículos adicionales de las referencias de los
articulos completos y de las revisiones
encontradas
31 artículos en texto completo
11 artículos sobre intervenciones
20 artículos sobre factores o
determinantes
11 estudios sobre factores/
determinantes
3 estudios sobre intervenciones
Evaluación de la calidad de la investigación
3 categoría A3 categoría C
2 categoría A1 categoría B2 categoría C
4 categoría A4 categoría B4 categoría C
![Page 34: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/34.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
Ejemplo: evaluación de la calidad de
cada investigación
14/04/23 34
¿Ade
cuad
a se
cuen
cia d
e ge
nera
ción?
¿Ocu
ltam
ient
o de
asig
nació
n?
¿Ceg
amie
nto
(pac
ient
es)'
¿Ceg
amie
nto
(Méd
icos)
¿Man
ejo
de d
atos
de
resu
ltado
s inc
ompl
etos
?(E
ficac
ia d
e re
sulta
dos)
¿Man
ejo
de d
atos
de
resu
ltado
s inc
ompl
etos
?(S
egur
idad
de
resu
ltado
s)
¿Rep
orte
libre
o se
lecti
vo?
¿Lib
re d
e ot
ros s
esgo
s?
Genovese 2005
Kremer 2003
Kremer 2006
Moreland 2002
Schiff 2008
Weinblatt 2006
Weinblatt 2007
+ + + + + + +
+
+
+
+
+
+
++
++++
+ + + +
+
+
+
+ +
+ +
+ +
+
+
+ +
+++
++ +? ?
- -
-
-
- -
-
-
-
-
-
-
-
![Page 35: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/35.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
Formato para las conclusiones de la
revisión• Formato para la presentación de informes y
recomendaciones de investigación ("EPICOT ‘)E (evidencia): ¿Cuál es la evidencia actual?P (Población)
• I (intervención): tipo, frecuencia, dosis, duración, factores pronósticos.
C (Comparación): Placebo, control con asignación aleatoria, control cuasiexperimental
• O (Resultado)• T (de fecha y hora): Fecha de la búsqueda en la literatura o
recomendación
14/04/23 35
![Page 36: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/36.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
Proceso para desarrollar recomendaciones
36
Análisis de calidad
Análisis de calidad
![Page 37: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/37.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
Crítica a la gestión basada en evidencias
• La gestión basada solo en las evidencias estaría deliberadamente divorciada del pensamiento crítico.
• Usualmente no responde el “¿porqué?” • Por lo tanto es necesario una combinación
del trabajo basado en evidencias, el análisis crítico basado en una teoría y revisiones realistas
14/04/23 37
![Page 38: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/38.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
Revisiones realistas (Realistic review)
• Análisis explicativo sobre qué trabaja? Para quién? En qué circunstancias? En qué aspectos? Y cómo?
• El primer paso es hacer explícito la teoría del programa, sobre las hipótesis de cómo trabaja el programa
• Combina comprensión teórica y evidencia empírica
• Busca la relación entre el contexto en el cual la intervención es aplicada, los mecanismos por el cual trabaja y los resultados que se producen
• Aporta información a los tomadores de decisión sobre cómo implementar intervenciones más efectivas
14/04/23 38
![Page 39: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/39.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
Revisión realista
14/04/23 39
Contexto económico y
social
Mecanismos de conducta
Valores, creencias y experiencias
Eficacia de las
intervenciones probadas
científicamente
Resultados:Estado
nutricional
![Page 40: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/40.jpg)
14/04/23 40
La gestión basada en evidencias es ahora un proceso que integra la pericia o experiencia del que toma decisiones con la mejor evidencia y las expectativas de la población beneficiaria
![Page 41: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/41.jpg)
Ejemplo del uso de revisiones sistemáticas y realistas para el
programa de alimentación escolar
14/04/23 41
![Page 42: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/42.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
Referencias
•Alimentación escolar para mejorar la salud física y psicosocial de estudiantes en desventaja (revisión sistemática) - Kristjansson B, Petticrew M, Mac Donald B, Krasevec J, Janzen L, Greenhalgh T, Wells GA, Mac Gowan J, Farmer AP, Shea B, Mayhew A, Tugwell P, Welch V (2009).
•Revisión realista para entender la eficacia de programas de alimentación escolar - Trisha Greenhalgh, Elizabeth Kristjansson, y Vivian Robinson (2007).
•Reconsiderando la alimentación escolar. Programas de protección social, desarrollo infantil y el sector educativo – Banco Mundial: Donald Bundy, Carmen Burbano de Lara, Margaret Grosh, Aulo Gelli, Matthew Jukes y Lesley
![Page 43: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/43.jpg)
Revisión sistemática
PRINCIPALES HALLAZGOS
![Page 44: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/44.jpg)
Revisión realista
![Page 45: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/45.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
Recomendación 1: Se sugiere optimizar la organización de las escuelas -tanto logística como de infraestructura- como parte de una cadena de distribución eficiente.
EVIDENCIA
Las responsabilidades adicionales para los profesores en los modelos descentralizados de alimentación escolar donde estos, a veces, compran la comida, tienen implicaciones negativas para la educación de los niños. Trabajos de campo en la India han demostrado que los profesores a cargo de las actividades de la alimentación escolar necesitan una media de dos o tres horas al día para estas tareas, tiempo en el que no pueden dar clases. (Bundy et al., 2009)
![Page 46: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/46.jpg)
Ejemplo 1: Lineamientos de gestión articulada para la reducción de la DCI
![Page 47: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/47.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
Metodología para el diseño de políticas con
base en evidencias
![Page 48: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/48.jpg)
Metodología para el diseño de políticas con base en evidencias
Decisión de la finalidad, alcance, objetivos y metas
de la política
Recursos/ grupos de
interés/opi-nión pública
Evidencia/ cono-
cimiento
Ideología/ experiencia/a
utoridad
Instrumentos Proceso de implementación de la Política
Planificación/ programación
Operación Evaluación y seguimiento
Normativos Lineamientos de articulación interesctorial e intergubernamental
Directivas técnicas para la entrega de las intervenciones efectivas
Directivas para los proyectos de inversión que implementan intervenciones efectivas
Directivas de seguimiento y evaluación de la política
Metodológicos Guía metodológica para la programación presupuestal multisectorial
Guía metodológica para evaluar restricciones o cuellos de botella para expandir las coberturas de las intervenciones efectivas
Guía metodológica para desarrollar tableros de control del desempeño de la política
Operativos Software para la programación presupuestal
Software para establecer metas de coberturas y resultados
Estudio de costos de las intervenciones efectivas
Manual de operaciones y estándares de calidad de los servicios que entregan intervenciones efectivas
Manual e supervisión de la calidad de la entrega de las intervenciones efectivas
Acuerdos de gestión Fondo de incentivos por el
cumplimiento de resultados
Diseño e implementación de sistemas de información para el seguimiento de usuarios de las intervenciones efectivas
12 meses 24 meses 36 meses
Intervenciones nutricionales generales 21.7% 17.8% 15.5%
Intervención con micronutrientes 10.3% 15.9% 17.4%
Intervenciones control de enfermedades 3.7% 2.9% 2.7%
99% de cobertura de todas las intervenciones 33.1% 35.8% 35.5%
90% de cobertura de todas las intervenciones 31.1% 32.4% 32.1%
70% de cobertura de todas las intervenciones 22.7% 24.1% 23.6%
Reducción relativa de la prevalencia de la desnutrición crónica
![Page 49: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/49.jpg)
¿DÓNDE? AREAS PRIORIZADAS
Los Lineamientos del MIDIS tienen como objetivos:
•Definir ámbitos a ser priorizados.
•Definir las intervenciones efectivas para reducir DCI.
Se han identificado 1,400 distritos empleando cuatro criterios de selección.
![Page 50: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/50.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
Intervenciones Efectivas
![Page 51: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/51.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
Efecto de las intervenciones en la reducción de la desnutrición crónica de niños menores de 36 meses Lancet 2008; 371: 417–
40
![Page 52: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/52.jpg)
Mayor asignación de recursos
Gestión eficaz y eficiente
Incremento cobertura
intervenciones efectivas
Reducción DCI
Diseño de herramientas de gestión para la reducción de la DCI basadas en intervenciones efectivas: San Martín y Cusco.
Los Ministros de Estado y Consejo Directivo ANGR han acordado establecer metas de cobertura y estrategias que faciliten el incremento de los niveles de cobertura de intervenciones efectivas.
Política basada en evidencias
![Page 53: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/53.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
Metodología para establecer metas de reducción de DCI con base en
intervenciones efectivas
![Page 54: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/54.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
Uso del software Spectrum (módulo LiST) para estimar la reducción de
DCI
![Page 55: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/55.jpg)
Un sistema para apoyar el desarrollo de políticas y planificar para mejorar la salud
![Page 56: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/56.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
Metodología
Niños desnutridos evitados =(linea de base de número de DCI) x (efectividad de la
intervención) x (cambio en la cobertura)
• Con base a esta metodología y con mayores ajustes se desarrolló el software List el cual fue incluido en el software SPECTRUM
![Page 57: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/57.jpg)
Desnutrición Bajo peso al nacer
Detección de sífilis
Mosquiteros
Alimentacion complementaria
Suplemento de alimentos y educación
Incidencia diarrea
Agua a menos de 30 minutos
Lavado de manos con jabon
Agua intradomiciliaria
Letrina y baño
Disposición excretas niños
Lactancia materna
Promoción de lactancia maternaLiST: Modelo causal de DCI
Suplemento de alimentos y micronutrientes madre
![Page 58: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/58.jpg)
Caso san martin
![Page 59: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/59.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
¿Dónde se va hacer? 33 Distritos priorizados
DISTRITOPorcentaje de
niños desnutridos
Número de niños desnutridos
Población Total <5años
SAN MARTIN DE ALAO 32,0 477
1490
SHATOJA 30,5 109 358
HUIMBAYOC 30,4 180 593
POLVORA 24,0 308 1284NUEVA CAJAMARCA 23,0 984
4273
MOYOBAMBA 21,7 1.677 7729
Se seleccionaron 29 distritos con Porcentajes de desnutrición más altos (rurales) y 4 distritos por el número absoluto de niños desnutridos (urbanos)
Fuente: Mapa de pobreza INEI 2010
![Page 60: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/60.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
San Martín 2009
Meta año 2014
a) Estrategias para mejorar la ingesta de nutrientes y micronutrientes1 Suplemento energizante balanceado (dieta calórica y protéica) para gestantes
desnutridas0 100
2 Suplemento de micronutrientes múltiples (hierro, ácido fólico, vitamina A) 83.8 953 Promoción de la lactancia materna exclusiva (todas las madres que tienen parto
institucional)30 80
4 Consejería sobre alimentación complementaria 50 1005 Consejería sobre alimentación complementaria y entrega de alimentos 40 1006 Vitamina A para prevención 5 907 Zinc para prevención 0 90b) Estrategias de prevención de enfermedades8 Uso de fuente de agua a menos de 30 minutos del hogar* 58.9 959 Uso de la conexión de agua* 56.7 8010 Alcantarillado o letrina* 25.6 9511 Lavado de manos con jabón 25 9012 Eliminación higiénica de las heces infantiles 25 9013 Planificación familiar (demanda satisfecha de Planificación familiar) 93.1 10014 Parto institucional 69.6 9015 Atención postparto (puerperio) 69.6 9016 Vacunas:
Vacuna contra rotavirus 62 95Vacuna contra el sarampión 85.2 95Vacuna Hib 93.8 95Vacuna antineumocócica 85.2 95Vacuna DTP 78.5 95Vacuna antipoliomielítica 74.5 95Vacuna BCG 88.2 95
c) Estrategias para el manejo de enfermedades 17 Suero de rehidratación oral (SRO) 29 9018 Antibióticos para la disenteria 70 10019 Zinc para tratamiento de diarreas 0 10020 Tratamiento de neumonia con antibióticos 37.9 8021 Alimentación terapéutica (rehabilitación nutricional de desnutrición aguda) 0 100*El plan de implementación será realizado en coordinación con la Dirección de Vivienda y Saneamiento
Intervenciones efectivas
![Page 61: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/61.jpg)
Uso de SPECTRUM para establecer metas de DCI con base en
evidencias
![Page 62: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/62.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
Impacto del 90% de cobertura de las intervenciones efectivas en la
desnutrición de San Martín
<1 año 1 año 2 años 3 años 4 años Desnutridos
evitados
Prevalencia en la Región
SM
Reducción de la
desnutrición Basal 28.2% 0.0%
Año 1 638 638 27.4% 0.8%Año 2 638 1,154 2,429 25.3% 2.9%Año 3 638 1,154 1,109 5,329 21.9% 6.3%Año 4 638 1,154 1,109 1,143 9,373 17.0% 11.2%Año 5 638 1,154 1,109 1,143 935 13,145 12.6% 15.6%
![Page 63: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/63.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
Costos per cápita* de IE por grupos de interés del programa
(*)Incluye: 100% de RH, Materiales y Medicamentos, no incluye biológicos de vacunación ni anticonceptivos
Costo per-cápita Población Costo total
Gestante 435 13,819 6,005,105
< 1 año 560 11,054 6,194,101
1 año 268 10,954 2,938,137
2 años 200 10,889 2,176,355
3 años 127 10,846 1,380,146
4 años 129 10,824 1,400,089
![Page 64: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/64.jpg)
Presupuesto adicional para expandir IE en San Martín
Ejemplo del estimado de financiamiento: Financiamiento adicional (Nuevos Soles) requerido para el programa de reducción de la desnutrición infantil en la Región San Martín mediante la expansión de coberturas de intervenciones efectivas en cohortes de niños de 33 distritos priorizados, durante 5 años de programa.
<1 año 1 año 2 años 3 años 4 años
Año 1 2,117,245 4,821,193 6,938,438
Año 2 2,117,245 4,821,193 3,121,939 10,060,377
Año 3 2,117,245 4,821,193 3,121,939 2,646,765 12,707,142
Año 4 2,117,245 4,821,193 3,121,939 2,646,765 1,638,532 14,345,674
Año 5 2,117,245 4,821,193 3,121,939 2,646,765 1,638,532 1,667,235 16,012,910
Presupuesto anual
Edad de los niños Gestantes
![Page 65: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/65.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
Meta de reducción de DCI en San Martín basada en expansión de IE en áreas priorizadas y en cohortes de edad
![Page 66: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/66.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
SAN MARTIN: evolución de DCI
El año 2012 San Martín ya llegó a su meta: 18.1%
![Page 67: Revisiones sistematicas y realistas avv midis v2](https://reader036.vdocuments.net/reader036/viewer/2022081506/55b42f49bb61eb3b338b45ed/html5/thumbnails/67.jpg)
Vice Ministerio de Políticas y Evaluación Social
Dirección General de Seguimiento y Evaluación
GRACIAS…
Hospital