informe de evaluación · 2. descripción resumida de la intervención evaluada _____ 11 2.1....

Sector 5 / Fernando de los Ríos Martín Informe de Evaluación

1

VERSIÓN: vfinal de 29/04/2014

Evaluación externa final

Informe de Evaluación Proyecto Apoyo al fortalecimiento del sistema de salud del distrito de Nacaroa, Mozambique 1200/2011

Lugar de intervención Mozambique

Provincia de Nampula, distrito de Nacaroa

Período de ejecución evaluado 01/11/2011 a 31/08/2012 y 31/07/2013 a 31/01/2014 Financiación Generalitat Valenciana (78%) 1200/2011

Ejecutor Consejo Interhospitalario de Cooperación (CIC)

Informe elaborado por: Sector5, Soc. Unip. Lda.

Fernando de los Ríos Martín Maputo Mozambique [email protected]

Fecha de la evaluación: Febrero - Abril 2014

mailto:[email protected]

Apoyo al fortalecimiento del sistema de salud del distrito de Nacaroa, Mozambique - 1200/2011 Mozambique, provincia de Nampula, distrito de Nacaroa Consejo Interhospitalario de Cooperación Generalitat Valenciana

Informe de Evaluación externa final Fernando de los Ríos Martín

i

ÍNDICE INFORME DE EVALUACIÓN ________________________________________________________ 1 0. Resumen Ejecutivo _________________________________________________________________ 1

0.1. Objetivos de la evaluación _________________________________________________ 1 0.2. Contexto ______________________________________________________________ 1 0.3. Conclusiones y recomendaciones ____________________________________________ 2 0.4. Lecciones aprendidas _____________________________________________________ 6

1. Introducción ______________________________________________________________________ 8 1.1. Objetivo e informe de evaluación ____________________________________________ 8 1.2. Preguntas y criterios de evaluación: definición __________________________________ 8 1.3. Equipo de evaluación ____________________________________________________ 10

2. Descripción resumida de la intervención evaluada _______________________________________ 11 2.1. Antecedentes y fase actual ________________________________________________ 11 2.2. Implantación geográfica __________________________________________________ 12 2.3. Organización y gestión ___________________________________________________ 13

3. Metodología _____________________________________________________________________ 13 3.1. Principios metodológicos _________________________________________________ 13 3.2. Fases ________________________________________________________________ 13 3.3. Técnicas aplicadas ______________________________________________________ 13 3.4. Restricciones a la evaluación _______________________________________________ 14

4. Análisis de las informaciones y evidencias recogidas _____________________________________ 14 4.1. Pertinencia ___________________________________________________________ 14 4.2. Eficacia ______________________________________________________________ 16 4.3. Eficiencia _____________________________________________________________ 20 4.4. Impacto ______________________________________________________________ 21 4.5. Viabilidad ____________________________________________________________ 22 4.6. Coherencia ___________________________________________________________ 23 4.7. Alineamiento __________________________________________________________ 24 4.8. Participación __________________________________________________________ 25 4.9. Cobertura ____________________________________________________________ 26

5. Conclusiones y recomendaciones _____________________________________________________ 26 6. Lecciones aprendidas ______________________________________________________________ 32 ANEXOS ______________________________________________________________________ 1 ANEXO1: Términos de Referencia _________________________________________________________ 1 ANEXO2: Agenda de trabajo fase II _______________________________________________________ 2 ANEXO3: Fuentes consultadas ___________________________________________________________ 3 ANEXO4: Ficha CAD – resumen evaluación _________________________________________________ 4



ii

ACRÓNIMOS

APE Agente Polivalente Elemental BCG Bacillus de Calmette y Guérin (vacuna contra la tuberculosis) CIC Consejo Interhospitalario de Cooperación CS Centro de Salud

DPS Dirección Provincial de Salud DPT Difteria, Bordetella pertussis (la tos ferina) y el tétanos.

MISAU Ministerio de Salud (Mozambique) PARP Plan de Acción para la Reducción de la Pobreza

PAV Plan de Vacunación PESS Plan Estratégico del Sector Salud

SDSMAS Servicios Distritales de Salud, Mujer y Acción Social SMI Salud Materno Infantil

TARV Tratamiento Antirretroviral TdR Términos de Referencia



1

INFORME DE EVALUACIÓN

0. Resumen Ejecutivo

0.1. Objetivos de la evaluación

El presente informe trata sobre la evaluación externa final realizada al proyecto titulado “Apoyo al fortalecimiento del sistema de salud del distrito de Nacaroa, Mozambique”, cofinanciado por la Generalitat Valenciana a través de la convocatoria de proyectos de 2011 con el número 1200/2011, e implementado por el Consejo Interhospitalario de Cooperación (CIC). Esta evaluación externa final da respuesta a uno de los requisitos legales de la entidad financiadora para intervenciones de estas características. Por otro lado, se constituye como una herramienta importante de aprendizaje y mejora continua con efectos positivos deseables para la implementación de posteriores intervenciones. La evaluación hace una medida del grado de desempeño y alcance de los resultados, revisa los factores de eficacia y eficiencia de la intervención y del equipo de gestión, y ofrece información sobre las cuestiones relacionadas con otros criterios de evaluación con interés para la entidad ejecutora. A partir del análisis de las cuestiones presentadas, se extraerán las conclusiones y se ofrecerán una serie de recomendaciones para mejorar los puntos débiles de la intervención. Se recogerán también las lecciones aprendidas de esta intervención con aplicación general para toda acción de cooperación al desarrollo.

0.2. Contexto

El Consejo Interhospitalario de Cooperación (CIC) está presente en Mozambique desde 1996, año en el que empezó a colaborar con el MISAU en la formación de médicos especialistas y técnicos medios especializados con el objetivo de conseguir un sistema nacional de salud más eficaz a partir de la mejora de la calidad y cantidad del personal sanitario. En la provincia de Nampula, desde el año 2005, implementa el Programa de Salud de Erati, financiado por la Generalitat Valenciana, en consorcio con las organizaciones Medicus Mundi y Action Aid, apoyando el funcionamiento del Hospital Rural de Namapa y de dos unidades sanitarias satélites (Mirrote y Alua). Por solicitación de la Dirección Provincial de Salud (DPS) de Nampula, de extender las acciones hacia otros distritos de la provincia, surge el presente proyecto de “fortalecimiento del sistema de salud del distrito de Nacaroa”. CIC plantea en la propuesta de proyecto reforzar específicamente aquellos programas del Sistema Nacional de Salud en los que el CIC ha venido trabajando en Erati (Gestión Sanitaria, Salud Materno – infantil, VIH/SIDA) que han demostrado ser viables en este distrito. El proyecto pretende fortalecer el sistema de salud del Distrito de Nacaroa apoyando el funcionamiento de los programas priorizados por el Gobierno como son el servicio TARV (tratamiento antiretroviral), la atención para una maternidad segura y la promoción de una alimentación variada, especialmente en menores de 5 años. La intervención considera actuaciones a tres niveles: (1) en las unidades sanitarias priorizadas y seleccionadas por los servicios de salud del distrito y que contempla mejoras estructurales, principalmente en el Centro de Salud de Nacaroa, así como refuerzo en la formación del personal; (2) en el ámbito comunitario a través del acompañamiento y fortalecimiento de los agentes comunitarios de salud, a saber, (i) los APEs (Agentes Polivalentes Elementales), personas de la comunidad formadas para impartir educación sanitaria, animación de la comunidad y realización de consultas básicas, (ii) los Activistas, apoyo a los APEs en comunidades donde no se cuenta con un puesto de salud, siendo su principal labor la de realizar educación sanitaria y animación de la comunidad, y (iii) las Parteras tradicionales, mujeres que tradicionalmente atendían los partos en las comunidades a las que se les da formación en higiene del parto y seguimiento del embarazo, las cuales trabajan, junto con los APEs, en los puestos de salud, no estando autorizadas a hacer los partos en la comunidad sino que deben promover el parto institucional pudiendo acompañar a la parturienta al CS para asistirla. Y (3) en los servicios de salud del distrito para apoyar y fortalecer su papel de coordinación de los servicios de salud comunitaria, potenciando la interrelación de todos los actores entre sí y a su vez con los niveles sanitarios superiores, desarrollando un sistema de flujo de información entre niveles que permita una mejor evaluación y monitoreo de las actividades realizadas, integrando también las actividades de los Agentes Comunitarios en el programa de atención a enfermos de VIH, promoción de la maternidad segura y mejora nutricional. La intervención se desarrolla en el distrito de Nacaroa, uno de los 18 distritos de la provincia de Nampula. Es limítrofe con el distrito de Erati y Memba donde se desarrolla el Programa de Salud financiado por la



2

Generalitat Valenciana. Es un distrito con una extensión de aproximadamente el 50% de la de Erati, e iguales proporciones en relación a su población, por lo que tiene una densidad poblacional bastante similar (38,27 hab./km2 de Nacaroa por 45,27 hab./km2 de Erati). Los indicadores sanitarios del distrito de Nacaroa presentan similitudes con aquellos recogidos del distrito de Erati a pesar de la incidencia del Programa de Salud en este distrito. Se puede resaltar, no obstante, la gran diferencia de enfermos de VIH inscritos en el programa de Tratamiento ARV, programa que está siendo apoyado en el distrito de Erati por CIC desde hace varios años. El equipo de CIC en el terreno se compuso de 1 expatriado, asumiendo las tareas de coordinación del proyecto, más personal de apoyo local. Durante los primeros 6 meses de intervención, el proyecto fue dirigido desde la oficina de CIC en Namapa (Erati) con desplazamientos frecuentes a la zona de intervención. Los últimos 6 meses de intervención la coordinación estuvo en manos de una persona mozambiqueña con presencia permanente en Nacaroa. La oficina de representación nacional, en Maputo, dio cobertura al equipo de implementación en varios ámbitos: coordinación, administración, representación institucional a nivel nacional, etc. CIC se relacionó directamente con los Servicios de Salud del distrito donde se ejecuta el proyecto (SDSMAS), dependientes de la Dirección Provincial de Salud de Nampula y ésta, a su vez, del Ministerio de Salud de Mozambique (MISAU), instituciones con las cuales se establecen los acuerdos marco, se coordinan y existe transmisión de información. El presupuesto de la intervención asciende a 303.321 EUR, con una participación de la Generalitat Valenciana de 235.500 EUR (78%).

0.3. Conclusiones y recomendaciones

Pertinencia Intervención pertinente al contexto en el que se ejecuta, dado que los objetivos definidos se orientan a la

resolución de los problemas incluidos en los informes anuales de los servicios de salud de Nacaroa: promoción de la salud comunitaria, mejora de los servicios de salud de la mujer y niños, mejora de los recursos humanos y la asistencia médica, y la expansión de la red sanitaria.

El diseño de la intervención adolece de algunos errores técnicos dado que se definen objetivos específicos sin conexión con unos resultados esperados que contribuyan a su alcance completo.

La intervención es pertinente en relación con la Estrategia nacional del Sector Salud vigente en el momento de la identificación y ejecución inicial. La mejora de los servicios TARV, la promoción del parto seguro, la mejora de las infraestructuras y la mejora de los servicios de salud comunitaria forman parte de los objetivos incluidos en dicha estrategia.

La intervención ha sido muy flexible a la hora de adaptar actividades concretas a las prioridades de los beneficiarios sobre todo con relación a las formaciones y capacitaciones incluidas en el proyecto.

Recomendaciones: Lógica de la intervención: Por cada intervención se recomienda definir un único objetivo específico

que deberá ser alcanzado en su totalidad a partir de la intervención. Para el alcance de ese objetivo específico se deberá diseñar la intervención de tal manera que se alcance unos resultados que necesariamente conlleven el alcance del objetivo específico. Todos los resultados, por tanto, deberán hacer referencia a ese único objetivo específico. Esta lógica de intervención deberá ser realizada a partir del análisis del árbol de problemas y sus causas.

Eficacia Hay resultados que no se alcanzan a partir de las actividades propuestas tal como la mejora del

funcionamiento de los servicios TARV del Centro de Salud de Nacaroa (los grupos de apoyo no permanecen activos al término de la intervención) y los recursos disponibles para la promoción del parto seguro (sólo verificado durante el tiempo de la intervención). La coordinación entre los agentes comunitarios de salud y los servicios de salud es el único resultado que se mantiene al término de la intervención a pesar de que con una menor actividad.

El sistema de incentivos, tanto aquéllos referidos a los integrantes de los grupos de apoyo como a las madres que acuden a dar parto en los centros de salud, no es sustentable, limitando los efectos alcanzados durante el tiempo que la intervención dura.

Los indicadores de los resultados deben hacer referencia a las mejoras verificables a partir de la consecución de estos resultados. Muchos de los indicadores definidos en la propuesta hacen referencias a



3

la realización de actividades que no implican el alcance de los resultados: la realización de encuentros, la constitución de grupos, la realización de estudios o de actividades de promoción no hacen referencia a mejoras verificables al término de la intervención.

Los indicadores TARV indican mejoras en el periodo 2011-2013 debido fundamentalmente a la expansión (a otras unidades sanitarias del distrito) y ampliación de los servicios TARV. Los indicadores de SMI no presentan cambios substanciales salvo en el caso del tímido aumento del número de partos institucionales, muy lejos todavía de las metas definidas.

La intervención ha permitido realizar acciones de apoyo a la gestión, formación y mejora de infraestructuras no previstas inicialmente. La demanda de estas acciones y la flexibilidad demostrada por CIC para acomodar este tipo de acciones en el marco global de la intervención ha hecho posible que se ampliar los efectos positivos sobre los servicios de salud.

El espíritu del colaboración demostrado por el CIC con los servicios de salud de Nacaroa, así como su flexibilidad y proximidad, son elementos que han merecido el destaque de las autoridades sanitarias a lo largo de la evaluación.

Aunque no han sido definidas acciones específicas sobre la mejora de la equidad de género, implícitamente todas las acciones estaban orientadas a las mujeres como grupo vulnerable: las acciones de TARV, parto seguro, mejora de las infraestructuras y mejora de los servicios de salud comunitaria redundan en la salud de la mujer principalmente.

Recomendaciones: Incorporación de actividades que no impliquen cargas financieras no asumibles por los servicios de

salud: Los resultados que impliquen la entrega de incentivos para su verificación pueden ofrecer una falsa imagen de eficacia por cuanto éstos no se verificarán al término de la intervención si los servicios de salud no asumen o no pueden asumir las cargas financieras que éstos suponen. Se recomienda que, antes de aplicar sistemas de incentivos, se verifique la disponibilidad real de los servicios de salud en asumir estas cargas financieras o, de otro modo, se apliquen estrategias de intervención diferentes o se asegure la financiación de estos incentivos por otras vías (ver recomendación 3).

Consolidación del sistema de incentivos: Si se optan por un sistema de incentivos (a grupos de voluntarios o a los beneficiarios) debería ser realizadas acciones de consolidación a lo largo de la intervención para asegurar su continuidad al término de ésta. Una posibilidad sería la ofrecer ventajas especiales a los voluntarios en el acceso a servicios de salud (por ejemplo, tener preferencia en la atención sanitaria), recibir algún tipo de beneficio de la comunidad, etc. La idea fundamental sería diseñar un sistema de mantenimiento de los incentivos para que una vez que termine la intervención no se produzca un corte de los mismos que podría afectar a la continuidad de las rutinas iniciadas.

Indicadores de alcance de resultados: Los indicadores de alcance de resultados deben medir las consecuencias de los estados finales alcanzados, no la realización de las actividades definidas para su alcance. Se puede dar la situación de que habiendo sido ejecutadas correctamente todas las actividades no se alcanzan los resultados previstos debido al mal diseño de estas actividades. Si los indicadores están definidos como realización de actividades podrían medir erróneamente el alcance de los resultados cuando en la realidad no se estaría verificando tal situación.

Incorporar acciones de apoyo a la gestión y planificación: Como se ha podido ver en la ejecución de esta intervención y para facilitar la implementación de las propias actividades, es importante incluir siempre actividades de apoyo a la gestión de los servicios de salud. A la vez que se asegura la correcta gestión y liderazgo de los beneficiarios, se estarán dando las herramientas de trabajo necesarias para la mejora de los servicios una vez terminada la intervención.

Inclusión de acciones específicas para la mejora de la equidad de género: Aunque una intervención esté dirigida implícitamente a la mejora de la equidad de género, favoreciendo el beneficio y participación de las mujeres, es importante diseñar acciones específicas en este sentido. Éstas ayudarán a concienciar a las mujeres de sus derechos, a los hombres de la necesidad de la equidad de género, y a los responsables de los servicios de salud en la necesidad de incluir este tipo de acciones en la planificación de sus actividades.



4

Eficiencia No hay desviaciones importantes en la ejecución del presupuesto. Solamente reseñar un exceso en el

gasto referido a construcciones y a personal local. Con relación a las construcciones, deberían haber sido correctamente dimensionadas para ajustar el gasto al presupuesto disponible. En cuanto al personal local, se advierte un incremento fuera de presupuesto del gasto en viajes y dietas que debería haber sido controlado durante la ejecución de la intervención.

Dada la ejecución del proyecto en dos etapas, no se ha podido cumplir el cronograma de intervención inicialmente definido. Se ha realizado un importante esfuerzo de concentrar actividades durante los 6 primeros meses y no dejar acciones paradas para los restantes últimos 6 meses.

El proyecto presenta una alta carga de estructura (personal + costes indirectos) que hacen disminuir la eficiencia general de la intervención. Se justifica por el hecho de que es una primera intervención en un distrito nuevo y se tienen que aplicar mayores costes en seguimiento e instalación inicial de los que le correspondería a una intervención ya implantada anteriormente.

La colaboración institucional ha sido muy positiva, se ha trabajado en un marco de confianza mutua y las autoridades sanitarias están muy satisfechas con el tipo de relación mantenida.

Los recursos humanos durante la primera etapa de implementación han sido adecuados, en número y capacidades, aunque en la segunda etapa, por la necesidad de incorporación urgente de personal, ha bajado la calidad del seguimiento y documentación de la intervención. En general, el proyecto no está bien documentado lo que perjudicará su seguimiento y adquisición de conocimiento para futuras intervenciones.

Recomendaciones: Ajustar los costes de estructura: Para mejorar la eficiencia de la intervención se recomienda ajustar

los costes de estructura en todo aquello que no sea estrictamente necesario para el alcance de los resultados. Esto también incluye el coste de aquellas actividades que no contribuyen estrictamente al alcance de los resultados. Por ejemplo, en esta intervención existe una partida bastante grande en construcción que no contribuye de manera efectiva al alcance de ningún resultado por lo que hace disminuir la eficiencia global de la intervención.

Documentación de la intervención: Para el correcto seguimiento de la intervención (no sólo económica) y el aprendizaje para futuras intervenciones es necesario documentar bien las acciones y los resultados obtenidos: informes y compilación de actividades, indicadores seguidos, materiales utilizados, valoración de la ejecución de actividades, etc.

Impacto La contribución de la intervención al alcance del Objetivo General (fortalecimiento del sistema de salud del

distrito de Nacaroa) ha sido bajo dada la complejidad de los problemas y debilidades del distrito así como la duración de la intervención y las áreas de intervención donde se ha trabajado.

Persisten en el sistema de salud debilidades grandes referidas a la falta de infraestructuras adecuadas (mayor cobertura), falta de personal en número y calidad y la falta de financiación adecuada del sistema en general.

Los efectos sobre la población han sido pequeños y en muchos casos, limitados al tiempo de ejecución de la intervención.

Recomendaciones: Continuidad de la intervención: La obtención de un mayor impacto está relacionada directamente

con la duración de la intervención. Se inician procesos y rutinas que merecen ser consolidadas para que generen efectos duraderos y contribuyan de manera efectiva a la mejora de los servicios de salud. Además se pueden realizar un mayor número de líneas de acción que de manera global podrán tener un mayor impacto sobre el objetivo general. Esta intervención merecería ser extendida una vez que ya se han iniciado ciertas acciones de tal manera que se asegure la obtención de un impacto verificable.

Intervención en mayores ámbitos: Así como el factor tiempo influye en la obtención de impacto, también lo hace la multiplicidad de líneas de intervención. Un único problema puede tener diferentes causas y factores por lo que para su mitigación deben ser atacadas todas ellas. La acción parcial sobre



5

algunas de ellas podrá implicar un esfuerzo grande de intervención con pobres resultados. Se recomienda, por tanto, diseñar intervenciones más concentradas en problemas pero más inclusivas en relación a las causas que originan esos problemas.

Mantenimiento de los efectos sobre la población: El impacto se entiende como los efectos duraderos de los beneficios obtenidos en la intervención sobre la población. Es importante no sólo, por tanto, que existan beneficios sino que estos perduren en el tiempo. Se recomienda incidir diseñar acciones que favorezcan la permanencia de los efectos fuera del tiempo de ejecución de las acciones. Los sistemas de incentivos acotados al tiempo de intervención, como se ha visto, no favorecen la permanencia de los efectos y, por tanto, la obtención de impacto.

Viabilidad La baja capacidad financiera de los servicios de salud del distrito no favorecerá el mantenimiento de los

beneficios obtenidos durante la intervención. La duración de la intervención no ha permitido consolidar procesos o rutinas iniciadas, ni asegurar la

continuidad del sistema de incentivos empleado en la formación de grupos de voluntarios. Se ha influido en la capacidad institucional de los servicios de salud aunque persisten problemas de base

que dificultan la continuidad de determinadas acciones: falta de financiación, escaso número de personal y la falta de motivación en general de muchos de los colaboradores del sistema.

Recomendaciones: Mayor duración: Como se ha indicado anteriormente, la duración de la intervención implica unas

mayores opciones de alcance de impacto precisamente porque se favorece la viabilidad de las acciones, una vez que da tiempo a consolidar procesos y dotar de una mayor capacidad a los gestores de los servicios de salud. Se recomienda que esta intervención pueda ser extendida en el tiempo de forma a que se pueda asegurar la viabilidad, la cual en estos momentos está comprometida.

Consolidar procesos: Para favorecer la viabilidad de la intervención, los procesos deben estar consolidados antes de terminar la intervención. Esto puede requerir, tal vez, que exista una concentración de las actividades en un determinado ámbito o problema aunque se trabaje en varios frentes al mismo tiempo.

Coherencia Existencia de coherencia interna relacionada con la adecuación de los objetivos y resultados propuestos a

los problemas detectados. Existencia de complementariedad de las acciones de este proyecto con aquéllas desarrolladas por otros

agentes de cooperación en el mismo territorio, coordinadas todas ellas por los servicios de salud. No se establecen relaciones de sinergia entre los diferentes proyectos de cooperación.

Recomendaciones: Sinergia entre las diferentes intervenciones: Además de la coordinación y complementariedad, es

importante establecer sinergias entre todas las intervenciones que se realicen en un mismo territorio y sector. Los servicios de salud deberían tener un papel más activo en la facilitación de estas sinergias participando activamente desde la fase de identificación de los proyectos en la creación de acciones conjuntas con objetivos finales comunes en las que todos los agentes de cooperación podrían contribuir.

Alineamiento Intervención perfectamente alineada con las políticas de desarrollo generales de Mozambique (PARP) y la

estrategia de salud vigente. Adaptación adecuada a los procedimientos administrativos y de gestión de las entidades locales,

manteniendo una capacidad elevada de autonomía para cumplir con los requisitos de obligado cumplimiento en la ejecución y justificación de la intervención.

Recomendaciones: Traspaso de mayores responsabilidades en la gestión financiera a las entidades locales: El objetivo



6

final sería que las propias entidades locales pudiesen incorporar la financiación a sus propios presupuestos y ejecutar las acciones propias. CIC podría asumir un papel de asistente técnico que aseguraría el control de los fondos, la correcta ejecución de las actividades y su justificación. Se recomiendo que, en futuras intervenciones, sean dadas cada vez mayores cuotas de autonomía y responsabilidad sobre la ejecución de la intervención o de parte de ellas.

Participación Todos los actores han participado en la identificación de las actividades, en particular los órganos de

dirección de los servicios de salud, los responsables de las unidades sanitarias donde se ha trabajado y las estructuras existentes de salud comunitaria.

Durante la ejecución se ha verificado una alta participación de todos los actores. Se han incluido las actividades en la planificación anual de los servicios de salud y se han encargado de la ejecución de un buen número de ellas.

El contacto permanente entre el personal del CIC y los responsables de los servicios de salud han favorecido el clima de participación a lo largo de toda la intervención.

Cobertura Todos los colectivos participantes definidos han sido beneficiados por las acciones del proyecto: mujeres

en edad fértil, a partir de las intervenciones en SMI e incentivos a las madres usuarias de los servicios de maternidad; menores de 5 años a partir de las acciones de SMI y formación continua; enfermos del servicio de TARV; personal de los servicios de TARV y SMI a partir de las acciones de capacitación; y los agentes comunitarios, activistas, parteras tradicionales y educadores de pares apoyados por las acciones de coordinación, incentivos y capacitación.

0.4. Lecciones aprendidas

Las intervenciones de pequeña duración y dispersas en cuanto a la obtención de resultados presentan impactos bajos y de viabilidad comprometida: intervenciones más duraderas, en las que se puedan consolidar los procesos iniciados a la vez que contemplar una diversidad de líneas de intervención en diferentes ámbitos, podrán contribuir de manera más clara a la mejora de los servicios de salud. Intervenciones cortas y no centradas en un único resultado podrán comprometer la viabilidad de las acciones iniciadas y contribuir de manera poco visible a la obtención del objetivo general.

El sistema de incentivos a beneficiarios aplicado en la realización de determinadas actividades ofrece una falsa sensación de eficacia: la obtención de resultados positivos durante una intervención basada en incentivos monetarios a sus ejecutores puede dar una falsa sensación de adecuación de las actividades al alcance de los resultados. Si el sistema de incentivos termina al finalizar la intervención se regresa a la situación inicial y se pierden los resultados alcanzados.

El coste de implantación de intervenciones es elevado por lo que se debe favorecer la continuidad de los proyectos ya iniciados: el inicio de una intervención en un sitio nuevo implica establecer relaciones institucionales desde cero, hacer un esfuerzo inicial en la compra de equipamientos y medios de trabajo, aplicar mayores gastos al seguimiento y control, etc. Este esfuerzo inicial, que rebaja la eficiencia de esta primera intervención, tendría un mayor sentido en el ámbito de una intervención de mayor duración. La eficiencia mejoraría al aplicarse estos costes a toda la extensión de la intervención y se alcanzarían mejores resultados al disminuir los esfuerzos aplicados en la implantación y sí en la ejecución.

La proximidad y flexibilidad garantizan la colaboración institucional: los agentes de cooperación que se colocan en una relación de proximidad junto a las entidades locales que apoyan, así como la flexibilidad de la intervención que se orienta a las prioridades de sus beneficiarios, garantizan una buena colaboración institucional necesaria para la obtención de resultados.

Los problemas y debilidades de base del sistema de salud dificultan el impacto de las acciones de los agentes de cooperación: si los problemas estructurales del sistema de salud permanecen inalterados, siendo éstos básicos y fundamentales para la prestación de servicios sanitarios de calidad, todas las acciones que se hagan



7

desde las ONGs y otros agentes de cooperación tendrán efectos limitados. Las ONGs deberán incorporar acciones de lobby e incidencia para la mejora de las políticas de financiación del sistema nacional de salud, incluyendo la extensión de la cobertura sanitaria y la formación de personal sanitario. Sin mejoras palpables en estos ámbitos, difícilmente se podrán reforzar los sistemas de salud distritales a partir de intervenciones de ONGs.



8

1. Introducción

1.1. Objetivo e informe de evaluación

El presente informe trata sobre la evaluación externa final realizada al proyecto titulado “Apoyo al fortalecimiento del sistema de salud del distrito de Nacaroa, Mozambique”, cofinanciado por la Generalitat Valenciana a través de la convocatoria de proyectos de 2011 con el número 1200/2011, e implementado por el Consejo Interhospitalario de Cooperación (CIC). Esta evaluación externa final da respuesta a uno de los requisitos legales de la entidad financiadora para intervenciones de estas características. Por otro lado, se constituye como una herramienta importante de aprendizaje y mejora continua con efectos positivos deseables para la implementación de posteriores intervenciones. La evaluación hace una medida del grado de desempeño y alcance de los resultados, revisa los factores de eficacia y eficiencia de la intervención y del equipo de gestión, y ofrece información sobre las cuestiones relacionadas con otros criterios de evaluación con interés para la entidad ejecutora. A partir del análisis de las cuestiones presentadas, se extraerán las conclusiones y se ofrecerán una serie de recomendaciones para mejorar los puntos débiles de la intervención. Se recogerán también las lecciones aprendidas de esta intervención con aplicación general para toda acción de cooperación al desarrollo.

El informe de evaluación consta un Resumen Ejecutivo, donde se recoge la información esencial de todo el trabajo de consultoría aquí presentado. A continuación se incluye la introducción (punto 1) que ofrece el contexto dentro del cual fue llevado a cabo el trabajo, completado por la descripción resumida de la intervención evaluada (punto 2) y la metodología utilizada (punto 3). El punto 4 ofrece un resumen del análisis de las cuestiones planteadas de forma específica en esta evaluación, intentando dar respuesta a cada una de ellas. El punto 5 recoge las conclusiones obtenidas por cada criterio de evaluación a partir del análisis realizado en el punto anterior, indicando los puntos fuertes y los débiles, a partir de las cuales se realizan algunas recomendaciones de utilidad para esta intervención o para próximas intervenciones. Por último, en el punto 6 se recogen las lecciones obtenidas del análisis de la ejecución evaluada.

1.2. Preguntas y criterios de evaluación: definición

Los criterios de evaluación que se siguieron para la realización del trabajo respetaron lo determinado en los Términos de Referencia y desarrollados en la propuesta de trabajo, e inciden en la pertinencia de la intervención, la eficiencia y eficacia de las acciones en la relación al alcance de los resultados, la viabilidad una vez terminada la participación de CIC, la apropiación por parte de las entidades locales, el alineamiento con los intereses de las entidades gubernamentales, la participación de los beneficiarios y socios locales, y la cobertura alcanzada. A partir de estos criterios y las preguntas de evaluación asociadas, se construyó una matriz con indicadores que sirviesen para analizar los datos existentes y para extraer conclusiones. Los criterios, las preguntas clave y sus indicadores se exponen a continuación:

Información a obtener Indicadores a usar Fuentes de verificación

CRITERIOS PRINCIPALES

Pertinencia

1 ¿Se corresponde la intervención con las prioridades y necesidades de la población beneficiaria?

Coincidencia de las prioridades de los beneficiarios (en la identificación y actualmente) con los objetivos del proyecto.

Documentos de formulación e identificación

Documentos de evaluación de fases anteriores

Entrevistas beneficiarios y entidad beneficiaria

2 ¿Fue el diseño de la intervención lógico, coherente y relevante?

Se verifica la transformación de los problemas y sus causas en objetivos y resultados.

Los resultados efectivamente conducen a la obtención de objetivos

La intervención está alineada con las políticas y estrategias nacionales y locales

Árbol de problemas y objetivos Marco Lógico Estrategias y políticas,

nacionales y locales, globales y específica

3 ¿Se ha adaptado la intervención a los posibles cambios desde el momento de la definición de la intervención y durante la misma?

Los indicadores fueron actualizados o mejorados

Existencia de cambios relevantes que pudieran afectar a la intervención

Informes intermedios Entrevistas beneficiarios y

entidad beneficiaria



9


Eficacia 4 ¿Se han alcanzado los resultados en el plazo

previsto? Revisión de los indicadores previstos para la

medida de la obtención de alcance de los resultados

Adecuación de los indicadores para la correcta medición de los resultados

Fuentes de verificación de los indicadores previstos

5 ¿Cuál es el grado de alcance del objetivo específico de acuerdo con los indicadores definidos?

Revisión de los indicadores previstos para la medida del alcance de los resultados

Adecuación de los indicadores para la correcta medición de los resultados


6 ¿Se han logrado otros efectos no previstos?, ¿cuáles son las razones?

Resultados no previstos. Causas externas e internas


Verificación visual

7 ¿Han encontrado dificultades los destinatarios para acceder a las actividades de la intervención?

Acceso a los servicios por parte de los beneficiarios

Facilidad de gestión de las acciones


8 ¿Se están produciendo algunos efectos sobre la equidad de género?

Inclusión de estrategia de género y sus efectos sobre la equidad de género y acceso a los servicios


Eficiencia 9 ¿Se han respetado los presupuestos

establecidos inicialmente en el documento? Cumplimiento de la planificación propuesta

(presupuesto) Informes de ejecución

financiera

10 ¿Se han respetado los cronogramas y tiempos previstos?

Cumplimiento de la planificación propuesta (cronograma)

Informes de ejecución

11 ¿Ha sido eficiente la transformación de los recursos en los resultados?

Relación entre la ejecución presupuestaria y la obtención de resultados.

Existencia de alternativas más eficientes Identificación de actividades no eficientes

Informes de ejecución financiera

Informes de ejecución Entrevistas personal de gestión Entrevistas beneficiarios y


12 ¿En qué medida la colaboración institucional y los mecanismos de gestión articulados han contribuido a alcanzar los resultados de la intervención?

Existencia de protocolos y Acuerdos de colaboración institucional.

Cumplimiento de los Acuerdos establecidos Adecuación de los mecanismos de gestión a

la realidad de los beneficiarios

Acuerdos de Colaboración Entrevistas beneficiarios y

entidad beneficiaria Entrevistas personal de gestión

del proyecto

13 ¿Los recursos humanos han sido suficientes y con las capacidades adecuadas para la ejecución de la intervención?

Las cargas de trabajo han sido adecuadas La calidad de la ejecución del trabajo (en

relación a los recursos humanos) ha sido la esperada.

Entrevistas personal de gestión del proyecto


Impacto 14 ¿Se está contribuyendo al alcance del

objetivo general?, ¿En qué medida? Revisión de los indicadores propuestos en el

proyecto Existencia de factores externos que

influencian la evolución de los indicadores



15 ¿Se han producido impactos positivos o negativos no previstos sobre la población beneficiaria? ¿Existen factores externos que dificultan o favorecen el impacto final de la intervención?

Existencia de impacto sobre los beneficiarios, tanto del esperado a partir de la intervención como no, incluyendo posibles impactos negativos.

Acceso de los beneficiarios al impacto general obtenido


Verificación visual

Viabilidad 16 ¿Se mantendrán los beneficios de la

intervención una vez retirada la ayuda externa?

Coste de continuidad de los servicios apoyados asumible por los Servicios de Salud

Las nuevas exigencias en gestión y capacidad técnica introducidas durante la intervención están consolidadas y podrán seguir siendo aplicadas

Entrevistas entidad beneficiaria Documentación de gestión


17 ¿Se siguen generando los recursos necesarios para el mantenimiento de las actividades?

Fuentes de financiación adecuadas Coste de los nuevos servicios adecuados al

nivel de financiación Capacidades de gestión de las actividades

presente

Entrevistas entidad beneficiaria Documentación de gestión




10


18 ¿Se ha influido positivamente sobre la capacidad institucional?

Liderazgo de la intervención Los Servicios de Salud asumen nuevas

prácticas o consolidan aquellas que ya estaban en marcha.

Entrevistas entidad beneficiaria

19 ¿Se ha velado por la protección del medio ambiente?

Existencia de impactos medioambientales de las actividades del proyecto

Generación de impactos medioambientales a partir del funcionamiento de realizaciones del proyecto, particularmente de las infraestructuras

Existencia de protocolos de minimización de impactos ambientales

Entrevistas personal de gestión del proyecto

Protocolos medioambientales

Coherencia 20 ¿Se corresponden los problemas

identificados con los objetivos propuestos? ¿Son adecuadas las actividades programadas para lograr los objetivos de la intervención?

Adecuación del diseño de la intervención a la Lógica del proyecto

Marco Lógico Árbol de problemas y soluciones

21 ¿Complementa la intervención a otras estrategias o programas aplicados en el mismo territorio, sector o población objetivo por otros agentes de cooperación, donantes y el país socio? ¿Se aprovechan las sinergias que se puedan establecer entre estos programas y la intervención?

Existencia de otras intervenciones en salud. Puntos de completo, coordinación y objetivos

Existencia de Acuerdos de colaboración Existencia de rutina de encuentros de

coordinación e intercambio de información Existencia de solapamiento de actuaciones

Entrevistas entidad financiadora Entrevistas grupos temáticos de

salud en Maputo

Alineamiento 22 ¿Se han tenido en cuenta las estrategias y

programas de desarrollo del país donde se ejecuta el proyecto?

Adecuación de los resultados y objetivos del proyecto a la política nacional de salud, sus procedimientos y sus prioridades.

Políticas y Estrategias nacionales

23 ¿La intervención se adapta a los procedimientos administrativos y de gestión de las entidades locales?

Inclusión de las actividades y presupuesto de la intervención en la Planificación Anual del Hospital Central de Maputo

Existencia de puntos de conflicto o fricciones en relación a los procedimientos de gestión.

Procedimientos administrativos de Mozambique

Entrevistas entidad financiadora

Participación 24 ¿Se ha delimitado claramente quiénes van a

participar en el proyecto, y cómo? ¿Qué actores han participado en cada fase de la intervención?, ¿en qué medida? ¿Han sido eficaces los canales de participación establecidos?

Revisión formulación y cruce con los beneficiarios finales de la intervención.

Revisión de intervinientes en las diferentes fases. Cómo y cuándo.

Comunicación, coordinación e información de las actividades y resultados de acuerdo con las exigencias y necesidades de los intervinientes.

Existencia de canales de comunicación

Informes de ejecución Entrevistas beneficiarios Documentación de

comunicación existente

Cobertura 25 ¿Las actuaciones desarrolladas en la

intervención han alcanzado a todos los colectivos destinatarios? ¿Son diferentes los colectivos atendidos respecto a los identificados durante el diseño de la intervención?

Descripción de los beneficiarios de la intervención, cruce con los previstos en la formulación del proyecto, o aquellos esperados por los socios locales.

Informes de ejecución Entrevistas beneficiarios y

entidad beneficiaria Formulación del proyecto

26 ¿Se han establecido mecanismos para facilitar a los beneficiarios el acceso a los servicios de la intervención?

Existencia de medidas de acceso a los servicios

Uso de los servicios por parte de los destinatarios

Informes de ejecución Entrevistas beneficiarios y


1.3. Equipo de evaluación

La evaluación ha sido llevada a cabo por Fernando de los Ríos Martín, especialista en evaluación de proyectos, con experiencia en esta área por espacio de más de 12 años y con máster en cooperación al desarrollo. Ha sido jefe de equipo en más de 20 evaluaciones externas de proyectos (intermedias y finales) en los sectores de Agua y Saneamiento, Desarrollo Rural (apoyo a asociaciones de productores), Gobernanza, Salud y Educación. La mayor parte de las evaluaciones fueron realizadas en Mozambique (y en particular en Cabo Delgado), aunque



11

también en Angola, Kenia y Malawi. Algunas de ellas específicamente a proyectos de cooperación financiados por la Generalitat Valenciana e implementados por ONGs españolas similares al aquí evaluado. Conoce el contexto del país en profundidad, así como las relaciones con las instituciones gubernamentales, los foros de ONGs y la realidad local en general. Su papel fue el de conducir todas las fases del trabajo, elaborar las herramientas de recogida de información, realizar el trabajo de campo para la obtención de datos y elaborar el informe de evaluación. A continuación un resumen de su CV:

Fernando de los Ríos Martín

Formación Académica: Master en Cooperación Internacional e Inmigración. Universidad del País Vasco. 2005-2006 Licenciado en Química. Universidad Oviedo. 1991-1996

Conocimientos y experiencia relevantes para este trabajo: Experiencia en evaluación de proyectos de cooperación, durante 12 años en países como Mozambique,

Angola, Malawi y Kenya. Director de equipo de evaluación en trabajos similares Experiencia como coordinador de varios proyectos y programas de cooperación en Mozambique para varias

ONGs. Conocimiento profundo de la realidad africana (más de 15 años de trabajo y residencia en Mozambique) Fluente en español (lengua materna), portugués e inglés.

Nacionalidad: española

Tareas / roles / asignados para este trabajo: Todas las fases del trabajo: diseño, trabajo de campo y elaboración de productos finales

2. Descripción resumida de la intervención evaluada

2.1. Antecedentes y fase actual

Antecedentes: entidad ejecutora, pasos previos El Consejo Interhospitalario de Cooperación (CIC) está presente en Mozambique desde 1996, año en el que empezó a colaborar con el MISAU en la formación de médicos especialistas y técnicos medios especializados con el objetivo de conseguir un sistema nacional de salud más eficaz a partir de la mejora de la calidad y cantidad del personal sanitario. En la provincia de Nampula, desde el año 2005, implementa el Programa de Salud de Erati, financiado por la Generalitat Valenciana, en consorcio con las organizaciones Medicus Mundi y Action Aid, apoyando el funcionamiento del Hospital Rural de Namapa y de dos unidades sanitarias satélites (Mirrote y Alua). Por solicitación de la Dirección Provincial de Salud (DPS) de Nampula, de extender las acciones hacia otros distritos de la provincia, surge el presente proyecto de “fortalecimiento del sistema de salud del distrito de Nacaroa”. CIC plantea en la propuesta de proyecto reforzar específicamente aquellos programas del Sistema Nacional de Salud en los que el CIC ha venido trabajando en Erati (Gestión Sanitaria, Salud Materno – infantil, VIH/SIDA) que han demostrado ser viables en este distrito. La experiencia acumulada y la importancia de promover la maternidad segura y el parto institucional (prioridades tanto del Ministerio de Sanidad de Mozambique – MISAU – como de la Generalitat Valenciana) justifican que sea las acciones principales para el inicio de la intervención en un distrito nuevo como Nacaroa. Proyecto actual El proyecto pretende fortalecer el sistema de salud del Distrito de Nacaroa apoyando el funcionamiento de los programas priorizados por el Gobierno como son el servicio TARV (tratamiento antiretroviral), la atención para una maternidad segura y la promoción de una alimentación variada, especialmente en menores de 5 años. La intervención considera actuaciones a tres niveles: (1) en las unidades sanitarias priorizadas y seleccionadas por los servicios de salud del distrito y que contempla mejoras estructurales, principalmente en el Centro de Salud de Nacaroa, así como refuerzo en la formación del personal; (2) en el ámbito comunitario a través del acompañamiento y fortalecimiento de los agentes comunitarios de salud, a saber, (i) los APEs (Agentes



12

Polivalentes Elementales), personas de la comunidad formadas para impartir educación sanitaria, animación de la comunidad y realización de consultas básicas, (ii) los Activistas, apoyo a los APEs en comunidades donde no se cuenta con un puesto de salud, siendo su principal labor la de realizar educación sanitaria y animación de la comunidad, y (iii) las Parteras tradicionales, mujeres que tradicionalmente atendían los partos en las comunidades a las que se les da formación en higiene del parto y seguimiento del embarazo, las cuales trabajan, junto con los APEs, en los puestos de salud, no estando autorizadas a hacer los partos en la comunidad sino que deben promover el parto institucional pudiendo acompañar a la parturienta al CS para asistirla. Y (3) en los servicios de salud del distrito para apoyar y fortalecer su papel de coordinación de los servicios de salud comunitaria, potenciando la interrelación de todos los actores entre sí y a su vez con los niveles sanitarios superiores, desarrollando un sistema de flujo de información entre niveles que permita una mejor evaluación y monitoreo de las actividades realizadas, integrando también las actividades de los Agentes Comunitarios en el programa de atención a enfermos de VIH, promoción de la maternidad segura y mejora nutricional.

2.2. Implantación geográfica

La intervención se desarrolla en el distrito de Nacaroa, uno de los 18 distritos de la provincia de Nampula. Es limítrofe con el distrito de Erati y Memba donde se desarrolla el Programa de Salud financiado por la Generalitat Valenciana. Es un distrito con una extensión de aproximadamente el 50% de la de Erati, e iguales proporciones en relación a su población, por lo que tiene una densidad poblacional bastante similar (38,27 hab./km2 de Nacaroa por 45,27 hab./km2 de Erati).

Los indicadores sanitarios del distrito de Nacaroa presentan similitudes con aquellos recogidos del distrito de Erati a pesar de la incidencia del Programa de Salud en este distrito. Se puede resaltar, no obstante, la gran diferencia de enfermos de VIH inscritos en el programa de Tratamiento ARV, programa que está siendo apoyado en el distrito de Erati por CIC desde hace varios años.

Indicadores salud Nacaroa Erati Nampula prov.

Bajo peso al nacimiento 10% 9% 12%

Crecimiento insuficiente 7% 5% 3%

Partos institucionales 37% 39% 65%

Consultas post-parto 87% 80% 75%

Enfermos en TARV 1.007 8.904 89.812

Fuentes:

- DPS Nampula

2011



13

2.3. Organización y gestión

El equipo de CIC en el terreno se compuso de 1 expatriado, asumiendo las tareas de coordinación del proyecto, más personal de apoyo local. Durante los primeros 6 meses de intervención, el proyecto fue dirigido desde la oficina de CIC en Namapa (Erati) con desplazamientos frecuentes a la zona de intervención. Los últimos 6 meses de intervención la coordinación estuvo en manos de una persona mozambiqueña con presencia permanente en Nacaroa. La oficina de representación nacional, en Maputo, dio cobertura al equipo de implementación en varios ámbitos: coordinación, administración, representación institucional a nivel nacional, etc. CIC se relacionó directamente con los Servicios de Salud del distrito donde se ejecuta el proyecto (SDSMAS), dependientes de la Dirección Provincial de Salud de Nampula y ésta, a su vez, del Ministerio de Salud de Mozambique (MISAU), instituciones con las cuales se establecen los acuerdos marco, se coordinan y existe transmisión de información. El presupuesto de la intervención asciende a 303.321 EUR, con una participación de la Generalitat Valenciana de 235.500 EUR (78%).

3. Metodología

3.1. Principios metodológicos

Se han seguido una serie de principios a lo largo de toda la evaluación en sus diferentes fases que se podrían resumir en los siguientes puntos: Objetividad: en la medida de lo posible, todas las conclusiones están basadas en el análisis de evidencias

contrastables. Participación y aprendizaje: los intervinientes se incorporaron a la evaluación en las diferentes fases del

trabajo. Siempre que fue posible, el personal técnico acompañó al equipo de evaluación a las entrevistas, reuniones y visitas, salvo cuando las circunstancias aconsejaban lo contrario.

Alineamiento con lo establecido en los TdR: El trabajo de consultoría siguió las premisas establecidas en los TdR dando respuesta a las necesidades del CIC.

Uso de diferentes herramientas: fueron utilizadas diferentes herramientas para la obtención de los datos necesarios para realizar los análisis correspondientes.

3.2. Fases

El trabajo de evaluación se desarrolló en 3 fases: 1. Fase inicial preparatoria, en la cual el equipo de evaluación tomó contacto con la documentación de la

intervención y preparó las herramientas de evaluación en concordancia con los requerimientos de la entidad solicitante. En esta fase fue también elaborada la agenda final de la fase de obtención de evidencias.

2. Fase de recogida de datos en la zona de la intervención, para tener acceso a la información primaria y secundaria de manera directa y obtener las evidencias de los resultados para posteriormente realizar el cruce con la información documental. Esta recogida de datos fue realizada fundamentalmente en la provincia de Nampula y en el distrito de Nacaroa donde fueron entrevistados algunos de los participantes en el proyecto como los servicios distritales de salud, personal sanitario de las unidades sanitarias seleccionadas y beneficiarios. También fueron visitados los lugares de intervención directa como el propio centro de salud de Nacaroa, y las unidades sanitarias de Maheta y Nahadge, así como la unidad sanitaria de Nachere que sirvió como control.

3. Fase de elaboración del informe de evaluación, envío de la primera versión, incorporación de comentarios y elaboración del informe definitivo.

3.3. Técnicas aplicadas

Como se menciona en los principios metodológicos, fueron aplicadas diferentes técnicas y herramientas dependiendo de la fase de la evaluación:



14

En la primera fase o de diseño: revisión documental, tanto la documentación de base del proyecto, como

la generada a partir de la ejecución y otra documentación relacionada con el proyecto (Políticas, Estrategias, informes, etc.).

En la fase de campo: revisión de documentos específicos, procedimientos, informes de seguimiento, fuentes de verificación, etc. Se realizaron también entrevistas semiestructuradas con algunos de los participantes en el proyecto y el personal de CIC directamente involucrado en la ejecución de las actividades.

En la fase de elaboración del informe: fue realizado el análisis de los datos y la información obtenida a partir de los informantes clave y la observación directa.

3.4. Restricciones a la evaluación

La valoración a los criterios de evaluación se han basado en datos objetivos tomados durante todo el proceso de trabajo, lo cual incluye la revisión de los documentos producidos, otros documentos relacionados con el proyecto producidos por otras instituciones, datos obtenidos durante el trabajo de campo, opiniones extraídas durante las entrevistas mantenidas con personas clave de la implementación y verificación in situ de las actividades realizadas y de los resultados producidos. Todas las opiniones recogidas han sido cruzadas posteriormente con datos objetivos en la medida de lo posible, para minimizar errores provocados por el sesgo de la información dada. Asimismo, las conclusiones relacionan información de los resultados de la valoración de los criterios con datos objetivos. No obstante, la interpretación de ciertos resultados, la visión personal del equipo de evaluación, la falta de información completa y otros factores inherentes a un trabajo de corta duración como este, pueden inducir a conclusiones que necesariamente necesitarán ser contrastadas posteriormente con la inclusión de nuevos datos.

4. Análisis de las informaciones y evidencias recogidas

4.1. Pertinencia

1 ¿Se corresponde la

intervención con las prioridades y

necesidades de la población

beneficiaria?

Las prioridades incluidas en el informe anual de la Dirección Provincia de Salud de Nampula (2012)

1 se refieren, entre otras, a (1) la promoción de la salud comunitaria, (2) la mejora de

los servicios de salud de la mujer y niños, (3) la mejora de los recursos humanos y la asistencia médica y (4) la expansión de la red sanitaria. El presente proyecto recoge estas 4 cuatro prioridades a partir de (i) la consolidación del funcionamiento de los servicios de TARV, (ii) la integración de los agentes comunitarios de salud en estas acciones TARV (entre otras), (iii) la mejora de la red sanitaria (en este caso, mejora de las infraestructuras del Centro de Salud de Nacaroa principalmente, con obras de rehabilitación y mejora) y (iv) el aumento de los índices de parto institucional. Los 4 resultados previstos en la intervención se encuadran perfectamente en las prioridades del sector de salud definidas a nivel provincial. A nivel distrital (distrito de Nacaroa), también se recoge en el informe anual de los servicios distritales de salud (2011)

2 la prioridad de expandir los servicios de TARV para

el año 2012.

1 Informe Anual. DPS Nampula. 2012 2 Informe Anual. SDSMAS Nacaroa. 2011



15

2 ¿Fue el diseño de la intervención lógico,

coherente y relevante?

Para el análisis del diseño de la intervención con relación a su relevancia y coherencia, se toman como referencia dos parámetros: (1) la orientación de los resultados esperados a la obtención de los objetivos de la intervención, y (2) la inclusión de los objetivos a alcanzar en la estrategia nacional de salud. Estrategia dirigida al alcance de los objetivos Los objetivos propuestos en la intervención son (1) el fortalecimiento del programa de tratamiento antirretroviral, la atención de la maternidad segura y la alimentación mejorada en menores de 5 años y (2) el fortalecimiento del funcionamiento de la red comunitaria de atención sanitaria (APEs, activistas y parteras tradicionales). Los objetivos específicos se definen a partir de la identificación del problema principal, en este caso la fragilidad del sistema de salud en el distrito de Nacaroa, adoptando como estrategia el fortalecimiento de los programas prioritarios (HIV-SIDA, salud materno infantil y salud comunitaria). Para cada uno de estos objetivos específicos se deberían definir los correspondientes resultados que se corresponderían con las causas de la fragilidad de estos programas prioritarios. No obstante, son definidos resultados globales a todos los objetivos específicos en el formulario del proyecto. A parte de las consideraciones técnicas en relación a la construcción del Marco Lógico, esta deficiencia implica una pérdida de coherencia interna. En un único objetivo se incluyen varios programas de salud que tienen diferentes metodologías de actuación para su fortalecimiento y que posteriormente, en los resultados, no se especifican los efectos de la intervención. Por ejemplo, en relación con la mejora de la alimentación en menores de 5 años no hay indicadores relacionados con la medida de este objetivo ni resultados esperados que conduzcan a la obtención de este resultado. Los resultados referidos a la mejora de infraestructuras (obras de rehabilitación) son acciones que contribuirán a la mejora del parto seguro aunque existen muchos otros factores que influyen en el alcance de este resultado y no se incluyen en la intervención. Esto perjudicará la verificación del alcance del objetivo específico referido a la maternidad segura al no ser incluidos otros factores en la intervención. Se tratará, por tanto, de una contribución al alcance del objetivo (objetivo general) y no tanto específico de la intervención. En resumen, técnicamente es bastante mejorable la lógica de la intervención. En primer lugar, definiendo un objetivo específico que sea alcanzado en su totalidad a partir de la intervención. En segundo lugar a partir de la definición de resultados que directamente favorezcan la obtención del resultado específico y sean obtenidos a partir de las actividades propuestas. Inclusión de los objetivos a alcanzar en las políticas y estrategias nacionales de salud. La estrategia nacional del sector de salud en Mozambique se recoge en su Plan Estratégico 2007-2012, vigente durante buena parte de la implementación de la intervención. Este plan estratégico es muy extenso y toca todos los ámbitos del sistema nacional de salud, por lo que resulta sencillo ver reflejada en él cada una de las intervenciones que se realizan en este sector. No obstante, en particular para esta intervención, su incorporación en la estrategia nacional de salud se concentra en los siguientes puntos:

Plan Estratégico del Sector Salud 2007-2012 (PESS) Estrategia de Mozambique para el sector salud

Estrategia/prioridad propuesta Incorporación en la intervención

Reducción de la tasa de mortalidad infantil (Objetivo general 1 y 2):

Servicios de tratamiento antirretroviral pediátrico

Mejora de los Servicios de TARV con implicación directa en el TARC pediátrico.

Reducción de la tasa de mortalidad materna (Objetivo general 4):

Refuerzo del sistema de referencia

Promoción del parto institucional Mejora de las infraestructuras.

Reducción de nuevas infecciones por HIV (Objetivo general 6):

Integración servicios de prevención y tratamiento de HIV/SIDA

Intervenciones orientadas al cambio de comportamiento

Aumento de existencia de servicios TARV

Mejora de los servicios de TARV en el distrito

Mejora de la salud comunitaria a partir de la promoción de agentes y activistas comunitarios.



16

Desarrollo de actividades tendentes a la movilización e involucración de las comunidades en

la defensa de su salud (Objetivo general 16): Implementación de la estrategia de participación

comunitaria

Refuerzo de sistema de participación comunitaria

Mejora y expansión de la red sanitaria (Objetivo general 30):

Desarrollo de un programa de rehabilitación y promoción de las infraestructuras sanitarias.

Rehabilitación de infraestructuras sanitarias

3 ¿Se ha adaptado la intervención a los posibles cambios

desde el momento de la definición de la

intervención y durante la misma?

Una intervención de corta duración como ésta que está siendo evaluada (12 meses) no presenta normalmente problemas de adaptación a la realidad por cambio de las condiciones o contexto desde el momento que se identifica hasta su finalización. No obstante, esta intervención ha tenido una particularidad importante una vez que ha sido ejecutada en 2 fases. La falta de financiación de la intervención completa ha obligado a realizar una parada en su ejecución por un periodo de tiempo considerable, con dos fases de 6 meses cada una. A pesar del lapso de tiempo entre ambas fases, no se puede hablar de cambios de contexto importantes a juzgar por el contenido de los informes anuales de los servicios de salud a nivel provincial y distrital. El único cambio importante que se ha dado tiene que ver con la mejora de las infraestructuras. Inicialmente fueron definidas obras de mejora de los sistemas de luz y agua de 2 unidades sanitarias como prioridades del distrito. Posteriormente, durante la ejecución se tomaron en consideración las nuevas prioridades de los servicios de salud consistentes en la rehabilitación de diferentes dependencias del Centro de Salud de Nacaroa y obras de mantenimiento en las restantes unidades sanitarias periféricas. Por otro lado, las actividades de formación se han ido adaptando a las necesidades específicas del momento. Estas actividades de formación se han ido diseñando a medida en que se iba ejecutando el proyecto, dentro del marco temático propuesto en la intervención. Esto ha redundado en la pertinencia de las acciones de formación y en el impacto esperado.

VALORACIÓN CRITERIO ALTA

4.2. Eficacia

4

¿Se han alcanzado los resultados en el

plazo previsto?

Para determinar el grado de la consecución de resultados se hará un repaso del alcance de los indicadores y las metas propuestas, valorando en algún caso la idoneidad de los indicadores.

Indicadores Resultados

OE1. Fortalecer el programa de tratamiento antirretroviral (TARV), la atención a la maternidad segura y alimentación mejorada en menores de 5 años en el Distrito de Nacaroa. OE2. Fortalecer el funcionamiento de la red comunitaria de atención sanitaria (APEs, activistas y parteras tradicionales)

Resultados previstos Indicadores Valoración indicadores/Comentarios

R1. Mejorado el funcionamiento del servicio TARV en el Centro de Salud de Nacaroa Sede con integración de los agentes comunitarios de salud.

100 % de encuentros programados realizados

Este indicador no ofrece información sobre la obtención del resultado esperado. La mejora del funcionamiento del servicio TARV debe ser medida con indicadores específicos relacionados con su propio funcionamiento: aumento inscripciones, disminución abandonos, mejora del control de stock de medicamentos, cumplimiento de los protocolos, etc. Los encuentros de intercambio de experiencias con los servicios TARV fueron realizados, así como los encuentros para la integración de formadores de pares y agentes comunitarios. No obstante esto no ofrece una medida clara de la mejora de los servicios TARV como se ha dicho.

Nº de grupos de apoyo constituidos

Existen 2 tipo de grupos de apoyo: (1) los Educadores de pares, programa subsidiado por las ONGs ICAP inicialmente y EGPAF posteriormente. Es un programa altamente dependiente de la financiación externa de los educadores por lo que adolece de una falta grande de sustentabilidad. (2) Grupos de Autocuidado (GAC), apoyados por CIC. De los 9 inicialmente formados sólo existen en la actualidad 2 dada la falta de financiación de los propios grupos. A pesar de trabajar en régimen de voluntariado, su permanencia y estabilidad tiene una alta dependencia a la percepción de subsidios



17

que no se produce al término de la intervención. Como en el anterior indicador, la existencia o no de estos grupos tampoco es un indicador fiable de la medida del funcionamiento de los servicios TARV.

R.2. Proporcionadas agua potable al CdS de Maheta y energía al CdS de Nahadge como Unidades Sanitarias estratégicas facilitando recursos para su mantenimiento.

100 % de obras previstas realizadas

Fueron desestimadas las obras propuestas en la reformulación del proyecto y substituidas por otras de mayor prioridad en el Centro de Salud de Nacaroa y las unidades sanitarias periféricas.

Unidad de Mantenimeinto Distrital operativa

Indicador desestimado por no incluirse esta actividad en este proyecto.

R.3. Mejorados los recursos disponibles para promover el parto institucional entre las mujeres del Distrito

Estudio de situación realizado

Fue realizado una encuesta en las comunidades aunque no está disponible el estudio propuesto.

100 % de actividades de promoción previstas han sido realizadas

Las campañas de promoción fueron realizadas y los incentivos a las madres fueron suministrados. No obstante, la falta de financiación posterior para estas actividades implica una disminución de los efectos alcanzados.

R.4. Mejorada la coordinación de los agentes comunitarios de salud entre si y con los niveles superiores de atención sanitaria.

Existencia al finalizar el proyecto de un protocolo de flujo de información y monitoreo operativo.

Se realizan encuentros de coordinación. El protocolo de flujo de información y monitoreo no es un protocolo formal sino un modelo de uso. También se realizan formaciones de refuerzo sobre el Sistema de Información Sanitaria al personal de los centros de salud.

Con relación al Resultado 1 (mejorado el funcionamiento de los servicios TARV), no se puede medir de manera objetiva la mejora a partir de los indicadores propuestos. Se deberá evitar en futuras intervenciones la definición de indicadores de proceso (cumplimiento de actividades propuestas) e incluir indicadores de la medida del alcance de resultados como mejoras verificables a partir de esas actividades realizadas. Por otro lado, el establecimiento de grupos de apoyo y seguimiento de enfermos de VIH en tratamiento TARV, aun siendo una herramienta muy adecuada e indispensable para mejorar los servicios TARV, debe ser implantada con tiempo suficiente para que se consoliden los grupos y no sean dependientes de los incentivos que las ONGs ofrecen. Su buen funcionamiento únicamente durante el tiempo de duración de la intervención no implica un cambio o mejora que pueda perdurar, por lo que no serviría como acción de mejora efectiva de los servicios. Sí contribuyen de manera más decisiva las formaciones al personal del servicio TARV y el apoyo dado a los servicios de salud para la expansión de estos servicios en otras unidades sanitarias, actividades inicialmente no previstas. El Resultado 2 (mejora de las infraestructuras) después de su reformulación y redefinición de prioridades fue alcanzado. Fueron obras de rehabilitación de puertas, ventanas, pavimento, instalación de sistemas de refrigeración de algunas dependencias del Centro de Salud de Nacaroa (laboratorio, farmacia, maternidad, estomatología, PAV, urgencias, pediatría, consultas, etc.), obras de mayor envergadura en la casa mortuoria (cobertura), construcción de cobertura de la fuente de agua y construcción de una fosa séptica para residuos. Por último, también fueron realizadas obras de mantenimiento general en las unidades sanitarias periféricas (pintura y substitución de redes mosquiteras en ventanas). Con relación al Resultado 3 (recursos disponibles para la mejora del parto institucional), efectivamente se han conseguido poner a disposición recursos que han favorecido el aumento de partos en unidades sanitarias. El sistema de incentivos a las madres parturientes parece funcionar como un buen sistema de atracción de las madres. No obstante, no se llegan a valorar las ventajas de dar parto en las unidades sanitarias por sí mismas sino por la percepción de estos incentivos. Esto hace que una vez que los incentivos se terminan (por el fin de la intervención), el número de partos institucionales vuelve a decrecer. Fueron realizadas campañas de promoción del parto en unidades sanitarias aunque su impacto no fue el esperado. Por último, el Resultado 4 (coordinación de los agentes comunitarios y los servicios de salud), también es extremadamente dependiente de fondos para el transporte e incentivos de los participantes. No obstante, al término de la intervención, se establecen mecanismos de coordinación menos onerosos que mantienen la actividad mínima de coordinación entre los agentes comunitarios y el personal de salud. En resumen se puede concluir que (1) se han alcanzado resultados positivos con relación a los recursos disponibles para el aumento del parto institucional y coordinación de los agentes comunitarios con los servicios de salud aunque sus efectos futuros se ven



18

comprometidos por la falta de financiación posterior, (2) se han conseguido una mejora importante en las infraestructuras existentes en el distrito a pesar de que existen todavía necesidades de electrificación y suministro de agua importantes que deberían ser cubiertas en futuras intervenciones y (3) la mejora de los servicios TARV merecerían un refuerzo mayor con relación a la mejora de los protocolos y consolidación de los grupos de autoayuda. Todas estas constataciones refuerzan la idea de la necesidad de una extensión de la intervención para consolidar los pasos dados y cubrir necesidades prioritarias.

5 ¿Cuál es el grado de alcance del objetivo

específico?

A continuación, al igual que en los resultados, se realiza una verificación de los indicadores de los objetivos específicos definidos en el marco lógico del proyecto: Indicadores Objetivos Específicos

OG. Contribuir al Fortalecimiento del sistema de salud en el Distrito de Nacaroa apoyando el desarrollo de programas prioritarios para el Gobierno de Mozambique de salud.

Objetivos Específicos Indicadores Valoración indicadores/Comentarios

O.E.1 Fortalecer el programa de tratamiento antirretroviral (TARV), la atención a la maternidad segura y alimentación mejorada en menores de 5 años en el Distrito de Nacaroa.

Alcanzadas en al menos el 80% las metas propuestas por el MISAU para el año 2011 en las áreas de TARV y SMI

Se usan los datos de 2013 como medida del alcance de los indicadores, una vez que es el último año en el que fueron realizadas las actividades del proyecto. Por otro lado se toman como referencia las metas establecidas por los SDSMAS de Nacaroa específicamente para su territorio y no las generales del MISAU. Las metas en TARV3 han sido ampliamente alcanzadas. De una meta establecida de 168 nuevas inscripciones en TARV de adultos para el Centro de Salud de Nacaroa se han inscrito 4194. Además se ha implantado el TARV en el Centro de Salud de Nachere (40 nuevos inscritos) y en el Centro de Salud de Muchico (13 nuevos inscritos). Con relación al TARV pediátrico, la meta establecida por los Servicios de Salud era de 24 nuevos inscritos en el Centro de Salud de Nacaroa y el número alcanzado es de 34, más 3 en el Centro de Salud de Nachere. Las metas referidas a Salud Materno Infantil han sido parcialmente alcanzadas. Las consultas prenatales han tenido una adherencia de más del 100%. Han sido realizadas 2301 consultas frente a las 1683 esperadas referido al Centro de Salud de Nacaroa. Similares proporciones se encuentran a nivel de todas las Unidades Sanitarias. Con relación al parto institucional todavía está muy lejos de las coberturas esperadas ya que se sitúa en un 46% del total de partos esperado. Con relación a las consultas post-parto los datos son dispares: mientras que en el Centro de Salud de Nacaroa y Nahadge se alcanzan las metas, en el resto de unidades sanitarias el promedio de consultas post-parto se sitúa en el 40-50%. Teniendo también en cuenta los resultados en los niveles de vacunación por influencia del apoyo dado a las campañas de vacunación por parte del proyecto, se observa que en 2013 se han llegado prácticamente al 100% de las metas en las principales vacunas: BCG, Polio y DTP. Comparando estos resultados con los datos de 2011, En TARV en el año 2011 sólo hubo 313 nuevos inscritos (entre adultos y niños), lo que representa un incremento en 2013 de 50%. En SMI en el año 20115 ya se alcanzaba el 100% de consultas prenatales, los partos institucionales llegaban al 41% (+5% en 2013) y un nivel similar de Consultas post-parto (63%). En cuanto al nivel de vacunación tan sólo presentan datos peores que en 2013 la vacunación de la polio (tercera dosis).

O.E.2 Fortalecer el funcionamiento de la red comunitaria de atención sanitaria (APEs, activistas y parteras tradicionales)

Existencia al finalizar el proyecto de un protocolo de flujo de información y monitoreo operativo.

El protocolo que se usa es verbal, esto es, existe de manera tácita un protocolo usado por los activistas y APEs. El sistema de monitoreo no está implantado como tal, existiendo reuniones periódicas con los servicios de salud para compilar y revisar los datos. No existen fuentes de verificación para contrastar el seguimiento del protocolo aunque, siendo este verbal, no habría forma de contrastar la actuación de los APS/activistas/parteras tradicionales con un modelo único de actuación.

Al menos el 80% de transferencias entre niveles siguen los protocolos al terminar el proyecto.

En resumen, se puede decir que se verifica una mejora substancial de los indicadores referidos a TARV, mientras que los indicadores referidos a SMI permanecen estables con una ligera subida del número de partos institucionales, aunque todavía lejos de las metas establecidas. El funcionamiento de la red comunitaria de atención sanitaria todavía funciona sobre moldes poco formales y muy dependientes de la financiación continua de los

3 Metas globales 2013. SDSMAS Nacaroa. 2012 4 Datos recogidos del Informe Anual 2013. SDMAS de Nacaroa. 2014 5 Datos recogidos del Informe Anual 2011. SDMAS de Nacaroa. 2012



19

subsidios e incentivos a las personas implicadas. 6 ¿Se han logrado

otros efectos no previstos?, ¿cuáles

son las razones?

Dada la proximidad del equipo de CIC a los beneficiarios (Servicios de Salud de Nacaroa) y la flexibilidad con la que fue ejecutado el proyecto respectando los marcos de resultados y objetivos propuestos, se han podido alcanzar otros efectos no esperados. Estos efectos se verifican en 3 áreas: 1. Área de mejora de la gestión: se ha dado apoyo a la elaboración de la planificación anual

de los servicios de salud del distrito y se ha asistido de manera puntual en la gestión de determinadas actividades de estos servicios. Se ha ofrecido también apoyo para la realización de supervisiones distritales y la organización de encuentros trimestrales con las ONGs presentes en el distrito. Todas estas acciones han favorecido la mejora de los elementos de gestión y coordinación del distrito.

2. Área de formación y capacitación: dada la demanda por parte de los servicios de salud de acciones de formación y capacitación, se ha apoyado la organización de acciones de formación en el ámbito de la vacunación y planificación de brigadas móviles, TARV pediátrico, nuevo tratamiento de la malaria y uso del Sistema de Información Sanitaria. Estas formaciones contribuyen a la mejora de los servicios prestados si bien que su impacto real sobre la práctica del personal sanitario no es elevado. Se ha podido constatar en varias unidades sanitarias visitadas que persisten todavía debilidades en el personal sanitario que deberían haberse superado a partir de las formaciones dadas. Esto quiere decir que existen otros factores que contribuyen a la baja calidad de los servicios prestados siendo la capacitación sólo uno de ellos. Aspectos como la motivación, interés, medios suficientes, personal adecuado en número y calidad, etc. afectan también a la calidad de los servicios sanitarios prestados.

3. Área de mejora de las infraestructuras: como ya se ha dicho en algún punto de este informe, la mejora de las infraestructuras de energía y agua de algunas unidades sanitarias fue substituida por obras de rehabilitación en el Centro de Salud, con la incorporación de infraestructuras de gestión de residuos, y mejoras en todas las unidades sanitarias periféricas, inicialmente no previstas.

7 ¿Han encontrado dificultades los

destinatarios para acceder a las

actividades de la intervención?

Como se ha dicho, la proximidad del equipo de gestión de CIC a los beneficiarios ha favorecido el acceso de éstos a las actividades de la intervención. Había una presencia casi permanente en el distrito por parte del personal de coordinación y las relaciones personales e institucionales generaron confianza, estableciéndose un ambiente de colaboración positivo durante toda la intervención. El tiempo de interrupción de la intervención debido a problemas de desembolso de los fondos por parte de la Generalitat Valenciana, sí que pudo tener un efecto negativo en la continuidad de las acciones. A pesar de que no se dejaron procesos abiertos y la mayor parte de las acciones fueron completadas en la primera parte de la intervención, se perdió parte de la dinámica inicial.

8 ¿Se están produciendo algunos

efectos sobre la equidad de género?

No fueron definidas acciones específicas para la mejora de la equidad de género. No obstante, la intervención como tal se orienta a aspectos que benefician en particular a las mujeres como grupo más vulnerable. Por un lado, la mejora de los servicios de Salud Materno Infantil está claramente orientada a estos grupos más vulnerables si bien no se puede hablar de grandes cambios en los indicadores propuestos como se ha visto. Por otro lado, las acciones de mejora del Tratamiento ARV también va a incidir indirectamente en la salud de la mujer ya que es el grupo mayoritario entre los enfermos de HIV. Las acciones sobre la salud comunitaria también van a redundar en la mejora de la salud de la mujer al incluirse las parteras comunitarias como destinatarios de las acciones. En una intervención de estas características tampoco es posible verificar cambios importantes en relación con la equidad de género. En primer lugar, es necesario una intervención más extensa para que se favorezca la verificación de cambios de comportamiento y se consoliden los procesos iniciados. En segundo lugar es importante también definir y desarrollar acciones específicas de mejora de las relaciones entre géneros para poder, de manera directa, fomentar cambios.

VALORACIÓN CRITERIO MEDIA



20

4.3. Eficiencia

9

¿Se han respetado

los presupuestos establecidos

inicialmente en el documento?

El presupuesto inicial sufrió una modificación posterior alterándose las partidas de personal local (reducción del 50% aprox.), personal en sede (incremento del 100%) y personal expatriado (reducción del 30%), debido fundamentalmente a las alteraciones del periodo de ejecución. Se amplía la extensión global de duración del proyecto (con mayores costes de personal en sede) y se reduce el peso del personal en terreno (la segunda etapa de implementación fue ejecutado con personal local únicamente). Las partidas relativas a equipos, obras y actividades permanecieron inalteradas. La ejecución de gastos final refleja una ligera diferencia con relación a los gastos previstos pero de pequeña magnitud. Aunque la partida de alquiler de local para formación sólo haya sido ejecutada en un 20%, representa tan sólo el 1,6% del presupuesto total. El resto de partidas presenta diferencias que rondan el 10% que igualmente representan variaciones pequeñas en relación al presupuesto global. En resumen, las 3 partidas relacionadas con las actividades del proyecto presentan una desviación del 2,5% (por defecto) con relación al presupuesto total que se compensa con una desviación equivalente en gastos de personal (incluyendo personal local) pero por exceso. Únicamente las partidas de construcciones (exceso del 12% en relación con el presupuesto de la partida) y personal local (exceso del 14% igualmente referido al presupuesto de la partida) merecería una justificación adicional. En el caso de las construcciones debería haber sido ajustado el tipo y extensión de las obras previstas al presupuesto disponible. En el caso del personal local, la principal causa que se advierte es el aumento de costes de viajes y perdiems respecto a lo previsto. Este gasto debería haber sido controlado con mayor cautela y mejorada la organización de los viajes necesarios al terreno en función del presupuesto disponible. En cualquier caso, la desviación de la partida en términos absolutos en relación al presupuesto total es tan sólo del 0,5% por lo que tampoco representa una magnitud demasiado elevada.

10 ¿Se han respetado los cronogramas y

tiempos previstos?

El proyecto ha tenido una duración de ejecución real de 12 meses como era previsto pero en periodos de tiempo bastante diferentes a los esperados. El proyecto inició formalmente en noviembre de 2011 aunque de manera efectiva lo hizo en marzo de 2012. Esta demora en el inicio del proyecto se debió a que la organización implementadora había solicitado la totalidad de la subvención como condición previa para el inicio de las actividades. Una vez que esta solicitud no fue atendida positivamente, se inició el proyecto y se extendió por espacio de 6 meses (de los 12 previstos) con los fondos adelantados por la Generalitat Valenciana (50%). El restante 50% sólo fue transferido el 31 de julio de 2013, momento en el que formalmente se reanudó la intervención, extendiéndose por espacio de otros 6 meses. Se produjo, por tanto, un periodo de inactividad de 11 meses. Esta circunstancia hizo que hubiera que hacer una planificación “ad hoc” para los primeros 6 meses, intentando iniciar acciones y terminarlas en ese plazo y otra para los restantes 6 meses. El resultado fue que la implementación final de las actividades no siguió la distribución prevista como no podía ser de otra manera. No obstante, dado el carácter continuo de la gran mayoría de las actividades tal y como definido en el formulario del proyecto, no hubo alteraciones importantes en la finalización de todas las actividades previstas ni en la consecución de los resultados. El periodo de inactividad sí influyó en los ritmos de trabajo y en las dinámicas que habían sido iniciadas en la primera parte. También influyó en la composición del equipo de implementación que sufrió cambios en las 2 etapas y que afectó también al ritmo de las realizaciones. En resumen, se podría decir que, dadas las vicisitudes por las que pasó el proyecto y la implementación de un proyecto de tan corta duración en 2 etapas, no afectó en exceso a la obtención de los resultados finales aunque sí a la dinámica de la intervención.

11 ¿Ha sido eficiente la transformación de los recursos en los

resultados?

El proyecto ha tenido una alta carga de estructura (personal + costes indirectos) que alcanza casi el 50% del presupuesto total. El otro 50% se distribuye entre construcciones (14%) y equipos, suministros y materiales (33%), que son las partidas que más directamente inciden en la ejecución de actividades. No obstante hay que tener en cuenta que esta intervención es la primera que el CIC realiza en esta zona (Nacaroa) y que se juzga necesario añadir una carga estructural mayor que la que sería normal tras varios años de colaboración. El



21

establecimiento de relaciones de colaboración, la aplicación de mayores controles de gestión inicial y la realización de un mayor seguimiento en esta fase inicial justifica de alguna manera esta fuerte carga estructural. Por otro lado, teniendo sólo en cuenta los resultados obtenidos, los costes parecen haber sido más elevados de lo que podrían haberlo sido. Los gastos relacionados con las construcciones (14% del presupuesto total), no han contribuido al alcance de los resultados esperados fundamentalmente por no haber sido definidos indicadores apropiados a las obras de mejora realizadas. Los costes de equipamiento y suministros, a excepción de los costes de formación, no repercuten de manera directa en el alcance de los restantes resultados. Esto no quiere decir que los fondos no hayan sido utilizados de manera correcta pero sí se ha tenido que incluir un importante volumen de fondos en generar una capacidad inicial de la entidad implementadora que no se ha traducido en resultados visibles en una intervención de corta duración como esta. El esfuerzo presupuestario realizado en este proyecto hubiera tenido mayor eficiencia si hubiera habido una continuidad, dado que ya existiría una capacidad instalada y una dinámica de colaboración establecida.

12 ¿En qué medida la colaboración

institucional y los mecanismos de

gestión articulados han contribuido a

alcanzar los resultados de la

intervención?

En un proyecto de apoyo institucional como este es fundamental que se genere un ambiente de colaboración adecuado para articular, en un breve espacio de tiempo, todas las acciones inicialmente contempladas. No sólo las acciones tienen que estar incluidas en la planificación institucional de los beneficiarios sino que son ellos los que ejecutan de manera efectiva las acciones. Dado el alto grado de ejecución alcanzado, teniendo en cuenta el corto espacio de tiempo para tal (12 meses) y el periodo de inactividad intermedio, se juzga que la colaboración institucional ha sido muy adecuada y no han existido conflictos que hayan entorpecido la implementación del proyecto. La gestión de la intervención ha sido realizada en absoluta colaboración con los servicios de salud de Nacaroa. Los responsables de estos servicios manifiestan su más entera satisfacción con los mecanismos de gestión llevados a cabo por CIC: la cercanía, rapidez de respuesta, atención a las prioridades y flexibilidad son calificativos que han expresado los responsables de estos servicios como aspectos diferenciadores del trabajo de CIC en comparación con los de otras ONGs presentes en la zona. Sin duda, estos dos aspectos, la colaboración institucional y los mecanismos de gestión, han posibilitado como se ha dicho, la realización de las actividades previstas.

13 ¿Los recursos humanos han sido

suficientes y con las capacidades

adecuadas para la ejecución de la

intervención?

Ciñéndonos al personal de terreno, el equipo ha estado formado por una única persona de gestión, asistido por personal logístico. A pesar de ser una estructura mínima se juzga adecuado dado que, como se ha mencionado, la ejecución de las actividades correspondía a los propios beneficiarios. Dada la interrupción del proyecto y la necesidad de contratar a un nuevo equipo para la segunda etapa, no se ha podido contar para ésta con las capacidades ya incorporadas. También, por el escaso margen de tiempo para realizar una selección adecuada, se optó por incorporar una persona conocedora del CIC que asegurase el cumplimiento de las actividades en la etapa final de implementación. Se ha podido cumplir con la programación existente pero la intervención ha perdido en calidad en la segunda etapa: no existen registros adecuados de la ejecución de las actividades, fuentes de verificación, informes, etc. La intervención en sí adolece de una mayor documentación de los procesos que favorezca no sólo el seguimiento de la intervención sino el aprendizaje para fases posteriores. Como se ha dicho, la propia singularidad de la ejecución de este proyecto, (de corta duración y en dos fases) justifica el que no se haya podido hacer de otra manera, aunque se deberá tener en cuenta en próximas intervenciones.


4.4. Impacto

14 ¿Se está

contribuyendo al alcance del objetivo

general?, ¿En qué medida?

El Objetivo General de la intervención se define como el fortalecimiento del sistema de salud del distrito de Nacaroa apoyando el desarrollo de sus programas prioritarios. Dada la complejidad de las necesidades y debilidades del sistema nacional de salud en Mozambique y en Nacaroa en particular, se puede fácilmente inferir que la contribución ha sido pequeña y muy restringida en el tiempo.



22

El sistema de salud presenta tres debilidades de base que dificultan la mejora de la calidad de los servicios e incluso la propia prestación de estos servicios: (1) la falta de personal adecuado, en número y calidad, suficientemente motivado y acompañado, (2) la falta de infraestructuras sanitarias, que faciliten el acceso a los usuarios y (3) la falta de financiación de las actividades. Las acciones de formación puntual, el apoyo a estructuras de salud comunitaria y el refuerzo de determinados servicios (TARV y SMI) no tienen un impacto como el que cabría esperar mientras los grandes problemas del sistema de salud persistan. Ha quedado patente durante el proceso de evaluación que el personal de salud apenas aplica las recomendaciones adquiridas en los procesos de formación por razones varias: falta de motivación, falta de medios, interés personal, etc. Las acciones de refuerzo de los servicios apenas han implicado un cambio en los indicadores de estos servicios. Y la intervención puntual sobre ciertas infraestructuras no implica un mayor acceso de los usuarios a los servicios de salud. Sería necesario concentrar la financiación en los tres aspectos reseñados encima: acciones sobre infraestructuras, acciones sobre formación del personal sanitario (formación completa) y mejora de la gestión, para que éstas tuviesen una mayor contribución a la mejora de los servicios de salud. Esto ya lo ha hecho CIC en otros proyectos financiados por la Generalitat Valenciana como en el distrito de Erati. Por otro lado, la corta duración de la intervención tampoco favorece que la contribución al alcance del objetivo general sea mayor. Las acciones deben ser más continuadas, más extensivas en el tiempo y en los servicios, más globales. El Programa de Salud de Erati, financiado por la Generalitat Valenciana, es un ejemplo de esto.

15 ¿Se han producido impactos positivos o

negativos no previstos sobre la

población beneficiaria?

¿Existen factores externos que

dificultan o favorecen el impacto

final de la intervención?

La intervención se ha dirigido específicamente a los servicios de salud como beneficiarios directos de la intervención. Efectivamente, el fin último es que la población se beneficie de las mejoras en los servicios de salud reforzados. En particular, de los servicios de TARV y SMI, de la mejora de las infraestructuras y en los servicios de los agentes comunitarios de salud. Los mayores impactos que la población beneficiaria ha podido sentir, no obstante, son aquéllos en los que ha existido una acción específica dirigida directamente a la población como son los incentivos para el parto institucional. No obstante aquí se podría hablar de beneficio más que de impacto puesto que no parece existir una continuidad en el aumento de los partos institucionales (y por tanto, del beneficio de un parto más seguro) ya que el índice de partos institucionales ha vuelto a decrecer una vez que los incentivos ya no se entregan a las madres. Por otro lado, como se ha dicho, la mejora de la calidad de los servicios del personal sanitario (y con una posible repercusión directa sobre la atención a la población) debido a la formación continua y capacitación ha sido bastante limitada. Se ha podido constatar que la influencia de las formaciones puntuales del personal sanitario no tiene un reflejo visible en la calidad de la atención. Como también se ha mencionado en otras secciones del informe, existen factores que influencian la calidad de la atención como son la motivación, las condiciones de trabajo, los medios disponibles y la formación básica del personal de salud entre otros. En resumen, se puede decir que el impacto sobre la población ha sido pequeño, también debido a la propia concepción del proyecto, de corta duración y restringido a unas pocas líneas de intervención. También, como se ha dicho, los grandes problemas y debilidades de base del sistema de salud permanecen lo que dificulta un mayor impacto sobre la población.

VALORACIÓN CRITERIO BAJO

4.5. Viabilidad

16 ¿Se mantendrán los

beneficios de la intervención una vez

retirada la ayuda externa?

La intervención ha tenido una duración demasiado pequeña como para que la mayor parte de los procesos se haya consolidado y se mantengan de manera autónoma. Por otro lado, existen mejoras cuyo beneficio se podrá mantener una vez terminada la intervención dado que no necesitan financiación continua. El punto débil en la sustentabilidad de la mayor parte de las mejoras realizadas reside principalmente en la necesidad de financiación continua, la cual no será asumida por los servicios de salud, ya de por sí con graves problemas de financiación propia. La integración de agentes comunitarios o de grupos de autoayuda en los servicios de TARV



23

para reducir los abandonos exige el aporte continuo de incentivos para los grupos creados. La mayor parte de los grupos creados no han continuado al término de la intervención. Para su sustentabilidad será necesario buscar formas alternativas de financiar estos incentivos o crear un sistema de retención basado en otro tipo de ventajas o incentivos no dinerarios. Las infraestructuras construidas sí podrán seguir aportando beneficios al término de la intervención, sobre todo al principio cuando menos mantenimiento sea necesario realizar. La Unidad de Mantenimiento del distrito no está operativa por lo que las posibilidades de sustentabilidad a más largo plazo estarán comprometidas. Los incentivos dados a las mujeres para favorecer el parto institucional han dado frutos positivos mientras éstos eran dados. Se intentaba hacer ver a las mujeres las ventajas de dar parto en las unidades sanitarias para que el mensaje fuera transmitido a otras futuras madres. No obstante claramente las madres siguieron yendo a la unidad sanitaria para recibir los incentivos sin ser conscientes de las ventajas. Por esta razón, una vez que éstos dejaron de darse, las madres volvieron a preferir tener los bebés en casa. La sustentabilidad de la acción, de nuevo, fue bastante deficiente. Por último, la coordinación de los agentes comunitarios con los servicios de salud se podrá seguir verificando siempre y cuando existan medios para financiar estos encuentros. Quizás no se realicen con la periodicidad necesaria pero es bastante posible que los servicios de salud mantengan algún tipo de encuentro de coordinación, como así lo manifiestan los servicios de salud. En general, la sustentabilidad de los beneficios es baja aunque hay que tener en cuenta dos factores que incluyen para que esto sea así: (1) la baja capacidad financiera de los servicios de salud que hace que no sean capaces de asumir acciones y rutinas iniciadas durante el proyecto y (2) la duración de la intervención que no ha permitido consolidar procesos y crear sistemas de financiación o de retención de los beneficiarios implicados.

17 ¿Se siguen generando los

recursos necesarios para el

mantenimiento de las actividades?

La financiación de los servicios de salud es precaria y no parece mejorar con el paso de los años. Las ONGs colaboradoras completan la dotación presupuestaria de los servicios de salud y, en su ausencia, no hay otras formas de continuar financiando las actividades que venían siendo apoyadas. No parece que la situación vaya a ser otra a corto y medio plazo existiendo una clara dependencia hacia la financiación de las ONGs. Será necesario buscar formas más novedosas de generación de recursos o creación de sistemas de incentivos no monetarios. Por otro lado se deberá seguir apoyando las capacidades de gestión para poder maximizar la dotación presupuestaria existente.

18 ¿Se ha influido positivamente sobre

la capacidad institucional?

Toda la intervención ha estado orientada a la mejora de las capacidades institucionales de los servicios de salud del distrito. De hecho se han realizado acciones que inicialmente no estaban previstas pero que respondían a este criterio tales como los apoyos a la planificación anual, la organización de encuentros de coordinación, etc. Las acciones de formación y capacitación claramente inciden en este aspecto. La debilidad que persiste se debe a varias razones que ya han ido saliendo a lo largo de este informe: (1) la precaria capacidad de financiación, que perjudica la continuidad de ciertas acciones y rutinas iniciadas durante el proyecto, (2) la falta de personal cualificado y en número suficiente, (3) la falta de motivación de muchos de los colaboradores del sistema de salud. Estos factores influyen negativamente en la capacidad institucional y hace que los efectos de las realizaciones del proyecto sean menores de lo esperado.

19 ¿Se ha velado por la protección del medio

ambiente?

La intervención no ha tenido ningún tipo de impacto sobre el medio ambiente. En cualquier caso se han promovido el uso de fosas de tratamiento de residuos infecciosos y basura común en las unidades sanitarias, construyendo una de estas infraestructuras en el centro de salud de Nacaroa.

VALORACIÓN CRITERIO BAJA

4.6. Coherencia

20 ¿Se corresponden los

problemas identificados con los

objetivos

Los problemas detectados en la identificación y expuestos en el formulario del proyecto se refieren a (1) el número insuficiente de camas de internamiento y de maternidad (referido al número de población del distrito en relación al total de la provincia), (2) la falta de



24

propuestos? ¿Son adecuadas las

actividades programadas para

lograr los objetivos de la intervención?

laboratorios en las unidades sanitarias (sólo en 2 de las 6 unidades sanitarias), (3) falta de energía eléctrica y servicios de agua en las unidades sanitarias, (4) falta de personal sanitario suficiente, (5) baja adherencia a los servicios de atención de VIH/SIDA, sobre todo de prevención y (6) la alta mortalidad materna. Los problemas 1 a 3 se refieren a infraestructuras, el 4 a personal y el 5-6 al comportamiento de los usuarios del sistema de salud. Los objetivos de la intervención se orientan a los problemas de infraestructuras y, sobre todo, a la mejora de la adherencia de los usuarios de los servicios sanitarios de TARV y maternidad. No se incluyen objetivos relacionados con el aumento de infraestructuras y personal sanitario, tal vez por las características de la intervención (sobre todo la duración). Todos los objetivos responden, por tanto, a alguno de los problemas detectados. Con relación a las actividades, se definen acciones de mejora de las instalaciones. También se definen actividades tendentes a la creación, organización y coordinación de agentes de salud comunitarios quienes tendrán un papel relevante en el cambio de actitud de los usuarios de los servicios sanitarios para fomentar su adherencia. Se incluyen también actividades de incentivo para las mujeres para el uso de los servicios sanitarios. Todas las actividades, por tanto, se orientan efectivamente a la obtención de los resultados previstos. Existe, por tanto, coherencia interna en el diseño de la intervención si bien no de manera global sino parcial, no actuando sobre otros factores que afectan a la obtención de los resultados, mermando las posibilidades de obtener de manera efectiva los resultados esperados.

21 ¿Complementa la intervención a otras

estrategias o programas aplicados

en el mismo territorio, sector o población objetivo

por otros agentes de cooperación,

donantes y el país socio?

¿Se aprovechan las sinergias que se

puedan establecer entre estos

programas y la intervención?

En el mismo territorio, el distrito de Nacaroa, trabajan otras ONGs en el mismo sector como son Visión Mundial (prevención VIH y salud escolar), EGPAF (apoyo técnico en prevención vertical del VIH y TARV de adultos), ICAP (apoyo técnico en supervisiones y clínica) y HELVETAS (saneamiento). CIC ha fomentado la coordinación entre todos los actores de cooperación financiando algún encuentro para exponer las actividades y objetivos. Son los propios servicios de salud los encargados de asegurar la coordinación y la no superposición de actividades entre ellos. No parece haber, por otro lado, relaciones más allá de la coordinación que favorezcan el establecimiento de sinergias. No obstante, todas ellas se complementan y garantizan un mayor impacto global en los servicios de salud.


4.7. Alineamiento

22 ¿Se han tenido en

cuenta las estrategias y

programas de desarrollo del país

donde se ejecuta el proyecto?

Para el análisis de la adecuación de la intervención a las estrategias nacionales generales y del sector salud se toman en consideración (1) el Plan de Acción de para la reducción de la pobreza 2011-2014, como marco general estratégico de Mozambique y (2) el Plan Estratégico del sector salud del Gobierno de Mozambique para los años 2007-2012.

Plan de Acción para la Reducción de la Pobreza 2011-2014 (PARP) Estrategia de medio plazo del Gobierno de Mozambique para la implementación del Programa Quinquenal del Gobierno 2010-2014, focalizada en el combate a la pobreza y la promoción de la cultura del trabajo para el alcance de un crecimiento económico inclusivo y la reducción de la pobreza y vulnerabilidad en el país.

Estrategia/prioridad propuesta Incorporación en la intervención

Promoción de la equidad en el acceso a los cuidados de salud privilegiando la

salud y nutrición de la mujer, de los niños y de otros grupos vulnerables. (Prioridad

1 del Objetivo general 3 – Desarrollo Humano y Social):

Refuerzo de las acciones con vista al aumento del acceso de las mujeres

La intervención tiene una componente específica para la mejora de la adherencia de la mujer al parto institucional creando un sistema de incentivos

Las acciones de mejora de las infraestructuras redundan en la mejora de la calidad de los servicios orientados a las mujeres y los niños.



25

embarazadas al parto institucional a través de la financiación y mejora del

número y calidad de los proveedores de servicios e incentivos para aumentar la

demanda de los servicios

Mejora de la gestión de los recursos humanos, elevando el nivel de

humanización de los servicios con énfasis en el atendimiento con calidad y la

satisfacción de las necesidades de los usuarios. (Prioridad 1 del Objetivo general

3 – Desarrollo Humano y Social): Fortalecer la capacidad de gestión,

planificación y administración de los recursos humanos

Formación, graduación y colocación adecuada de los profesionales de salud.

Se definen acciones de formación continua para el personal sanitario.

Se realizan acciones de capacitación y apoyo a procesos de planificación y coordinación

Desarrollar e implementar mecanismos de promoción del acceso de los más

vulnerables al sistema de educación y salud. (Prioridad 2 del Objetivo general 3 –

Desarrollo Humano y Social): Aumentar la relación entre las unidades

sanitarias y la comunidad a través de la formación y uso de parteras

tradicionales y agentes polivalentes elementales.

El proyecto tiene una clara componente orientada a la mejora de la salud comunitaria con especial énfasis en el trabajo de las parteras tradicionales y los agentes de salud comunitaria.

Con relación a la inclusión de la intervención en el Plan Estratégico del Sector Salud (2007-2012) ya se ya mencionado en el criterio de pertinencia, por lo que no se repetirá aquí. Se verifica, por tanto, que la intervención está alineada de manera adecuada con las políticas nacionales generales de desarrollo, así como a las del sector salud.

23 ¿La intervención se adapta a los

procedimientos administrativos y de

gestión de las entidades locales?

La intervención se gestiona principalmente a partir de los procedimientos del CIC aunque se integra dentro de importantes herramientas de gestión de las entidades locales como son (1) la planificación anual de actividades y (2) los balances anuales. Las entidades locales de salud (y otras) normalmente adoptan los sistemas de financiación particulares de las organizaciones de cooperación en términos de recepción de fondos, siguiendo sus propios procedimientos de justificación que cumplen con los requisitos básicos de los financiadores, en este caso de la Generalitat Valenciana. Algunos procesos tales como los concursos de obra y compra de equipamientos son realizados por el CIC con la participación activa de las entidades locales.

VALORACIÓN CRITERIO ALTO

4.8. Participación

24 ¿Se ha delimitado

claramente quiénes van a participar en el

proyecto, y cómo? ¿Qué actores han

participado en cada fase de la

intervención?, ¿en qué medida?

¿Han sido eficaces los canales de participación

establecidos?

Los participantes de la intervención se circunscriben al ámbito de los servicios de salud de Nacaroa. En particular los órganos de dirección y de gestión, los responsables de los servicios que serán apoyados, el personal sanitario de las unidades sanitarias con mayor relevancia en la intervención y las estructuras existentes de salud comunitaria. Todos ellos han participado activamente en la elaboración de la propuesta así como en su desarrollo. Esto queda patente en la incorporación de las acciones en la planificación anual de las actividades de los servicios de salud y en el liderazgo en la implementación de las mismas. Además de los encuentros de rutina que se establecen para la coordinación de las actividades y su planificación, los canales de participación usados con más frecuencia son aquellos derivados del contacto permanente entre ambas instituciones. Como se ha dicho, las actividades son implementadas por los propios servicios de salud por lo que la participación está garantizada.




26

4.9. Cobertura

25 ¿Las actuaciones

desarrolladas en la intervención han

alcanzado a todos los colectivos

destinatarios? ¿Son diferentes los

colectivos atendidos respecto a los

identificados durante el diseño de la intervención?

Todos los colectivos definidos han sido incluidos en la intervención: (1) mujeres en edad fértil, a partir de las intervenciones en Salud Materno Infantil, incentivos a las madres que usan los servicios de maternidad en las unidades sanitarias y agentes de salud comunitaria, (2) menores de 5 años, a partir de las acciones en SMI y formación continua del personal de salud, (3) enfermos en servicio TARV, a partir de las acciones de mejora de estos servicios y creación de los grupos de autoayuda, (4) personal de los servicios de SMI y TARV, por las acciones de capacitación y (5) Agentes comunitarios, activistas, parteras tradicionales y educadores de pares directamente apoyados por las acciones de coordinación, incentivos y capacitación. No hay, por tanto, diferencias entre aquéllos colectivos definidos inicialmente y los que finalmente fueron incluidos en la intervención.

26 ¿Se han establecido mecanismos para

facilitar a los beneficiarios el

acceso a los servicios de la intervención?

Como mecanismos de facilitación de la participación se han establecido varios mecanismos: (1) sistema de incentivos para las madres que usan los servicios de maternidad de las unidades sanitarias, (2) incentivos a los educadores de pares y otros agentes de salud comunitaria, (3) flexibilidad a la hora de planificar actividades por parte de los servicios de salud del distrito. Los mecanismos 1 y 2, a pesar de su falta de sustentabilidad, han facilitado el acceso de los beneficiarios a los servicios de la intervención de manera clara. La flexibilidad en la gestión y planificación también ha generado un clima de confianza muy favorable para la colaboración y realización de las actividades sin duda. No se detectan debilidades en este sentido.


5. Conclusiones y recomendaciones El proyecto de mejora de los servicios de salud del distrito de Nacaroa ha sido de muy corta duración (12 meses) y con un proceso de ejecución bastante singular, dado que se produjo una interrupción de las actividades transcurridos 6 meses por un espacio de tiempo cercano al año. Estos dos factores, la duración y la ejecución en dos etapas, no ha favorecido la consolidación de los procesos iniciados ni el mantenimiento del ritmo ideal de ejecución inicialmente previsto. CIC ha iniciado en Nacaroa una intervención de refuerzo del sistema de salud a nivel distrital, un campo en el que tiene una elevada experiencia, en particular tras la ejecución del Programa de Salud de Erati financiado también por la Generalitat Valenciana. Erati y Nacaroa son dos distritos colindantes con problemas y carencias similares, y la experiencia de la intervención en Erati tiene un gran valor para esta intervención que ahora nos ocupa. Por otro lado estas dos intervenciones presentan notables diferencias, tanto en la duración, como en la extensión de las acciones y ámbitos de actuación. Esto influye en la posibilidad de verificar los impactos sobre los respectivos servicios de salud que, en el caso de Nacaroa, obviamente serán bastante limitados. En la siguiente tabla se presenta una relación de las conclusiones por cada criterio de evaluación en particular, basadas en el análisis realizado en el apartado anterior, adjuntándose recomendaciones de mejora asociadas a cada criterio.

Criterio 1: Pertinencia

Valoración: ALTA

Conclusiones Intervención pertinente al contexto en el que se ejecuta, dado que los objetivos definidos se orientan a la resolución de los problemas incluidos en los informes anuales de los servicios de salud de Nacaroa: promoción de la salud comunitaria, mejora de los servicios de salud de la mujer y niños, mejora de los recursos humanos y la asistencia médica, y la expansión de la red sanitaria.

El diseño de la intervención adolece de algunos errores técnicos dado que se definen objetivos específicos sin conexión con unos resultados esperados que contribuyan a su



27

alcance completo. La intervención es pertinente en relación con la Estrategia nacional del Sector Salud

vigente en el momento de la identificación y ejecución inicial. La mejora de los servicios TARV, la promoción del parto seguro, la mejora de las infraestructuras y la mejora de los servicios de salud comunitaria forman parte de los objetivos incluidos en dicha estrategia.


Recomendaciones 1 Lógica de la intervención Aplicación: Futuras intervenciones

Dirigida a: CIC

Por cada intervención se recomienda definir un único objetivo específico que deberá ser alcanzado en su totalidad a partir de la intervención. Para el alcance de ese objetivo específico se deberá diseñar la intervención de tal manera que se alcance unos resultados que necesariamente conlleven el alcance del objetivo específico. Todos los resultados, por tanto, deberán hacer referencia a ese único objetivo específico. Esta lógica de intervención deberá ser realizada a partir del análisis del árbol de problemas y sus causas.

Criterio 2: Eficacia

Valoración: MEDIA

Conclusiones Hay resultados que no se alcanzan a partir de las actividades propuestas tal como la mejora del funcionamiento de los servicios TARV del Centro de Salud de Nacaroa (los grupos de apoyo no permanecen activos al término de la intervención) y los recursos disponibles para la promoción del parto seguro (sólo verificado durante el tiempo de la intervención). La coordinación entre los agentes comunitarios de salud y los servicios de salud es el único resultado que se mantiene al término de la intervención a pesar de que con una menor actividad.


Los indicadores de los resultados deben hacer referencia a las mejoras verificables a partir de la consecución de estos resultados. Muchos de los indicadores definidos en la propuesta hacen referencias a la realización de actividades que no implican el alcance de los resultados: la realización de encuentros, la constitución de grupos, la realización de estudios o de actividades de promoción no hacen referencia a mejoras verificables al término de la intervención.




Aunque no han sido definidas acciones específicas sobre la mejora de la equidad de género, implícitamente todas las acciones estaban orientadas a las mujeres como grupo vulnerable: las acciones de TARV, parto seguro, mejora de las infraestructuras y mejora



28

de los servicios de salud comunitaria redundan en la salud de la mujer principalmente.

Recomendaciones 2 Incorporación de actividades que no impliquen cargas financieras no asumibles por los servicios de salud

Aplicación: Futuras intervenciones

Dirigida a: CIC / SDSMAS

Los resultados que impliquen la entrega de incentivos para su verificación pueden ofrecer una falsa imagen de eficacia por cuanto éstos no se verificarán al término de la intervención si los servicios de salud no asumen o no pueden asumir las cargas financieras que éstos suponen. Se recomienda que, antes de aplicar sistemas de incentivos, se verifique la disponibilidad real de los servicios de salud en asumir estas cargas financieras o, de otro modo, se apliquen estrategias de intervención diferentes o se asegure la financiación de estos incentivos por otras vías (ver recomendación 3).

3 Consolidación del sistema de incentivos Aplicación: Futuras intervenciones

Dirigida a: CIC /SDSMAS

Si se optan por un sistema de incentivos (a grupos de voluntarios o a los beneficiarios) debería ser realizadas acciones de consolidación a lo largo de la intervención para asegurar su continuidad al término de ésta. Una posibilidad sería la ofrecer ventajas especiales a los voluntarios en el acceso a servicios de salud (por ejemplo, tener preferencia en la atención sanitaria), recibir algún tipo de beneficio de la comunidad, etc. La idea fundamental sería diseñar un sistema de mantenimiento de los incentivos para que una vez que termine la intervención no se produzca un corte de los mismos que podría afectar a la continuidad de las rutinas iniciadas.

4 Indicadores de alcance de resultados Aplicación: Futuras intervenciones

Dirigida a: CIC

Los indicadores de alcance de resultados deben medir las consecuencias de los estados finales alcanzados, no la realización de las actividades definidas para su alcance. Se puede dar la situación de que habiendo sido ejecutadas correctamente todas las actividades no se alcanzan los resultados previstos debido al mal diseño de estas actividades. Si los indicadores están definidos como realización de actividades podrían medir erróneamente el alcance de los resultados cuando en la realidad no se estaría verificando tal situación.

5 Incorporar acciones de apoyo a la gestión y planificación Aplicación: Futuras intervenciones

Dirigida a: CIC

Como se ha podido ver en la ejecución de esta intervención y para facilitar la implementación de las propias actividades, es importante incluir siempre actividades de apoyo a la gestión de los servicios de salud. A la vez que se asegura la correcta gestión y liderazgo de los beneficiarios, se estarán dando las herramientas de trabajo necesarias para la mejora de los servicios una vez terminada la intervención.

6 Inclusión de acciones específicas para la mejora de la equidad de género Aplicación: Futuras intervenciones

Dirigida a: CIC

Aunque una intervención esté dirigida implícitamente a la mejora de la equidad de género, favoreciendo el beneficio y participación de las mujeres, es importante diseñar acciones específicas en este sentido. Éstas ayudarán a concienciar a las mujeres de sus derechos, a los hombres de la necesidad de la equidad de género, y a los responsables de los servicios de salud en la necesidad de incluir este tipo de acciones en la planificación de sus actividades.

Criterio 3: Eficiencia

Valoración: MEDIA

Conclusiones No hay desviaciones importantes en la ejecución del presupuesto. Solamente reseñar un exceso en el gasto referido a construcciones y a personal local. Con relación a las



29

construcciones, deberían haber sido correctamente dimensionadas para ajustar el gasto al presupuesto disponible. En cuanto al personal local, se advierte un incremento fuera de presupuesto del gasto en viajes y dietas que debería haber sido controlado durante la ejecución de la intervención.





Recomendaciones 7 Ajustar los costes de estructura Aplicación: Futuras intervenciones

Dirigida a: CIC

Para mejorar la eficiencia de la intervención se recomienda ajustar los costes de estructura en todo aquello que no sea estrictamente necesario para el alcance de los resultados. Esto también incluye el coste de aquellas actividades que no contribuyen estrictamente al alcance de los resultados. Por ejemplo, en esta intervención existe una partida bastante grande en construcción que no contribuye de manera efectiva al alcance de ningún resultado por lo que hace disminuir la eficiencia global de la intervención.

8 Documentación de la intervención Aplicación: Futuras intervenciones

Dirigida a: CIC

Para el correcto seguimiento de la intervención (no sólo económica) y el aprendizaje para futuras intervenciones es necesario documentar bien las acciones y los resultados obtenidos: informes y compilación de actividades, indicadores seguidos, materiales utilizados, valoración de la ejecución de actividades, etc.

Criterio 4: Impacto

Valoración: BAJO

Conclusiones La contribución de la intervención al alcance del Objetivo General (fortalecimiento del sistema de salud del distrito de Nacaroa) ha sido bajo dada la complejidad de los problemas y debilidades del distrito así como la duración de la intervención y las áreas de intervención donde se ha trabajado.


Los efectos sobre la población han sido pequeños y en muchos casos, limitados al tiempo de ejecución de la intervención.

Recomendaciones 9 Continuidad de la intervención Aplicación: Futuras intervenciones

Dirigida a: CIC

La obtención de un mayor impacto está relacionada directamente con la duración de la



30

intervención. Se inician procesos y rutinas que merecen ser consolidadas para que generen efectos duraderos y contribuyan de manera efectiva a la mejora de los servicios de salud. Además se pueden realizar un mayor número de líneas de acción que de manera global podrán tener un mayor impacto sobre el objetivo general. Esta intervención merecería ser extendida una vez que ya se han iniciado ciertas acciones de tal manera que se asegure la obtención de un impacto verificable.

10 Intervención en mayores ámbitos Aplicación: Futuras intervenciones

Dirigida a: CIC

Así como el factor tiempo influye en la obtención de impacto, también lo hace la multiplicidad de líneas de intervención. Un único problema puede tener diferentes causas y factores por lo que para su mitigación deben ser atacadas todas ellas. La acción parcial sobre algunas de ellas podrá implicar un esfuerzo grande de intervención con pobres resultados. Se recomienda, por tanto, diseñar intervenciones más concentradas en problemas pero más inclusivas en relación a las causas que originan esos problemas.

11 Mantenimiento de los efectos sobre la población Aplicación: Futuras intervenciones

Dirigida a: CIC

El impacto se entiende como los efectos duraderos de los beneficios obtenidos en la intervención sobre la población. Es importante no sólo, por tanto, que existan beneficios sino que estos perduren en el tiempo. Se recomienda incidir diseñar acciones que favorezcan la permanencia de los efectos fuera del tiempo de ejecución de las acciones. Los sistemas de incentivos acotados al tiempo de intervención, como se ha visto, no favorecen la permanencia de los efectos y, por tanto, la obtención de impacto.

Criterio 5: Viabilidad

Valoración: BAJA

Conclusiones La baja capacidad financiera de los servicios de salud del distrito no favorecerá el mantenimiento de los beneficios obtenidos durante la intervención.

La duración de la intervención no ha permitido consolidar procesos o rutinas iniciadas, ni asegurar la continuidad del sistema de incentivos empleado en la formación de grupos de voluntarios.

Se ha influido en la capacidad institucional de los servicios de salud aunque persisten problemas de base que dificultan la continuidad de determinadas acciones: falta de financiación, escaso número de personal y la falta de motivación en general de muchos de los colaboradores del sistema.

Recomendaciones 12 Mayor duración Aplicación: Futuras intervenciones

Dirigida a: CIC

Como se ha indicado anteriormente, la duración de la intervención implica unas mayores opciones de alcance de impacto precisamente porque se favorece la viabilidad de las acciones, una vez que da tiempo a consolidar procesos y dotar de una mayor capacidad a los gestores de los servicios de salud. Se recomienda que esta intervención pueda ser extendida en el tiempo de forma a que se pueda asegurar la viabilidad, la cual en estos momentos está comprometida.

13 Consolidar procesos Aplicación: Futuras intervenciones

Dirigida a: CIC

Para favorecer la viabilidad de la intervención, los procesos deben estar consolidados antes de terminar la intervención. Esto puede requerir, tal vez, que exista una concentración de las actividades en un determinado ámbito o problema aunque se trabaje en varios frentes al mismo tiempo.



31

Criterio 6: Coherencia

Valoración: MEDIA

Conclusiones Existencia de coherencia interna relacionada con la adecuación de los objetivos y resultados propuestos a los problemas detectados.

Existencia de complementariedad de las acciones de este proyecto con aquéllas desarrolladas por otros agentes de cooperación en el mismo territorio, coordinadas todas ellas por los servicios de salud.

No se establecen relaciones de sinergia entre los diferentes proyectos de cooperación

Recomendaciones 14 Sinergia entre las diferentes intervenciones Aplicación: Futuras intervenciones

Dirigida a: CIC/SDSMAS

Además de la coordinación y complementariedad, es importante establecer sinergias entre todas las intervenciones que se realicen en un mismo territorio y sector. Los servicios de salud deberían tener un papel más activo en la facilitación de estas sinergias participando activamente desde la fase de identificación de los proyectos en la creación de acciones conjuntas con objetivos finales comunes en las que todos los agentes de cooperación podrían contribuir.

Criterio 7: Alineamiento

Valoración: ALTO

Conclusiones Intervención perfectamente alineada con las políticas de desarrollo generales de Mozambique (PARP) y la estrategia de salud vigente.

Adaptación adecuada a los procedimientos administrativos y de gestión de las entidades locales, manteniendo una capacidad elevada de autonomía para cumplir con los requisitos de obligado cumplimiento en la ejecución y justificación de la intervención.

Recomendaciones 15 Traspaso de mayores responsabilidades en la gestión financiera a las entidades locales

Aplicación: Futuras intervenciones

Dirigida a: CIC/SDSMAS

El objetivo final sería que las propias entidades locales pudiesen incorporar la financiación a sus propios presupuestos y ejecutar las acciones propias. CIC podría asumir un papel de asistente técnico que aseguraría el control de los fondos, la correcta ejecución de las actividades y su justificación. Se recomiendo que, en futuras intervenciones, sean dadas cada vez mayores cuotas de autonomía y responsabilidad sobre la ejecución de la intervención o de parte de ellas.

Criterio 8: Participación

Valoración: ALTA

Conclusiones Todos los actores han participado en la identificación de las actividades, en particular los órganos de dirección de los servicios de salud, los responsables de las unidades sanitarias donde se ha trabajado y las estructuras existentes de salud comunitaria.



Criterio 9: Cobertura

Valoración: ALTA

Conclusiones Todos los colectivos participantes definidos han sido beneficiados por las acciones del proyecto: mujeres en edad fértil, a partir de las intervenciones en SMI e incentivos a las madres usuarias de los servicios de maternidad; menores de 5 años a partir de las



32

acciones de SMI y formación continua; enfermos del servicio de TARV; personal de los servicios de TARV y SMI a partir de las acciones de capacitación; y los agentes comunitarios, activistas, parteras tradicionales y educadores de pares apoyados por las acciones de coordinación, incentivos y capacitación.

6. Lecciones aprendidas

Las intervenciones de pequeña duración y dispersas en cuanto a la obtención de resultados presentan impactos bajos y de viabilidad comprometida: intervenciones más duraderas, en las que se puedan consolidar los procesos iniciados a la vez que contemplar una diversidad de líneas de intervención en diferentes ámbitos, podrán contribuir de manera más clara a la mejora de los servicios de salud. Intervenciones cortas y no centradas en un único resultado podrán comprometer la viabilidad de las acciones iniciadas y contribuir de manera poco visible a la obtención del objetivo general.

El sistema de incentivos a beneficiarios aplicado en la realización de determinadas actividades ofrece una falsa sensación de eficacia: la obtención de resultados positivos durante una intervención basada en incentivos monetarios a sus ejecutores puede dar una falsa sensación de adecuación de las actividades al alcance de los resultados. Si el sistema de incentivos termina al finalizar la intervención se regresa a la situación inicial y se pierden los resultados alcanzados.

El coste de implantación de intervenciones es elevado por lo que se debe favorecer la continuidad de los proyectos ya iniciados: el inicio de una intervención en un sitio nuevo implica establecer relaciones institucionales desde cero, hacer un esfuerzo inicial en la compra de equipamientos y medios de trabajo, aplicar mayores gastos al seguimiento y control, etc. Este esfuerzo inicial, que rebaja la eficiencia de esta primera intervención, tendría un mayor sentido en el ámbito de una intervención de mayor duración. La eficiencia mejoraría al aplicarse estos costes a toda la extensión de la intervención y se alcanzarían mejores resultados al disminuir los esfuerzos aplicados en la implantación y sí en la ejecución.

La proximidad y flexibilidad garantizan la colaboración institucional: los agentes de cooperación que se colocan en una relación de proximidad junto a las entidades locales que apoyan, así como la flexibilidad de la intervención que se orienta a las prioridades de sus beneficiarios, garantizan una buena colaboración institucional necesaria para la obtención de resultados.

Los problemas y debilidades de base del sistema de salud dificultan el impacto de las acciones de los agentes de cooperación: si los problemas estructurales del sistema de salud permanecen inalterados, siendo éstos básicos y fundamentales para la prestación de servicios sanitarios de calidad, todas las acciones que se hagan desde las ONGs y otros agentes de cooperación tendrán efectos limitados. Las ONGs deberán incorporar acciones de lobby e incidencia para la mejora de las políticas de financiación del sistema nacional de salud, incluyendo la extensión de la cobertura sanitaria y la formación de personal sanitario. Sin mejoras palpables en estos ámbitos, difícilmente se podrán reforzar los sistemas de salud distritales a partir de intervenciones de ONGs.

Apoyo al reforzamiento del sistema de salud del distrito de Nacaroa, Mozambique - 1200/2011 Mozambique, provincia de Nampula, distrito de Nacaroa Consejo Interhospitalario de Cooperación Generalitat Valenciana


A-1

ANEXOS

ANEXO1: Términos de Referencia (ver documento anexo)



A-2

ANEXO2: Agenda de trabajo fase II

DÍA LUGAR INSTITUCIÓN QUIEN

17/02/2014 Nampula DPS Jocelina Calavete, médico jefe provincial

19/02/2014 Nacaroa SDSMAS Chico Manuel Dias, director

Centro de Salud Médico jefe distrital

Maheta Centro de Salud Lucinda António Cavarro, enfermera SMI

Nachere Centro de Salud Edna, enfermera SMI Fátima, agente medicina general Isaias, agente PAV

20/02/2014 Nacaroa Centro de Salud Médico jefe distrital Tomás Barbosa, responsable salud comunitária Alves José, responsable TARV Gilda Nadia, responsable SMI

Nacaroa SDSMAS Chico Manuel Dias, director

Nahedge Centro de Salud Carlos Adriano, responsable Centro de Salud

21/02/2014 Nampula CIC Felizardino Marcizar, coordinador proyecto (2ª etapa)



A-3

ANEXO3: Fuentes consultadas

Fuentes primarias Formulación del proyecto

Informes de ejecución y financieros

Fuentes de verificación recogidas

Documento de reformulación del proyecto

Fuentes secundarias Plan Estratégico del Sector Salud 2007-2012. MISAU. Gob Mozambique

Plano Indicativo Estratégico de Desarrollo Regional 2005-2012. SADC

Plan de Acción de Reducción de la Pobreza III (2010-2014). Gobierno de Mozambique

Informe anual SDSMAS de Nacaroa 2011 – 2013

Informe anual DPS Nampula 2012



A-4

ANEXO4: Ficha CAD – resumen evaluación

Título Apoyo al fortalecimiento del sistema de salud del distrito de Nacaroa, Mozambique.

Lugar África Austral Mozambique (provincia de Nampula, distrito de Nacaroa)

Sector 122: Salud básica 130: Programas/políticas sobre población y

Salud reproductiva Subsector

12220: Atención sanitaria básica 12261: Educación sanitaria 12281: Formación personal sanitario 13040: Lucha contra ETS, incluido el VIH/SIDA

Tipo de evaluación Externa, Final Coste (€) 303.321 EUR

Fecha de la intervención

Formal: 01/11/2011 – 31/01/2014 Real: 01/03/2012-31/08/2012 y 31/07/2013-31/01/2014

Agente ejecutor

Consejo Inter - hospitalario de Cooperación

Beneficiarios Personas: 93.556 (76% mujeres)

Fecha de la evaluación

Febrero – Abril 2014 Agente

evaluador Sector5, Soc.. Uni. Lda. / [email protected]

Antecedentes y objetivo

general de la intervención

Antecedentes El Consejo Interhospitalario de Cooperación (CIC) está presente en Mozambique desde 1996, año en el que empezó a colaborar con el MISAU en la formación de médicos especialistas y técnicos medios especializados con el objetivo de conseguir un sistema nacional de salud más eficaz a partir de la mejora de la calidad y cantidad del personal sanitario. En la provincia de Nampula, desde el año 2005, implementa el Programa de Salud de Erati, financiado por la Generalitat Valenciana, en consorcio con las organizaciones Medicus Mundi y Action Aid, apoyando el funcionamiento del Hospital Rural de Namapa y de dos unidades sanitarias satélites (Mirrote y Alua). Por solicitación de la Dirección Provincial de Salud (DPS) de Nampula, de extender las acciones hacia otros distritos de la provincia, surge el presente proyecto de “fortalecimiento del sistema de salud del distrito de Nacaroa”. Intervención CIC plantea en la propuesta de proyecto reforzar específicamente aquellos programas del Sistema Nacional de Salud en los que el CIC ha venido trabajando en Erati (Gestión Sanitaria, Salud Materno – infantil, VIH/SIDA) que han demostrado ser viables en este distrito. La experiencia acumulada y la importancia de promover la maternidad segura y el parto institucional (prioridades tanto del Ministerio de Sanidad de Mozambique – MISAU – como de la Generalitat Valenciana) justifican que sea las acciones principales para el inicio de la intervención en un distrito nuevo como Nacaroa. El proyecto pretende fortalecer el sistema de salud del Distrito de Nacaroa apoyando el funcionamiento de los programas priorizados por el Gobierno como son el servicio TARV (tratamiento antiretroviral), la atención para una maternidad segura y la promoción de una alimentación variada, especialmente en menores de 5 años.

Principios y objetivos de

la evaluación

Es una evaluación externa final y pretende da respuesta a uno de los requisitos legales de la entidad financiadora para intervenciones de estas características. Por otro lado, se constituye como una herramienta importante de aprendizaje y mejora continua con efectos positivos deseables para la implementación de posteriores intervenciones. La evaluación hace una medida del grado de desempeño y alcance de los resultados, revisa los factores de eficacia y eficiencia de la intervención y del equipo de gestión, y ofrece información sobre las cuestiones relacionadas con otros criterios de evaluación con interés para la entidad ejecutora. A partir del análisis de las cuestiones presentadas, se extraen las conclusiones y se ofrecen una serie de recomendaciones para mejorar los puntos débiles de la intervención. Se recogen también las lecciones aprendidas de esta intervención con aplicación general para toda acción de cooperación al desarrollo.

Metodología y herramientas

El trabajo de evaluación se desarrolló en 3 fases: 1. Fase inicial preparatoria, en la cual el equipo de evaluación tomó contacto con la documentación de la intervención y

preparó las herramientas de evaluación en concordancia con los requerimientos de la entidad solicitante. En esta fase fue también elaborada la agenda final de la fase de obtención de evidencias.

2. Fase de recogida de datos en la zona de la intervención, para tener acceso a la información primaria y secundaria de manera directa y obtener las evidencias de los resultados para posteriormente realizar el cruce con la información documental. Esta recogida de datos fue realizada fundamentalmente en la provincia de Nampula y en el distrito de Nacaroa donde fueron entrevistados algunos de los participantes en el proyecto como los servicios distritales de salud, personal sanitario de las unidades sanitarias seleccionadas y beneficiarios. También fueron visitados los lugares de intervención directa como el propio centro de salud de Nacaroa, y las unidades sanitarias de Maheta y Nahadge, así como la unidad sanitaria de Nachere que sirvió como control.

3. Fase de elaboración del informe de evaluación, envío de la primera versión, incorporación de comentarios y elaboración del informe definitivo.

Fueron aplicadas diferentes técnicas y herramientas dependiendo de la fase de la evaluación: En la primera fase o de diseño: revisión documental, tanto la documentación de base del proyecto, como la generada a

partir de la ejecución y otra documentación relacionada con el proyecto (Políticas, Estrategias, informes, etc.). En la fase de campo: revisión de documentos específicos, procedimientos, informes de seguimiento, fuentes de verificación,

etc. Se realizaron también entrevistas semiestructuradas con algunos de los participantes en el proyecto y el personal de CIC directamente involucrado en la ejecución de las actividades.

En la fase de elaboración del informe: fue realizado el análisis de los datos y la información obtenida a partir de los informantes clave y la observación directa.

Conclusiones y recomendaciones

Pertinencia

Intervención pertinente al contexto en el que se ejecuta, dado que los objetivos definidos se orientan a la resolución de los problemas incluidos en los informes anuales de los servicios de salud de Nacaroa: promoción de la salud comunitaria, mejora



A-5

de los servicios de salud de la mujer y niños, mejora de los recursos humanos y la asistencia médica, y la expansión de la red sanitaria.

El diseño de la intervención adolece de algunos errores técnicos dado que se definen objetivos específicos sin conexión con unos resultados esperados que contribuyan a su alcance completo.

La intervención es pertinente en relación con la Estrategia nacional del Sector Salud vigente en el momento de la identificación y ejecución inicial. La mejora de los servicios TARV, la promoción del parto seguro, la mejora de las infraestructuras y la mejora de los servicios de salud forman parte de los objetivos incluidos en dicha estrategia.


Eficacia

Hay resultados que no se alcanzan a partir de las actividades propuestas tal como la mejora del funcionamiento de los servicios TARV del Centro de Salud de Nacaroa (los grupos de apoyo no permanecen activos al término de la intervención) y los recursos disponibles para la promoción del parto seguro (sólo verificado durante el tiempo de la intervención). La coordinación entre los agentes comunitarios de salud y los servicios de salud es el único resultado que se mantiene al término de la intervención a pesar de que con una menor actividad.


Los indicadores de los resultados deben hacer referencia a las mejoras verificables a partir de la consecución de estos resultados. Muchos de los indicadores definidos en la propuesta hacen referencias a la realización de actividades que no implican el alcance de los resultados: la realización de encuentros, la constitución de grupos, la realización de estudios o de actividades de promoción no hacen referencia a mejoras verificables al término de la intervención.




Aunque no han sido definidas acciones específicas sobre la mejora de la equidad de género, implícitamente todas las acciones estaban orientadas a las mujeres como grupo vulnerable: las acciones de TARV, parto seguro, mejora de las infraestructuras y mejora de los servicios de salud comunitaria redundan en la salud de la mujer principalmente.

Eficiencia

No hay desviaciones importantes en la ejecución del presupuesto. Solamente reseñar un exceso en el gasto referido a construcciones y a personal local. Con relación a las construcciones, deberían haber sido correctamente dimensionadas para ajustar el gasto al presupuesto disponible. En cuanto al personal local, se advierte un incremento fuera de presupuesto del gasto en viajes y dietas que debería haber sido controlado durante la ejecución de la intervención.





Impacto

La contribución de la intervención al alcance del Objetivo General (fortalecimiento del sistema de salud del distrito de Nacaroa) ha sido bajo dada la complejidad de los problemas y debilidades del distrito así como la duración de la intervención y las áreas de intervención donde se ha trabajado.


Los efectos sobre la población han sido pequeños y en muchos casos, limitados al tiempo de ejecución de la intervención. Viabilidad

La baja capacidad financiera de los servicios de salud del distrito no favorecerá el mantenimiento de los beneficios obtenidos durante la intervención.

La duración de la intervención no ha permitido consolidar procesos o rutinas iniciadas, ni asegurar la continuidad del sistema de incentivos empleado en la formación de grupos de voluntarios.

Se ha influido en la capacidad institucional de los servicios de salud aunque persisten problemas de base que dificultan la continuidad de determinadas acciones: falta de financiación, escaso número de personal y la falta de motivación en general de muchos de los colaboradores del sistema.



A-6

Coherencia

Existencia de coherencia interna relacionada con la adecuación de los objetivos y resultados propuestos a los problemas detectados.

Existencia de complementariedad de las acciones de este proyecto con aquéllas desarrolladas por otros agentes de cooperación en el mismo territorio, coordinadas todas ellas por los servicios de salud.

No se establecen relaciones de sinergia entre los diferentes proyectos de cooperación Alineamiento

Intervención perfectamente alineada con las políticas de desarrollo generales de Mozambique (PARP) y la estrategia de salud vigente.

Adaptación adecuada a los procedimientos administrativos y de gestión de las entidades locales, manteniendo una capacidad elevada de autonomía para cumplir con los requisitos de obligado cumplimiento en la ejecución y justificación de la intervención.

Participación

Todos los actores han participado en la identificación de las actividades, en particular los órganos de dirección de los servicios de salud, los responsables de las unidades sanitarias donde se ha trabajado y las estructuras existentes de salud comunitaria.



Cobertura

Todos los colectivos participantes definidos han sido beneficiados por las acciones del proyecto: mujeres en edad fértil, a partir de las intervenciones en SMI e incentivos a las madres usuarias de los servicios de maternidad; menores de 5 años a partir de las acciones de SMI y formación continua; enfermos del servicio de TARV; personal de los servicios de TARV y SMI a partir de las acciones de capacitación; y los agentes comunitarios, activistas, parteras tradicionales y educadores de pares apoyados por las acciones de coordinación, incentivos y capacitación.

RECOMENDACIONES: 1. Lógica de la intervención: Por cada intervención se recomienda definir un único objetivo específico que deberá ser

alcanzado en su totalidad a partir de la intervención. Para el alcance de ese objetivo específico se deberá diseñar la intervención de tal manera que se alcance unos resultados que necesariamente conlleven el alcance del objetivo específico. Todos los resultados, por tanto, deberán hacer referencia a ese único objetivo específico. Esta lógica de intervención deberá ser realizada a partir del análisis del árbol de problemas y sus causas.

2. Incorporación de actividades que no impliquen cargas financieras no asumibles por los servicios de salud: Los resultados que impliquen la entrega de incentivos para su verificación pueden ofrecer una falsa imagen de eficacia por cuanto éstos no se verificarán al término de la intervención si los servicios de salud no asumen o no pueden asumir las cargas financieras que éstos suponen. Se recomienda que, antes de aplicar sistemas de incentivos, se verifique la disponibilidad real de los servicios de salud en asumir estas cargas financieras o, de otro modo, se apliquen estrategias de intervención diferentes o se asegure la financiación de estos incentivos por otras vías (ver recomendación 3).

3. Consolidación del sistema de incentivos: Si se optan por un sistema de incentivos (a grupos de voluntarios o a los beneficiarios) debería ser realizadas acciones de consolidación a lo largo de la intervención para asegurar su continuidad al término de ésta. Una posibilidad sería la ofrecer ventajas especiales a los voluntarios en el acceso a servicios de salud (por ejemplo, tener preferencia en la atención sanitaria), recibir algún tipo de beneficio de la comunidad, etc. La idea fundamental sería diseñar un sistema de mantenimiento de los incentivos para que una vez que termine la intervención no se produzca un corte de los mismos que podría afectar a la continuidad de las rutinas iniciadas.

4. Indicadores de alcance de resultados: Los indicadores de alcance de resultados deben medir las consecuencias de los estados finales alcanzados, no la realización de las actividades definidas para su alcance. Se puede dar la situación de que habiendo sido ejecutadas correctamente todas las actividades no se alcanzan los resultados previstos debido al mal diseño de estas actividades. Si los indicadores están definidos como realización de actividades podrían medir erróneamente el alcance de los resultados cuando en la realidad no se estaría verificando tal situación.

5. Incorporar acciones de apoyo a la gestión y planificación: Como se ha podido ver en la ejecución de esta intervención y para facilitar la implementación de las propias actividades, es importante incluir siempre actividades de apoyo a la gestión de los servicios de salud. A la vez que se asegura la correcta gestión y liderazgo de los beneficiarios, se estarán dando las herramientas de trabajo necesarias para la mejora de los servicios una vez terminada la intervención.

6. Inclusión de acciones específicas para la mejora de la equidad de género: Aunque una intervención esté dirigida implícitamente a la mejora de la equidad de género, favoreciendo el beneficio y participación de las mujeres, es importante diseñar acciones específicas en este sentido. Éstas ayudarán a concienciar a las mujeres de sus derechos, a los hombres de la necesidad de la equidad de género, y a los responsables de los servicios de salud en la necesidad de incluir este tipo de acciones en la planificación de sus actividades.

7. Ajustar los costes de estructura: Para mejorar la eficiencia de la intervención se recomienda ajustar los costes de estructura en todo aquello que no sea estrictamente necesario para el alcance de los resultados. Esto también incluye el coste de aquellas actividades que no contribuyen estrictamente al alcance de los resultados. Por ejemplo, en esta intervención existe una partida bastante grande en construcción que no contribuye de manera efectiva al alcance de ningún resultado por lo que hace disminuir la eficiencia global de la intervención.

8. Documentación de la intervención: Para el correcto seguimiento de la intervención (no sólo económica) y el aprendizaje para futuras intervenciones es necesario documentar bien las acciones y los resultados obtenidos: informes y compilación de actividades, indicadores seguidos, materiales utilizados, valoración de la ejecución de actividades, etc.



A-7

9. Continuidad de la intervención: La obtención de un mayor impacto está relacionada directamente con la duración de la intervención. Se inician procesos y rutinas que merecen ser consolidadas para que generen efectos duraderos y contribuyan de manera efectiva a la mejora de los servicios de salud. Además se pueden realizar un mayor número de líneas de acción que de manera global podrán tener un mayor impacto sobre el objetivo general. Esta intervención merecería ser extendida una vez que ya se han iniciado ciertas acciones de tal manera que se asegure la obtención de un impacto verificable.

10. Intervención en mayores ámbitos: Así como el factor tiempo influye en la obtención de impacto, también lo hace la multiplicidad de líneas de intervención. Un único problema puede tener diferentes causas y factores por lo que para su mitigación deben ser atacadas todas ellas. La acción parcial sobre algunas de ellas podrá implicar un esfuerzo grande de intervención con pobres resultados. Se recomienda, por tanto, diseñar intervenciones más concentradas en problemas pero más inclusivas en relación a las causas que originan esos problemas.

11. Mantenimiento de los efectos sobre la población: El impacto se entiende como los efectos duraderos de los beneficios obtenidos en la intervención sobre la población. Es importante no sólo, por tanto, que existan beneficios sino que estos perduren en el tiempo. Se recomienda incidir diseñar acciones que favorezcan la permanencia de los efectos fuera del tiempo de ejecución de las acciones. Los sistemas de incentivos acotados al tiempo de intervención, como se ha visto, no favorecen la permanencia de los efectos y, por tanto, la obtención de impacto.

12. Mayor duración: Como se ha indicado anteriormente, la duración de la intervención implica unas mayores opciones de alcance de impacto precisamente porque se favorece la viabilidad de las acciones, una vez que da tiempo a consolidar procesos y dotar de una mayor capacidad a los gestores de los servicios de salud. Se recomienda que esta intervención pueda ser extendida en el tiempo de forma a que se pueda asegurar la viabilidad, la cual en estos momentos está comprometida.

13. Consolidar procesos: Para favorecer la viabilidad de la intervención, los procesos deben estar consolidados antes de terminar la intervención. Esto puede requerir, tal vez, que exista una concentración de las actividades en un determinado ámbito o problema aunque se trabaje en varios frentes al mismo tiempo.

14. Sinergia entre las diferentes intervenciones: Además de la coordinación y complementariedad, es importante establecer sinergias entre todas las intervenciones que se realicen en un mismo territorio y sector. Los servicios de salud deberían tener un papel más activo en la facilitación de estas sinergias participando activamente desde la fase de identificación de los proyectos en la creación de acciones conjuntas con objetivos finales comunes en las que todos los agentes de cooperación podrían contribuir.

15. Traspaso de mayores responsabilidades en la gestión financiera a las entidades locales: El objetivo final sería que las propias entidades locales pudiesen incorporar la financiación a sus propios presupuestos y ejecutar las acciones propias. CIC podría asumir un papel de asistente técnico que aseguraría el control de los fondos, la correcta ejecución de las actividades y su justificación. Se recomiendo que, en futuras intervenciones, sean dadas cada vez mayores cuotas de autonomía y responsabilidad sobre la ejecución de la intervención o de parte de ellas.

Conclusiones de carácter

específico N/A

Recomendaciones de

carácter específico N/A

Agentes que han Intervenido

Comité de Acompañamiento CIC Equipo de evaluación

informe de evaluación · 2. descripción resumida de la intervención evaluada _____ 11 2.1....

Documents