capÍtulo 9 gestão das informações: monitoria e avaliaçãotulo 9. gestão das... · gestão das...
TRANSCRIPT
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
CAPIacuteTULO 9
Gestatildeo das Informaccedilotildees Monitoria e Avaliaccedilatildeo
E ste capiacutetulo eacute um guia praacutetico que vocecirc como gestor de um programa de sauacutede ou de serviccedilos de sauacutede pode usar para compreender e organizar praacuteticas essenciais que vatildeo melhorar
a monitoria e a avaliaccedilatildeo (MampA) dos serviccedilos de sauacutede Ele explica o papel e a funccedilatildeo de um Sistema de Informaccedilotildees de Sauacutede (SIS) eficaz Descreve a monitoria e a avaliaccedilatildeo como funccedilotildees essenciais para a gestatildeo de programa explica a diferenccedila entre as duas e apresenta sugestotildees para fazer com que cada funccedilatildeo seja mais uacutetil para continuar a aprender e actuar Mostra tambeacutem como boas praacuteticas de lideranccedila e gestatildeo satildeo relevantes para a MampA
Poderaacute usar as informaccedilotildees neste capiacutetulo para
aumentar a eficaacutecia de um SIS usar a monitoria de rotina para aumentar a eficiecircncia
das actividades organizacionais produzir dados uacuteteis e de valor praacutetico para tomar
decisotildees informadas evitar os erros mais comuns em MampA conceber ou criar uma avaliaccedilatildeo usar uma estrutura teoacuterica para formular um plano
loacutegico para as actividades de um programa preparar um plano de MampA
O capiacutetulo termina com uma histoacuteria que enfatiza o elemento humano da MampA Ela mostra que a utilizaccedilatildeo de dados de um SIS mesmo que natildeo sejam perfeitos pode ser vantajosos e promover a confianccedila no sistema A histoacuteria tambeacutem oferece vaacuterias praacuteticas comprovadas de MampA que satildeo relevantes para o seu trabalho como gestor de sauacutede
Nancy LeMay
1 Obter Resultados Atraveacutes do Fortalecimento dos Sistemas de Sauacutede
2 Lideranccedila e Gestatildeo Competecircncias Criacuteticas para o Fortalecimento dos Sistemas de Sauacutede
3 Governaccedilatildeo de Sistemas de Sauacutede e Organizaccedilotildees de Sauacutede
5 Planear o Trabalho e Executar o Plano
7 Gestatildeo das Financcedilas e dos Sistemas Relacionados
8 Gestatildeo de Medicamentos e Produtos de Sauacutede
6 Gestatildeo de Recursos Humanos
10 Gestatildeo da Prestaccedilatildeo de Serviccedilos de Sauacutede
9 Gestatildeo das Informaccedilotildees Monitoria e Avaliaccedilatildeo
4 Inclusatildeo da Perspectiva de Geacutenero nos Sistemas de Sauacutede
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 92
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Introduccedilatildeo
Dentro da comunidade ligada ao desenvolvimento a ecircnfase cada vez maior na produccedilatildeo de resultados quantificaacuteveis aumentou o interesse por MampA e a atenccedilatildeo a essas actividades Fala-se muito sobre o planeamento baseado em resultados a estrutura de resultados e as equipas voltadas a resultados Mas as pessoas tambeacutem se confundem frequentemente sobre o que monitorar o que avaliar e sobre a melhor forma de executar as duas tarefas
A tendecircncia eacute esquecer a importacircncia de uma boa e soacutelida monitoria essencial para fornecer aos gestores as informaccedilotildees necessaacuterias para agirem e obterem resultados Na pressa para fazer avaliaccedilotildees algumas organizaccedilotildees subestimam a monitoria em benefiacutecio da avaliaccedilatildeo para poderem mostrar resultados A monitoria eacute frequentemente uma praacutetica subutilizada que pode acabar por se perder no trajecto entre avaliadores e planeadores
No seu trabalho de gestor vocecirc e a sua equipe precisam das informaccedilotildees obtidas com ambas a monitoria e a avaliaccedilatildeo para gerir as actividades e obter resultados Provavelmente utilizaraacute suas habilidades de MampA para avaliar os insumos de sauacutede actividades resultados imediatos e resultados a meacutedio e longo prazo (termos que seratildeo discutidos mais adiante neste capiacutetulo) Provavelmente natildeo seraacute solicitado a medir o impacto Com excepccedilatildeo das organizaccedilotildees de grande porte soacutelidas e com muitos recursos a avaliaccedilatildeo de impacto eacute geralmente responsabilidade do Ministeacuterio da Sauacutede ou da agecircncia doadora Apesar de a avaliaccedilatildeo do impacto natildeo ser parte do acircmbito deste capiacutetulo encontraraacute ligaccedilotildees (links) com materiais uacuteteis sobre o assunto
Este capiacutetulo natildeo interessa apenas ao pessoal de MampA ou do SIS O puacuteblico-alvo eacute muito maior e inclui
directores e outros gestores de niacutevel superior em organizaccedilotildees da sociedade civil (OSCs) nomeadamente organizaccedilotildees natildeo governamentais (ONGs) organizaccedilotildees religiosas (OREs) e outras organizaccedilotildees sem fins lucrativos
gestores de projectos financiados por agecircncias doadoras e implementados por OSCs
gestores em niacutevel distrital e dos centros de sauacutede do sector puacuteblico pessoal de MampA e de SIS das organizaccedilotildees financiadas por agecircncias doadoras e
do sector puacuteblico
Informaccedilotildees para a gestatildeo de serviccedilos de sauacutede
Todos sabemos que os gestores de sauacutede e os profissionais de sauacutede precisam ter um melhor acesso a informaccedilotildees confiaacuteveis e melhores formas de usar essas informaccedilotildees para monitorar o desempenho e gerir os serviccedilos A gestatildeo eficaz de todo o sistema de sauacutede depende do uso adequado de informaccedilotildees precisas e obtidas em tempo haacutebil por funcionaacuterios de todos os niacuteveis Esse uso das informaccedilotildees depende por sua vez da capacidade do SIS de gerar informaccedilotildees uacuteteis
SUBSISTEMAS E CICLOS DE UM SISTEMA DE INFORMACcedilOtildeES DE SAUacuteDE
A publicaccedilatildeo da Organizaccedilatildeo Mundial de Sauacutede (OMS) Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action [Um esforccedilo colectivo como fortalecer os sistemas de sauacutede para obter melhores resultados a meacutedio e longo prazo O plano de acccedilatildeo da OMS] revela que a informaccedilatildeo eacute um dos seis pilares
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 93
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
essenciais de qualquer sistema de sauacutede A OMS define um SIS eficiente como ldquoaquele que garante a produccedilatildeo anaacutelise difusatildeo e uso de informaccedilotildees confiaacuteveis e em tempo haacutebil sobre factores os determinantes da sauacutede o desempenho do sistema de sauacutede e o estado da sauacutederdquo (OMS 2007) O termo SIS geralmente engloba os vaacuterios subsistemas que fornecem as informaccedilotildees necessaacuterias para a gestatildeo de serviccedilos de sauacutede A Figura 1 apresenta uma visatildeo geral dos subsistemas comuns dentro de um SIS
Um SIS bem projectado e eficiente fornece suporte aos processos essenciais e necessaacuterios para gerir os serviccedilos de sauacutede Esses processos satildeo ciacuteclicos e constantes e a recolha anaacutelise e uso das informaccedilotildees para executar as funccedilotildees de gestatildeo de sauacutede tambeacutem criam um processo ciacuteclico
A Figura 2 mostra o MampA como um elemento de um ciclo de gestatildeo tiacutepico que fornece dados para um ciclo de informaccedilotildees Eles satildeo aiacute processados e se transformam em informaccedilotildees que satildeo enviadas de volta para vaacuterias funccedilotildees do ciclo de gestatildeo
FIGURA 1 Subsistemas comuns de informaccedilotildees sobre sauacutede
Vigilacircncia epidemioloacutegica
Detecccedilatildeo e notificaccedilatildeo sobre doenccedilas e factores de risco investigaccedilatildeo de acompanhamento e medidas para controlo de surtos
Relatoacuterios sobre serviccedilos de rotina
Registo e apresentaccedilatildeo de relatoacuterios sobre os serviccedilos dos centros de sauacutede serviccedilos de alcance social e serviccedilos comunitaacuterios em termos de monitoria dos casos e monitoria do desempenho (qualidade) das tarefas dos serviccedilos do desempenho da cobertura e alcance
social dos serviccedilos e da disponibilidade e uso de recursos
Relatoacuterios sobre programas especiacuteficos
Programas tais como
prevenccedilatildeo e controlo da malaacuteria
sauacutede reprodutiva e planeamento familiar (PF)
imunizaccedilatildeo
controlo da tuberculose
prevenccedilatildeo e controlo de VIHSIDA e DSTs
controlo da lepra
gestatildeo integrada de doenccedilas infantis
aacutegua e saneamento
seguranccedila e higiene alimentar
Informaccedilotildees administrativas
gestatildeo financeira e orccedilamentaacuteria
gestatildeo de recursos humanos
administraccedilatildeo de formaccedilatildeo
gestatildeo de suprimentos e medicamentos essenciais
desenvolvimento e manutenccedilatildeo dos centros de sauacutede e equipamentos
gestatildeo das investigaccedilotildees de sauacutede
gestatildeo de documentos e dados
gestatildeo de recursos externos
Registos vitais
Registo de nascimentos mortes formaccedilatildeo de famiacutelia e migraccedilatildeo nos sistemas civil e de sauacutede
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 94
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
DIFERENCcedilAS ENTRE MONITORIA E AVALIACcedilAtildeO
Monitoria e avaliaccedilatildeo satildeo funccedilotildees essenciais de gestatildeo de uma organizaccedilatildeo Juntas elas permitem decisotildees informadas uma melhor utilizaccedilatildeo dos recursos e uma avaliaccedilatildeo objectiva de ateacute que ponto os serviccedilos e outras actividades de uma organizaccedilatildeo permitiram a obtenccedilatildeo de um resultado esperado
Para tomar decisotildees informadas os gestores de sauacutede precisam de um sistema de MampA que forneccedila informaccedilotildees confiaacuteveis sobre factores tais como os seguintes
as necessidades de sauacutede das pessoas na aacuterea de captaccedilatildeo ou seja a aacuterea de onde vecircm os utentes dos serviccedilos
as prioridades do paiacutes proviacutencia distrito e comunidades a que servem a qualidade e cobertura dos serviccedilos que oferecem os recursos que eles utilizaram e os recursos ainda disponiacuteveis o progresso na implementaccedilatildeo das suas actividades
Tanto as actividades de monitoria quanto as de avaliaccedilatildeo satildeo necessaacuterias para satisfazer essas necessidades de informaccedilatildeo Mas qual delas deve ser usada e quando As diferenccedilas entre monitoria e avaliaccedilatildeo residem nos seus propoacutesitos prazos e fontes de informaccedilatildeo
A Monitoria eacute usada para rastrear continuamente as mudanccedilas nos indicadores ndash marcadores mensuraacuteveis de mudanccedila ao longo do tempo ndash de modo a gerir a implementaccedilatildeo de um programa A monitoria mede o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos actividades resultados imediatos e por vezes resultados de curto prazo Para vocecirc como gestor isso pode envolver monitorar o progresso por referecircncia aos seus planos operacionais eou monitoria dos serviccedilos que oferece
Os procedimentos comuns para a monitoria de programas incluem acompanhar as estatiacutesticas sobre serviccedilos e examinar os registos e relatoacuterios sobre formaccedilatildeo A monitoria regular e sistemaacutetica fornece informaccedilotildees para fins de planeamento e uma base confiaacutevel para realizar uma avaliaccedilatildeo
FIGURA 2 Relaccedilatildeo entre as informaccedilotildees e os ciclos de gestatildeo
Ciclo de informaccedilotildees
Ciclo de gestatildeo
Orccedilamento
Implementaccedilatildeo
Controlo
Monitoria e avaliaccedilatildeo
Planeamento
Apresentaccedilatildeo de informaccedilotildees
Interpretaccedilatildeo das informaccedilotildees
Uso das informaccedilotildees
Recolha de dados
Anaacutelise de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 95
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A Avaliaccedilatildeo por outro lado eacute usada para avaliar a eficaacutecia (e por vezes o custo) dos esforccedilos para melhorar os serviccedilos e para prevenir e controlar os problemas prioritaacuterios de sauacutede A avaliaccedilatildeo mede os resultados a meacutedio e longo prazo e o impacto Avalia em que medida sua organizaccedilatildeo estaacute a atingir os resultados esperados e o ajuda a entender por que os resultados foram ou natildeo atingidos A avaliaccedilatildeo eacute tambeacutem uma oportunidade de aprendizado constante a partir das experiecircncias
Portanto o primeiro factor que diferencia a monitoria da avaliaccedilatildeo eacute uma diferenccedila de propoacutesito A monitoria eacute motivada por uma necessidade de gestatildeo ao passo que a avaliaccedilatildeo eacute motivada pela necessidade de documentar os resultados a meacutedio e longo prazo de uma intervenccedilatildeo e relataacute-los a uma agecircncia doadora ou a outros grupos de interesse A monitoria portanto se concentra na implementaccedilatildeo operacional ao passo que a avaliaccedilatildeo se concentra nos efeitos das actividades sobre a sauacutede da populaccedilatildeo-alvo
Isso nos leva a uma segunda diferenccedila criacutetica o periacuteodo durante o qual cada uma delas eacute usada A monitoria eacute um processo rotineiro e constante usado durante toda a intervenccedilatildeo A avaliaccedilatildeo requer a recolha de dados basais preliminares (como referecircncia) e de dados apoacutes a intervenccedilatildeo que lhe permitem comparar as mudanccedilas durante o periacuteodo da intervenccedilatildeo e agraves vezes apoacutes um periacuteodo adequado de acompanhamento
Por uacuteltimo uma terceira diferenccedila diz respeito agraves fontes de informaccedilatildeo que cada funccedilatildeo utiliza Os dados para a monitoria geralmente provecircm do que estaacute imediatamente disponiacutevel do sistema de informaccedilatildeo de sauacutede ou de registos de serviccedilos de rotina As estatiacutesticas dos serviccedilos fornecem dados de monitoria tais como stocks de suprimentos nuacutemeros de doses de vacinas ministradas mensalmente e resultados de utentes Os dados de monitoria tambeacutem podem ser obtidos ao compilar os registos de rotina da organizaccedilatildeo Um exemplo satildeo as listas de participantes de workshops de formaccedilatildeo que podem dar informaccedilotildees sobre o nuacutemero de pessoas que receberam formaccedilatildeo sobre um toacutepico especiacutefico
Os indicadores de impacto e de resultados a meacutedio e longo prazo devem ser medidos no niacutevel dos beneficiaacuterios ou da populaccedilatildeo e devem ser obtidos por meio de uma avaliaccedilatildeo Por exemplo para determinar o resultado a meacutedio e longo prazo de uma iniciativa de orientaccedilatildeo sobre planeamento familiar precisaria saber a percentagem de mulheres entre as orientadas que de facto adoptaram um meacutetodo de planeamento familiar Natildeo poderia obter essas informaccedilotildees a partir das estatiacutesticas sobre serviccedilos nem de registos de rotina da organizaccedilatildeo precisaria realizar um inqueacuterito para recolher os dados
Medidas comuns em uma avaliaccedilatildeo incluem as mudanccedilas de uso dos serviccedilos de sauacutede de um periacuteodo para outro a proporccedilatildeo de partos seguros a cobertura de serviccedilos de imunizaccedilatildeo e as mudanccedilas no conhecimento atitudes ou comportamento de um grupo-alvo
Praacuteticas de lideranccedila e gestatildeo para a monitoria e a avaliaccedilatildeo Apesar das diferenccedilas entre monitoria e avaliaccedilatildeo as duas funccedilotildees seratildeo optimizadas se usar outras praacuteticas de lideranccedila e gestatildeo quando executar tarefas de monitoria ou avaliaccedilatildeo Por exemplo monitoria e avaliaccedilatildeo ndash uma das praacuteticas de gestatildeo discutidas no Capiacutetulo 2 deste manual ndash exigem que vocecirc focalize as metas e prioridades e use suas habilidades de exploraccedilatildeo para recolher e analisar os dados apropriados Em resposta aos resultados recolhidos por meio da monitoria e avaliaccedilatildeo talvez precise focalizar e alinhar e mobilizar o pessoal para modificar os planos de intervenccedilatildeo de modo a obter resultados melhores A depender da medida em que as actividades estejam a atingir seus objectivos e os resultados esperados vocecirc poderaacute tambeacutem utilizar as informaccedilotildees de MampA para inspirar o pessoal a melhorar seu desempenho ou continuar a fazer um bom trabalho
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 96
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para gerir as actividades de MampA precisaraacute desenvolver um plano de MampA e entatildeo organizar as estruturas subsistemas e processos para implementar o plano Finalmente teraacute que monitorar e avaliar o programa de MampA para determinar o progresso no alcance dos resultados esperados
As principais praacuteticas de lideranccedila e gestatildeo discutidas aqui e no Capiacutetulo 2 deste manual satildeo tambeacutem descritas em detalhes no Centro de Recursos Electroacutenicos da MSH da secccedilatildeo de Desenvolvimento da Lideranccedila intitulada ldquoComo criar liacutederes que lideramrdquo
De quem eacute a MampA
Quem utiliza a MampA Quem precisa de informaccedilotildees de sauacutede Os gestores de todos os niacuteveis de uma organizaccedilatildeo tecircm interesse em utilizar as informaccedilotildees como base para a acccedilatildeo Isso lhes permite serem gestores e liacutederes eficazes em todos os niacuteveis Na verdade os gestores constituem a fundaccedilatildeo do sistema de MampA
O problema eacute que a funccedilatildeo de MampA nem sempre eacute integrada agrave organizaccedilatildeo Em muitos casos as organizaccedilotildees ndash e por vezes as agecircncias doadoras ndash actuam como se a MampA fosse responsabilidade apenas do pessoal de MampA Sem um processo adequado de comunicaccedilatildeo e retroinformaccedilatildeo as informaccedilotildees e o conhecimento poderiam permanecer nas matildeos do pessoal de MampA Como consequecircncia os resultados (bons ou maus) nem sempre satildeo informados agraves pessoas que precisam deles e as informaccedilotildees natildeo satildeo utilizadas para as decisotildees de gestatildeo
Eacute muito frequente por exemplo que se realize uma avaliaccedilatildeo e se produzam informaccedilotildees para atender agraves necessidades de uma agecircncia doadora ou uma agecircncia do governo e natildeo para melhorar os serviccedilos de uma organizaccedilatildeo Uma forma de garantir que os resultados da avaliaccedilatildeo sejam usados eacute fazer com que os gestores de todos os niacuteveis de uma organizaccedilatildeo desde o centro de sauacutede ateacute o Ministeacuterio da Sauacutede detenham o controlo dos processos e dos resultados de MampA
Necessidades de informaccedilatildeo em niacuteveis diferentes Nem todas as informaccedilotildees satildeo necessaacuterias em todos os niacuteveis e a todo o tempo Gestores agecircncias doadoras e o governo central podem precisar de informaccedilotildees diferentes em momentos diferentes para cumprir seus requisitos de apresentaccedilatildeo de relatoacuterios e para tomar decisotildees Os gestores de projectos financiados por agecircncias doadoras por exemplo trabalham geralmente em um ciclo trimestral ou bienal de apresentaccedilatildeo de relatoacuterios ao passo que o Ministeacuterio da Sauacutede pode precisar de dados que cubram um periacuteodo de trecircs a cinco anos para demonstrar seu impacto e para apresentaacute-los aos poliacuteticos e aos meios de comunicaccedilatildeo
As necessidades de informaccedilatildeo de um sistema de sauacutede podem ser vistas sob a forma de uma hierarquia A Figura 3 mostra que se necessita de volumes cada vez menores de informaccedilatildeo agrave medida que se sobe nos niacuteveis de uma organizaccedilatildeo Existe um conjunto baacutesico de informaccedilotildees de que os gestores de todos os niacuteveis precisam mas apenas um pequeno subconjunto dessas informaccedilotildees eacute necessaacuterio no niacutevel nacional No niacutevel de distrito e dos centros de sauacutede os gestores precisam de informaccedilotildees desagregadas e de forma contiacutenua porque eacute nesses niacuteveis que se empreendem acccedilotildees em resposta a dados operacionais (por ex falta de estoque e abandono de tratamento)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 97
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria dos indicadores operacionais tem menos importacircncia no niacutevel nacional Os que tomam decisotildees no niacutevel nacional precisam na verdade de indicadores que meccedilam o impacto dos programas e serviccedilos de sauacutede no estado de sauacutede a longo prazo Por isso deve-se projectar um SIS para atender a todos os seus utentes fornecendo informaccedilotildees confiaacuteveis a curto meacutedio e longo prazo
No niacutevel do centro de sauacutede por exemplo os gestores recolheriam e utilizariam informaccedilotildees sobre a distribuiccedilatildeo mensal de contraceptivos medicamentos fora de estoque e abandono de tratamento Nos niacuteveis distritais e provinciais ou na sede de uma ONG de grande porte as informaccedilotildees mais uacuteteis seriam taxas anuais de prevalecircncia do uso de contraceptivos ao passo que para o Ministeacuterio de Sauacutede poderiam ser as taxas de mortalidade e morbidade materna a intervalos de trecircs a cinco anos
Para uma discussatildeo mais detalhada sobre a hierarquia das necessidades de informaccedilotildees consulte um artigo no website da OMS
Princiacutepios para uma melhor gestatildeo das informaccedilotildees O Capiacutetulo 1 deste manual afirma que nenhum sistema de gestatildeo pode ser fortalecido se as pessoas natildeo forem incluiacutedas no processo O mesmo se aplica a um SIS Eacute preciso trabalhar com as pessoas envolvidas aquelas que controlam o sistema e registam transferem analisam comunicam e usam os dados e informaccedilotildees para gerir os serviccedilos
Como deveriacuteamos trabalhar com as pessoas no SIS O Quadro 1 apresenta os princiacutepios baacutesicos para criar um SIS eficiente ou melhorar a gestatildeo das informaccedilotildees O objectivo eacute aumentar a disponibilidade e a confiabilidade das informaccedilotildees para que possam ser usadas com mais eficaacutecia na gestatildeo das organizaccedilotildees de sauacutede e dos serviccedilos Esses princiacutepios enfatizam a necessidade da participaccedilatildeo integral de todo o pessoal do SIS e dos gestores e profissionais de sauacutede que utilizaratildeo as informaccedilotildees
FIGURA 3 Hierarquia das necessidades de informaccedilotildees
Informaccedilotildees utilizadas por gestores de programa nacional
Informaccedilotildees recolhidas pelo centro de sauacutede e aiacute utilizadas
Informaccedilotildees exigidas por autoridade nacional
Informaccedilotildees adicionais exigidas por distrito ou departamento municipal
Informaccedilotildees adicionais exigidas para direcccedilatildeo do centro de sauacutede
Fonte Reproduzido com autorizaccedilatildeo de ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo por Vincent Shaw 2005
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 98
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
QUADRO 1 Princiacutepios orientadores para melhorar a gestatildeo das informaccedilotildees
Entenda as funccedilotildees e responsabilidades dos serviccedilos de sauacutede Como o SIS estaacute vinculado ao ciclo de gestatildeo de sauacutede um preacute-requisito para melhorar o SIS eacute entender claramente as funccedilotildees e responsabilidades de cada serviccedilo de sauacutede programa niacutevel de operaccedilotildees e sector (puacuteblico privado comunitaacuterio OSC ONG) envolvido na prestaccedilatildeo de serviccedilos de sauacutede
Focalize na melhoria da sauacutede e dos serviccedilos de sauacutede Quaisquer mudanccedilas nos registos e relatoacuterios de sauacutede devem ser feitas com vistas a melhorar o desempenho dos serviccedilos de sauacutede Eacute importante buscar formas de atender agraves necessidades de informaccedilatildeo em niacuteveis superiores do sistema de sauacutede sem pedir aos gestores e profissionais de sauacutede que registem e reportem dados que natildeo sejam utilizados no niacutevel da prestaccedilatildeo de serviccedilos
Fortaleccedila os sistemas existentes Apesar de ser tentador reformular completamente os sistemas e integrar sistemas paralelos de registos que satildeo especiacuteficos a certos programas o tempo dinheiro interrupccedilatildeo e outros custos de fazer isso satildeo maiores que os possiacuteveis benefiacutecios Poucos esforccedilos para desenvolver SIS totalmente integrados tiveram sucesso Uma opccedilatildeo melhor eacute definir padrotildees de formatos e codificaccedilatildeo de dados que facilitem o intercacircmbio de dados entre sistemas separados
Procure garantir a aceitaccedilatildeo em niacutevel nacional Todas as actividades para desenvolver ou melhorar um sistema de informaccedilotildees devem ser realizadas por grupos de trabalho do proacuteprio paiacutes sob a gestatildeo de pessoal nacional Eacute essencial ter a participaccedilatildeo natildeo soacute do pessoal ligado aos sistemas de informaccedilatildeo mas tambeacutem de gestores e prestadores de serviccedilos esses uacuteltimos as principais pessoas para dar informaccedilotildees Se for necessaacuterio usar um consultor externo essa pessoa deve assumir um papel de facilitador que permita que o pessoal local desenvolva seu proacuteprio sistema Por meio da participaccedilatildeo activa eles entenderatildeo e assumiratildeo o controlo dos meacutetodos e instrumentos do sistema e ao fazer isso se tornaratildeo melhores para mantecirc-lo
Reforce as habilidades do pessoal de sauacutede Essas habilidades incluem registar relatar transmitir processar apresentar analisar e interpretar os dados e usaacute-los para a tomada de decisotildees Usar e manter sistemas de computaccedilatildeo eacute algo que tambeacutem pode ser ensinado O meacutetodo recomendado para desenvolver habilidades eacute ldquoaprender ao fazerrdquo atraveacutes do seguinte
workshops no local de serviccedilo em que pessoal do serviccedilo de sauacutede e os gestores de dados trabalham juntos para solucionar problemas reais usando dados reais
envolver o pessoal nacional nos estudos de planeamento e implementaccedilatildeo e no desenho das mudanccedilas do sistema
esclarecer os papeacuteis e responsabilidades atraveacutes da promoccedilatildeo do consenso
Use a tecnologia de forma apropriada Vocecirc pode usar computadores para a manutenccedilatildeo de banco de dados geraccedilatildeo de relatoacuterios anaacutelise de dados e comunicaccedilotildees se seus sistemas de computaccedilatildeo e software puderem ser mantidos localmente com pessoal jaacute existente Mas certifique-se de que a informatizaccedilatildeo natildeo prejudicaraacute o fluxo e acesso aos dados natildeo sobrecarregaraacute as pessoas de trabalho e natildeo estimularaacute a falsificaccedilatildeo dos dados o que reduziria a confiabilidade dos mesmos
Aceda ao Centro de Recursos Electroacutenicos da MSH para obter enlaces (links) para orientaccedilatildeo adicional sobre gestatildeo de informaccedilotildees
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 99
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria como um caminho para a acccedilatildeo
A IMPORTAcircNCIA DA MONITORIA DE ROTINA
Por que soacute a avaliaccedilatildeo natildeo basta Na comunidade envolvida com o desenvolvimento algumas organizaccedilotildees tendem a confiar mais nos estudos de avaliaccedilatildeo do que numa soacutelida monitoria dos programas Muitas pretendem executar tanto a monitoria quanto a avaliaccedilatildeo mas na praacutetica geralmente dedicam mais tempo e recursos agrave avaliaccedilatildeo
As agecircncias doadoras os governos e as organizaccedilotildees podem preferir as avaliaccedilotildees porque elas fornecem evidecircncias mais palpaacuteveis de progresso tais como a prevalecircncia do uso de contraceptivos (uma medida tiacutepica de resultado a meacutedio e longo prazo para planeamento familiarsauacutede reprodutiva) medida por meio de um inqueacuterito anual domiciliar
A monitoria natildeo pode produzir o indicador de resultado a meacutedio e longo prazo ndash a evidecircncia palpaacutevel de que esses contraceptivos estatildeo efectivamente a ser utilizados Ela pode apenas fornecer um indicador de progresso ou um marco de referecircncia ndash tal como a distribuiccedilatildeo mensal de contraceptivos ndash que lhe permite acompanhar o progresso em direcccedilatildeo agraves metas operacionais Vocecirc pode monitorar a distribuiccedilatildeo de produtos mas natildeo pode concluir que os produtos estejam a ser efectivamente utilizados
Mas para um gestor como vocecirc os dados sobre distribuiccedilatildeo satildeo exactamente o tipo de informaccedilatildeo de que precisa para demonstrar o progresso no alcance da meta e para fazer seu trabalho de forma eficaz
Veja por exemplo uma intervenccedilatildeo para a mudanccedila de comportamento no Peru a qual estaacute descrita e analisada no quadro abaixo
No contexto de serviccedilos de sauacutede do governo os gestores de distrito e de centros de sauacutede precisam monitorar tanto os indicadores de resultados a meacutedio e longo prazo como os indicadores de cobertura Os indicadores de cobertura informam ao gestor de sauacutede se os serviccedilos essenciais estatildeo a ser fornecidos a grupos-alvo especiacuteficos e permitem assim agir rapidamente para resolver falhas na prestaccedilatildeo de serviccedilos a subgrupos ou comunidades carentes
Um bom sistema de monitoria lhe fornece as informaccedilotildees criacuteticas para gerir a intervenccedilatildeo e tomar medidas correctivas imediatamente Uma avaliaccedilatildeo natildeo lhe daacute esse tipo de informaccedilatildeo Portanto quando se vecirc um bom sistema de monitoria eacute geralmente porque um gestor estaacute a impulsionaacute-lo porque precisa de informaccedilotildees de monitoria fornecidas pelo sistema de MampA para que o dito gestor possa comeccedilar a agir
COMO PRODUZIR INFORMACcedilOtildeES ACCIONAacuteVEIS
As informaccedilotildees accionaacuteveis satildeo dados que vocecirc pode usar para tomar uma decisatildeo e empreender uma acccedilatildeo Elas ajudam a identificar falhas de desempenho e encontrar maneiras de resolver essas falhas Para serem accionaacuteveis as informaccedilotildees obtidas com a monitoria devem se basear em indicadores uacuteteis produzidos em formato simples e em tempo haacutebil para o ciclo de planeamento ou apresentaccedilatildeo de relatoacuterios
ldquoAccionaacutevelrdquo significa coisas diferentes para diferentes utentes As informaccedilotildees de que o gestor precisa natildeo satildeo iguais agraves informaccedilotildees de que o director executivo de uma organizaccedilatildeo ou o ministeacuterio de sauacutede utilizariam para apresentar relatoacuterios para agecircncias doadoras poliacuteticos ou para a miacutedia
Como produzir informaccedilotildees accionaacuteveis para o gestor
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 910
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Em primeiro lugar os indicadores devem ser uacuteteis para o gestor Eles devem estar directamente relacionados com o plano operacional da organizaccedilatildeo (ou o plano de intervenccedilatildeo) e os resultados esperados Algumas organizaccedilotildees tecircm a tendecircncia de focalizar a monitoria do processo entre os inqueacuteritos sobre conhecimentos atitudes e praacuteticas (CAP) Isso significa que monitoram os processos tais como a formaccedilatildeo Quem recebeu formaccedilatildeo Em que toacutepicos Quando Isto eacute importante mas natildeo o suficiente A monitoria do processo natildeo monitora o progresso para atingir os resultados simplesmente acompanha a conclusatildeo das actividades
Aleacutem da monitoria do processo os gestores tambeacutem precisam monitorar os indicadores substitutos que indicam o maacuteximo que vocecirc se aproximaraacute dos resultados reais durante a implementaccedilatildeo de um conjunto de actividades quando os resultados natildeo forem ainda facilmente mensuraacuteveis Os indicadores substitutos satildeo medidas indirectas que se aproximam de um alvo ou resultado ou representam esse alvo ou resultado quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis
Por exemplo no caso da prestaccedilatildeo de serviccedilos de planeamento familiar como determinados contraceptivos satildeo distribuiacutedos atraveacutes do centro de sauacutede os dados de monitoria deveriam vir do centro de sauacutede Apesar de natildeo se poder concluir que o resultado-alvo tenha sido atingido ndash que os produtos estejam efectivamente a ser utilizados pela populaccedilatildeo beneficiaacuteria ndash as informaccedilotildees sobre distribuiccedilatildeo fornecem pistas sobre a possibilidade de sucesso das actividades A maioria dos dados para monitorar os indicadores substitutos pode ser obtida a partir do SIS
As informaccedilotildees accionaacuteveis devem ser fornecidas em um formato utilizaacutevel Os gestores frequentemente recebem um excesso de informaccedilotildees em um formato muito complicado Eacute
Em acccedilatildeo o monitoramento para melhor gestatildeo de programas ndash Um exemplo do Peru
Uma organizaccedilatildeo de planeamento familiar local no Peru fez uma campanha de comunicaccedilatildeo para aumentar a prevalecircncia do uso de contraceptivos na aacuterea de captaccedilatildeo da organizaccedilatildeo Criaram os materiais e deram formaccedilatildeo aos trabalhadores de sauacutede comunitaacuterios para educar as mulheres nas suas aldeias A organizaccedilatildeo pretendia realizar apenas um inqueacuterito para obter dados baacutesicos preliminares para depois realizar inqueacuteritos sobre conhecimentos atitudes e praacuteticas (CAP) Esses eram os passos iniciais necessaacuterios e os meacutetodos adequados para avaliar a eficaacutecia da campanha mas a questatildeo eacute se forneceriam dados suficientes e accionaacuteveis para atender agraves necessidades do gestor Natildeo porque os resultados viriam apoacutes a campanha ser concluiacuteda O gestor precisava de informaccedilotildees para tomar medidas correctivas enquanto a campanha de comunicaccedilatildeo estava em andamento
Coloque-se no lugar do gestor nesse cenaacuterio O que precisaria monitorar Poderia comeccedilar com a distribuiccedilatildeo mensal de contraceptivos durante a campanha de comunicaccedilatildeo usando dados faacuteceis de obter do depoacutesito de suprimentos O movimento do stock dos produtos contraceptivos na cadeia de suprimentos indicaria que a campanha estava a criar uma demanda ao passo que nenhum movimento poderia indicar que a campanha ou o sistema de fornecimento natildeo estava a funcionar adequadamente Notam-se picos de distribuiccedilatildeo durante a campanha O movimento de contraceptivos eacute maior durante a campanha do que era antes
Se natildeo notar mudanccedilas apoacutes dois ou trecircs meses saberaacute que algo precisa ser modificado na campanha de comunicaccedilatildeo ou na cadeia de suprimentos ou em ambas Teraacute que fazer visitas ao local para descobrir os motivos O problema eacute a falta de stock Natildeo houve mudanccedila na distribuiccedilatildeo porque natildeo haacute produtos disponiacuteveis Ou natildeo houve mudanccedila porque a estaccedilatildeo de raacutedio natildeo transmitiu o anuacutencio informativo Ou talvez os agentes de distribuiccedilatildeo da comunidade nunca receberam os papeacuteis gigantes e os modelos de que precisavam para educar as mulheres nas suas comunidades
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 911
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
preciso ter uma ferramenta simples que lhe forneccedila apenas informaccedilotildees essenciais Poderaacute aprender mais sobre essas ferramentas na secccedilatildeo deste capiacutetulo intitulada ldquoCaracteriacutesticas de uma boa ferramenta de monitoriardquo
Por uacuteltimo os gestores precisam receber informaccedilotildees em tempo haacutebil para que possam agir imediatamente Os projectos implementados pelas organizaccedilotildees com fundos do governo ou de uma agecircncia doadora satildeo frequentemente conduzidos em dois periacuteodos de tempo
Por exemplo vocecirc poderaacute gerir um projecto que se estende por cinco anos desmembrado em ciclos anuais de apresentaccedilatildeo de relatoacuterios com base em planos de operaccedilatildeo anuais Mas para monitorar o plano anual e apresentar os relatoacuterios necessaacuterios vocecirc precisa de informaccedilotildees trimestrais Se os seus centros de sauacutede apresentarem os dados apoacutes o prazo estabelecido as informaccedilotildees natildeo chegaratildeo a tempo para os seus relatoacuterios
Informaccedilotildees em acccedilatildeo para melhorar os serviccedilos ndash experiecircncias da Boliacutevia e da Aacutefrica do Sul
Uso de informaccedilotildees para mobilizar a cadeia de suprimentos O programa de suplementaccedilatildeo de aacutecido foacutelico e ferro na Boliacutevia foi uma actividade de mobilizaccedilatildeo comunitaacuteria implementada por vaacuterias ONGs em aacutereas rurais do paiacutes
Surgiu um problema apoacutes apenas trecircs meses de implementaccedilatildeo Se a gestora tivesse confiado apenas na monitoria do processo teria visto que todas as actividades haviam sido executadas dentro do prazo e conforme planeadas Poreacutem os dados mensais dos centros de sauacutede das aacutereas de captaccedilatildeo atendidas pelo programa revelaram que em vaacuterias comunidades a distribuiccedilatildeo de ferro e aacutecido foacutelico para graacutevidas havia sido nula desde o primeiro mecircs de implementaccedilatildeo do programa
A gestora investigou imediatamente e descobriu que 16 centros de sauacutede estavam com faltas de stock Apesar de haver um protocolo escrito para a distribuiccedilatildeo de ferro e aacutecido foacutelico e de todos os centros de sauacutede possuiacuterem supostamente o produto nos seus stocks historicamente natildeo havia demanda para esse produto Os centros de sauacutede haviam decidido haacute muito tempo natildeo tecirc-lo mais em stock
A gestora levou o problema agrave atenccedilatildeo do vice-ministro de sauacutede e em poucos dias o Ministeacuterio da Sauacutede mobilizou toda a sua cadeia de suprimentos para garantir que havia um stock suficiente em toda a cadeia No final do ano a suplementaccedilatildeo de ferro e aacutecido foacutelico havia melhorado dramaticamente em todo o paiacutes Tudo isso aconteceu graccedilas a uma simples ferramenta de monitoria mensal que permitiu que a gestora tomasse medidas correctivas no iniacutecio da implementaccedilatildeo
Simplificaccedilatildeo da recolha de dados e estiacutemulo ao uso dos dados Sabe-se que se a recolha e o processamento dos dados forem muito complicados a qualidade e o uso dos mesmos tendem a diminuir Na Aacutefrica do Sul o pessoal de enfermagem dos centros de sauacutede eacute geralmente solicitado a executar duas funccedilotildees (1) cuidar dos utentes do sistema e (2) recolher e utilizar dados O problema eacute que esse pessoal se dedica principalmente a prestar cuidados e considera a recolha de dados uma sobrecarga de trabalho desnecessaacuteria aleacutem de suas actividades quotidianas
Um grupo de enfermeiras da Aacutefrica do Sul que reconheceu a importacircncia das informaccedilotildees para a prestaccedilatildeo dos serviccedilos decidiu tornar a recolha e uso de dados de rotina parte do seu trabalho diaacuterio Entenderam que era necessaacuterio reduzir a quantidade de dados necessaacuterios e simplificar o processo de recolha
Como resultado criaram uma lista itemizada ou lista de verificaccedilatildeo que lhes permitia ter ao final de cada dia um quadro raacutepido dos serviccedilos que haviam prestado No final do mecircs podiam tabular rapidamente e analisar os dados sobre seus serviccedilos Esse tipo de sumaacuterio diaacuterio e mensal das suas actividades foi extremamente satisfatoacuterio Ele motivou seu uso contiacutenuo para monitorar analisar e melhorar os serviccedilos
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 912
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Abordagens e ferramentas praacuteticas de MampA
QUADROS DE REFEREcircNCIA PARA A FORMULACcedilAtildeO MONITORIA E AVALIACcedilAtildeO DOS SERVICcedilOS DE SAUacuteDE
Os resultados de intervenccedilotildees programaacuteticas e nos serviccedilos de sauacutede podem ser medidos em niacuteveis variados Muitas directrizes de MampA se baseiam numa sequecircncia de cinco niacuteveis de resultados insumos actividades produtos resultados e impactos A Figura 4 resume os niacuteveis de resultados que podem ser monitorados e avaliados
Para compreender melhor a sequecircncia de resultados considere as definiccedilotildees abaixo
Insumos Os materiais e recursos necessaacuterios para executar o plano de implementaccedilatildeo da sua unidade ou equipa e obter o resultado esperado Os exemplos incluem os recursos financeiros teacutecnicos humanos suprimentos e produtos essenciais
Processo As actividades executadas por meio do seu plano de implementaccedilatildeo Os exemplos incluem a formaccedilatildeo dos profissionais de sauacutede a melhoria do sistema de gestatildeo de suprimentos e a distribuiccedilatildeo de meios de planeamento familiar
Produtos Eacute o resultado imediato de uma actividade Os exemplos incluem o nuacutemero de pessoas formadas o nuacutemero de novos utentes de contraceptivos e a quantidade de produtos distribuiacutedos
Resultados (a meacutedio e longo prazo) Eacute uma mudanccedila de curto prazo em um grupo da populaccedilatildeo como resultado de uma seacuterie de actividades Os exemplos incluem as mudanccedilas na cobertura do atendimento preacute-natal na proporccedilatildeo de partos seguros no conhecimento e atitudes sobre meacutetodos de planeamento familiar e sauacutede reprodutiva nas necessidades ainda natildeo atendidas de planeamento familiar e nas taxas de prevalecircncia do uso de contraceptivos
Impacto Mudanccedilas a longo prazo dentro de um grupo da populaccedilatildeo beneficiaacuteria Os exemplos incluem mudanccedilas na taxa total de fertilidade e nas taxas de mortalidade e morbidade maternas
Dois tipos de quadros de referecircncia satildeo comummente utilizados para planear e organizar a formulaccedilatildeo de uma intervenccedilatildeo ou serviccedilo e o seu plano de MampA quadros loacutegicos e quadros conceptuais
FIGURA 4 Niacuteveis da sequecircncia de resultados
InsumosProcessos
(actividades)Produtos Resultados Impacto
recursos humanos
recursos financeiros
equipa-mentos
centros de sauacutede
poliacuteticas
reuniotildees formaccedilatildeo supervisatildeo serviccedilos
nuacutemero de pessoal formado
nuacutemero de clientes
nuacutemero de produtos
melhor supervisatildeo
melhoria da cadeia de frio
mudanccedila no conheci-mento
mudanccedila no comporta-mento
mudanccedila nas praacuteticas
melhores serviccedilos
mudanccedila das taxas de doenccedila
mudanccedilas das taxas de oacutebitos
mudanccedila das taxas de nascimento
mudanccedilas das taxas de fertilidade
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 913
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
QUADROS LOacuteGICOS
Desde a elaboraccedilatildeo em 1969 de uma abordagem de quadro loacutegico para a USAID (Agecircncia dos EUA para o Desenvolvimento Internacional) os quadros loacutegicos (tambeacutem denominados Modelos Loacutegicos) foram adoptados depois de vaacuterias adaptaccedilotildees por vaacuterias organizaccedilotildees de desenvolvimento internacional e bilateral
A Figura 5 mostra os elementos de um Quadro Loacutegico
O Quadro Loacutegico ajuda os gestores e as equipas a responder a quatro perguntas principais
1 O que queremos realizar e por quecirc2 Como mediremos o sucesso 3 Que condiccedilotildees devem existir em cada fase da nossa intervenccedilatildeo4 Que recursos e processos seratildeo necessaacuterios para chegarmos laacute
Os Quadros Loacutegicos ajudam a identificar as conexotildees causais da sequecircncia de resultados insumos rarr processos (actividades) rarr produtos rarr resultados a meacutedio e longo prazo rarr impacto Essas conexotildees causais determinam a loacutegica da intervenccedilatildeo e orientam a selecccedilatildeo de indicadores para cada fase da sequecircncia de resultados
FIGURA 5 Elementos tiacutepicos de um quadro loacutegico
Objectivos IndicadoresFormas de verificaccedilatildeo Pressupostos
Meta O objectivo final ou impacto pretendido da intervenccedilatildeo
Medidas usadas para avaliar ateacute que ponto as metas foram atingidas
Meacutetodos e fontes de informaccedilatildeo para medir ou avaliar os indicadores de metas
Factores ou condiccedilotildees necessaacuterios para a sustentabilidade a longo prazo
PropoacutesitoResultado Mudanccedilas ou benefiacutecios esperados a serem conseguidos para utentes comunidades organizaccedilotildees ou sistemas
Medidas usadas para avaliar ateacute que ponto foi alcanccedilado o propoacutesito ou resultado
Meacutetodos e fontes de informaccedilatildeo para medir ou avaliar indicadores de propoacutesitoresultado
Factores ou condiccedilotildees necessaacuterios para o sucesso do programa nesse niacutevel e passagem para o seguinte niacutevel
Produtos Resultados directos e tangiacuteveis das actividades do programa que deveratildeo atingir o propoacutesito
Medidas usadas para avaliar ateacute que ponto os produtos foram apresentados
Meacutetodos e fontes de informaccedilatildeo para medir e avaliar os indicadores de produtos
Factores ou condiccedilotildees necessaacuterios para o sucesso do programa neste niacutevel e passagem para o seguinte niacutevel
ProcessosActividades Medidas tomadas por um programa para atingir os objectivos definidos
InsumosRecursos Pessoal tempo materiais e fundos necessaacuterios para executar as actividades
Meacutetodos e fontes de informaccedilatildeo utilizados para mostrar que as actividades foram concluiacutedas
Factores ou condiccedilotildees necessaacuterios para o sucesso do programa neste niacutevel e passagem para o seguinte niacutevel
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 914
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para entender como um Quadro Loacutegico explicita a loacutegica de uma intervenccedilatildeo examine novamente a Figura 5 Uma seacuterie de relacionamentos condicionais (ldquose entatildeordquo) conecta cada componente do Quadro Loacutegico
1 Se os recursos necessaacuterios estiverem disponiacuteveis e supondo-se que as condiccedilotildees sejam favoraacuteveis entatildeo as actividades do programa podem ser implementadas e
2 hellipse as actividades do programa forem implementadas com sucesso e supondo-se que existam condiccedilotildees favoraacuteveis especiacuteficas entatildeo os produtos e resultados esperados poderatildeo ser alcanccedilados e
3 hellipse os produtos e resultados esperados forem alcanccedilados e supondo-se que existam as condiccedilotildees favoraacuteveis especiacuteficas entatildeo a meta estrateacutegica poderaacute ser atingida
O Quadro Loacutegico pode ser uacutetil na conceptualizaccedilatildeo de um projecto durante o periacuteodo de planeamento e na avaliaccedilatildeo do progresso e aplicaccedilatildeo de medidas correctivas durante a implementaccedilatildeo Como qualquer outro quadro de referecircncia ele possui vantagens e desvantagens como mostra a Tabela 1
O Apecircndice A deste capiacutetulo fornece um exemplo de Quadro Loacutegico para um programa de visita domiciliar desenvolvido pelo Banco Interamericano de Desenvolvimento
QUADROS CONCEPTUAIS
Estes satildeo semelhantes aos Quadros Loacutegicos no sentido de que descrevem uma sequecircncia de resultados mas levam em consideraccedilatildeo as razotildees subjacentes de por que ocorrem as mudanccedilas ao longo da sequecircncia de resultados Enquanto os Quadros Loacutegicos simplesmente afirmam que as actividades traratildeo resultados ainda maiores os quadros conceptuais permitem mapear os factores que na sua opiniatildeo satildeo criacuteticos e explicam porque esses factores satildeo importantes para o sucesso
Este tipo de mapeamento ajuda a decidir que factores devem ser monitorados durante a implementaccedilatildeo das actividades Quando os dados mostram que esses elementos criacuteticos foram ou natildeo alcanccedilados pode-se compreender melhor por que uma intervenccedilatildeo teve ou natildeo sucesso e o que poderia ser modificado no futuro
Veja as vantagens e desvantagens dos quadros conceptuais na Tabela 2
TABELA 1 Visatildeo geral do quadro loacutegico
Vantagens Desvantagens
Melhora a qualidade dos planos de intervenccedilatildeo ao exigir a definiccedilatildeo de indicadores e objectivos claros e a anaacutelise de pressupostos e riscos
Quando usado regularmente durante uma intervenccedilatildeo eacute uma ferramenta de gestatildeo eficaz para orientar a implementaccedilatildeo e a MampA
Resume a elaboraccedilatildeo de planos complexos
Apoia a preparaccedilatildeo de planos de implementaccedilatildeo detalhados
Pressupotildee uma relaccedilatildeo linear entre insumos-produtos-resultados que natildeo leva em consideraccedilatildeo outros factores de influecircncia
Se usado rigidamente durante o processo de formulaccedilatildeo poderaacute restringir a criatividade e a inovaccedilatildeo
Se natildeo for actualizado durante a implementaccedilatildeo pode ser uma ferramenta estaacutetica que natildeo reflecte as condiccedilotildees em mudanccedila
Geralmente a formaccedilatildeo e o acompanhamento satildeo necessaacuterios para usar esse meacutetodo correctamente
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 915
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O modelo conhecido como Caminho de Mudanccedila (Pathway to Change) eacute um exemplo particularmente uacutetil de um quadro conceptual Esse modelo utiliza um formato de condicionalidade (ldquose entatildeordquo) para mostrar passo a passo como os resultados a meacutedio e longo prazo foram conceptualizados e como seratildeo alcanccedilados A Figura 6 eacute um exemplo de aplicaccedilatildeo do Caminho de Mudanccedila em um projecto de sauacutede de seis meses de duraccedilatildeo e acircmbito municipal na Nicaraacutegua
Caminho de Mudanccedila Tratamos deste modelo neste capiacutetulo devido agrave sua utilidade para os gestores e seus benefiacutecios como actividade de fortalecimento de uma equipa O estabelecimento de um Caminho de Mudanccedila eacute geralmente um processo participativo que permite que a sua equipa ou unidade e outros grupos de interesse formulem uma intervenccedilatildeo e determinem como ela vai funcionar O produto final eacute um mapa que mostra como uma acccedilatildeo estaacute relacionada com outras e como todas elas acrescentam algo ao resultado esperado Frequentemente o estabelecimento de um caminho expotildee as crenccedilas subjacentes que as pessoas de uma organizaccedilatildeo mantecircm sobre a forma em que suas acccedilotildees promovem mudanccedilas
A criaccedilatildeo de um Caminho de Mudanccedila tem vaacuterios benefiacutecios Em primeiro lugar exige que a sua equipa examine cada acccedilatildeo proposta e responda agraves seguintes perguntas
Todas as actividades contribuem para o resultado esperado Se a resposta for negativa algumas actividades deveriam ser modificadas acrescentadas ou eliminadas
As actividades satildeo sequenciais Elas estatildeo relacionadas de uma forma loacutegica Elas se somam umas agraves outras para formar um conjunto racional e coerente de acccedilotildees
Pensamos em todos os produtos e resultados necessaacuterios para atingir nosso resultado esperado
Temos os recursos necessaacuterios para implementar as actividades propostas Em quanto tempo atingiremos o resultado que desejamos Que outros factores podem contribuir ou entravar cada uma das actividades do
caminho
Em segundo lugar sua equipa deve tornar expliacutecita e chegar a um acordo sobre a loacutegica subjacente de um plano de intervenccedilatildeo Em outras palavras deve mostrar no papel como cada acccedilatildeo resultaraacute na mudanccedila desejada em cada niacutevel do mapa Por uacuteltimo o caminho define que resultados imediatos e resultados a meacutedio e longo prazo a equipa deve monitorar e que indicadores devem usar
TABELA 2 Visatildeo geral do quadro conceptual
Vantagens Desvantagens
Fornece um mapeamento visual e flexiacutevel de planos de intervenccedilatildeo complexos
Quando usado regularmente durante a implementaccedilatildeo permite uma retroinformaccedilatildeo antecipada do que estaacute ou natildeo a funcionar e por quecirc
Auxilia na identificaccedilatildeo de efeitos colaterais natildeo previstos
Ajuda a priorizar os problemas a serem investigados mais profundamente talvez ao usar meacutetodos mais focalizados de recolha de dados ou teacutecnicas mais sofisticadas de MampA
Pode se tornar extremamente complexo se a escala de actividades for muito grande ou se for reunida uma lista exaustiva de factores e pressupostos
Os grupos de interesse podem discordar sobre os factores determinantes que consideram ser os mais importantes
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 916
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Como se lecirc um mapa de Caminho de Mudanccedila O caminho pode ser lido como um fluxograma em que caixas e setas mostram a relaccedilatildeo entre as acccedilotildees e os efeitos como mostrado na Figura 6 O resultado esperado aparece no topo do caminho e os resultados imediatos que devem ser atingidos para se chegar laacute satildeo exibidos no proacuteximo niacutevel Os produtos que devem ser obtidos para conseguir os resultados a meacutedio e longo prazo aparecem no proacuteximo niacutevel inferior Finalmente as actividades aparecem no fundo ou base
Quando lido de baixo para cima o mapa mostra que actividades satildeo necessaacuterias para conseguir os produtos e que resultados a meacutedio e longo prazo satildeo necessaacuterios para se chegar ao topo Eacute preciso sempre poder traccedilar um caminho desde o comeccedilo de suas acccedilotildees ateacute o resultado esperado
Pode ser uacutetil imaginar o caminho como o organigrama de uma empresa vocecirc pode comeccedilar da base do organigrama como assistente administrativo passar a coordenador de escritoacuterio depois a uma funccedilatildeo de gestatildeo e finalmente ocupar o gabinete do director
A criaccedilatildeo de um Caminho de Mudanccedila Para desenvolver um Caminho da Mudanccedila sua equipa mapeia a mudanccedila de forma reversa Comeccedila no final do caminho (no topo da
FIGURA 6 Exemplo de um Caminho de Mudanccedila
Resultado 180 dos pacientes
estatildeo satisfeitos com os serviccedilos prestados no
centro de sauacutede
Resultado 260 das mulheres
entre 15 e 49 anos na aacuterea de captaccedilatildeo do centro de
sauacutede entendem a importacircncia do planeamento familiar
para o espaccedilamento dos nascimentos
Resultado 3Todos os meacutetodos
contraceptivos modernos estatildeo
disponiacuteveis no centro de sauacutede
Produto 1Os tempos de
espera no centro de sauacutede se
reduziram de 40 para 20 minutos
Produto 2Eacute oferecida
orientaccedilatildeo a todos os pacientes em
espaccedilo privado do centro de sauacutede
Produto 3Voluntaacuterias
realizam palestras semanais sobre temas
de sauacutede reprodutiva na comunidade
Produto 4Todos os stocks
de contraceptivos satildeo monitorados semanalmente
Actividade 1Realizar um
inqueacuterito sobre o uxo de
pacientes e cumprir
recomendaccedilotildees
Actividade 2Transformar um canto do
centro de sauacutede para a
orientaccedilatildeo dos pacientes
Actividade 3Mobilizar as
ONGs parceiras para imprimir panetos de informaccedilatildeo educaccedilatildeo e
comunicaccedilatildeo
Actividade 4Mobilizar as
ONGs parceiras para dar
formaccedilatildeo ou equipar as voluntaacuterias
Actividade 5Recrutar liacutederes
comunitaacuterios para prestar
apoio agraves palestras sobre
sauacutede reprodutiva
Actividade 6Desenvolver
um sistema de registo e
pedidos de suprimentos
contraceptivos
Resultado esperadoAumento na percentagem de utentes de planeamento familiar de 50 para 52
durante o periacuteodo de Junho a Dezembro de 2006
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 917
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
sequecircncia) e define a meta da organizaccedilatildeo a longo prazo ou o resultado esperado de uma intervenccedilatildeo Em seguida preenche o mapa ao trabalhar de cima para baixo onde identifica finalmente as actividades principais os primeiros elementos do seu plano de implementaccedilatildeo
Enquanto se desloca pelo caminho faccedila trecircs perguntas Que resultados precisam acontecer para contribuir agrave meta de longo prazo Que produtos precisam ser obtidos antes disso para alcanccedilar os resultados Que actividades precisam acontecer antes disso para conseguir os produtos
O desenho de uma intervenccedilatildeo dessa forma pode ajudar a revelar as condiccedilotildees necessaacuterias para atingir os resultados a meacutedio e longo prazo e a meta de longo prazo Talvez sejam necessaacuterias vaacuterias tentativas para criar um Caminho de Mudanccedila com o qual todos estejam de acordo Os resultados produtos e acccedilotildees podem ser acrescentados modificados e eliminados ateacute que eventualmente surja um mapa que conte a histoacuteria com a qual sua equipa pode concordar O debate eacute frequentemente a parte mais importante da experiecircncia porque a equipa junta define as expectativas pressupostos e caracteriacutesticas do processo de mudanccedila
Uso da sequecircncia ldquopara querdquo como forma de verificar as vias de um Caminho de Mudanccedila Uma boa forma de verificar a loacutegica do mapa do seu caminho eacute inverter o processo e criar uma sequecircncia de ldquopara querdquo para cada actividade O exemplo na Figura 7 mostra como fazer isso para a Actividade 5 da Figura 6 O movimento na sequecircncia ldquopara querdquo eacute o
FIGURA 7 Sequecircncia ldquopara querdquo para uma actividade de um Caminho de Mudanccedila
Dar formaccedilatildeo agraves voluntaacuterias da comunidade e equipaacute-las com os materiais de informaccedilatildeo educaccedilatildeo e comunicaccedilatildeo necessaacuterios
para que
As voluntaacuterias realizem sessotildees educativas sobre sauacutede sobre temas de planeamento familiar na aacuterea especiacutefica do centro de sauacutede
para que
As mulheres em idade reprodutiva na aacuterea especiacutefica se sintam agrave vontade para participar de sessotildees apresentadas pelas voluntaacuterias
para que
As mulheres participem das sessotildees e aprendam sobre a importacircncia do planeamento familiar para o espaccedilamento dos nascimentos
para que
Mais mulheres em idade reprodutiva busquem meacutetodos de planeamento familiar no centro de sauacutede e a percentagem de mulheres que recebem os meacutetodos aumentem 2 durante o periacuteodo do projecto (o resultado esperado)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 918
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
oposto exacto do Caminho de Mudanccedila Vocecirc coloca cada actividade no topo da sua proacutepria sequecircncia e desce pela sequecircncia ateacute a meta ou resultado esperado Essa sequecircncia ajuda a confirmar que cada rota individual no Caminho de Mudanccedila faz sentido em termos loacutegicos
Para usar essa teacutecnica eacute preciso criar uma sequecircncia ldquopara querdquo para cada actividade no seu Caminho de Mudanccedila Comece por descrever cada actividade e segui-la da frase ldquopara querdquo seguida de uma descriccedilatildeo do que aconteceraacute se essa actividade for realizada Continue a fazer isto ateacute atingir a sua meta de longo prazo ou resultado esperado
Etapas do desenvolvimento de um plano de MampA
Uma das suas tarefas essenciais de MampA como gestor que exerce lideranccedila eacute a de elaborar um plano que ajude vocecirc e sua equipa a determinar se atingiram ou natildeo os resultados esperados e a acompanhar o progresso no alcance desses resultados durante a implementaccedilatildeo Isso exige que vocecirc natildeo soacute escolha indicadores confiaacuteveis mas tambeacutem que meccedila esses indicadores de forma organizada Seu plano de MampA deve especificar que indicadores seratildeo medidos como e quando seratildeo medidos e por quem
Um plano de MampA bem formulado responde a cinco perguntas
1 Seu resultado esperado eacute mensuraacutevel2 Que indicadores utilizaraacute para monitorar seus produtos e para avaliar seus
resultados 3 Quais satildeo as suas fontes de dados e como recolheraacute os dados dessas fontes 4 Quais satildeo os periacuteodos cobertos de cada indicador 5 Quem recolheraacute os dados
Essas perguntas satildeo importantes porque sem um plano vaacutelido de MampA vocecirc poderaacute interpretar erroneamente os efeitos da sua intervenccedilatildeo Poderaacute concluir que ela natildeo teve efeito algum quando na verdade ela teve alguns resultados positivos ou poderaacute concluir que ela teve um efeito positivo quando na verdade natildeo obteve resultado algum o que eacute um erro comum e mais destrutivo
Elaborar e utilizar um plano de MampA garante que dados comparaacuteveis seratildeo recolhidos regularmente e em tempo haacutebil mesmo quando houver mudanccedilas de pessoal A Tabela 3 resume as etapas no desenvolvimento e implementaccedilatildeo de um plano de MampA O resto desta secccedilatildeo descreve cada etapa detalhadamente
ETAPA 1 DEFINA OS RESULTADOS ESPERADOS
A primeira etapa no desenvolvimento do plano de MampA eacute determinar um niacutevel apropriado de resultados Juntos o tipo e o acircmbito da intervenccedilatildeo os recursos disponiacuteveis e o prazo de implementaccedilatildeo determinam um resultado viaacutevel
Como jaacute vimos antes neste capiacutetulo as intervenccedilotildees dirigidas por organizaccedilotildees com fundos de agecircncias doadoras e por serviccedilos governamentais geralmente levam a produtos ou resultados a meacutedio e longo prazo Apesar de o impacto demorar a ser obtido e geralmente estar fora do acircmbito de um uacutenico conjunto de actividades eacute importante incluiacute-lo no seu plano de MampA para que fique clara qual seraacute a contribuiccedilatildeo da sua intervenccedilatildeo a longo prazo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 919
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 3 Etapas para elaborar e usar um Plano de MampA
Etapas Recomendaccedilotildees
1 Definir os resultados esperados
Os resultados devem ser identificados de acordo com o acircmbito e o periacuteodo de tempo da sua intervenccedilatildeo
Os resultados devem atender aos criteacuterios SMART (Especiacuteficos Mensuraacuteveis Apropriados Realistas de Prazo Definido)
2 Seleccionar os indicadores
Os indicadores devem possuir as qualidades de um bom indicador
Os indicadores devem ser acessiacuteveis faacuteceis de recolher e comparaacuteveis ao longo do tempo e em diferentes locais
Para os problemas de sauacutede prioritaacuterios e os serviccedilos essenciais use indicadores criacuteticos nacionais ou padratildeo
Seleccione um nuacutemero miacutenimo de indicadores essenciais e procure garantir que os indicadores seleccionados sejam realmente necessaacuterios para medir seus resultados esperados
3 Identificar as fontes de dados
Identifique de onde viratildeo os dados para cada indicador Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos organizacionais utentes ou a comunidade
4 Definir os meacutetodos de recolha dos dados
Seleccione o meacutetodo mais apropriado e confiaacutevel para a recolha de dados para cada indicador Estes meacutetodos podem incluir a anaacutelise de registos ou diaacuterios de estatiacutesticas de serviccedilo o uso de listas de verificaccedilatildeo para fins de observaccedilatildeo as entrevistas de utentes ao saiacuterem da cliacutenica ou um modelo de inqueacuterito de dados comunitaacuterios
Decida sobre a frequecircncia da recolha de dados Poderaacute recolher apenas os dados de base ou referecircncia e os dados apoacutes a intervenccedilatildeo ou talvez precise recolher dados diaacuterios mensais ou trimestrais dependendo do tipo de indicador
Para cada indicador designe a responsabilidade pela recolha a um escritoacuterio equipa ou pessoa especiacuteficos
5 Recolher os dados de base (ou referecircncia) e os dados apoacutes a intervenccedilatildeo
Entenda que os resultados de base seratildeo usados para definir os seus alvos
Defina claramente a duraccedilatildeo coberta pelos dados de base jaacute que precisa de um periacuteodo semelhante para a comparaccedilatildeo ao final do periacuteodo de implementaccedilatildeo
Use a mesma metodologia e ferramentas para a recolha de dados que as usadas para os dados de base e as medidas poacutes-intervenccedilatildeo
6 Compartilhar e utilizar os seus resultados
Marque reuniotildees workshops e apresentaccedilatildeo de relatoacuterios para mostrar os resultados ao pessoal do projecto agrave direcccedilatildeo da organizaccedilatildeo e a outros grupos de interesse importantes
Apresente as opccedilotildees de aprendizado e acccedilatildeo com base nos resultados de MampA
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 920
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para determinar em que niacutevel deve monitorar e avaliar seus resultados eacute uacutetil examinar novamente e expandir a cadeia de resultados a comeccedilar da direita pelo resultado final (impacto) e voltar ateacute os materiais e recursos (insumos) necessaacuterios
Insumos rarr Processos rarr Produtos rarr Resultados rarr Impacto
Impacto Esses resultados satildeo medidos ao niacutevel da populaccedilatildeo levam um tempo relativamente longo para serem alcanccedilados (geralmente 3 a 5 cinco anos) e exigem o esforccedilo conjunto de vaacuterias intervenccedilotildees e mesmo de vaacuterias organizaccedilotildees Como gestor vocecirc poderaacute ser responsaacutevel por medir o impacto mas deve incluiacute-lo na loacutegica do seu plano de MampA para saber o que a sua organizaccedilatildeo e os parceiros da organizaccedilatildeo pretendem alcanccedilar a longo prazo
Resultados a meacutedio e longo prazo Na maioria dos casos os gestores satildeo responsaacuteveis por medir os resultados nos niacuteveis de produtos eou resultados a meacutedio e longo prazo Os resultados a meacutedio e longo prazo satildeo obtidos pelas actividades criadas para produzir uma mudanccedila de comportamento nos profissionais de sauacutede ou nos utentes Satildeo geralmente medidos em termos de mudanccedilas na cobertura de serviccedilos e mudanccedilas nos conhecimentos atitudes e praacuteticas de uma populaccedilatildeo beneficiaacuteria Um resultado a meacutedio e longo prazo pode ser o iniacutecio de uma praacutetica comprovada de prestaccedilatildeo de serviccedilos a adopccedilatildeo de novas estrateacutegias de gestatildeo ou a elaboraccedilatildeo bem-sucedida de uma poliacutetica de promoccedilatildeo da sauacutede Pode tambeacutem ser um aumento no nuacutemero de mulheres que datildeo agrave luz em um centro de sauacutede ou no nuacutemero de crianccedilas totalmente imunizadas Na maioria dos casos eacute possiacutevel estabelecer uma relaccedilatildeo clara entre produtos e resultados a meacutedio e longo prazo
Produtos Os produtos ou resultados imediatos satildeo fruto directo das actividades Devem ser monitorados durante toda a implementaccedilatildeo como um elemento essencial da boa gestatildeo Os planos de MampA devem definir o produto esperado de cada actividade Para as unidades de prestaccedilatildeo de serviccedilos isso geralmente significa os resultados imediatos em termos dos serviccedilos (por exemplo nuacutemero de utentes atendidos ou tempo de espera dos clientes ou utentes) Para as organizaccedilotildees que natildeo prestam serviccedilos de sauacutede directamente isso pode significar a distribuiccedilatildeo de produtos de sauacutede ou serviccedilos de formaccedilatildeo (por exemplo quantidade de produtos para planeamento familiar distribuiacutedos ou nuacutemero de participantes formados)
Processos A monitoria de processos ou actividades eacute em grande parte uma medida da cultura de prestaccedilatildeo de contas (ou grau de responsabilizaccedilatildeo) ao garantir que as actividades sejam realizadas dentro do prazo e com recursos suficientes A monitoria nesse niacutevel acompanha o progresso da implementaccedilatildeo tendo como referecircncia os prazos propostos e o uso dos recursos tendo como referecircncia os orccedilamentos Eacute geralmente executada atraveacutes da apresentaccedilatildeo de relatoacuterios tradicionais trimestrais semestrais e anuais
Insumos Ao preparar uma intervenccedilatildeo deve identificar a quantidade e os tipos de recursos necessaacuterios para implementar as actividades O desempenho pode ser monitorado em termos da quantidade e dos tipos de insumos fornecidos e do nuacutemero e timing das actividades realizadas
A etapa seguinte na definiccedilatildeo dos resultados esperados eacute garantir que cumpram os criteacuterios SMART (consulte a Tabela 4) Eacute possiacutevel monitorar e avaliar o progresso no alcance de um resultado apenas se esse resultado tiver sido definido em termos mensuraacuteveis
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 921
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja a seguir um exemplo de um resultado mensuraacutevel para uma intervenccedilatildeo cujo propoacutesito eacute promover a cobertura de imunizaccedilatildeo em crianccedilas de 12 a 24 meses de idade A percentagem de crianccedilas de 12 a 24 meses totalmente vacinadas na aacuterea de captaccedilatildeo aumentaraacute para 70 dentro de um ano
ETAPA 2 IDENTIFIQUE OS INDICADORES E SUAS DEFINICcedilOtildeES
Os indicadores satildeo geralmente percentagens ou proporccedilotildees que representam o alcance de uma condiccedilatildeo especiacutefica de sauacutede na populaccedilatildeo de interesse Podem tambeacutem ser um valor absoluto tal como o nuacutemero de ocorrecircncias de um evento de sauacutede (por ex um oacutebito materno ou um caso de malaacuteria)
Todos os indicadores pedem uma definiccedilatildeo detalhada Trata-se de um indicador qualitativo ou quantitativo Se for uma percentagem qual eacute o numerador e qual eacute o denominador A definiccedilatildeo deve ser suficientemente detalhada para garantir que pessoas diferentes em momentos diferentes possam recolher tipos idecircnticos de dados para o indicador
Veja o que caracteriza um bom indicador no Quadro 2 Os indicadores podem ser classificados como indicadores do estado de sauacutede ou do desempenho de serviccedilos
Os indicadores do estado de sauacutede podem incluir o seguinte
nuacutemero de casos e mortes causados por doenccedilas especiacuteficas em um determinado periacuteodo
proporccedilatildeo da populaccedilatildeo com uma doenccedila ou condiccedilatildeo de sauacutede num momento particular ou ao longo de um periacuteodo de tempo
proporccedilatildeo da populaccedilatildeo com um factor ou condiccedilatildeo de sauacutede que os coloca em risco de contrair doenccedilas tal como a falta de conhecimento ou um comportamento de risco
Os indicadores de desempenho podem incluir o seguinte
proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que recebeu um serviccedilo especiacutefico proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que demonstra comportamentos e
conhecimentos especiacuteficos de sauacutede
TABELA 4 Criteacuterios de um resultado SMART
Criteacuterio Descriccedilatildeo
Especiacutefico (S ndash Smart)
Claramente escrito e compreendido O resultado esperado eacute suficientemente especiacutefico para ser medido por uma frequecircncia percentagem ou nuacutemero
Mensuraacutevel (M ndash Measurable)
Eacute possiacutevel monitorar o progresso e avaliar os resultados O resultado esperado eacute definido em termos que sejam mensuraacuteveis
Apropriado (A ndash Appropriate)
O resultado esperado eacute apropriado ao acircmbito do seu trabalho e agrave missatildeo da sua organizaccedilatildeo
Realista (R ndash Realistic)
O resultado esperado pode ser alcanccedilado e estaacute dentro do controlo da sua organizaccedilatildeo Pode ser realisticamente alcanccedilado ao usar os recursos disponiacuteveis e dentro do prazo do seu plano de implementaccedilatildeo
de Tiempo limitado (T ndash Time Bound)
Foi estabelecido um prazo especiacutefico para obter o resultado esperado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 922
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
proporccedilatildeo de centros e pessoal de sauacutede que demonstram adesatildeo a padrotildees especiacuteficos de serviccedilo ou que atingiram objectivo definido
proporccedilatildeo de centros de sauacutede que seguem padrotildees definidos de gestatildeo funcional (por ex em termos de pessoal disponibilidade de medicamentos registo e apresentaccedilatildeo de relatoacuterios)
Orientaccedilatildeo adicional sobre os indicadores pode ser obtida em ldquoCompecircndio de indicadores para avaliaccedilatildeo de programas de sauacutede reprodutivardquo e ldquoLista dos indicadores sobre desenvolvimento da capacidade de gestatildeo e lideranccedilardquo
ETAPA 3 IDENTIFIQUE AS FONTES DE DADOS
Agora precisa identificar uma fonte de dados para cada indicador incluiacutedo no plano de MampA ao seleccionar dados que estejam prontamente disponiacuteveis em uma fonte confiaacutevel e dentro das possibilidades financeiras de sua organizaccedilatildeo O ideal seria escolher os dados imediatamente disponiacuteveis atraveacutes da organizaccedilatildeo em vez de dar iniacutecio a uma nova estrateacutegia de recolha de dados o que poderia ser oneroso e demorado
Uma boa forma de comeccedilar eacute com a seguinte pergunta Que dados jaacute recolhemos de forma rotineira e sistemaacutetica Vocecirc deve sempre levar em consideraccedilatildeo as vantagens e desvantagens de cada fonte de dados Consulte a secccedilatildeo ldquoComo seleccionar suas fontes de dadosrdquo para obter mais informaccedilotildees sobre as vantagens e desvantagens de algumas fontes de dados mais comuns
Vocecirc deve ser o mais especiacutefico possiacutevel sobre as fontes de dados para que a mesma fonte possa ser utilizada de forma coerente durante toda a intervenccedilatildeo Mudar as fontes de dados para o mesmo indicador pode resultar em incoerecircncias e erros de interpretaccedilatildeo Por exemplo se estiver a medir as taxas de mortalidade infantil passar de estimativas baseadas num inqueacuterito de grande escala para estimativas baseadas em estatiacutesticas hospitalares pode resultar dar a falsa impressatildeo de que houve uma mudanccedila
QUADRO 2 Qualidades de um bom indicador
Vaacutelido O indicador mede o que se pretende medir
Confiaacutevel A medida do indicador deve ser igual natildeo importa quantas vezes a medida seja feita
Preciso O indicador eacute definido em termos claros e especiacuteficos para que possa ser medido O indicador pode ser qualitativo (descritivo) discreto (SimNatildeo) ou baseado em niacuteveis quantitativos ou proporccedilotildees desde que seja claramente mensuraacutevel
Faacutecil de entender Tanto especialistas como natildeo especialistas devem poder entender o significado do indicador
Discreto O indicador captura um uacutenico componente ou aspecto de um resultado mais complexo Mede apenas uma coisa natildeo um conjunto de coisas
Em tempo haacutebil O indicador pode ser medido em intervalos temporais apropriados de acordo com a disponibilidade dos dados
Comparaacutevel Quando possiacutevel o indicador evita definiccedilotildees limitadas ou singulares cujos valores seriam difiacuteceis de comparar com outros resultados
Viaacutevel para utilizar Os dados para o indicador satildeo faacuteceis de obter de uma fonte confiaacutevel e relativamente econoacutemica ndash acessiacutevel tendo em vista os recursos da sua organizaccedilatildeo Se esses dados natildeo estiverem disponiacuteveis existem meacutetodos para obtecirc-los no futuro
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 923
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 4 DEFINA OS MEacuteTODOS DE RECOLHA DE DADOS
A etapa seguinte eacute a de definir os meacutetodos ou ferramentas que utilizaraacute para cada indicador Para os indicadores baseados em dados primaacuterios (dados que vocecirc mesmo recolhe) deve descrever o tipo de instrumento necessaacuterio para recolher os dados Os exemplos podem incluir questionaacuterios estruturados listas de verificaccedilatildeo de observaccedilatildeo directa ou balanccedilas para pesar bebeacutes
Para os dados secundaacuterios (dados recolhidos por terceiros e que estatildeo disponiacuteveis para vocecirc usar) deve explicar o meacutetodo para calcular o indicador e a fonte dos dados e fornecer detalhes suficientes sobre o meacutetodo de caacutelculo para que outros possam replicaacute-lo Lembre-se de que eacute mais faacutecil e mais barato usar dados secundaacuterios mas sua qualidade eacute menos confiaacutevel do que a dos dados primaacuterios
Tambeacutem eacute importante observar a frequecircncia da recolha dos dados para cada indicador A depender do tipo de indicador vocecirc poderaacute recolher os dados mensalmente trimestralmente anualmente ou ateacute com menos frequecircncia Ao definir o programa de recolha de dados para cada indicador leve em consideraccedilatildeo a necessidade de fornecer informaccedilotildees em tempo haacutebil aos responsaacuteveis por tomar decisotildees na sua organizaccedilatildeo Atribuir responsabilidades pela recolha de dados a indiviacuteduos ou grupos do seu pessoal garantiraacute que os dados sejam recolhidos dentro do prazo necessaacuterio
As informaccedilotildees das Etapas 1 a 4 fornecem o conteuacutedo do seu plano de monitoria e avaliaccedilatildeo A Tabela 5 mostra os elementos de um plano de MampA para um programa de mentoria cliacutenica para centros de orientaccedilatildeo e testes voluntaacuterios
ETAPA 5 RECOLHA OS DADOS DE BASE E DE ACOMPANHAMENTO
Recolher dados de base precisos eacute uma das tarefas mais importantes de MampA Os dados de base ou referecircncia satildeo o ponto de partida para definir as metas que vocecirc e sua equipa pretendem atingir e para acompanhar as mudanccedilas dos indicadores durante todo o periacuteodo de sua intervenccedilatildeo Dessa forma os dados de base ajudam a definir melhor um resultado final esperado
Vocecirc precisaraacute recolher dados de base para cada indicador antes que suas actividades comecem Esses dados identificam o ponto de partida de onde poderaacute avaliar o progresso Depois em pontos variados durante a implementaccedilatildeo vocecirc recolheraacute dados de acompanhamento sobre cada indicador para comparaacute-los com os niacuteveis de base e os resultados previstos Isto permite que vocecirc e outros tomadores de decisotildees em sua organizaccedilatildeo avaliem o progresso de cada intervenccedilatildeo ou serviccedilo e faccedilam as mudanccedilas necessaacuterias ao longo do caminho Examine o exemplo no Quadro 3
Por que acompanhar as mudanccedilas dos indicadores durante a implementaccedilatildeo Os indicadores de um plano de MampA estatildeo relacionados aos resultados imediatos (produtos) e aos resultados de meacutedio e longo prazo que os gestores precisam monitorar As mudanccedilas nos valores do indicador ao longo do tempo mostram se esses resultados estatildeo a subir ou a baixar ou se permanecem iguais Isto mostra ao gestor se as intervenccedilotildees e estrateacutegias estatildeo a funcionar conforme planeado para atingir os resultados esperados
Ao final do periacuteodo de implementaccedilatildeo precisaraacute recolher dados sobre os seus indicadores para comparar os niacuteveis finais com os niacuteveis de base e com os seus resultados esperados A depender dos seus indicadores precisaraacute tambeacutem recolher dados de acompanhamento a uma altura acordada previamente para determinar se as mudanccedilas seratildeo mantidas apoacutes o teacutermino da sua intervenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 924
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 5 Exemplo de um Plano de Monitoria e Avaliaccedilatildeo
Objectivo Os profissionais de sauacutede que receberam formaccedilatildeo aumentam sua capacidade de fornecer tratamento anti-retroviral de acordo com as directrizes nacionais
ActividadeProduto Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
CronogramaPrazo final
Cliacutenicos experientes em VIH recrutados para servir como mentores cliacutenicos em cinco hospitais regionais
Nuacutemero de mentores recrutados e designados a hospitais regionais
Registos de emprego
Como concluiacutedo Director adjunto para programas cliacutenicos
Setembro de 2008
Pessoal meacutedico em cinco hospitais regionais que recebem mentoria individual sobre terapia anti-retroviral
Nuacutemero de locais que recebem mentoria cliacutenica
Nuacutemero de meacutedicos que recebem mentoria individual
Nuacutemero de dias de mentoria cliacutenica realizados
Relatoacuterios mensais do mentor
Mensalmente Mentores Marccedilo de 2009
Resultados a meacutedio e longo prazo Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
Trabalhadores de sauacutede aumentam seu conhecimento sobre terapia anti-retroviral
80 dos participantes obtecircm 85 ou mais de pontuaccedilatildeo correcta no teste posterior
Trabalhadores de sauacutede melhoram suas habilidades no fornecimento de terapia anti-retroviral
Percentagem de habilidades demonstradas na lista de verificaccedilatildeo de competecircncia
Estudo especial Datas a definir Director adjunto para programas cliacutenicos
Fonte Centro Internacional de Formaccedilatildeo e Ensino sobre VIH p 2
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 925
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Observaccedilatildeo sobre o uso de indicadores para uma avaliaccedilatildeo A maioria dos esforccedilos de MampA enfatizam a selecccedilatildeo de indicadores bem definidos para estabelecer metas e medir as mudanccedilas nas condiccedilotildees e nos serviccedilos de sauacutede
Mas eacute importante lembrar que os indicadores servem apenas como marcadores Os dados dos indicadores fornecem pistas para saber se uma intervenccedilatildeo ou um grupo de actividades estaacute dentro do cronograma e se os resultados esperados estatildeo a ser alcanccedilados Eles natildeo respondem agraves perguntas de por que os resultados estatildeo ou natildeo a ser alcanccedilados Natildeo explicam os resultados fortuitos as relaccedilotildees entre intervenccedilotildees e resultados ou as causas de resultados percebidos que podem ocorrer fora da intervenccedilatildeo Assim natildeo podem recomendar medidas a tomar para melhorar os resultados
Os dados de indicadores devem portanto ser interpretados com cuidado Eles simplesmente indicam resultados que precisam ser melhor explorados em vez de fornecer uma avaliaccedilatildeo definitiva do sucesso ou fracasso Um estudo de avaliaccedilatildeo eacute geralmente executado para determinar se uma intervenccedilatildeo pode ser considerada um sucesso e por quecirc
Em geral agrave medida que sobe na hierarquia e passa das actividades para os resultados a longo prazo a MampA se torna mais complicada Nos niacuteveis de processo e produtos pode-se facilmente rastrear que actividades foram concluiacutedas e seus resultados imediatos Essas informaccedilotildees satildeo operacionais ndash informaccedilotildees que vocecirc pode usar para decisotildees quotidianas de gestatildeo Poreacutem para identificar e medir os resultados da sinergia dos produtos provavelmente teraacute que integrar as informaccedilotildees qualitativas e quantitativas e confiar menos em indicadores quantitativos singulares
Lembre-se de que quando uma melhoria desejada ndash seja na eficiecircncia do serviccedilo no conhecimento e comportamento dos provedores de serviccedilos ou dos beneficiaacuterios ou na tendecircncia de um problema de sauacutede ndash eacute confirmada atraveacutes de MampA isto natildeo prova que foi a intervenccedilatildeo que provocou a mudanccedila Outras coisas podem estar a se passar no serviccedilo ou no ambiente geral que causam essa mudanccedila Eacute claro que o mesmo se aplica aos resultados negativos ou resultados que indicam natildeo haver nenhuma mudanccedila nos resultados a meacutedio e longo prazo
QUADRO 3 Como usar dados de base para ajustar os resultados
Uma equipa de sobrevivecircncia infantil estaacute a propor uma intervenccedilatildeo com o seguinte resultado mensuraacutevel e especiacutefico ldquoNos proacuteximos 12 meses 40 das crianccedilas entre 12 e 24 meses de idade na aacuterea de captaccedilatildeo seratildeo completamente imunizadasrdquo
Para determinar se seu programa pode realmente atingir esse resultado o pessoal precisa medir os niacuteveis actuais de vacinaccedilatildeo Ao examinar os dados vecircem que apenas 10 das crianccedilas na aacuterea de captaccedilatildeo estatildeo completamente imunizadas ao completarem 24 meses Estes satildeo portanto seus dados de base
A gestora entende que natildeo seraacute possiacutevel atingir o objectivo de 40 de cobertura de imunizaccedilatildeo em apenas 12 meses Por isso ela e sua equipa revisam o resultado esperado e o modificam para que seja mais razoaacutevel e realista mas continue sendo significativo ldquoNos proacuteximos 12 meses 20 das crianccedilas de 12 a 24 meses na aacuterea de de actuaccedilatildeo seratildeo completamente imunizadas
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 926
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 6 COMPARTILHE E USE SEUS DADOS
Na pressa para comeccedilar a recolher dados alguns gestores se esquecem de planear um processo para reflectir sobre as informaccedilotildees e fazer mudanccedilas para aumentar a eficiecircncia das actividades Para garantir que os dados sejam natildeo soacute recolhidos mas tambeacutem utilizados pense como vocecirc e sua equipa divulgaratildeo as informaccedilotildees sobre MampA e obteratildeo retroinformaccedilatildeo dos diversos grupos de interesse Algumas perguntas baacutesicas serviratildeo para lhe orientar
Quem precisa de que tipo de informaccedilotildees e quando precisam delas Que tipo de formato deve usar para comunicar os resultados ao pessoal
aos gestores de niacutevel superior e a outros grupos de interesse importantes Eacute suficiente fazer circular um relatoacuterio ou deveria organizar uma reuniatildeo ou workshop
Deveria tambeacutem organizar reuniotildees com a comunidade para solicitar retroinformaccedilatildeo dos seus beneficiaacuterios sobre os primeiros resultados da MampA
Como deve apresentar as informaccedilotildees para que sejam uacuteteis aos diferentes tomadores de decisotildees As informaccedilotildees devem ser apresentadas visualmente em diagramas graacuteficos ou mapas Para obter orientaccedilatildeo sobre dados e resultados consulte o Guiatildeo de MampA para Facilitadores de Programas de Desenvolvimento da Lideranccedila
Uso dos resultados para melhorar os dados de rotina em acccedilatildeo ndash Um exemplo do Paquistatildeo
No Paquistatildeo com o apoio do projecto PRIDE 10 equipas de subdistritos aplicaram o Processo de Avaliaccedilatildeo e Melhoria do Desempenho em Sauacutede Puacuteblica (PIP-PH) um conjunto de procedimentos e formatos para tratar dos problemas de sauacutede que identificaram como os mais graves para as suas populaccedilotildees Usaram o PIP-PH para priorizar os problemas e serviccedilos que mais precisavam de atenccedilatildeo a curto prazo para obter melhorias
Como parte do processo PIP-PH as equipas tambeacutem conceberam um formato de Estrutura de Vigilacircncia de Sauacutede (ldquoHealth Watch Frameworkrdquo) para os seus subdistritos como um todo e para os centros de sauacutede dentro deles Cada equipa seleccionou indicadores para medir a situaccedilatildeo de dois problemas de sauacutede puacuteblica os serviccedilos essenciais a eles relacionados e as limitaccedilotildees que afectavam esses serviccedilos
As equipas usaram os formulaacuterios Health Watch para estabelecer valores de base para os indicadores e depois para monitorar esses valores agrave medida que as intervenccedilotildees prosseguiam ao longo do tempo Os centros de sauacutede revisavam e actualizavam o formulaacuterio todo mecircs as equipas do subdistrito inclusive gestores de centros de sauacutede revisavam e discutiam os formulaacuterios trimestralmente os formulaacuterios revisados
As equipas de subdistrito usaram as informaccedilotildees para analisar os motivos do progresso ou falta de progresso para poderem prestar apoio aos gestores dos centros de sauacutede O processo estimulou os gestores dos centros de sauacutede a melhorarem a integridade e precisatildeo dos dados de rotina para poderem usar as informaccedilotildees e monitorarem mais eficazmente os eventos e os serviccedilos essenciais e introduzirem as melhorias necessaacuterias
Exemplos e informaccedilotildees detalhadas sobre o PIP-PH e o Health Watch Framework aparecem no Relatoacuterio Anual do Projecto PRIDE 2007
Para se informar mais sobre meacutetodos adicionais de utilizaccedilatildeo dos dados para melhorar o desempenho de uma organizaccedilatildeo equipa serviccedilo de sauacutede ou intervenccedilatildeo consulte o processo de Avaliaccedilatildeo e Melhoria de Desempenho (Performance Assessment and Improvement ndash PAI) no website de Programa de Lideranccedila Gestatildeo e Sustentabilidade (Leadership Management and Sustainability ndash LMS)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 927
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O processo de Monitoria e Avaliaccedilatildeo deve ser executado com o objectivo de usar imediatamente os resultados para identificar as falhas de desempenho e tomar medidas para reduzir ou eliminar essas falhas Vocecirc deve sempre planear formas de usar os resultados de MampA para o aprendizado e a acccedilatildeo Por exemplo o que deve fazer se as actividades do projecto natildeo trouxerem os resultados esperados O que precisa mudar se os serviccedilos essenciais natildeo estiverem a fornecer os niacuteveis de cobertura previstos ou a alcanccedilar grupos especiacuteficos de pessoas E como vocecirc pode levar esses fatos agrave atenccedilatildeo das pessoas certas para obter uma resposta raacutepida
Desenho de uma ferramenta de MampA
ARMADILHAS DA MONITORIA E AVALIACcedilAtildeO
Haacute vaacuterias armadilhas comuns que impedem que vocecirc como gestor aperfeiccediloe a funccedilatildeo de MampA na sua organizaccedilatildeo
Planeamento excessivo ou insuficienteAlguns gestores podem gastar tempo demais a preparar o plano de MampA do que resultam planos muito elaborados e complicados de usar Outros ficam muito ansiosos por implementar as intervenccedilotildees de MampA e comeccedilam antes de concluir o plano de MampA Isso significa que quando o plano fica pronto eacute geralmente tarde demais para obter dados de base viaacuteveis e a MampA tem que ser adiada Nesses casos o gestor talvez tenha que aceitar fazer a avaliaccedilatildeo mais tarde sem os dados de base que poderia usar para a comparaccedilatildeo
Descuidar-se da monitoria contiacutenua Outra armadilha frequente eacute a falha em incluir a monitoria contiacutenua na implementaccedilatildeo das actividades Isto ocorre frequentemente por falta de experiecircncia Muitos gestores natildeo tiveram acesso a ferramentas de monitoria uacuteteis (que satildeo raras) Talvez natildeo tenham recebido prontamente os resultados ou a retroinformaccedilatildeo do sistema de MampA no passado e por isso natildeo percebem como eacute importante realizar a monitoria de rotina Aleacutem disso gestores podem facilmente se emaranhar nos detalhes da implementaccedilatildeo e descuidar-se da monitoria de rotina
Exagerar Outra armadilha relacionada agrave monitoria eacute tentar rastrear os dados de todos os indicadores possiacuteveis Tentar obter os dados sobre um nuacutemero excessivo de factores torna o processo de monitoria tatildeo complicado que se torna impreciso Isso tambeacutem torna o processo mais lento de modo que no momento em que os dados satildeo recolhidos e analisados eles jaacute natildeo satildeo mais uacuteteis As ferramentas de monitoria muito demoradas e complicadas acabam por natildeo ser usadas O que acontece entatildeo O gestor deixa totalmente de fazer a monitoria e tem que recorrer agrave avaliaccedilatildeo
Se jaacute se deparou com esses problemas eacute hora de mudar a sua taacutectica Vocecirc pode criar um plano de MampA simples e usar ferramentas de monitoria simples Descubra o que tem que medir para obter os dados dentro de 3 a 6 meses o prazo vai depender dos ciclos de planeamento e apresentaccedilatildeo de relatoacuterios da sua organizaccedilatildeo Entenda tambeacutem qual eacute o miacutenimo que deve ser medido em uma avaliaccedilatildeo de longo prazo Busque a simplicidade mesmo se estiver diante de um conjunto complexo de actividades
Tente incluir apenas o que realmente precisa saber Pode testar todos os indicadores propostos antes de incluiacute-los no planeamento de MampA ao perguntar Quem precisa usar essas informaccedilotildees quando e com que finalidade Se um uacutenico indicador de produtos for suficiente perfeito Natildeo sobrecarregue a monitoria com indicadores desnecessaacuterios Muitas vezes menos dados fornecem mais informaccedilotildees
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 928
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
CARACTERIacuteSTICAS DE UMA BOA FERRAMENTA DE MONITORIA
Como gestor natildeo precisa saber tudo para gerir um serviccedilo ou dirigir uma intervenccedilatildeo mas precisa das informaccedilotildees imediatamente Portanto precisa de uma ferramenta de monitoria que possa fornecer informaccedilotildees suficientes e em tempo haacutebil para identificar e corrigir problemas assim que eles surgirem
Uma ferramenta de monitoria deve ser faacutecil de montar e utilizar As tabelas listas de verificaccedilatildeo e diagramas simples satildeo meacutetodos particularmente uacuteteis de recolher organizar e apresentar informaccedilotildees de monitoria
No miacutenimo sua ferramenta de monitoria deve permitir que vocecirc e sua equipa acompanhem
o progresso da implementaccedilatildeo da actividade a entrega de produtos ou resultados imediatos a situaccedilatildeo dos principais indicadores de resultados comparados aos resultados
esperados se for o caso as despesas orccedilamentais a disponibilidade de recursos humanos e financeiros os obstaacuteculos agrave implementaccedilatildeo e o que tem sido feito para superaacute-los
Vocecirc teraacute que responder agraves seguintes perguntas periodicamente
As actividades foram implementadas conforme planeado dentro do prazo e do orccedilamento
Que actividades adicionais natildeo planeadas foram realizadas Que serviccedilos ou produtos directos e tangiacuteveis foram oferecidos como resultado
das actividades que implementamos Estamos dentro do cronograma para atingir nossos resultados a meacutedio e longo
prazo Possuiacutemos os recursos necessaacuterios (pessoal dinheiro medicamentos e
suprimentos etc) para cumprirmos o cronograma
O Quadro 4 apresenta os componentes baacutesicos de uma ferramenta simples de monitoria
QUADRO 4 Uma ferramenta simples de monitoria
Data de exame Metas de resultados
Actividades (segundo o plano de implementaccedilatildeo)
Situaccedilatildeo ateacute o momento
Resultados esperados
Datas para conclusatildeo
Situaccedilatildeo ateacute o momento Comentaacuterios
Desafios e oportunidades
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 929
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quando usadas correctamente as novas tecnologias (por ex os PDAs ldquosmartphonesrdquo laptops e outros) podem facilitar a monitoria e aumentar os benefiacutecios da monitoria das actividades A monitoria automatizada ndash dados que podem ser obtidos e processados automaticamente ndash podem produzir um resumo dos principais indicadores em uma soacute paacutegina faacutecil de ler e num formato que utiliza cores para alertar ao gestor sobre as aacutereas que precisam de maior atenccedilatildeo As informaccedilotildees obtidas em tempo haacutebil sobre alguns indicadores essenciais permitem que o gestor monitore o progresso e tome medidas correctivas
Essa apresentaccedilatildeo visual das informaccedilotildees mais importantes e necessaacuterias para gerir um projecto eacute geralmente conhecida como Painel de Indicadores de Desempenho Os paineacuteis de indicadores de desempenho podem ser usados em qualquer organizaccedilatildeo departamento ou divisatildeo Nas organizaccedilotildees de sauacutede puacuteblica os paineacuteis satildeo usados frequentemente para monitorar os indicadores financeiros e programaacuteticos bem como a cobertura produccedilatildeo eficaacutecia e qualidade de serviccedilos de sauacutede especiacuteficos Um painel de recursos humanos por exemplo incluiria indicadores relevantes para gerir o seguinte
retenccedilatildeo de funcionaacuterios rotatividade de funcionaacuterios formaccedilatildeo de funcionaacuterios lacunas de habilidades satisfaccedilatildeo dos funcionaacuterios custos benefiacutecios e despesas gerais com funcionaacuterios
A Tabela 6 mostra um painel de indicadores de desempenho criado para monitorar serviccedilos de contracepccedilatildeo ciruacutergica voluntaacuteria (CCV)
TABELA 6 Ilustraccedilatildeo de Painel de Indicadores de Desempenho para Serviccedilos de Contracepccedilatildeo Ciruacutergica Voluntaacuteria (CCV)
Serviccedilo Contracepccedilatildeo Ciruacutergica Voluntaacuteria Periacuteodo do Relatoacuterio Janeiro de 2009
No Indicador de Prestaccedilatildeo de Serviccedilos Custo Qualidade
Meta financeira ou programaacutetica
LimiarNuacutemero
alcanccedilado
Percentagem concluiacuteda
Miacuten Maacutex 10 20 30 40 50 60 70 80 90 100
1 Nuacutemero de CCVs realizadas no mecircs 8 10 7
2 Custo meacutedio das CCVs (US$) 100 120 110
3 Orccedilamento mensal da receita com CCVs realizadas (US$) 800 1200 770
4Percentagem das CCVs realizadas por pessoal
qualificadomdash 100 60
5 Percentagem das CCVs realizadas sem complicaccedilotildees 95 100 100
6
Percentagem de utentes satisfeitas com o tratamento
recebido do pessoal que realizou as CCVs
90 100 90
Adaptado de Colindres 2008 p 6
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 930
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja uma descriccedilatildeo do uso de um painel de indicadores de desempenho para a monitoria de rotina num estudo de caso estudo de caso de uma ONG da Boliacutevia o Centro de Investigaccedilatildeo Educaccedilatildeo e Serviccedilos (CIES)
Para obter mais informaccedilotildees de como criar um painel de indicadores consulte ldquoComo usar os paineacuteis de indicadores de desempenho para monitorar as realizaccedilotildees de uma organizaccedilatildeordquo Esse documento ajuda a esclarecer conceitos e define as etapas essenciais para criar paineacuteis de indicadores de desempenho
Como criar uma avaliaccedilatildeo para fins de aprendizagem
Apesar da importacircncia da monitoria de rotina apenas a monitoria natildeo basta para responder agrave pergunta ldquoE entatildeordquo Ou seja suas actividades e produtos contribuiacuteram para melhorar a cobertura dos serviccedilos aumentar o conhecimento ou encorajar comportamentos mais saudaacuteveis
Talvez uma campanha de comunicaccedilatildeo sobre planeamento familiar criada para aumentar a prevalecircncia do uso de contraceptivos tenha levado o governo a abastecer os depoacutesitos distritais com contraceptivos Para que possam aprender com essa experiecircncia e criar campanhas mais eficazes no futuro os gestores do projecto ainda querem saber que produtos foram realmente dispensados aos centros de sauacutede e distribuiacutedos aos utentes Esta secccedilatildeo discute como criar uma avaliaccedilatildeo para fins de aprendizagem
Existem dois motivos para levar a cabo uma avaliaccedilatildeo
1 A avaliaccedilatildeo fornece informaccedilotildees sobre o sucesso da sua equipa unidade ou organizaccedilatildeo para atingir seus objectivos Essas informaccedilotildees ajudam a definir que actividades expandir modificar ou eliminar Ela pode tambeacutem revelar formas de melhorar a concepccedilatildeo e gestatildeo das actividades futuras
2 A avaliaccedilatildeo pode demonstrar uma cultura de prestaccedilatildeo de contas agrave sua agecircncia doadora e a outros grupos de interesse nomeadamente o governo e os beneficiaacuterios dos seus serviccedilos
AVALIACcedilOtildeES FORMATIVAS E SUMATIVAS
Os gestores podem realizar dois amplos tipos de avaliaccedilotildees formativas e sumativas
Avaliaccedilatildeo formativa Este tipo de avaliaccedilatildeo eacute realizada durante o desenvolvimento e implementaccedilatildeo de um programa Seu objectivo eacute orientar o desenho e a implementaccedilatildeo de actividades que incluam as melhores e mais promissoras praacuteticas que aumentaratildeo as chances de sucesso A avaliaccedilatildeo formativa eacute mais comummente utilizada por projectos de grande porte ou de longo prazo em vez de projectos menores e de curto prazo Poreacutem os projectos menores devem pelo menos realizar uma avaliaccedilatildeo raacutepida das melhores praacuteticas durante a fase de planeamento para apoiar a loacutegica e o conteuacutedo proposto para as actividades
A avaliaccedilatildeo formativa inclui uma avaliaccedilatildeo de necessidades para discernir os desejos e requisitos de um grupo da populaccedilatildeo e determinar a melhor forma de atendecirc-los Inclui tambeacutem uma avaliaccedilatildeo de processo para investigar o processo utilizado para executar uma intervenccedilatildeo Pode-se usar a avaliaccedilatildeo do processo para determinar se as actividades foram realizadas de acordo com o plano ndash em termos de sua concepccedilatildeo original estimativas de custos e nuacutemero de pessoas a serem atendidas ndash e se a qualidade dos processos usados estaacute de acordo com as melhores praacuteticas conhecidas
A avaliaccedilatildeo de processo geralmente inclui vaacuterias abordagens Pode incluir uma avaliaccedilatildeo dos dados referentes aos produtos (por ex nuacutemero de redes mosquiteiras fornecidas nuacutemero
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 931
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
de workshops de formaccedilatildeo realizados nuacutemero de participantes dos workshops) assim como entrevistas individuais ou grupos de enfoque entre os beneficiaacuterios Nas intervenccedilotildees de menor porte eacute uma boa praacutetica realizar uma avaliaccedilatildeo de processo mesmo se limitada agrave retroinformaccedilatildeo dos participantes
Avaliaccedilatildeo somativa Este tipo de avaliaccedilatildeo eacute realizada apoacutes a conclusatildeo de um grupo de actividades ou da intervenccedilatildeo para avaliar a qualidade da intervenccedilatildeo e os seus principais resultados A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo a avaliaccedilatildeo do impacto a anaacutelise de custo-benefiacutecio e custo-eficaacutecia e a investigaccedilatildeo operacional
A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo que avalia em que medida uma equipa unidade ou organizaccedilatildeo inteira atingiram seus resultados esperados A avaliaccedilatildeo dos resultados eacute usada para demonstrar que existe uma cultura de prestaccedilatildeo de contas para aperfeiccediloar o projecto de actividades organizacionais para melhorar a distribuiccedilatildeo dos recursos e para promover intervenccedilotildees futuras bem-sucedidas As principais perguntas satildeo Que modificaccedilotildees ocorreram na vida das pessoas das famiacutelias ou da comunidade como resultado do nosso trabalho Que diferenccedila fizemos
Como observamos anteriormente neste capiacutetulo os resultados a meacutedio e longo prazo satildeo geralmente mudanccedilas mensuraacuteveis eou observaacuteveis em duas dimensotildees A primeira dimensatildeo abrange a conscientizaccedilatildeo o conhecimento as atitudes os valores e as habilidades dos participantes de um programa ou dos beneficiaacuterios dos serviccedilos durante ou depois de seu envolvimento na intervenccedilatildeo A segunda dimensatildeo implica mudanccedilas no comportamento desses mesmos grupos
Idealmente as duas dimensotildees deveriam ser medidas em trecircs pontos no comeccedilo e no final do periacuteodo de implementaccedilatildeo e se possiacutevel apoacutes um periacuteodo de acompanhamento adequado Se a mediccedilatildeo do acompanhamento natildeo for viaacutevel pelo menos devem ser comparadas as mediccedilotildees de base e poacutes-intervenccedilatildeo Muitas vezes as mudanccedilas podem ser pequenas mas deve haver alguma melhoria em pelo menos um ou dois resultados para que a intervenccedilatildeo seja considerada um sucesso
A avaliaccedilatildeo dos resultados tenta distinguir entre a influecircncia da intervenccedilatildeo nessas mudanccedilas e a influecircncia de outros factores externos Mas geralmente os avaliadores teratildeo que optar pela atribuiccedilatildeo parcial de um resultado a uma intervenccedilatildeo ou serviccedilo especiacutefico devido agrave dificuldade em determinar uma relaccedilatildeo directa e causal entre o serviccedilo prestado e uma determinada mudanccedila
As avaliaccedilotildees de resultados utilizam geralmente um desenho natildeo experimental (geralmente denominado ldquopreacute e poacutes-avaliaccedilatildeordquo) que simplesmente mede as mudanccedilas antes e depois de uma intervenccedilatildeo ou seja diferente do desenho experimental (que compara os participantes com um grupo de controlo com designaccedilatildeo aleatoacuteria a ambos os grupos) ou do desenho semi-experimental (que compara os participantes com um grupo de controlo mas sem a designaccedilatildeo aleatoacuteria)
O desenho natildeo experimental eacute aceitaacutevel para as mediccedilotildees e relatoacuterios padratildeo dos resultados a meacutedio e longo prazo As ONGs raramente usam os desenhos experimentais Apesar de uma organizaccedilatildeo de grande porte e com muitos recursos poder ocasionalmente receber assistecircncia de especialistas para um desenho experimental a maioria delas acha que as consideraccedilotildees eacuteticas e logiacutesticas impedem a designaccedilatildeo aleatoacuteria dos participantes aos grupos de intervenccedilatildeo e de controlo Aleacutem disso o custo de recolher dados de um grupo de controlo seraacute provavelmente muito elevado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 932
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A avaliaccedilatildeo do impacto eacute outro componente da avaliaccedilatildeo somativa Eacute mais ampla do que a avaliaccedilatildeo de resultados e avalia os efeitos liacutequidos ou gerais ndash tanto intencionais como natildeo intencionais ndash de todo um programa grupo de programas ou grupo de organizaccedilotildees As avaliaccedilotildees de impacto geralmente se estendem por um periacuteodo de 3 a 5 anos
OUTROS TIPOS DE AVALIACcedilOtildeES
Anaacutelise de custo-benefiacutecio e custo-eficaacutecia Estes tipos de anaacutelise tratam da eficiecircncia da intervenccedilatildeo ao analisar os resultados em termos dos seus custos financeiros e do seu valor
Investigaccedilatildeo operacional Trata-se de um balanccedilo ou avaliaccedilatildeo de uma intervenccedilatildeo especiacutefica no contexto de um programa mais amplo que estaacute a fazer vaacuterias intervenccedilotildees A investigaccedilatildeo operacional eacute usada para testar e avaliar novas abordagens de prestaccedilatildeo de serviccedilos de sauacutede Eacute tambeacutem usada para identificar problemas na prestaccedilatildeo de serviccedilos e oferecer soluccedilotildees
A investigaccedilatildeo operacional eacute uma ferramenta poderosa que os gestores de programas e os tomadores de decisotildees podem usar para melhorar e expandir os serviccedilos Os estudos de investigaccedilatildeo operacional comparam intervenccedilotildees que estatildeo dentro da esfera de influecircncia do gestor Os exemplos incluem a avaliaccedilatildeo da eficaacutecia de uma nova estrateacutegia de prevenccedilatildeo de VIHSIDA um novo curso de formaccedilatildeo um novo conjunto de procedimentos para gerir medicamentos um novo meacutetodo contraceptivo ou um novo serviccedilo de sauacutede reprodutiva
O Toolkit de Investigaccedilatildeo Operacional do Programa Horizons sobre VIHSIDA do Population Council fornece informaccedilotildees detalhadas para criar um estudo de investigaccedilatildeo operacional
CONSIDERACcedilOtildeES PARA A FORMULACcedilAtildeO DE UMA AVALIACcedilAtildeO
O que avaliar para responder agrave pergunta ldquoE entatildeordquo Se quiser saber como gestor se as suas actividades tiveram realmente sucesso precisa preparar todas as intervenccedilotildees tendo em mente a avaliaccedilatildeo e incorporar a avaliaccedilatildeo ao seu planeamento organizacional geral Ao definir objectivos deve se perguntar Como saberemos se estamos a atingir esses objectivos Este eacute o ponto de partida para a avaliaccedilatildeo
Seja qual for o porte da sua intervenccedilatildeo ou serviccedilo e o alcance da avaliaccedilatildeo precisaraacute responder a trecircs perguntas durante a fase de desenho e planeamento
1 O que a sua intervenccedilatildeo ou serviccedilo conseguiraacute realizar a curto e longo prazo Se implementar um conjunto de actividades com sucesso ao longo do tempo o que seraacute diferente
2 Como conceptualiza as suas actividades ndash qual eacute a loacutegica subjacente Duas abordagens para identificar a loacutegica do programa satildeo discutidas neste capiacutetulo na secccedilatildeo intitulada Ferramentas e Abordagens Praacuteticas para MampA
3 Que indicadores pode usar para identificar o progresso no alcance dos resultados
Para responder agrave pergunta ldquoE entatildeordquo vocecirc precisa avaliar os factores sobre os quais tem um niacutevel razoaacutevel de controlo Por exemplo um novo serviccedilo criado para oferecer alojamento a pessoas que vivem com SIDA natildeo pode controlar ou afectar a expectativa de vida das pessoas agraves quais atende Mas ao fornecer um ambiente estaacutevel para elas viverem o serviccedilo pode diminuir o niacutevel de stresse e melhorar a qualidade de vida dessas pessoas que antes eram forccediladas a se mudar com frequecircncia
Depois de tratar da pergunta ldquoE entatildeordquo deve tambeacutem se certificar de que a avaliaccedilatildeo seja concebida de forma que quando o processo estiver concluiacutedo vocecirc possa abordar os cinco toacutepicos principais da avaliaccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 933
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
1 Relevacircncia Foi uma boa ideia fazer a intervenccedilatildeo considerando-se a situaccedilatildeo e a necessidade de melhorias Ela tratou das prioridades do grupo alvo ou beneficiaacuterio Por que sim ou por que natildeo
2 Eficaacutecia Os resultados produtos e actividades foram realizados Por que sim ou por que natildeo A loacutegica da intervenccedilatildeo eacute correcta
3 Eficiecircncia Os insumos (recursos e tempo) foram usados da melhor forma possiacutevel para atingir os resultados a meacutedio e longo prazo Por que sim ou por que natildeo O que vocecirc e sua equipa poderiam fazer de modo diferente no futuro para maximizar os resultados a um custo aceitaacutevel
4 Impacto Em que medida a sua intervenccedilatildeo contribuiu para as metas nacionais ou de longo prazo Que consequecircncias natildeo intencionais (positivas ou negativas) suas actividades tiveram Por que essas consequecircncias aconteceram
5 Sustentabilidade Eacute provaacutevel que os resultados positivos continuem depois que sua intervenccedilatildeo terminar Por que sim ou por que natildeo
Uma uacuteltima advertecircncia assim como a monitoria pode-se complicar demasiado a avaliaccedilatildeo Ao preparar um plano de avaliaccedilatildeo o melhor eacute seleccionar um grupo pequeno de indicadores e resistir agrave tentaccedilatildeo de avaliar todos os aspectos da sua intervenccedilatildeo
Assim como a monitoria a avaliaccedilatildeo soacute eacute uacutetil se as informaccedilotildees forem repassadas em tempo haacutebil para o gestor e outros tomadores de decisotildees e grupos de interesse Um problema comum com as avaliaccedilotildees intercalares eacute que os resultados geralmente soacute satildeo informados de 6 a 8 meses mais tarde o que deixa apenas 1 ou 2 anos para fazer mudanccedilas mais permanentes antes que se esgotem os fundos do governo ou da agecircncia doadora
COMO SELECCIONAR SUAS FONTES DE DADOS
Esta secccedilatildeo descreve trecircs tipos de fontes de dados que satildeo comummente usadas para uma avaliaccedilatildeo dados recolhidos rotineiramente inqueacuteritos de grande escala e teacutecnicas de avaliaccedilatildeo raacutepida inclusive a avaliaccedilatildeo participativa
Dados de rotina Os dados recolhidos e analisados rotineiramente por um SIS satildeo denominados ldquoestatiacutesticas de serviccedilordquo Pode-se utilizar vaacuterios sistemas de informaccedilatildeo de serviccedilos de rotina para monitorar os serviccedilos Alguns deles satildeo o sistema baacutesico de registo e relatoacuterio de SIS os sistemas especiais de relatoacuterios sobre programas (por ex tuberculose malaacuteria imunizaccedilatildeo VIH planeamento familiar etc) os sistemas de relatoacuterios sobre agentes comunitaacuterios especiais (por ex registos de agentes comunitaacuterios de sauacutede) o sistema de informaccedilotildees para a vigilacircncia de doenccedilas e o controlo notificaccedilatildeo e resposta a surtos e os relatoacuterios para os sistemas de suporte especiais (por ex medicamentos encaminhamentos e gestatildeo financeira e de recursos humanos)
Esses sistemas fornecem dados que estatildeo imediatamente disponiacuteveis e cujo objectivo eacute informar o que estaacute a acontecer no sector de sauacutede Os dados de rotina incluem por exemplo o nuacutemero de consultas de preacute-natal em uma cliacutenica o nuacutemero e tipo de vacinaccedilotildees fornecidas no local ou o nuacutemero e tipos de contraceptivos fornecidos mensalmente
Os dados sobre os serviccedilos satildeo geralmente recolhidos pelos centros de sauacutede ou postos de sauacutede e enviados para o proacuteximo niacutevel superior do sistema (geralmente o distrito) para serem agregados Esses dados podem entatildeo ser enviados ao proacuteximo niacutevel superior (regional ou provincial) para posterior agregaccedilatildeo antes que cheguem finalmente ao niacutevel central do Ministeacuterio da Sauacutede
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 934
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Idealmente os gestores de centros de sauacutede e ao niacutevel do distrito usam esses dados para orientar as operaccedilotildees diaacuterias acompanhar o desempenho e a prestaccedilatildeo de contas e tomar decisotildees que continuem a melhorar o desempenho Mas haacute vaacuterios obstaacuteculos a essa utilizaccedilatildeo
Muito frequentemente os dados de rotina satildeo imprecisos ou incompletos Apesar dos que utilizam o SIS tentarem produzir informaccedilotildees de alta qualidade e em tempo haacutebil haacute muitas oportunidades de introduzir erros Pode haver pouco apoio para que os gestores e seu pessoal se concentrem nos procedimentos correctos de recolha registo e agregaccedilatildeo dos dados
Os sistemas de sauacutede de vaacuterios paiacuteses enfatizam a importacircncia de apresentar relatoacuterios para os niacuteveis superiores mas natildeo estabeleceram procedimentos e incentivos para encorajar aqueles que fornecem informaccedilotildees a utilizaacute-las mesmo quando os dados satildeo de boa qualidade
Outra dificuldade eacute que as estatiacutesticas sobre serviccedilos fornecem informaccedilotildees apenas sobre os utentes que utilizam os serviccedilos de sauacutede Natildeo podem fornecer informaccedilotildees sobre as muitas pessoas que natildeo utilizam os serviccedilos
Por tudo isso natildeo se pode confiar apenas nas estatiacutesticas sobre serviccedilos para fazer uma avaliaccedilatildeo Elas satildeo melhor utilizadas para a monitoria de rotina dos problemas de sauacutede puacuteblica e dos serviccedilos essenciais relacionados
Inqueacuteritos em grande escala Os inqueacuteritos em grande escala satildeo outra fonte de informaccedilotildees imediatamente disponiacuteveis Incluem inqueacuteritos de base populacional tais como as Inqueacuterito Demograacutefico e de Sauacutede (IDS) dos EUA avaliaccedilotildees completas de centros de sauacutede como a Anaacutelise de Situaccedilatildeo do Population Council e os censos nacionais Em vaacuterios casos os gestores podem usar os dados de um inqueacuterito em grande escala existente para fornecer o contexto para a interpretaccedilatildeo dos dados capturados atraveacutes das suas proacuteprias avaliaccedilotildees
Por exemplo as IDS satildeo realizadas periodicamente para caracterizar a situaccedilatildeo de sauacutede em um paiacutes ou regiatildeo geograacutefica de grande extensatildeo para vaacuterios grupos populacionais homens mulheres crianccedilas bebeacutes e assim por diante Mas os dados das IDS natildeo podem normalmente ser desagregados para uso pelos gestores no niacutevel de distrito ou comunidade
Aleacutem disso como as IDS satildeo realizadas apenas a cada trecircs ou cinco anos as informaccedilotildees que fornecem podem natildeo estar suficientemente actualizadas para as necessidades de avaliaccedilatildeo dos gestores Apesar dessas dificuldades os dados das IDS satildeo uacuteteis para compreender tendecircncias regionais ou nacionais que podem ajudar a explicar dados recolhidos em uma avaliaccedilatildeo de foco especiacutefico
Avaliaccedilotildees raacutepidas Satildeo formas raacutepidas e econoacutemicas de obter informaccedilotildees para a tomada de decisotildees principalmente ao niacutevel da actividade Os exemplos incluem entrevistas quando os utentes saem de suas consultas as avaliaccedilotildees de pequena escala dos centros de sauacutede os inqueacuteritos raacutepidos por amostragem o exame analiacutetico de registos as entrevistas com grupos de enfoque e outros meacutetodos participativos
Poderaacute usar teacutecnicas de avaliaccedilatildeo raacutepida para complementar as informaccedilotildees obtidas com dados de rotina ou inqueacuteritos de grande escala As avaliaccedilotildees raacutepidas podem-lhe fornecer informaccedilotildees valiosas sobre sua aacuterea de captaccedilatildeo e sua aacuterea de responsabilidade mais ampla ndash ou seja as comunidades e as populaccedilotildees que deveriam ter acesso aos serviccedilos essenciais prestados por um centro de sauacutede determinado Elas podem tambeacutem fornecer contexto e uma compreensatildeo qualitativa dos dados quantitativos recolhidos pelos meacutetodos mais formais
Dentro da categoria de avaliaccedilotildees raacutepidas os meacutetodos participativos e os inqueacuteritos raacutepidos por amostragem merecem a sua atenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 935
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Meacutetodos participativos (tambeacutem chamados de aprendizagem e acccedilatildeo participativas) Essas teacutecnicas e meacutetodos visam incorporar o conhecimento e as opiniotildees dos membros da comunidade no planeamento e gestatildeo de projectos de desenvolvimento no esforccedilo para influenciar as poliacuteticas e na implementaccedilatildeo de programas Eles permitem incluir vozes da comunidade nas poliacuteticas no planeamento e nos inqueacuteritos e criam um senso de propriedade e participaccedilatildeo nos resultados de MampA e nas recomendaccedilotildees feitas pela organizaccedilatildeo e por seus beneficiaacuterios
Ao contraacuterio de outras teacutecnicas de avaliaccedilatildeo raacutepida os meacutetodos participativos natildeo se baseiam em amostragens Eles usam entrevistas individuais ou com informantes essenciais (inclusive entrevistas com utentes ao saiacuterem de suas consultas) entrevistas em grupo estudos de caso e outros meacutetodos qualitativos para identificar as condiccedilotildees locais e entender as perspectivas e prioridades locais
Em vaacuterios locais haacute membros da comunidade que natildeo podem ler nem escrever e por isso os meacutetodos participativos dependem frequentemente da comunicaccedilatildeo oral com apoio de imagens siacutembolos objectos fiacutesicos e memoacuteria colectiva
Os meacutetodos participativos podem ser usados antes durante e apoacutes a implementaccedilatildeo de uma intervenccedilatildeo ou um conjunto de actividades Eles fornecem informaccedilotildees para o projecto e a avaliaccedilatildeo e permitem a participaccedilatildeo activa das partes interessadas na tomada de decisotildees Durante a implementaccedilatildeo os meacutetodos participativos satildeo uacuteteis para identificar e solucionar problemas
Aproveite para examinar e utilizar uma lista de recursos online sobre inqueacuterito qualitativo e directrizes sobre discussotildees em grupos de enfoque no Community Tool Box da Universidade de Kansas
Inqueacuteritos raacutepidos por amostragem Estes inqueacuteritos podem ser utilizados para recolher informaccedilotildees padronizadas de uma amostra pequena e cuidadosamente seleccionada de pessoas ou domiciacutelios em uma aacuterea beneficiaacuteria Eles podem descrever as condiccedilotildees em uma comunidade particular ou grupo-alvo e permitem comparar grupos diferentes em um determinado momento ou mudanccedilas no mesmo grupo ao longo do tempo Permitem tambeacutem comparar condiccedilotildees actuais com os resultados planeados
Um dos inqueacuteritos mais comuns de pequena amostragem eacute o inqueacuterito CAP (Conhecimentos Atitudes e Praacuteticas) baseado em uma amostra de 30 agrupamentos
Amostragem para Garantia de Qualidade de Lotes (Lot Quality Sampling - LQAS) Essa eacute outra teacutecnica de avaliaccedilatildeo raacutepida que se usa cada vez mais na aacuterea de sauacutede puacuteblica A LQAS utiliza amostragens muito pequenas para obter informaccedilotildees confiaacuteveis em uma pequena aacuterea geograacutefica ou unidade administrativa Pode ser usada para detectar de forma precisa os extremos do desempenho ndash para determinar se uma intervenccedilatildeo foi mais aleacutem de um limiar superior de desempenho ou natildeo conseguiu atingir um limiar inferior de desempenho em termos de qualidade ou cobertura As amostras de lotes podem tambeacutem ser combinadas para fornecer estimativas de cobertura em uma aacuterea geograacutefica mais ampla
Uma busca na Web revelaraacute recursos uacuteteis aqui temos um sobre os inqueacuteritos CAP e outro sobre LQAS A aacuterea de MampA do website do CORE Group inclui ligaccedilotildees com ferramentas e recursos importantes para a avaliaccedilatildeo raacutepida criados pelo Grupo de Trabalho de MampA do CORE Group
Como gestor deve revisar todas as fontes de dados jaacute existentes antes de planear a sua avaliaccedilatildeo A Tabela 7 apresenta as vantagens e desvantagens das trecircs principais fontes de
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 936
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 7 Resumo das trecircs fontes de dados mais comuns para uma avaliaccedilatildeo
Fonte de dados Vantagens Limitaccedilotildees
Estatiacutesticas de serviccedilo Dados sobre a populaccedilatildeo de utentes e serviccedilos cliacutenicos que satildeo recolhidos rotineiramente nos registos dos utentes e nos registos cliacutenicos
Disponiacuteveis imediatamente
Cobrem todos os tipos de serviccedilos de sauacutede e todas as aacutereas do paiacutes
Podem ser desagregados para os niacuteveis local e de distrito
Uso econoacutemico
Soacute lhe informam sobre clientes actuais sem informaccedilotildees sobre as pessoas que natildeo usam os serviccedilos de sauacutede e podem ser utentes em potencial
Natildeo fornecem informaccedilotildees sobre valores percepccedilotildees ou comportamentos da comunidade
Natildeo reflectem as pessoas que optam por fontes privadas de serviccedilos
Podem ser inexactas se os locais de prestaccedilatildeo de serviccedilos natildeo registarem os dados correctamente de forma legiacutevel e em tempo haacutebil
Inqueacuteritos de grande escala Inqueacuteritos de base populacional e avaliaccedilotildees de grande escala dos centros de sauacutede
Dados relevantes precisos e confiaacuteveis
Podem medir as tendecircncias nacionais de sauacutede identificar aacutereas com problemas e ajudar a concentrar os recursos do paiacutes em aacutereas de maior carecircncia
Geram valores meacutedios para as aacutereas urbanas e rurais regiotildees e proviacutencias
Fornecem um contexto para interpretar os dados recolhidos localmente
Podem gerar informaccedilotildees adicionais a partir dos seus conjuntos de dados informatizados
Geralmente natildeo podem desagregar os dados para fornecer meacutedias para as aacutereas sub-regionais (distritos ou municipalidades)
Geralmente natildeo satildeo realizadas anualmente os dados se tornam desactualizados rapidamente se as populaccedilotildees ou condiccedilotildees de sauacutede se modificarem rapidamente
Avaliaccedilotildees raacutepidas Meacutetodos focados para avaliar as necessidades locais e tomar decisotildees em acircmbito local
Raacutepidas e econoacutemicas
Resultam em acccedilatildeo local
Haacute directrizes para ajudar os gestores em vaacuterias dessas teacutecnicas
Fornecem aos gestores a capacidade de recolher os dados necessaacuterios
Os inqueacuteritos domiciliares (por ex LQAS ou CAP) podem obter precisatildeo suficiente para fins de avaliaccedilatildeo
Equilibra a necessidade de resultados representativos e objectivos com a necessidade de usar projectos levemente menos rigorosos que satildeo mais viaacuteveis em aacutereas locais
Usam escala e acircmbito reduzidos para produzir resultados em tempo haacutebil e de baixo custo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 937
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
dados que foram discutidas acima estatiacutesticas rotineiras de serviccedilos inqueacuteritos em grande escala e teacutecnicas de avaliaccedilatildeo raacutepida
Que niacutevel de qualidade os dados do SIS precisam ter para serem uacuteteis ndash que niacutevel de abrangecircncia precisatildeo e apresentaccedilatildeo em tempo haacutebil Para as suas necessidades de gestatildeo mesmo que natildeo sejam perfeitos os dados podem ser suficientemente bons para ter um efeito poderoso como nos mostra o exemplo de Madagascar
Dados do SIS pontos fortes e limitaccedilotildees
Subestimar o valor e a utilidade do SIS eacute infelizmente uma tendecircncia Eacute verdade que o SIS tem problemas frequentemente mas tambeacutem eacute grande o seu potencial Como vimos em
Como usar e melhorar dados imperfeitos do SIS ndash Um exemplo de Madagascar
Um SIS de base comunitaacuteria mais preciso e mais oportuno Um projecto de Madagascar implementou um meacutetodo baseado na comunidade para aumentar o uso de meacutetodos de planeamento familiar denominado ldquoComunidades Campeatildesrdquo em 50 dos 110 distritos do paiacutes O meacutetodo utilizou exclusivamente os dados do SIS para monitorar e avaliar as realizaccedilotildees das comunidades participantes
Em primeiro lugar foi estabelecida uma base de referecircncia para cada comunidade ao usar os dados do seu centro de sauacutede Em seguida o pessoal do centro de sauacutede e os representantes da comunidade identificaram metas para 10 indicadores que determinariam se uma comunidade tinha alcanccedilado a posiccedilatildeo de campeatilde apoacutes 12 meses de implementaccedilatildeo Cada comunidade monitorava seu proacuteprio progresso em uma reuniatildeo trimestral de verificaccedilatildeo
Apoacutes 12 meses o pessoal do projecto voltou a cada comunidade para avaliar os resultados Examinaram os dados do relatoacuterio de monitoria de rotina de cada centro de sauacutede e para cada indicador Prepararam tambeacutem um relatoacuterio sobre os dados de cada comunidade e o enviaram para o supervisor de niacutevel distrital para a sua confirmaccedilatildeo com base nos registos informatizados do distrito As fontes de dados para os relatoacuterios do centro de sauacutede e registos de distrito foram as mesmas (registos dos centros de sauacutede) e por isso raramente ocorreu uma discrepacircncia Mas o que interessava era envolver o supervisor distrital no exame dos dados do centro de sauacutede para mostrar a utilidade de se usar ateacute mesmo dados simples nesse niacutevel
O projecto tambeacutem cooperou com o Ministeacuterio da Sauacutede a niacutevel distrital para melhorar a precisatildeo a abrangecircncia e a prontidatildeo do SIS A ecircnfase era obter dados mais completos dos centros de sauacutede e reduzir o tempo gasto pelo escritoacuterio distrital para receber o relatoacuterio do centro de sauacutede apreciaacute-lo devolvecirc-lo ao centro para qualquer correcccedilatildeo recebecirc-lo novamente dar entrada dos dados no sistema e finalmente enviaacute-los ao niacutevel central Os distritos satildeo responsaacuteveis por cooperar com os centros de sauacutede para melhorar o registo de dados e actualizar suas proacuteprias teacutecnicas de processamento de dados
Apoacutes dois anos de assistecircncia teacutecnica o SIS tinha realmente melhorado segundo os indicadores de precisatildeo abrangecircncia e prontidatildeo As melhorias mais notaacuteveis foram em prontidatildeo o tempo gasto pelo escritoacuterio distrital no processo descrito acima reduziu-se de 12 para 3 meses
Imperfeitas mais mesmo assim valiosos Deve-se lembrar que o projecto ldquoComunidades Campeatildesrdquo teve oacuteptimo resultado apesar dos dados imperfeitos Seu numerador (o nuacutemero de utentes regulares de planeamento familiar) era detalhado e preciso Mas suas estimativas das taxas de prevalecircncia do uso de contraceptivos natildeo eram muito precisas porque o denominador (nuacutemero de mulheres em idade reprodutiva) era apenas uma estimativa baseada num censo desactualizado e em estimativas anuais do governo sobre percentagens de crescimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 938
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Madagascar o projecto Comunidades Campeatildes melhorou o sistema substancialmente num periacuteodo de dois anos Nesse caso o sistema jaacute se encontrava relativamente funcional porque projectos anteriores haviam feito um grande esforccedilo para implantar o sistema e tornaacute-lo mais soacutelido Ao aprimorar a forma como o sistema era administrado e os dados eram usados o projecto posterior conseguiu fazer uma grande diferenccedila por meio de pequenas modificaccedilotildees
Os dados do SIS natildeo satildeo 100 exactos e nunca seratildeo Esta eacute a realidade com a qual todos os gestores tecircm que trabalhar Mas os dados natildeo precisam ser perfeitos para serem uacuteteis Eacute possiacutevel fazer a monitoria e a gestatildeo com dados imperfeitos Informaccedilotildees obtidas em tempo
(continuaccedilatildeo)
No entanto o projecto constatou que as taxas de prevalecircncia de uso de contraceptivos eram suficientemente boas para acompanhar o desempenho das comunidades que participavam do meacutetodo de Comunidades Campeatildes O pessoal do projecto tambeacutem complementou as comparaccedilotildees dessas taxas com as comparaccedilotildees dos valores do numerador nuacutemeros simples que faziam sentido para o pessoal do centro de sauacutede e tambeacutem para as comunidades
O niacutevel central comeccedilou a organizar workshops regionais trimestrais para divulgar os resultados ao niacutevel distrital Juntos os gestores dos niacuteveis distritais regionais e centrais analisaram o progresso e classificaram os distritos com base no seu desempenho Usaram a anaacutelise de causa-raiz ndash um processo que identifica as causas subjacentes de um problema ndash para entender os obstaacuteculos enfrentados pelos distritos que apresentavam baixo desempenho (Consulte o Apecircndice A no Capiacutetulo 2 deste guia para obter mais informaccedilotildees sobre a anaacutelise de causa-raiz) Finalmente o Ministeacuterio de Sauacutede mobilizou o apoio de agecircncias doadoras e de organizaccedilotildees parceiras para ajudaacute-los a melhorar
O ministeacuterio comeccedilou a usar as informaccedilotildees de sauacutede para administrar realmente o sistema de sauacutede Antes dessa intervenccedilatildeo poucas organizaccedilotildees confiavam ou utilizavam os dados do SIS Mas quando ficou claro que o sistema funcionava as agecircncias doadoras passaram a confiar as organizaccedilotildees parceiras passaram a utilizaacute-lo e o ministeacuterio se orgulhou do trabalho Pela primeira vez tinham uma visatildeo mais niacutetida do que acontecia em todo o paiacutes e podiam usar essas informaccedilotildees para buscar o apoio de agecircncias doadoras se necessaacuterio
Do mesmo modo os centros de sauacutede raramente usavam seus proacuteprios dados Eles simplesmente faziam os registos e os enviavam para o escritoacuterio distrital sem nem mesmo receber retroinformaccedilatildeo do mesmo Apoacutes a conclusatildeo do projecto perceberam como os dados mais precisos podiam ser usados em seu benefiacutecio e das comunidades
Os distritos tambeacutem actuavam antes de uma forma pouco informada Cada distrito dependia apenas dos seus proacuteprios dados e funcionava num vaacutecuo As mudanccedilas no SIS e o encorajamento do governo central forneceram aos distritos oportunidades para comparar seu trabalho e aprender uns com os outros
Aprendizagem com dados mais precisos completos e oportunos Os dados satildeo geralmente utilizados para fazer comparaccedilotildees mas satildeo menos frequentemente utilizados como ferramenta de aprendizagem Nesse caso depois que os relatoacuterios comeccedilaram a chegar dentro do prazo o Ministeacuterio da Sauacutede usou os dados ndash inclusive dados imperfeitos ndash para descobrir que distritos tinham um desempenho ruim e que distritos estavam melhor que os outros Assim aprenderam com os de melhor desempenho ao perguntar Por que seus resultados satildeo tatildeo bons O que estavam a fazer de diferente O que poderia ser replicado Finalmente aplicaram a aprendizagem ao usar esses distritos como modelos e ao oferecer mais apoio aos de pior desempenho
Todo o sistema de sauacutede se entusiasmou com as informaccedilotildees que podiam produzir e usar A comeccedilar do topo esse entusiasmo chegou aos niacuteveis inferiores e os motivou a melhorar sua recolha e processamento de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 939
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
haacutebil e com 75 de precisatildeo satildeo melhores que as informaccedilotildees com 95 de precisatildeo que chegam com vaacuterios meses de atraso
Apesar do seu grande valor por si soacutes os dados do SIS natildeo atenderatildeo a todas as necessidades de informaccedilatildeo de muitas organizaccedilotildees Algumas organizaccedilotildees e agecircncias doadoras precisam de dados que exigem avaliaccedilotildees ou sistemas especiais Aleacutem disso vaacuterias intervenccedilotildees foram projectadas para modificar o conhecimento as atitudes e as praacuteticas dos beneficiaacuterios factores que natildeo satildeo capturados nos dados de serviccedilo Eacute importante usar os dados do SIS sempre que possiacutevel e complementaacute-los com avaliaccedilotildees locais quando necessaacuterio
Como gestor de um programa de sauacutede ou de serviccedilos de sauacutede parte do seu trabalho deveria ser o de melhorar o SIS em seu paiacutes Ele eacute o uacutenico sistema de informaccedilotildees sustentaacutevel na maioria dos paiacuteses Os sistemas de informaccedilatildeo criados e mantidos por agecircncias doadoras ou organizaccedilotildees externas tecircm duraccedilatildeo limitada mas o SIS eacute parte permanente do seu legado
Se todos os parceiros e agecircncias doadoras trabalharem com o Ministeacuterio de Sauacutede para prestar assistecircncia teacutecnica e financeira ao SIS ele poderaacute render informaccedilotildees que trazem grandes melhorias para os serviccedilos de sauacutede e que justificam plenamente o investimento no mesmo
Praacuteticas comprovadas
Um sistema de MampA deveria proporcionar aos gestores o que eles precisam saber para agir Deve se basear em indicadores relevantes faacuteceis de usar e que possam ser fornecidos em tempo haacutebil para os ciclos de planeamento e apresentaccedilatildeo de relatoacuterios
Os resultados de MampA natildeo se destinam apenas ao pessoal de MampA da sua organizaccedilatildeo ou agrave agecircncia doadora As informaccedilotildees de MampA satildeo um recurso fundamental para as acccedilotildees e a aprendizagem Se o seu processo de MampA tiver mecanismos de retroinformaccedilatildeo que permitam aos tomadores de decisotildees reflectirem sobre os resultados e absorverem o que precisam para seus proacuteprios fins eles assumiratildeo o controlo do processo e utilizaratildeo o que ele oferecer
Se vocecirc define suas actividades de MampA no comeccedilo de uma intervenccedilatildeo ou projecto junto com o plano de acccedilatildeo para o projecto teraacute mais oportunidades de orientar e acompanhar a implementaccedilatildeo das actividades
Quando satildeo demasiado elaborados e complicados os planos de MampA natildeo satildeo usados Elabore um plano de MampA simples escolha ferramentas de monitoria faacuteceis de usar e seleccione a menor quantidade possiacutevel de indicadores para acompanhar o progresso e introduzir as mudanccedilas necessaacuterias ao longo do caminho
Para fortalecer um SIS eacute preciso trabalhar com as pessoas envolvidas os responsaacuteveis pelo sistema que registam transferem analisam comunicam e utilizam os dados e as informaccedilotildees para a gestatildeo dos serviccedilos
Ao fornecer os dados do SIS para os tomadores de decisotildees vocecirc deve reconhecer as diferenccedilas na frequecircncia dos relatoacuterios e nas quantidades de dados agregados e desagregados necessaacuterios aos niacuteveis diferentes de governo ou agraves organizaccedilotildees natildeo governamentais
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 92
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Introduccedilatildeo
Dentro da comunidade ligada ao desenvolvimento a ecircnfase cada vez maior na produccedilatildeo de resultados quantificaacuteveis aumentou o interesse por MampA e a atenccedilatildeo a essas actividades Fala-se muito sobre o planeamento baseado em resultados a estrutura de resultados e as equipas voltadas a resultados Mas as pessoas tambeacutem se confundem frequentemente sobre o que monitorar o que avaliar e sobre a melhor forma de executar as duas tarefas
A tendecircncia eacute esquecer a importacircncia de uma boa e soacutelida monitoria essencial para fornecer aos gestores as informaccedilotildees necessaacuterias para agirem e obterem resultados Na pressa para fazer avaliaccedilotildees algumas organizaccedilotildees subestimam a monitoria em benefiacutecio da avaliaccedilatildeo para poderem mostrar resultados A monitoria eacute frequentemente uma praacutetica subutilizada que pode acabar por se perder no trajecto entre avaliadores e planeadores
No seu trabalho de gestor vocecirc e a sua equipe precisam das informaccedilotildees obtidas com ambas a monitoria e a avaliaccedilatildeo para gerir as actividades e obter resultados Provavelmente utilizaraacute suas habilidades de MampA para avaliar os insumos de sauacutede actividades resultados imediatos e resultados a meacutedio e longo prazo (termos que seratildeo discutidos mais adiante neste capiacutetulo) Provavelmente natildeo seraacute solicitado a medir o impacto Com excepccedilatildeo das organizaccedilotildees de grande porte soacutelidas e com muitos recursos a avaliaccedilatildeo de impacto eacute geralmente responsabilidade do Ministeacuterio da Sauacutede ou da agecircncia doadora Apesar de a avaliaccedilatildeo do impacto natildeo ser parte do acircmbito deste capiacutetulo encontraraacute ligaccedilotildees (links) com materiais uacuteteis sobre o assunto
Este capiacutetulo natildeo interessa apenas ao pessoal de MampA ou do SIS O puacuteblico-alvo eacute muito maior e inclui
directores e outros gestores de niacutevel superior em organizaccedilotildees da sociedade civil (OSCs) nomeadamente organizaccedilotildees natildeo governamentais (ONGs) organizaccedilotildees religiosas (OREs) e outras organizaccedilotildees sem fins lucrativos
gestores de projectos financiados por agecircncias doadoras e implementados por OSCs
gestores em niacutevel distrital e dos centros de sauacutede do sector puacuteblico pessoal de MampA e de SIS das organizaccedilotildees financiadas por agecircncias doadoras e
do sector puacuteblico
Informaccedilotildees para a gestatildeo de serviccedilos de sauacutede
Todos sabemos que os gestores de sauacutede e os profissionais de sauacutede precisam ter um melhor acesso a informaccedilotildees confiaacuteveis e melhores formas de usar essas informaccedilotildees para monitorar o desempenho e gerir os serviccedilos A gestatildeo eficaz de todo o sistema de sauacutede depende do uso adequado de informaccedilotildees precisas e obtidas em tempo haacutebil por funcionaacuterios de todos os niacuteveis Esse uso das informaccedilotildees depende por sua vez da capacidade do SIS de gerar informaccedilotildees uacuteteis
SUBSISTEMAS E CICLOS DE UM SISTEMA DE INFORMACcedilOtildeES DE SAUacuteDE
A publicaccedilatildeo da Organizaccedilatildeo Mundial de Sauacutede (OMS) Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action [Um esforccedilo colectivo como fortalecer os sistemas de sauacutede para obter melhores resultados a meacutedio e longo prazo O plano de acccedilatildeo da OMS] revela que a informaccedilatildeo eacute um dos seis pilares
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 93
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
essenciais de qualquer sistema de sauacutede A OMS define um SIS eficiente como ldquoaquele que garante a produccedilatildeo anaacutelise difusatildeo e uso de informaccedilotildees confiaacuteveis e em tempo haacutebil sobre factores os determinantes da sauacutede o desempenho do sistema de sauacutede e o estado da sauacutederdquo (OMS 2007) O termo SIS geralmente engloba os vaacuterios subsistemas que fornecem as informaccedilotildees necessaacuterias para a gestatildeo de serviccedilos de sauacutede A Figura 1 apresenta uma visatildeo geral dos subsistemas comuns dentro de um SIS
Um SIS bem projectado e eficiente fornece suporte aos processos essenciais e necessaacuterios para gerir os serviccedilos de sauacutede Esses processos satildeo ciacuteclicos e constantes e a recolha anaacutelise e uso das informaccedilotildees para executar as funccedilotildees de gestatildeo de sauacutede tambeacutem criam um processo ciacuteclico
A Figura 2 mostra o MampA como um elemento de um ciclo de gestatildeo tiacutepico que fornece dados para um ciclo de informaccedilotildees Eles satildeo aiacute processados e se transformam em informaccedilotildees que satildeo enviadas de volta para vaacuterias funccedilotildees do ciclo de gestatildeo
FIGURA 1 Subsistemas comuns de informaccedilotildees sobre sauacutede
Vigilacircncia epidemioloacutegica
Detecccedilatildeo e notificaccedilatildeo sobre doenccedilas e factores de risco investigaccedilatildeo de acompanhamento e medidas para controlo de surtos
Relatoacuterios sobre serviccedilos de rotina
Registo e apresentaccedilatildeo de relatoacuterios sobre os serviccedilos dos centros de sauacutede serviccedilos de alcance social e serviccedilos comunitaacuterios em termos de monitoria dos casos e monitoria do desempenho (qualidade) das tarefas dos serviccedilos do desempenho da cobertura e alcance
social dos serviccedilos e da disponibilidade e uso de recursos
Relatoacuterios sobre programas especiacuteficos
Programas tais como
prevenccedilatildeo e controlo da malaacuteria
sauacutede reprodutiva e planeamento familiar (PF)
imunizaccedilatildeo
controlo da tuberculose
prevenccedilatildeo e controlo de VIHSIDA e DSTs
controlo da lepra
gestatildeo integrada de doenccedilas infantis
aacutegua e saneamento
seguranccedila e higiene alimentar
Informaccedilotildees administrativas
gestatildeo financeira e orccedilamentaacuteria
gestatildeo de recursos humanos
administraccedilatildeo de formaccedilatildeo
gestatildeo de suprimentos e medicamentos essenciais
desenvolvimento e manutenccedilatildeo dos centros de sauacutede e equipamentos
gestatildeo das investigaccedilotildees de sauacutede
gestatildeo de documentos e dados
gestatildeo de recursos externos
Registos vitais
Registo de nascimentos mortes formaccedilatildeo de famiacutelia e migraccedilatildeo nos sistemas civil e de sauacutede
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 94
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
DIFERENCcedilAS ENTRE MONITORIA E AVALIACcedilAtildeO
Monitoria e avaliaccedilatildeo satildeo funccedilotildees essenciais de gestatildeo de uma organizaccedilatildeo Juntas elas permitem decisotildees informadas uma melhor utilizaccedilatildeo dos recursos e uma avaliaccedilatildeo objectiva de ateacute que ponto os serviccedilos e outras actividades de uma organizaccedilatildeo permitiram a obtenccedilatildeo de um resultado esperado
Para tomar decisotildees informadas os gestores de sauacutede precisam de um sistema de MampA que forneccedila informaccedilotildees confiaacuteveis sobre factores tais como os seguintes
as necessidades de sauacutede das pessoas na aacuterea de captaccedilatildeo ou seja a aacuterea de onde vecircm os utentes dos serviccedilos
as prioridades do paiacutes proviacutencia distrito e comunidades a que servem a qualidade e cobertura dos serviccedilos que oferecem os recursos que eles utilizaram e os recursos ainda disponiacuteveis o progresso na implementaccedilatildeo das suas actividades
Tanto as actividades de monitoria quanto as de avaliaccedilatildeo satildeo necessaacuterias para satisfazer essas necessidades de informaccedilatildeo Mas qual delas deve ser usada e quando As diferenccedilas entre monitoria e avaliaccedilatildeo residem nos seus propoacutesitos prazos e fontes de informaccedilatildeo
A Monitoria eacute usada para rastrear continuamente as mudanccedilas nos indicadores ndash marcadores mensuraacuteveis de mudanccedila ao longo do tempo ndash de modo a gerir a implementaccedilatildeo de um programa A monitoria mede o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos actividades resultados imediatos e por vezes resultados de curto prazo Para vocecirc como gestor isso pode envolver monitorar o progresso por referecircncia aos seus planos operacionais eou monitoria dos serviccedilos que oferece
Os procedimentos comuns para a monitoria de programas incluem acompanhar as estatiacutesticas sobre serviccedilos e examinar os registos e relatoacuterios sobre formaccedilatildeo A monitoria regular e sistemaacutetica fornece informaccedilotildees para fins de planeamento e uma base confiaacutevel para realizar uma avaliaccedilatildeo
FIGURA 2 Relaccedilatildeo entre as informaccedilotildees e os ciclos de gestatildeo
Ciclo de informaccedilotildees
Ciclo de gestatildeo
Orccedilamento
Implementaccedilatildeo
Controlo
Monitoria e avaliaccedilatildeo
Planeamento
Apresentaccedilatildeo de informaccedilotildees
Interpretaccedilatildeo das informaccedilotildees
Uso das informaccedilotildees
Recolha de dados
Anaacutelise de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 95
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A Avaliaccedilatildeo por outro lado eacute usada para avaliar a eficaacutecia (e por vezes o custo) dos esforccedilos para melhorar os serviccedilos e para prevenir e controlar os problemas prioritaacuterios de sauacutede A avaliaccedilatildeo mede os resultados a meacutedio e longo prazo e o impacto Avalia em que medida sua organizaccedilatildeo estaacute a atingir os resultados esperados e o ajuda a entender por que os resultados foram ou natildeo atingidos A avaliaccedilatildeo eacute tambeacutem uma oportunidade de aprendizado constante a partir das experiecircncias
Portanto o primeiro factor que diferencia a monitoria da avaliaccedilatildeo eacute uma diferenccedila de propoacutesito A monitoria eacute motivada por uma necessidade de gestatildeo ao passo que a avaliaccedilatildeo eacute motivada pela necessidade de documentar os resultados a meacutedio e longo prazo de uma intervenccedilatildeo e relataacute-los a uma agecircncia doadora ou a outros grupos de interesse A monitoria portanto se concentra na implementaccedilatildeo operacional ao passo que a avaliaccedilatildeo se concentra nos efeitos das actividades sobre a sauacutede da populaccedilatildeo-alvo
Isso nos leva a uma segunda diferenccedila criacutetica o periacuteodo durante o qual cada uma delas eacute usada A monitoria eacute um processo rotineiro e constante usado durante toda a intervenccedilatildeo A avaliaccedilatildeo requer a recolha de dados basais preliminares (como referecircncia) e de dados apoacutes a intervenccedilatildeo que lhe permitem comparar as mudanccedilas durante o periacuteodo da intervenccedilatildeo e agraves vezes apoacutes um periacuteodo adequado de acompanhamento
Por uacuteltimo uma terceira diferenccedila diz respeito agraves fontes de informaccedilatildeo que cada funccedilatildeo utiliza Os dados para a monitoria geralmente provecircm do que estaacute imediatamente disponiacutevel do sistema de informaccedilatildeo de sauacutede ou de registos de serviccedilos de rotina As estatiacutesticas dos serviccedilos fornecem dados de monitoria tais como stocks de suprimentos nuacutemeros de doses de vacinas ministradas mensalmente e resultados de utentes Os dados de monitoria tambeacutem podem ser obtidos ao compilar os registos de rotina da organizaccedilatildeo Um exemplo satildeo as listas de participantes de workshops de formaccedilatildeo que podem dar informaccedilotildees sobre o nuacutemero de pessoas que receberam formaccedilatildeo sobre um toacutepico especiacutefico
Os indicadores de impacto e de resultados a meacutedio e longo prazo devem ser medidos no niacutevel dos beneficiaacuterios ou da populaccedilatildeo e devem ser obtidos por meio de uma avaliaccedilatildeo Por exemplo para determinar o resultado a meacutedio e longo prazo de uma iniciativa de orientaccedilatildeo sobre planeamento familiar precisaria saber a percentagem de mulheres entre as orientadas que de facto adoptaram um meacutetodo de planeamento familiar Natildeo poderia obter essas informaccedilotildees a partir das estatiacutesticas sobre serviccedilos nem de registos de rotina da organizaccedilatildeo precisaria realizar um inqueacuterito para recolher os dados
Medidas comuns em uma avaliaccedilatildeo incluem as mudanccedilas de uso dos serviccedilos de sauacutede de um periacuteodo para outro a proporccedilatildeo de partos seguros a cobertura de serviccedilos de imunizaccedilatildeo e as mudanccedilas no conhecimento atitudes ou comportamento de um grupo-alvo
Praacuteticas de lideranccedila e gestatildeo para a monitoria e a avaliaccedilatildeo Apesar das diferenccedilas entre monitoria e avaliaccedilatildeo as duas funccedilotildees seratildeo optimizadas se usar outras praacuteticas de lideranccedila e gestatildeo quando executar tarefas de monitoria ou avaliaccedilatildeo Por exemplo monitoria e avaliaccedilatildeo ndash uma das praacuteticas de gestatildeo discutidas no Capiacutetulo 2 deste manual ndash exigem que vocecirc focalize as metas e prioridades e use suas habilidades de exploraccedilatildeo para recolher e analisar os dados apropriados Em resposta aos resultados recolhidos por meio da monitoria e avaliaccedilatildeo talvez precise focalizar e alinhar e mobilizar o pessoal para modificar os planos de intervenccedilatildeo de modo a obter resultados melhores A depender da medida em que as actividades estejam a atingir seus objectivos e os resultados esperados vocecirc poderaacute tambeacutem utilizar as informaccedilotildees de MampA para inspirar o pessoal a melhorar seu desempenho ou continuar a fazer um bom trabalho
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 96
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para gerir as actividades de MampA precisaraacute desenvolver um plano de MampA e entatildeo organizar as estruturas subsistemas e processos para implementar o plano Finalmente teraacute que monitorar e avaliar o programa de MampA para determinar o progresso no alcance dos resultados esperados
As principais praacuteticas de lideranccedila e gestatildeo discutidas aqui e no Capiacutetulo 2 deste manual satildeo tambeacutem descritas em detalhes no Centro de Recursos Electroacutenicos da MSH da secccedilatildeo de Desenvolvimento da Lideranccedila intitulada ldquoComo criar liacutederes que lideramrdquo
De quem eacute a MampA
Quem utiliza a MampA Quem precisa de informaccedilotildees de sauacutede Os gestores de todos os niacuteveis de uma organizaccedilatildeo tecircm interesse em utilizar as informaccedilotildees como base para a acccedilatildeo Isso lhes permite serem gestores e liacutederes eficazes em todos os niacuteveis Na verdade os gestores constituem a fundaccedilatildeo do sistema de MampA
O problema eacute que a funccedilatildeo de MampA nem sempre eacute integrada agrave organizaccedilatildeo Em muitos casos as organizaccedilotildees ndash e por vezes as agecircncias doadoras ndash actuam como se a MampA fosse responsabilidade apenas do pessoal de MampA Sem um processo adequado de comunicaccedilatildeo e retroinformaccedilatildeo as informaccedilotildees e o conhecimento poderiam permanecer nas matildeos do pessoal de MampA Como consequecircncia os resultados (bons ou maus) nem sempre satildeo informados agraves pessoas que precisam deles e as informaccedilotildees natildeo satildeo utilizadas para as decisotildees de gestatildeo
Eacute muito frequente por exemplo que se realize uma avaliaccedilatildeo e se produzam informaccedilotildees para atender agraves necessidades de uma agecircncia doadora ou uma agecircncia do governo e natildeo para melhorar os serviccedilos de uma organizaccedilatildeo Uma forma de garantir que os resultados da avaliaccedilatildeo sejam usados eacute fazer com que os gestores de todos os niacuteveis de uma organizaccedilatildeo desde o centro de sauacutede ateacute o Ministeacuterio da Sauacutede detenham o controlo dos processos e dos resultados de MampA
Necessidades de informaccedilatildeo em niacuteveis diferentes Nem todas as informaccedilotildees satildeo necessaacuterias em todos os niacuteveis e a todo o tempo Gestores agecircncias doadoras e o governo central podem precisar de informaccedilotildees diferentes em momentos diferentes para cumprir seus requisitos de apresentaccedilatildeo de relatoacuterios e para tomar decisotildees Os gestores de projectos financiados por agecircncias doadoras por exemplo trabalham geralmente em um ciclo trimestral ou bienal de apresentaccedilatildeo de relatoacuterios ao passo que o Ministeacuterio da Sauacutede pode precisar de dados que cubram um periacuteodo de trecircs a cinco anos para demonstrar seu impacto e para apresentaacute-los aos poliacuteticos e aos meios de comunicaccedilatildeo
As necessidades de informaccedilatildeo de um sistema de sauacutede podem ser vistas sob a forma de uma hierarquia A Figura 3 mostra que se necessita de volumes cada vez menores de informaccedilatildeo agrave medida que se sobe nos niacuteveis de uma organizaccedilatildeo Existe um conjunto baacutesico de informaccedilotildees de que os gestores de todos os niacuteveis precisam mas apenas um pequeno subconjunto dessas informaccedilotildees eacute necessaacuterio no niacutevel nacional No niacutevel de distrito e dos centros de sauacutede os gestores precisam de informaccedilotildees desagregadas e de forma contiacutenua porque eacute nesses niacuteveis que se empreendem acccedilotildees em resposta a dados operacionais (por ex falta de estoque e abandono de tratamento)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 97
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria dos indicadores operacionais tem menos importacircncia no niacutevel nacional Os que tomam decisotildees no niacutevel nacional precisam na verdade de indicadores que meccedilam o impacto dos programas e serviccedilos de sauacutede no estado de sauacutede a longo prazo Por isso deve-se projectar um SIS para atender a todos os seus utentes fornecendo informaccedilotildees confiaacuteveis a curto meacutedio e longo prazo
No niacutevel do centro de sauacutede por exemplo os gestores recolheriam e utilizariam informaccedilotildees sobre a distribuiccedilatildeo mensal de contraceptivos medicamentos fora de estoque e abandono de tratamento Nos niacuteveis distritais e provinciais ou na sede de uma ONG de grande porte as informaccedilotildees mais uacuteteis seriam taxas anuais de prevalecircncia do uso de contraceptivos ao passo que para o Ministeacuterio de Sauacutede poderiam ser as taxas de mortalidade e morbidade materna a intervalos de trecircs a cinco anos
Para uma discussatildeo mais detalhada sobre a hierarquia das necessidades de informaccedilotildees consulte um artigo no website da OMS
Princiacutepios para uma melhor gestatildeo das informaccedilotildees O Capiacutetulo 1 deste manual afirma que nenhum sistema de gestatildeo pode ser fortalecido se as pessoas natildeo forem incluiacutedas no processo O mesmo se aplica a um SIS Eacute preciso trabalhar com as pessoas envolvidas aquelas que controlam o sistema e registam transferem analisam comunicam e usam os dados e informaccedilotildees para gerir os serviccedilos
Como deveriacuteamos trabalhar com as pessoas no SIS O Quadro 1 apresenta os princiacutepios baacutesicos para criar um SIS eficiente ou melhorar a gestatildeo das informaccedilotildees O objectivo eacute aumentar a disponibilidade e a confiabilidade das informaccedilotildees para que possam ser usadas com mais eficaacutecia na gestatildeo das organizaccedilotildees de sauacutede e dos serviccedilos Esses princiacutepios enfatizam a necessidade da participaccedilatildeo integral de todo o pessoal do SIS e dos gestores e profissionais de sauacutede que utilizaratildeo as informaccedilotildees
FIGURA 3 Hierarquia das necessidades de informaccedilotildees
Informaccedilotildees utilizadas por gestores de programa nacional
Informaccedilotildees recolhidas pelo centro de sauacutede e aiacute utilizadas
Informaccedilotildees exigidas por autoridade nacional
Informaccedilotildees adicionais exigidas por distrito ou departamento municipal
Informaccedilotildees adicionais exigidas para direcccedilatildeo do centro de sauacutede
Fonte Reproduzido com autorizaccedilatildeo de ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo por Vincent Shaw 2005
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 98
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
QUADRO 1 Princiacutepios orientadores para melhorar a gestatildeo das informaccedilotildees
Entenda as funccedilotildees e responsabilidades dos serviccedilos de sauacutede Como o SIS estaacute vinculado ao ciclo de gestatildeo de sauacutede um preacute-requisito para melhorar o SIS eacute entender claramente as funccedilotildees e responsabilidades de cada serviccedilo de sauacutede programa niacutevel de operaccedilotildees e sector (puacuteblico privado comunitaacuterio OSC ONG) envolvido na prestaccedilatildeo de serviccedilos de sauacutede
Focalize na melhoria da sauacutede e dos serviccedilos de sauacutede Quaisquer mudanccedilas nos registos e relatoacuterios de sauacutede devem ser feitas com vistas a melhorar o desempenho dos serviccedilos de sauacutede Eacute importante buscar formas de atender agraves necessidades de informaccedilatildeo em niacuteveis superiores do sistema de sauacutede sem pedir aos gestores e profissionais de sauacutede que registem e reportem dados que natildeo sejam utilizados no niacutevel da prestaccedilatildeo de serviccedilos
Fortaleccedila os sistemas existentes Apesar de ser tentador reformular completamente os sistemas e integrar sistemas paralelos de registos que satildeo especiacuteficos a certos programas o tempo dinheiro interrupccedilatildeo e outros custos de fazer isso satildeo maiores que os possiacuteveis benefiacutecios Poucos esforccedilos para desenvolver SIS totalmente integrados tiveram sucesso Uma opccedilatildeo melhor eacute definir padrotildees de formatos e codificaccedilatildeo de dados que facilitem o intercacircmbio de dados entre sistemas separados
Procure garantir a aceitaccedilatildeo em niacutevel nacional Todas as actividades para desenvolver ou melhorar um sistema de informaccedilotildees devem ser realizadas por grupos de trabalho do proacuteprio paiacutes sob a gestatildeo de pessoal nacional Eacute essencial ter a participaccedilatildeo natildeo soacute do pessoal ligado aos sistemas de informaccedilatildeo mas tambeacutem de gestores e prestadores de serviccedilos esses uacuteltimos as principais pessoas para dar informaccedilotildees Se for necessaacuterio usar um consultor externo essa pessoa deve assumir um papel de facilitador que permita que o pessoal local desenvolva seu proacuteprio sistema Por meio da participaccedilatildeo activa eles entenderatildeo e assumiratildeo o controlo dos meacutetodos e instrumentos do sistema e ao fazer isso se tornaratildeo melhores para mantecirc-lo
Reforce as habilidades do pessoal de sauacutede Essas habilidades incluem registar relatar transmitir processar apresentar analisar e interpretar os dados e usaacute-los para a tomada de decisotildees Usar e manter sistemas de computaccedilatildeo eacute algo que tambeacutem pode ser ensinado O meacutetodo recomendado para desenvolver habilidades eacute ldquoaprender ao fazerrdquo atraveacutes do seguinte
workshops no local de serviccedilo em que pessoal do serviccedilo de sauacutede e os gestores de dados trabalham juntos para solucionar problemas reais usando dados reais
envolver o pessoal nacional nos estudos de planeamento e implementaccedilatildeo e no desenho das mudanccedilas do sistema
esclarecer os papeacuteis e responsabilidades atraveacutes da promoccedilatildeo do consenso
Use a tecnologia de forma apropriada Vocecirc pode usar computadores para a manutenccedilatildeo de banco de dados geraccedilatildeo de relatoacuterios anaacutelise de dados e comunicaccedilotildees se seus sistemas de computaccedilatildeo e software puderem ser mantidos localmente com pessoal jaacute existente Mas certifique-se de que a informatizaccedilatildeo natildeo prejudicaraacute o fluxo e acesso aos dados natildeo sobrecarregaraacute as pessoas de trabalho e natildeo estimularaacute a falsificaccedilatildeo dos dados o que reduziria a confiabilidade dos mesmos
Aceda ao Centro de Recursos Electroacutenicos da MSH para obter enlaces (links) para orientaccedilatildeo adicional sobre gestatildeo de informaccedilotildees
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 99
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria como um caminho para a acccedilatildeo
A IMPORTAcircNCIA DA MONITORIA DE ROTINA
Por que soacute a avaliaccedilatildeo natildeo basta Na comunidade envolvida com o desenvolvimento algumas organizaccedilotildees tendem a confiar mais nos estudos de avaliaccedilatildeo do que numa soacutelida monitoria dos programas Muitas pretendem executar tanto a monitoria quanto a avaliaccedilatildeo mas na praacutetica geralmente dedicam mais tempo e recursos agrave avaliaccedilatildeo
As agecircncias doadoras os governos e as organizaccedilotildees podem preferir as avaliaccedilotildees porque elas fornecem evidecircncias mais palpaacuteveis de progresso tais como a prevalecircncia do uso de contraceptivos (uma medida tiacutepica de resultado a meacutedio e longo prazo para planeamento familiarsauacutede reprodutiva) medida por meio de um inqueacuterito anual domiciliar
A monitoria natildeo pode produzir o indicador de resultado a meacutedio e longo prazo ndash a evidecircncia palpaacutevel de que esses contraceptivos estatildeo efectivamente a ser utilizados Ela pode apenas fornecer um indicador de progresso ou um marco de referecircncia ndash tal como a distribuiccedilatildeo mensal de contraceptivos ndash que lhe permite acompanhar o progresso em direcccedilatildeo agraves metas operacionais Vocecirc pode monitorar a distribuiccedilatildeo de produtos mas natildeo pode concluir que os produtos estejam a ser efectivamente utilizados
Mas para um gestor como vocecirc os dados sobre distribuiccedilatildeo satildeo exactamente o tipo de informaccedilatildeo de que precisa para demonstrar o progresso no alcance da meta e para fazer seu trabalho de forma eficaz
Veja por exemplo uma intervenccedilatildeo para a mudanccedila de comportamento no Peru a qual estaacute descrita e analisada no quadro abaixo
No contexto de serviccedilos de sauacutede do governo os gestores de distrito e de centros de sauacutede precisam monitorar tanto os indicadores de resultados a meacutedio e longo prazo como os indicadores de cobertura Os indicadores de cobertura informam ao gestor de sauacutede se os serviccedilos essenciais estatildeo a ser fornecidos a grupos-alvo especiacuteficos e permitem assim agir rapidamente para resolver falhas na prestaccedilatildeo de serviccedilos a subgrupos ou comunidades carentes
Um bom sistema de monitoria lhe fornece as informaccedilotildees criacuteticas para gerir a intervenccedilatildeo e tomar medidas correctivas imediatamente Uma avaliaccedilatildeo natildeo lhe daacute esse tipo de informaccedilatildeo Portanto quando se vecirc um bom sistema de monitoria eacute geralmente porque um gestor estaacute a impulsionaacute-lo porque precisa de informaccedilotildees de monitoria fornecidas pelo sistema de MampA para que o dito gestor possa comeccedilar a agir
COMO PRODUZIR INFORMACcedilOtildeES ACCIONAacuteVEIS
As informaccedilotildees accionaacuteveis satildeo dados que vocecirc pode usar para tomar uma decisatildeo e empreender uma acccedilatildeo Elas ajudam a identificar falhas de desempenho e encontrar maneiras de resolver essas falhas Para serem accionaacuteveis as informaccedilotildees obtidas com a monitoria devem se basear em indicadores uacuteteis produzidos em formato simples e em tempo haacutebil para o ciclo de planeamento ou apresentaccedilatildeo de relatoacuterios
ldquoAccionaacutevelrdquo significa coisas diferentes para diferentes utentes As informaccedilotildees de que o gestor precisa natildeo satildeo iguais agraves informaccedilotildees de que o director executivo de uma organizaccedilatildeo ou o ministeacuterio de sauacutede utilizariam para apresentar relatoacuterios para agecircncias doadoras poliacuteticos ou para a miacutedia
Como produzir informaccedilotildees accionaacuteveis para o gestor
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 910
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Em primeiro lugar os indicadores devem ser uacuteteis para o gestor Eles devem estar directamente relacionados com o plano operacional da organizaccedilatildeo (ou o plano de intervenccedilatildeo) e os resultados esperados Algumas organizaccedilotildees tecircm a tendecircncia de focalizar a monitoria do processo entre os inqueacuteritos sobre conhecimentos atitudes e praacuteticas (CAP) Isso significa que monitoram os processos tais como a formaccedilatildeo Quem recebeu formaccedilatildeo Em que toacutepicos Quando Isto eacute importante mas natildeo o suficiente A monitoria do processo natildeo monitora o progresso para atingir os resultados simplesmente acompanha a conclusatildeo das actividades
Aleacutem da monitoria do processo os gestores tambeacutem precisam monitorar os indicadores substitutos que indicam o maacuteximo que vocecirc se aproximaraacute dos resultados reais durante a implementaccedilatildeo de um conjunto de actividades quando os resultados natildeo forem ainda facilmente mensuraacuteveis Os indicadores substitutos satildeo medidas indirectas que se aproximam de um alvo ou resultado ou representam esse alvo ou resultado quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis
Por exemplo no caso da prestaccedilatildeo de serviccedilos de planeamento familiar como determinados contraceptivos satildeo distribuiacutedos atraveacutes do centro de sauacutede os dados de monitoria deveriam vir do centro de sauacutede Apesar de natildeo se poder concluir que o resultado-alvo tenha sido atingido ndash que os produtos estejam efectivamente a ser utilizados pela populaccedilatildeo beneficiaacuteria ndash as informaccedilotildees sobre distribuiccedilatildeo fornecem pistas sobre a possibilidade de sucesso das actividades A maioria dos dados para monitorar os indicadores substitutos pode ser obtida a partir do SIS
As informaccedilotildees accionaacuteveis devem ser fornecidas em um formato utilizaacutevel Os gestores frequentemente recebem um excesso de informaccedilotildees em um formato muito complicado Eacute
Em acccedilatildeo o monitoramento para melhor gestatildeo de programas ndash Um exemplo do Peru
Uma organizaccedilatildeo de planeamento familiar local no Peru fez uma campanha de comunicaccedilatildeo para aumentar a prevalecircncia do uso de contraceptivos na aacuterea de captaccedilatildeo da organizaccedilatildeo Criaram os materiais e deram formaccedilatildeo aos trabalhadores de sauacutede comunitaacuterios para educar as mulheres nas suas aldeias A organizaccedilatildeo pretendia realizar apenas um inqueacuterito para obter dados baacutesicos preliminares para depois realizar inqueacuteritos sobre conhecimentos atitudes e praacuteticas (CAP) Esses eram os passos iniciais necessaacuterios e os meacutetodos adequados para avaliar a eficaacutecia da campanha mas a questatildeo eacute se forneceriam dados suficientes e accionaacuteveis para atender agraves necessidades do gestor Natildeo porque os resultados viriam apoacutes a campanha ser concluiacuteda O gestor precisava de informaccedilotildees para tomar medidas correctivas enquanto a campanha de comunicaccedilatildeo estava em andamento
Coloque-se no lugar do gestor nesse cenaacuterio O que precisaria monitorar Poderia comeccedilar com a distribuiccedilatildeo mensal de contraceptivos durante a campanha de comunicaccedilatildeo usando dados faacuteceis de obter do depoacutesito de suprimentos O movimento do stock dos produtos contraceptivos na cadeia de suprimentos indicaria que a campanha estava a criar uma demanda ao passo que nenhum movimento poderia indicar que a campanha ou o sistema de fornecimento natildeo estava a funcionar adequadamente Notam-se picos de distribuiccedilatildeo durante a campanha O movimento de contraceptivos eacute maior durante a campanha do que era antes
Se natildeo notar mudanccedilas apoacutes dois ou trecircs meses saberaacute que algo precisa ser modificado na campanha de comunicaccedilatildeo ou na cadeia de suprimentos ou em ambas Teraacute que fazer visitas ao local para descobrir os motivos O problema eacute a falta de stock Natildeo houve mudanccedila na distribuiccedilatildeo porque natildeo haacute produtos disponiacuteveis Ou natildeo houve mudanccedila porque a estaccedilatildeo de raacutedio natildeo transmitiu o anuacutencio informativo Ou talvez os agentes de distribuiccedilatildeo da comunidade nunca receberam os papeacuteis gigantes e os modelos de que precisavam para educar as mulheres nas suas comunidades
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 911
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
preciso ter uma ferramenta simples que lhe forneccedila apenas informaccedilotildees essenciais Poderaacute aprender mais sobre essas ferramentas na secccedilatildeo deste capiacutetulo intitulada ldquoCaracteriacutesticas de uma boa ferramenta de monitoriardquo
Por uacuteltimo os gestores precisam receber informaccedilotildees em tempo haacutebil para que possam agir imediatamente Os projectos implementados pelas organizaccedilotildees com fundos do governo ou de uma agecircncia doadora satildeo frequentemente conduzidos em dois periacuteodos de tempo
Por exemplo vocecirc poderaacute gerir um projecto que se estende por cinco anos desmembrado em ciclos anuais de apresentaccedilatildeo de relatoacuterios com base em planos de operaccedilatildeo anuais Mas para monitorar o plano anual e apresentar os relatoacuterios necessaacuterios vocecirc precisa de informaccedilotildees trimestrais Se os seus centros de sauacutede apresentarem os dados apoacutes o prazo estabelecido as informaccedilotildees natildeo chegaratildeo a tempo para os seus relatoacuterios
Informaccedilotildees em acccedilatildeo para melhorar os serviccedilos ndash experiecircncias da Boliacutevia e da Aacutefrica do Sul
Uso de informaccedilotildees para mobilizar a cadeia de suprimentos O programa de suplementaccedilatildeo de aacutecido foacutelico e ferro na Boliacutevia foi uma actividade de mobilizaccedilatildeo comunitaacuteria implementada por vaacuterias ONGs em aacutereas rurais do paiacutes
Surgiu um problema apoacutes apenas trecircs meses de implementaccedilatildeo Se a gestora tivesse confiado apenas na monitoria do processo teria visto que todas as actividades haviam sido executadas dentro do prazo e conforme planeadas Poreacutem os dados mensais dos centros de sauacutede das aacutereas de captaccedilatildeo atendidas pelo programa revelaram que em vaacuterias comunidades a distribuiccedilatildeo de ferro e aacutecido foacutelico para graacutevidas havia sido nula desde o primeiro mecircs de implementaccedilatildeo do programa
A gestora investigou imediatamente e descobriu que 16 centros de sauacutede estavam com faltas de stock Apesar de haver um protocolo escrito para a distribuiccedilatildeo de ferro e aacutecido foacutelico e de todos os centros de sauacutede possuiacuterem supostamente o produto nos seus stocks historicamente natildeo havia demanda para esse produto Os centros de sauacutede haviam decidido haacute muito tempo natildeo tecirc-lo mais em stock
A gestora levou o problema agrave atenccedilatildeo do vice-ministro de sauacutede e em poucos dias o Ministeacuterio da Sauacutede mobilizou toda a sua cadeia de suprimentos para garantir que havia um stock suficiente em toda a cadeia No final do ano a suplementaccedilatildeo de ferro e aacutecido foacutelico havia melhorado dramaticamente em todo o paiacutes Tudo isso aconteceu graccedilas a uma simples ferramenta de monitoria mensal que permitiu que a gestora tomasse medidas correctivas no iniacutecio da implementaccedilatildeo
Simplificaccedilatildeo da recolha de dados e estiacutemulo ao uso dos dados Sabe-se que se a recolha e o processamento dos dados forem muito complicados a qualidade e o uso dos mesmos tendem a diminuir Na Aacutefrica do Sul o pessoal de enfermagem dos centros de sauacutede eacute geralmente solicitado a executar duas funccedilotildees (1) cuidar dos utentes do sistema e (2) recolher e utilizar dados O problema eacute que esse pessoal se dedica principalmente a prestar cuidados e considera a recolha de dados uma sobrecarga de trabalho desnecessaacuteria aleacutem de suas actividades quotidianas
Um grupo de enfermeiras da Aacutefrica do Sul que reconheceu a importacircncia das informaccedilotildees para a prestaccedilatildeo dos serviccedilos decidiu tornar a recolha e uso de dados de rotina parte do seu trabalho diaacuterio Entenderam que era necessaacuterio reduzir a quantidade de dados necessaacuterios e simplificar o processo de recolha
Como resultado criaram uma lista itemizada ou lista de verificaccedilatildeo que lhes permitia ter ao final de cada dia um quadro raacutepido dos serviccedilos que haviam prestado No final do mecircs podiam tabular rapidamente e analisar os dados sobre seus serviccedilos Esse tipo de sumaacuterio diaacuterio e mensal das suas actividades foi extremamente satisfatoacuterio Ele motivou seu uso contiacutenuo para monitorar analisar e melhorar os serviccedilos
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 912
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Abordagens e ferramentas praacuteticas de MampA
QUADROS DE REFEREcircNCIA PARA A FORMULACcedilAtildeO MONITORIA E AVALIACcedilAtildeO DOS SERVICcedilOS DE SAUacuteDE
Os resultados de intervenccedilotildees programaacuteticas e nos serviccedilos de sauacutede podem ser medidos em niacuteveis variados Muitas directrizes de MampA se baseiam numa sequecircncia de cinco niacuteveis de resultados insumos actividades produtos resultados e impactos A Figura 4 resume os niacuteveis de resultados que podem ser monitorados e avaliados
Para compreender melhor a sequecircncia de resultados considere as definiccedilotildees abaixo
Insumos Os materiais e recursos necessaacuterios para executar o plano de implementaccedilatildeo da sua unidade ou equipa e obter o resultado esperado Os exemplos incluem os recursos financeiros teacutecnicos humanos suprimentos e produtos essenciais
Processo As actividades executadas por meio do seu plano de implementaccedilatildeo Os exemplos incluem a formaccedilatildeo dos profissionais de sauacutede a melhoria do sistema de gestatildeo de suprimentos e a distribuiccedilatildeo de meios de planeamento familiar
Produtos Eacute o resultado imediato de uma actividade Os exemplos incluem o nuacutemero de pessoas formadas o nuacutemero de novos utentes de contraceptivos e a quantidade de produtos distribuiacutedos
Resultados (a meacutedio e longo prazo) Eacute uma mudanccedila de curto prazo em um grupo da populaccedilatildeo como resultado de uma seacuterie de actividades Os exemplos incluem as mudanccedilas na cobertura do atendimento preacute-natal na proporccedilatildeo de partos seguros no conhecimento e atitudes sobre meacutetodos de planeamento familiar e sauacutede reprodutiva nas necessidades ainda natildeo atendidas de planeamento familiar e nas taxas de prevalecircncia do uso de contraceptivos
Impacto Mudanccedilas a longo prazo dentro de um grupo da populaccedilatildeo beneficiaacuteria Os exemplos incluem mudanccedilas na taxa total de fertilidade e nas taxas de mortalidade e morbidade maternas
Dois tipos de quadros de referecircncia satildeo comummente utilizados para planear e organizar a formulaccedilatildeo de uma intervenccedilatildeo ou serviccedilo e o seu plano de MampA quadros loacutegicos e quadros conceptuais
FIGURA 4 Niacuteveis da sequecircncia de resultados
InsumosProcessos
(actividades)Produtos Resultados Impacto
recursos humanos
recursos financeiros
equipa-mentos
centros de sauacutede
poliacuteticas
reuniotildees formaccedilatildeo supervisatildeo serviccedilos
nuacutemero de pessoal formado
nuacutemero de clientes
nuacutemero de produtos
melhor supervisatildeo
melhoria da cadeia de frio
mudanccedila no conheci-mento
mudanccedila no comporta-mento
mudanccedila nas praacuteticas
melhores serviccedilos
mudanccedila das taxas de doenccedila
mudanccedilas das taxas de oacutebitos
mudanccedila das taxas de nascimento
mudanccedilas das taxas de fertilidade
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 913
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
QUADROS LOacuteGICOS
Desde a elaboraccedilatildeo em 1969 de uma abordagem de quadro loacutegico para a USAID (Agecircncia dos EUA para o Desenvolvimento Internacional) os quadros loacutegicos (tambeacutem denominados Modelos Loacutegicos) foram adoptados depois de vaacuterias adaptaccedilotildees por vaacuterias organizaccedilotildees de desenvolvimento internacional e bilateral
A Figura 5 mostra os elementos de um Quadro Loacutegico
O Quadro Loacutegico ajuda os gestores e as equipas a responder a quatro perguntas principais
1 O que queremos realizar e por quecirc2 Como mediremos o sucesso 3 Que condiccedilotildees devem existir em cada fase da nossa intervenccedilatildeo4 Que recursos e processos seratildeo necessaacuterios para chegarmos laacute
Os Quadros Loacutegicos ajudam a identificar as conexotildees causais da sequecircncia de resultados insumos rarr processos (actividades) rarr produtos rarr resultados a meacutedio e longo prazo rarr impacto Essas conexotildees causais determinam a loacutegica da intervenccedilatildeo e orientam a selecccedilatildeo de indicadores para cada fase da sequecircncia de resultados
FIGURA 5 Elementos tiacutepicos de um quadro loacutegico
Objectivos IndicadoresFormas de verificaccedilatildeo Pressupostos
Meta O objectivo final ou impacto pretendido da intervenccedilatildeo
Medidas usadas para avaliar ateacute que ponto as metas foram atingidas
Meacutetodos e fontes de informaccedilatildeo para medir ou avaliar os indicadores de metas
Factores ou condiccedilotildees necessaacuterios para a sustentabilidade a longo prazo
PropoacutesitoResultado Mudanccedilas ou benefiacutecios esperados a serem conseguidos para utentes comunidades organizaccedilotildees ou sistemas
Medidas usadas para avaliar ateacute que ponto foi alcanccedilado o propoacutesito ou resultado
Meacutetodos e fontes de informaccedilatildeo para medir ou avaliar indicadores de propoacutesitoresultado
Factores ou condiccedilotildees necessaacuterios para o sucesso do programa nesse niacutevel e passagem para o seguinte niacutevel
Produtos Resultados directos e tangiacuteveis das actividades do programa que deveratildeo atingir o propoacutesito
Medidas usadas para avaliar ateacute que ponto os produtos foram apresentados
Meacutetodos e fontes de informaccedilatildeo para medir e avaliar os indicadores de produtos
Factores ou condiccedilotildees necessaacuterios para o sucesso do programa neste niacutevel e passagem para o seguinte niacutevel
ProcessosActividades Medidas tomadas por um programa para atingir os objectivos definidos
InsumosRecursos Pessoal tempo materiais e fundos necessaacuterios para executar as actividades
Meacutetodos e fontes de informaccedilatildeo utilizados para mostrar que as actividades foram concluiacutedas
Factores ou condiccedilotildees necessaacuterios para o sucesso do programa neste niacutevel e passagem para o seguinte niacutevel
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 914
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para entender como um Quadro Loacutegico explicita a loacutegica de uma intervenccedilatildeo examine novamente a Figura 5 Uma seacuterie de relacionamentos condicionais (ldquose entatildeordquo) conecta cada componente do Quadro Loacutegico
1 Se os recursos necessaacuterios estiverem disponiacuteveis e supondo-se que as condiccedilotildees sejam favoraacuteveis entatildeo as actividades do programa podem ser implementadas e
2 hellipse as actividades do programa forem implementadas com sucesso e supondo-se que existam condiccedilotildees favoraacuteveis especiacuteficas entatildeo os produtos e resultados esperados poderatildeo ser alcanccedilados e
3 hellipse os produtos e resultados esperados forem alcanccedilados e supondo-se que existam as condiccedilotildees favoraacuteveis especiacuteficas entatildeo a meta estrateacutegica poderaacute ser atingida
O Quadro Loacutegico pode ser uacutetil na conceptualizaccedilatildeo de um projecto durante o periacuteodo de planeamento e na avaliaccedilatildeo do progresso e aplicaccedilatildeo de medidas correctivas durante a implementaccedilatildeo Como qualquer outro quadro de referecircncia ele possui vantagens e desvantagens como mostra a Tabela 1
O Apecircndice A deste capiacutetulo fornece um exemplo de Quadro Loacutegico para um programa de visita domiciliar desenvolvido pelo Banco Interamericano de Desenvolvimento
QUADROS CONCEPTUAIS
Estes satildeo semelhantes aos Quadros Loacutegicos no sentido de que descrevem uma sequecircncia de resultados mas levam em consideraccedilatildeo as razotildees subjacentes de por que ocorrem as mudanccedilas ao longo da sequecircncia de resultados Enquanto os Quadros Loacutegicos simplesmente afirmam que as actividades traratildeo resultados ainda maiores os quadros conceptuais permitem mapear os factores que na sua opiniatildeo satildeo criacuteticos e explicam porque esses factores satildeo importantes para o sucesso
Este tipo de mapeamento ajuda a decidir que factores devem ser monitorados durante a implementaccedilatildeo das actividades Quando os dados mostram que esses elementos criacuteticos foram ou natildeo alcanccedilados pode-se compreender melhor por que uma intervenccedilatildeo teve ou natildeo sucesso e o que poderia ser modificado no futuro
Veja as vantagens e desvantagens dos quadros conceptuais na Tabela 2
TABELA 1 Visatildeo geral do quadro loacutegico
Vantagens Desvantagens
Melhora a qualidade dos planos de intervenccedilatildeo ao exigir a definiccedilatildeo de indicadores e objectivos claros e a anaacutelise de pressupostos e riscos
Quando usado regularmente durante uma intervenccedilatildeo eacute uma ferramenta de gestatildeo eficaz para orientar a implementaccedilatildeo e a MampA
Resume a elaboraccedilatildeo de planos complexos
Apoia a preparaccedilatildeo de planos de implementaccedilatildeo detalhados
Pressupotildee uma relaccedilatildeo linear entre insumos-produtos-resultados que natildeo leva em consideraccedilatildeo outros factores de influecircncia
Se usado rigidamente durante o processo de formulaccedilatildeo poderaacute restringir a criatividade e a inovaccedilatildeo
Se natildeo for actualizado durante a implementaccedilatildeo pode ser uma ferramenta estaacutetica que natildeo reflecte as condiccedilotildees em mudanccedila
Geralmente a formaccedilatildeo e o acompanhamento satildeo necessaacuterios para usar esse meacutetodo correctamente
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 915
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O modelo conhecido como Caminho de Mudanccedila (Pathway to Change) eacute um exemplo particularmente uacutetil de um quadro conceptual Esse modelo utiliza um formato de condicionalidade (ldquose entatildeordquo) para mostrar passo a passo como os resultados a meacutedio e longo prazo foram conceptualizados e como seratildeo alcanccedilados A Figura 6 eacute um exemplo de aplicaccedilatildeo do Caminho de Mudanccedila em um projecto de sauacutede de seis meses de duraccedilatildeo e acircmbito municipal na Nicaraacutegua
Caminho de Mudanccedila Tratamos deste modelo neste capiacutetulo devido agrave sua utilidade para os gestores e seus benefiacutecios como actividade de fortalecimento de uma equipa O estabelecimento de um Caminho de Mudanccedila eacute geralmente um processo participativo que permite que a sua equipa ou unidade e outros grupos de interesse formulem uma intervenccedilatildeo e determinem como ela vai funcionar O produto final eacute um mapa que mostra como uma acccedilatildeo estaacute relacionada com outras e como todas elas acrescentam algo ao resultado esperado Frequentemente o estabelecimento de um caminho expotildee as crenccedilas subjacentes que as pessoas de uma organizaccedilatildeo mantecircm sobre a forma em que suas acccedilotildees promovem mudanccedilas
A criaccedilatildeo de um Caminho de Mudanccedila tem vaacuterios benefiacutecios Em primeiro lugar exige que a sua equipa examine cada acccedilatildeo proposta e responda agraves seguintes perguntas
Todas as actividades contribuem para o resultado esperado Se a resposta for negativa algumas actividades deveriam ser modificadas acrescentadas ou eliminadas
As actividades satildeo sequenciais Elas estatildeo relacionadas de uma forma loacutegica Elas se somam umas agraves outras para formar um conjunto racional e coerente de acccedilotildees
Pensamos em todos os produtos e resultados necessaacuterios para atingir nosso resultado esperado
Temos os recursos necessaacuterios para implementar as actividades propostas Em quanto tempo atingiremos o resultado que desejamos Que outros factores podem contribuir ou entravar cada uma das actividades do
caminho
Em segundo lugar sua equipa deve tornar expliacutecita e chegar a um acordo sobre a loacutegica subjacente de um plano de intervenccedilatildeo Em outras palavras deve mostrar no papel como cada acccedilatildeo resultaraacute na mudanccedila desejada em cada niacutevel do mapa Por uacuteltimo o caminho define que resultados imediatos e resultados a meacutedio e longo prazo a equipa deve monitorar e que indicadores devem usar
TABELA 2 Visatildeo geral do quadro conceptual
Vantagens Desvantagens
Fornece um mapeamento visual e flexiacutevel de planos de intervenccedilatildeo complexos
Quando usado regularmente durante a implementaccedilatildeo permite uma retroinformaccedilatildeo antecipada do que estaacute ou natildeo a funcionar e por quecirc
Auxilia na identificaccedilatildeo de efeitos colaterais natildeo previstos
Ajuda a priorizar os problemas a serem investigados mais profundamente talvez ao usar meacutetodos mais focalizados de recolha de dados ou teacutecnicas mais sofisticadas de MampA
Pode se tornar extremamente complexo se a escala de actividades for muito grande ou se for reunida uma lista exaustiva de factores e pressupostos
Os grupos de interesse podem discordar sobre os factores determinantes que consideram ser os mais importantes
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 916
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Como se lecirc um mapa de Caminho de Mudanccedila O caminho pode ser lido como um fluxograma em que caixas e setas mostram a relaccedilatildeo entre as acccedilotildees e os efeitos como mostrado na Figura 6 O resultado esperado aparece no topo do caminho e os resultados imediatos que devem ser atingidos para se chegar laacute satildeo exibidos no proacuteximo niacutevel Os produtos que devem ser obtidos para conseguir os resultados a meacutedio e longo prazo aparecem no proacuteximo niacutevel inferior Finalmente as actividades aparecem no fundo ou base
Quando lido de baixo para cima o mapa mostra que actividades satildeo necessaacuterias para conseguir os produtos e que resultados a meacutedio e longo prazo satildeo necessaacuterios para se chegar ao topo Eacute preciso sempre poder traccedilar um caminho desde o comeccedilo de suas acccedilotildees ateacute o resultado esperado
Pode ser uacutetil imaginar o caminho como o organigrama de uma empresa vocecirc pode comeccedilar da base do organigrama como assistente administrativo passar a coordenador de escritoacuterio depois a uma funccedilatildeo de gestatildeo e finalmente ocupar o gabinete do director
A criaccedilatildeo de um Caminho de Mudanccedila Para desenvolver um Caminho da Mudanccedila sua equipa mapeia a mudanccedila de forma reversa Comeccedila no final do caminho (no topo da
FIGURA 6 Exemplo de um Caminho de Mudanccedila
Resultado 180 dos pacientes
estatildeo satisfeitos com os serviccedilos prestados no
centro de sauacutede
Resultado 260 das mulheres
entre 15 e 49 anos na aacuterea de captaccedilatildeo do centro de
sauacutede entendem a importacircncia do planeamento familiar
para o espaccedilamento dos nascimentos
Resultado 3Todos os meacutetodos
contraceptivos modernos estatildeo
disponiacuteveis no centro de sauacutede
Produto 1Os tempos de
espera no centro de sauacutede se
reduziram de 40 para 20 minutos
Produto 2Eacute oferecida
orientaccedilatildeo a todos os pacientes em
espaccedilo privado do centro de sauacutede
Produto 3Voluntaacuterias
realizam palestras semanais sobre temas
de sauacutede reprodutiva na comunidade
Produto 4Todos os stocks
de contraceptivos satildeo monitorados semanalmente
Actividade 1Realizar um
inqueacuterito sobre o uxo de
pacientes e cumprir
recomendaccedilotildees
Actividade 2Transformar um canto do
centro de sauacutede para a
orientaccedilatildeo dos pacientes
Actividade 3Mobilizar as
ONGs parceiras para imprimir panetos de informaccedilatildeo educaccedilatildeo e
comunicaccedilatildeo
Actividade 4Mobilizar as
ONGs parceiras para dar
formaccedilatildeo ou equipar as voluntaacuterias
Actividade 5Recrutar liacutederes
comunitaacuterios para prestar
apoio agraves palestras sobre
sauacutede reprodutiva
Actividade 6Desenvolver
um sistema de registo e
pedidos de suprimentos
contraceptivos
Resultado esperadoAumento na percentagem de utentes de planeamento familiar de 50 para 52
durante o periacuteodo de Junho a Dezembro de 2006
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 917
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
sequecircncia) e define a meta da organizaccedilatildeo a longo prazo ou o resultado esperado de uma intervenccedilatildeo Em seguida preenche o mapa ao trabalhar de cima para baixo onde identifica finalmente as actividades principais os primeiros elementos do seu plano de implementaccedilatildeo
Enquanto se desloca pelo caminho faccedila trecircs perguntas Que resultados precisam acontecer para contribuir agrave meta de longo prazo Que produtos precisam ser obtidos antes disso para alcanccedilar os resultados Que actividades precisam acontecer antes disso para conseguir os produtos
O desenho de uma intervenccedilatildeo dessa forma pode ajudar a revelar as condiccedilotildees necessaacuterias para atingir os resultados a meacutedio e longo prazo e a meta de longo prazo Talvez sejam necessaacuterias vaacuterias tentativas para criar um Caminho de Mudanccedila com o qual todos estejam de acordo Os resultados produtos e acccedilotildees podem ser acrescentados modificados e eliminados ateacute que eventualmente surja um mapa que conte a histoacuteria com a qual sua equipa pode concordar O debate eacute frequentemente a parte mais importante da experiecircncia porque a equipa junta define as expectativas pressupostos e caracteriacutesticas do processo de mudanccedila
Uso da sequecircncia ldquopara querdquo como forma de verificar as vias de um Caminho de Mudanccedila Uma boa forma de verificar a loacutegica do mapa do seu caminho eacute inverter o processo e criar uma sequecircncia de ldquopara querdquo para cada actividade O exemplo na Figura 7 mostra como fazer isso para a Actividade 5 da Figura 6 O movimento na sequecircncia ldquopara querdquo eacute o
FIGURA 7 Sequecircncia ldquopara querdquo para uma actividade de um Caminho de Mudanccedila
Dar formaccedilatildeo agraves voluntaacuterias da comunidade e equipaacute-las com os materiais de informaccedilatildeo educaccedilatildeo e comunicaccedilatildeo necessaacuterios
para que
As voluntaacuterias realizem sessotildees educativas sobre sauacutede sobre temas de planeamento familiar na aacuterea especiacutefica do centro de sauacutede
para que
As mulheres em idade reprodutiva na aacuterea especiacutefica se sintam agrave vontade para participar de sessotildees apresentadas pelas voluntaacuterias
para que
As mulheres participem das sessotildees e aprendam sobre a importacircncia do planeamento familiar para o espaccedilamento dos nascimentos
para que
Mais mulheres em idade reprodutiva busquem meacutetodos de planeamento familiar no centro de sauacutede e a percentagem de mulheres que recebem os meacutetodos aumentem 2 durante o periacuteodo do projecto (o resultado esperado)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 918
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
oposto exacto do Caminho de Mudanccedila Vocecirc coloca cada actividade no topo da sua proacutepria sequecircncia e desce pela sequecircncia ateacute a meta ou resultado esperado Essa sequecircncia ajuda a confirmar que cada rota individual no Caminho de Mudanccedila faz sentido em termos loacutegicos
Para usar essa teacutecnica eacute preciso criar uma sequecircncia ldquopara querdquo para cada actividade no seu Caminho de Mudanccedila Comece por descrever cada actividade e segui-la da frase ldquopara querdquo seguida de uma descriccedilatildeo do que aconteceraacute se essa actividade for realizada Continue a fazer isto ateacute atingir a sua meta de longo prazo ou resultado esperado
Etapas do desenvolvimento de um plano de MampA
Uma das suas tarefas essenciais de MampA como gestor que exerce lideranccedila eacute a de elaborar um plano que ajude vocecirc e sua equipa a determinar se atingiram ou natildeo os resultados esperados e a acompanhar o progresso no alcance desses resultados durante a implementaccedilatildeo Isso exige que vocecirc natildeo soacute escolha indicadores confiaacuteveis mas tambeacutem que meccedila esses indicadores de forma organizada Seu plano de MampA deve especificar que indicadores seratildeo medidos como e quando seratildeo medidos e por quem
Um plano de MampA bem formulado responde a cinco perguntas
1 Seu resultado esperado eacute mensuraacutevel2 Que indicadores utilizaraacute para monitorar seus produtos e para avaliar seus
resultados 3 Quais satildeo as suas fontes de dados e como recolheraacute os dados dessas fontes 4 Quais satildeo os periacuteodos cobertos de cada indicador 5 Quem recolheraacute os dados
Essas perguntas satildeo importantes porque sem um plano vaacutelido de MampA vocecirc poderaacute interpretar erroneamente os efeitos da sua intervenccedilatildeo Poderaacute concluir que ela natildeo teve efeito algum quando na verdade ela teve alguns resultados positivos ou poderaacute concluir que ela teve um efeito positivo quando na verdade natildeo obteve resultado algum o que eacute um erro comum e mais destrutivo
Elaborar e utilizar um plano de MampA garante que dados comparaacuteveis seratildeo recolhidos regularmente e em tempo haacutebil mesmo quando houver mudanccedilas de pessoal A Tabela 3 resume as etapas no desenvolvimento e implementaccedilatildeo de um plano de MampA O resto desta secccedilatildeo descreve cada etapa detalhadamente
ETAPA 1 DEFINA OS RESULTADOS ESPERADOS
A primeira etapa no desenvolvimento do plano de MampA eacute determinar um niacutevel apropriado de resultados Juntos o tipo e o acircmbito da intervenccedilatildeo os recursos disponiacuteveis e o prazo de implementaccedilatildeo determinam um resultado viaacutevel
Como jaacute vimos antes neste capiacutetulo as intervenccedilotildees dirigidas por organizaccedilotildees com fundos de agecircncias doadoras e por serviccedilos governamentais geralmente levam a produtos ou resultados a meacutedio e longo prazo Apesar de o impacto demorar a ser obtido e geralmente estar fora do acircmbito de um uacutenico conjunto de actividades eacute importante incluiacute-lo no seu plano de MampA para que fique clara qual seraacute a contribuiccedilatildeo da sua intervenccedilatildeo a longo prazo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 919
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 3 Etapas para elaborar e usar um Plano de MampA
Etapas Recomendaccedilotildees
1 Definir os resultados esperados
Os resultados devem ser identificados de acordo com o acircmbito e o periacuteodo de tempo da sua intervenccedilatildeo
Os resultados devem atender aos criteacuterios SMART (Especiacuteficos Mensuraacuteveis Apropriados Realistas de Prazo Definido)
2 Seleccionar os indicadores
Os indicadores devem possuir as qualidades de um bom indicador
Os indicadores devem ser acessiacuteveis faacuteceis de recolher e comparaacuteveis ao longo do tempo e em diferentes locais
Para os problemas de sauacutede prioritaacuterios e os serviccedilos essenciais use indicadores criacuteticos nacionais ou padratildeo
Seleccione um nuacutemero miacutenimo de indicadores essenciais e procure garantir que os indicadores seleccionados sejam realmente necessaacuterios para medir seus resultados esperados
3 Identificar as fontes de dados
Identifique de onde viratildeo os dados para cada indicador Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos organizacionais utentes ou a comunidade
4 Definir os meacutetodos de recolha dos dados
Seleccione o meacutetodo mais apropriado e confiaacutevel para a recolha de dados para cada indicador Estes meacutetodos podem incluir a anaacutelise de registos ou diaacuterios de estatiacutesticas de serviccedilo o uso de listas de verificaccedilatildeo para fins de observaccedilatildeo as entrevistas de utentes ao saiacuterem da cliacutenica ou um modelo de inqueacuterito de dados comunitaacuterios
Decida sobre a frequecircncia da recolha de dados Poderaacute recolher apenas os dados de base ou referecircncia e os dados apoacutes a intervenccedilatildeo ou talvez precise recolher dados diaacuterios mensais ou trimestrais dependendo do tipo de indicador
Para cada indicador designe a responsabilidade pela recolha a um escritoacuterio equipa ou pessoa especiacuteficos
5 Recolher os dados de base (ou referecircncia) e os dados apoacutes a intervenccedilatildeo
Entenda que os resultados de base seratildeo usados para definir os seus alvos
Defina claramente a duraccedilatildeo coberta pelos dados de base jaacute que precisa de um periacuteodo semelhante para a comparaccedilatildeo ao final do periacuteodo de implementaccedilatildeo
Use a mesma metodologia e ferramentas para a recolha de dados que as usadas para os dados de base e as medidas poacutes-intervenccedilatildeo
6 Compartilhar e utilizar os seus resultados
Marque reuniotildees workshops e apresentaccedilatildeo de relatoacuterios para mostrar os resultados ao pessoal do projecto agrave direcccedilatildeo da organizaccedilatildeo e a outros grupos de interesse importantes
Apresente as opccedilotildees de aprendizado e acccedilatildeo com base nos resultados de MampA
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 920
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para determinar em que niacutevel deve monitorar e avaliar seus resultados eacute uacutetil examinar novamente e expandir a cadeia de resultados a comeccedilar da direita pelo resultado final (impacto) e voltar ateacute os materiais e recursos (insumos) necessaacuterios
Insumos rarr Processos rarr Produtos rarr Resultados rarr Impacto
Impacto Esses resultados satildeo medidos ao niacutevel da populaccedilatildeo levam um tempo relativamente longo para serem alcanccedilados (geralmente 3 a 5 cinco anos) e exigem o esforccedilo conjunto de vaacuterias intervenccedilotildees e mesmo de vaacuterias organizaccedilotildees Como gestor vocecirc poderaacute ser responsaacutevel por medir o impacto mas deve incluiacute-lo na loacutegica do seu plano de MampA para saber o que a sua organizaccedilatildeo e os parceiros da organizaccedilatildeo pretendem alcanccedilar a longo prazo
Resultados a meacutedio e longo prazo Na maioria dos casos os gestores satildeo responsaacuteveis por medir os resultados nos niacuteveis de produtos eou resultados a meacutedio e longo prazo Os resultados a meacutedio e longo prazo satildeo obtidos pelas actividades criadas para produzir uma mudanccedila de comportamento nos profissionais de sauacutede ou nos utentes Satildeo geralmente medidos em termos de mudanccedilas na cobertura de serviccedilos e mudanccedilas nos conhecimentos atitudes e praacuteticas de uma populaccedilatildeo beneficiaacuteria Um resultado a meacutedio e longo prazo pode ser o iniacutecio de uma praacutetica comprovada de prestaccedilatildeo de serviccedilos a adopccedilatildeo de novas estrateacutegias de gestatildeo ou a elaboraccedilatildeo bem-sucedida de uma poliacutetica de promoccedilatildeo da sauacutede Pode tambeacutem ser um aumento no nuacutemero de mulheres que datildeo agrave luz em um centro de sauacutede ou no nuacutemero de crianccedilas totalmente imunizadas Na maioria dos casos eacute possiacutevel estabelecer uma relaccedilatildeo clara entre produtos e resultados a meacutedio e longo prazo
Produtos Os produtos ou resultados imediatos satildeo fruto directo das actividades Devem ser monitorados durante toda a implementaccedilatildeo como um elemento essencial da boa gestatildeo Os planos de MampA devem definir o produto esperado de cada actividade Para as unidades de prestaccedilatildeo de serviccedilos isso geralmente significa os resultados imediatos em termos dos serviccedilos (por exemplo nuacutemero de utentes atendidos ou tempo de espera dos clientes ou utentes) Para as organizaccedilotildees que natildeo prestam serviccedilos de sauacutede directamente isso pode significar a distribuiccedilatildeo de produtos de sauacutede ou serviccedilos de formaccedilatildeo (por exemplo quantidade de produtos para planeamento familiar distribuiacutedos ou nuacutemero de participantes formados)
Processos A monitoria de processos ou actividades eacute em grande parte uma medida da cultura de prestaccedilatildeo de contas (ou grau de responsabilizaccedilatildeo) ao garantir que as actividades sejam realizadas dentro do prazo e com recursos suficientes A monitoria nesse niacutevel acompanha o progresso da implementaccedilatildeo tendo como referecircncia os prazos propostos e o uso dos recursos tendo como referecircncia os orccedilamentos Eacute geralmente executada atraveacutes da apresentaccedilatildeo de relatoacuterios tradicionais trimestrais semestrais e anuais
Insumos Ao preparar uma intervenccedilatildeo deve identificar a quantidade e os tipos de recursos necessaacuterios para implementar as actividades O desempenho pode ser monitorado em termos da quantidade e dos tipos de insumos fornecidos e do nuacutemero e timing das actividades realizadas
A etapa seguinte na definiccedilatildeo dos resultados esperados eacute garantir que cumpram os criteacuterios SMART (consulte a Tabela 4) Eacute possiacutevel monitorar e avaliar o progresso no alcance de um resultado apenas se esse resultado tiver sido definido em termos mensuraacuteveis
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 921
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja a seguir um exemplo de um resultado mensuraacutevel para uma intervenccedilatildeo cujo propoacutesito eacute promover a cobertura de imunizaccedilatildeo em crianccedilas de 12 a 24 meses de idade A percentagem de crianccedilas de 12 a 24 meses totalmente vacinadas na aacuterea de captaccedilatildeo aumentaraacute para 70 dentro de um ano
ETAPA 2 IDENTIFIQUE OS INDICADORES E SUAS DEFINICcedilOtildeES
Os indicadores satildeo geralmente percentagens ou proporccedilotildees que representam o alcance de uma condiccedilatildeo especiacutefica de sauacutede na populaccedilatildeo de interesse Podem tambeacutem ser um valor absoluto tal como o nuacutemero de ocorrecircncias de um evento de sauacutede (por ex um oacutebito materno ou um caso de malaacuteria)
Todos os indicadores pedem uma definiccedilatildeo detalhada Trata-se de um indicador qualitativo ou quantitativo Se for uma percentagem qual eacute o numerador e qual eacute o denominador A definiccedilatildeo deve ser suficientemente detalhada para garantir que pessoas diferentes em momentos diferentes possam recolher tipos idecircnticos de dados para o indicador
Veja o que caracteriza um bom indicador no Quadro 2 Os indicadores podem ser classificados como indicadores do estado de sauacutede ou do desempenho de serviccedilos
Os indicadores do estado de sauacutede podem incluir o seguinte
nuacutemero de casos e mortes causados por doenccedilas especiacuteficas em um determinado periacuteodo
proporccedilatildeo da populaccedilatildeo com uma doenccedila ou condiccedilatildeo de sauacutede num momento particular ou ao longo de um periacuteodo de tempo
proporccedilatildeo da populaccedilatildeo com um factor ou condiccedilatildeo de sauacutede que os coloca em risco de contrair doenccedilas tal como a falta de conhecimento ou um comportamento de risco
Os indicadores de desempenho podem incluir o seguinte
proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que recebeu um serviccedilo especiacutefico proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que demonstra comportamentos e
conhecimentos especiacuteficos de sauacutede
TABELA 4 Criteacuterios de um resultado SMART
Criteacuterio Descriccedilatildeo
Especiacutefico (S ndash Smart)
Claramente escrito e compreendido O resultado esperado eacute suficientemente especiacutefico para ser medido por uma frequecircncia percentagem ou nuacutemero
Mensuraacutevel (M ndash Measurable)
Eacute possiacutevel monitorar o progresso e avaliar os resultados O resultado esperado eacute definido em termos que sejam mensuraacuteveis
Apropriado (A ndash Appropriate)
O resultado esperado eacute apropriado ao acircmbito do seu trabalho e agrave missatildeo da sua organizaccedilatildeo
Realista (R ndash Realistic)
O resultado esperado pode ser alcanccedilado e estaacute dentro do controlo da sua organizaccedilatildeo Pode ser realisticamente alcanccedilado ao usar os recursos disponiacuteveis e dentro do prazo do seu plano de implementaccedilatildeo
de Tiempo limitado (T ndash Time Bound)
Foi estabelecido um prazo especiacutefico para obter o resultado esperado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 922
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
proporccedilatildeo de centros e pessoal de sauacutede que demonstram adesatildeo a padrotildees especiacuteficos de serviccedilo ou que atingiram objectivo definido
proporccedilatildeo de centros de sauacutede que seguem padrotildees definidos de gestatildeo funcional (por ex em termos de pessoal disponibilidade de medicamentos registo e apresentaccedilatildeo de relatoacuterios)
Orientaccedilatildeo adicional sobre os indicadores pode ser obtida em ldquoCompecircndio de indicadores para avaliaccedilatildeo de programas de sauacutede reprodutivardquo e ldquoLista dos indicadores sobre desenvolvimento da capacidade de gestatildeo e lideranccedilardquo
ETAPA 3 IDENTIFIQUE AS FONTES DE DADOS
Agora precisa identificar uma fonte de dados para cada indicador incluiacutedo no plano de MampA ao seleccionar dados que estejam prontamente disponiacuteveis em uma fonte confiaacutevel e dentro das possibilidades financeiras de sua organizaccedilatildeo O ideal seria escolher os dados imediatamente disponiacuteveis atraveacutes da organizaccedilatildeo em vez de dar iniacutecio a uma nova estrateacutegia de recolha de dados o que poderia ser oneroso e demorado
Uma boa forma de comeccedilar eacute com a seguinte pergunta Que dados jaacute recolhemos de forma rotineira e sistemaacutetica Vocecirc deve sempre levar em consideraccedilatildeo as vantagens e desvantagens de cada fonte de dados Consulte a secccedilatildeo ldquoComo seleccionar suas fontes de dadosrdquo para obter mais informaccedilotildees sobre as vantagens e desvantagens de algumas fontes de dados mais comuns
Vocecirc deve ser o mais especiacutefico possiacutevel sobre as fontes de dados para que a mesma fonte possa ser utilizada de forma coerente durante toda a intervenccedilatildeo Mudar as fontes de dados para o mesmo indicador pode resultar em incoerecircncias e erros de interpretaccedilatildeo Por exemplo se estiver a medir as taxas de mortalidade infantil passar de estimativas baseadas num inqueacuterito de grande escala para estimativas baseadas em estatiacutesticas hospitalares pode resultar dar a falsa impressatildeo de que houve uma mudanccedila
QUADRO 2 Qualidades de um bom indicador
Vaacutelido O indicador mede o que se pretende medir
Confiaacutevel A medida do indicador deve ser igual natildeo importa quantas vezes a medida seja feita
Preciso O indicador eacute definido em termos claros e especiacuteficos para que possa ser medido O indicador pode ser qualitativo (descritivo) discreto (SimNatildeo) ou baseado em niacuteveis quantitativos ou proporccedilotildees desde que seja claramente mensuraacutevel
Faacutecil de entender Tanto especialistas como natildeo especialistas devem poder entender o significado do indicador
Discreto O indicador captura um uacutenico componente ou aspecto de um resultado mais complexo Mede apenas uma coisa natildeo um conjunto de coisas
Em tempo haacutebil O indicador pode ser medido em intervalos temporais apropriados de acordo com a disponibilidade dos dados
Comparaacutevel Quando possiacutevel o indicador evita definiccedilotildees limitadas ou singulares cujos valores seriam difiacuteceis de comparar com outros resultados
Viaacutevel para utilizar Os dados para o indicador satildeo faacuteceis de obter de uma fonte confiaacutevel e relativamente econoacutemica ndash acessiacutevel tendo em vista os recursos da sua organizaccedilatildeo Se esses dados natildeo estiverem disponiacuteveis existem meacutetodos para obtecirc-los no futuro
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 923
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 4 DEFINA OS MEacuteTODOS DE RECOLHA DE DADOS
A etapa seguinte eacute a de definir os meacutetodos ou ferramentas que utilizaraacute para cada indicador Para os indicadores baseados em dados primaacuterios (dados que vocecirc mesmo recolhe) deve descrever o tipo de instrumento necessaacuterio para recolher os dados Os exemplos podem incluir questionaacuterios estruturados listas de verificaccedilatildeo de observaccedilatildeo directa ou balanccedilas para pesar bebeacutes
Para os dados secundaacuterios (dados recolhidos por terceiros e que estatildeo disponiacuteveis para vocecirc usar) deve explicar o meacutetodo para calcular o indicador e a fonte dos dados e fornecer detalhes suficientes sobre o meacutetodo de caacutelculo para que outros possam replicaacute-lo Lembre-se de que eacute mais faacutecil e mais barato usar dados secundaacuterios mas sua qualidade eacute menos confiaacutevel do que a dos dados primaacuterios
Tambeacutem eacute importante observar a frequecircncia da recolha dos dados para cada indicador A depender do tipo de indicador vocecirc poderaacute recolher os dados mensalmente trimestralmente anualmente ou ateacute com menos frequecircncia Ao definir o programa de recolha de dados para cada indicador leve em consideraccedilatildeo a necessidade de fornecer informaccedilotildees em tempo haacutebil aos responsaacuteveis por tomar decisotildees na sua organizaccedilatildeo Atribuir responsabilidades pela recolha de dados a indiviacuteduos ou grupos do seu pessoal garantiraacute que os dados sejam recolhidos dentro do prazo necessaacuterio
As informaccedilotildees das Etapas 1 a 4 fornecem o conteuacutedo do seu plano de monitoria e avaliaccedilatildeo A Tabela 5 mostra os elementos de um plano de MampA para um programa de mentoria cliacutenica para centros de orientaccedilatildeo e testes voluntaacuterios
ETAPA 5 RECOLHA OS DADOS DE BASE E DE ACOMPANHAMENTO
Recolher dados de base precisos eacute uma das tarefas mais importantes de MampA Os dados de base ou referecircncia satildeo o ponto de partida para definir as metas que vocecirc e sua equipa pretendem atingir e para acompanhar as mudanccedilas dos indicadores durante todo o periacuteodo de sua intervenccedilatildeo Dessa forma os dados de base ajudam a definir melhor um resultado final esperado
Vocecirc precisaraacute recolher dados de base para cada indicador antes que suas actividades comecem Esses dados identificam o ponto de partida de onde poderaacute avaliar o progresso Depois em pontos variados durante a implementaccedilatildeo vocecirc recolheraacute dados de acompanhamento sobre cada indicador para comparaacute-los com os niacuteveis de base e os resultados previstos Isto permite que vocecirc e outros tomadores de decisotildees em sua organizaccedilatildeo avaliem o progresso de cada intervenccedilatildeo ou serviccedilo e faccedilam as mudanccedilas necessaacuterias ao longo do caminho Examine o exemplo no Quadro 3
Por que acompanhar as mudanccedilas dos indicadores durante a implementaccedilatildeo Os indicadores de um plano de MampA estatildeo relacionados aos resultados imediatos (produtos) e aos resultados de meacutedio e longo prazo que os gestores precisam monitorar As mudanccedilas nos valores do indicador ao longo do tempo mostram se esses resultados estatildeo a subir ou a baixar ou se permanecem iguais Isto mostra ao gestor se as intervenccedilotildees e estrateacutegias estatildeo a funcionar conforme planeado para atingir os resultados esperados
Ao final do periacuteodo de implementaccedilatildeo precisaraacute recolher dados sobre os seus indicadores para comparar os niacuteveis finais com os niacuteveis de base e com os seus resultados esperados A depender dos seus indicadores precisaraacute tambeacutem recolher dados de acompanhamento a uma altura acordada previamente para determinar se as mudanccedilas seratildeo mantidas apoacutes o teacutermino da sua intervenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 924
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 5 Exemplo de um Plano de Monitoria e Avaliaccedilatildeo
Objectivo Os profissionais de sauacutede que receberam formaccedilatildeo aumentam sua capacidade de fornecer tratamento anti-retroviral de acordo com as directrizes nacionais
ActividadeProduto Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
CronogramaPrazo final
Cliacutenicos experientes em VIH recrutados para servir como mentores cliacutenicos em cinco hospitais regionais
Nuacutemero de mentores recrutados e designados a hospitais regionais
Registos de emprego
Como concluiacutedo Director adjunto para programas cliacutenicos
Setembro de 2008
Pessoal meacutedico em cinco hospitais regionais que recebem mentoria individual sobre terapia anti-retroviral
Nuacutemero de locais que recebem mentoria cliacutenica
Nuacutemero de meacutedicos que recebem mentoria individual
Nuacutemero de dias de mentoria cliacutenica realizados
Relatoacuterios mensais do mentor
Mensalmente Mentores Marccedilo de 2009
Resultados a meacutedio e longo prazo Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
Trabalhadores de sauacutede aumentam seu conhecimento sobre terapia anti-retroviral
80 dos participantes obtecircm 85 ou mais de pontuaccedilatildeo correcta no teste posterior
Trabalhadores de sauacutede melhoram suas habilidades no fornecimento de terapia anti-retroviral
Percentagem de habilidades demonstradas na lista de verificaccedilatildeo de competecircncia
Estudo especial Datas a definir Director adjunto para programas cliacutenicos
Fonte Centro Internacional de Formaccedilatildeo e Ensino sobre VIH p 2
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 925
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Observaccedilatildeo sobre o uso de indicadores para uma avaliaccedilatildeo A maioria dos esforccedilos de MampA enfatizam a selecccedilatildeo de indicadores bem definidos para estabelecer metas e medir as mudanccedilas nas condiccedilotildees e nos serviccedilos de sauacutede
Mas eacute importante lembrar que os indicadores servem apenas como marcadores Os dados dos indicadores fornecem pistas para saber se uma intervenccedilatildeo ou um grupo de actividades estaacute dentro do cronograma e se os resultados esperados estatildeo a ser alcanccedilados Eles natildeo respondem agraves perguntas de por que os resultados estatildeo ou natildeo a ser alcanccedilados Natildeo explicam os resultados fortuitos as relaccedilotildees entre intervenccedilotildees e resultados ou as causas de resultados percebidos que podem ocorrer fora da intervenccedilatildeo Assim natildeo podem recomendar medidas a tomar para melhorar os resultados
Os dados de indicadores devem portanto ser interpretados com cuidado Eles simplesmente indicam resultados que precisam ser melhor explorados em vez de fornecer uma avaliaccedilatildeo definitiva do sucesso ou fracasso Um estudo de avaliaccedilatildeo eacute geralmente executado para determinar se uma intervenccedilatildeo pode ser considerada um sucesso e por quecirc
Em geral agrave medida que sobe na hierarquia e passa das actividades para os resultados a longo prazo a MampA se torna mais complicada Nos niacuteveis de processo e produtos pode-se facilmente rastrear que actividades foram concluiacutedas e seus resultados imediatos Essas informaccedilotildees satildeo operacionais ndash informaccedilotildees que vocecirc pode usar para decisotildees quotidianas de gestatildeo Poreacutem para identificar e medir os resultados da sinergia dos produtos provavelmente teraacute que integrar as informaccedilotildees qualitativas e quantitativas e confiar menos em indicadores quantitativos singulares
Lembre-se de que quando uma melhoria desejada ndash seja na eficiecircncia do serviccedilo no conhecimento e comportamento dos provedores de serviccedilos ou dos beneficiaacuterios ou na tendecircncia de um problema de sauacutede ndash eacute confirmada atraveacutes de MampA isto natildeo prova que foi a intervenccedilatildeo que provocou a mudanccedila Outras coisas podem estar a se passar no serviccedilo ou no ambiente geral que causam essa mudanccedila Eacute claro que o mesmo se aplica aos resultados negativos ou resultados que indicam natildeo haver nenhuma mudanccedila nos resultados a meacutedio e longo prazo
QUADRO 3 Como usar dados de base para ajustar os resultados
Uma equipa de sobrevivecircncia infantil estaacute a propor uma intervenccedilatildeo com o seguinte resultado mensuraacutevel e especiacutefico ldquoNos proacuteximos 12 meses 40 das crianccedilas entre 12 e 24 meses de idade na aacuterea de captaccedilatildeo seratildeo completamente imunizadasrdquo
Para determinar se seu programa pode realmente atingir esse resultado o pessoal precisa medir os niacuteveis actuais de vacinaccedilatildeo Ao examinar os dados vecircem que apenas 10 das crianccedilas na aacuterea de captaccedilatildeo estatildeo completamente imunizadas ao completarem 24 meses Estes satildeo portanto seus dados de base
A gestora entende que natildeo seraacute possiacutevel atingir o objectivo de 40 de cobertura de imunizaccedilatildeo em apenas 12 meses Por isso ela e sua equipa revisam o resultado esperado e o modificam para que seja mais razoaacutevel e realista mas continue sendo significativo ldquoNos proacuteximos 12 meses 20 das crianccedilas de 12 a 24 meses na aacuterea de de actuaccedilatildeo seratildeo completamente imunizadas
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 926
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 6 COMPARTILHE E USE SEUS DADOS
Na pressa para comeccedilar a recolher dados alguns gestores se esquecem de planear um processo para reflectir sobre as informaccedilotildees e fazer mudanccedilas para aumentar a eficiecircncia das actividades Para garantir que os dados sejam natildeo soacute recolhidos mas tambeacutem utilizados pense como vocecirc e sua equipa divulgaratildeo as informaccedilotildees sobre MampA e obteratildeo retroinformaccedilatildeo dos diversos grupos de interesse Algumas perguntas baacutesicas serviratildeo para lhe orientar
Quem precisa de que tipo de informaccedilotildees e quando precisam delas Que tipo de formato deve usar para comunicar os resultados ao pessoal
aos gestores de niacutevel superior e a outros grupos de interesse importantes Eacute suficiente fazer circular um relatoacuterio ou deveria organizar uma reuniatildeo ou workshop
Deveria tambeacutem organizar reuniotildees com a comunidade para solicitar retroinformaccedilatildeo dos seus beneficiaacuterios sobre os primeiros resultados da MampA
Como deve apresentar as informaccedilotildees para que sejam uacuteteis aos diferentes tomadores de decisotildees As informaccedilotildees devem ser apresentadas visualmente em diagramas graacuteficos ou mapas Para obter orientaccedilatildeo sobre dados e resultados consulte o Guiatildeo de MampA para Facilitadores de Programas de Desenvolvimento da Lideranccedila
Uso dos resultados para melhorar os dados de rotina em acccedilatildeo ndash Um exemplo do Paquistatildeo
No Paquistatildeo com o apoio do projecto PRIDE 10 equipas de subdistritos aplicaram o Processo de Avaliaccedilatildeo e Melhoria do Desempenho em Sauacutede Puacuteblica (PIP-PH) um conjunto de procedimentos e formatos para tratar dos problemas de sauacutede que identificaram como os mais graves para as suas populaccedilotildees Usaram o PIP-PH para priorizar os problemas e serviccedilos que mais precisavam de atenccedilatildeo a curto prazo para obter melhorias
Como parte do processo PIP-PH as equipas tambeacutem conceberam um formato de Estrutura de Vigilacircncia de Sauacutede (ldquoHealth Watch Frameworkrdquo) para os seus subdistritos como um todo e para os centros de sauacutede dentro deles Cada equipa seleccionou indicadores para medir a situaccedilatildeo de dois problemas de sauacutede puacuteblica os serviccedilos essenciais a eles relacionados e as limitaccedilotildees que afectavam esses serviccedilos
As equipas usaram os formulaacuterios Health Watch para estabelecer valores de base para os indicadores e depois para monitorar esses valores agrave medida que as intervenccedilotildees prosseguiam ao longo do tempo Os centros de sauacutede revisavam e actualizavam o formulaacuterio todo mecircs as equipas do subdistrito inclusive gestores de centros de sauacutede revisavam e discutiam os formulaacuterios trimestralmente os formulaacuterios revisados
As equipas de subdistrito usaram as informaccedilotildees para analisar os motivos do progresso ou falta de progresso para poderem prestar apoio aos gestores dos centros de sauacutede O processo estimulou os gestores dos centros de sauacutede a melhorarem a integridade e precisatildeo dos dados de rotina para poderem usar as informaccedilotildees e monitorarem mais eficazmente os eventos e os serviccedilos essenciais e introduzirem as melhorias necessaacuterias
Exemplos e informaccedilotildees detalhadas sobre o PIP-PH e o Health Watch Framework aparecem no Relatoacuterio Anual do Projecto PRIDE 2007
Para se informar mais sobre meacutetodos adicionais de utilizaccedilatildeo dos dados para melhorar o desempenho de uma organizaccedilatildeo equipa serviccedilo de sauacutede ou intervenccedilatildeo consulte o processo de Avaliaccedilatildeo e Melhoria de Desempenho (Performance Assessment and Improvement ndash PAI) no website de Programa de Lideranccedila Gestatildeo e Sustentabilidade (Leadership Management and Sustainability ndash LMS)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 927
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O processo de Monitoria e Avaliaccedilatildeo deve ser executado com o objectivo de usar imediatamente os resultados para identificar as falhas de desempenho e tomar medidas para reduzir ou eliminar essas falhas Vocecirc deve sempre planear formas de usar os resultados de MampA para o aprendizado e a acccedilatildeo Por exemplo o que deve fazer se as actividades do projecto natildeo trouxerem os resultados esperados O que precisa mudar se os serviccedilos essenciais natildeo estiverem a fornecer os niacuteveis de cobertura previstos ou a alcanccedilar grupos especiacuteficos de pessoas E como vocecirc pode levar esses fatos agrave atenccedilatildeo das pessoas certas para obter uma resposta raacutepida
Desenho de uma ferramenta de MampA
ARMADILHAS DA MONITORIA E AVALIACcedilAtildeO
Haacute vaacuterias armadilhas comuns que impedem que vocecirc como gestor aperfeiccediloe a funccedilatildeo de MampA na sua organizaccedilatildeo
Planeamento excessivo ou insuficienteAlguns gestores podem gastar tempo demais a preparar o plano de MampA do que resultam planos muito elaborados e complicados de usar Outros ficam muito ansiosos por implementar as intervenccedilotildees de MampA e comeccedilam antes de concluir o plano de MampA Isso significa que quando o plano fica pronto eacute geralmente tarde demais para obter dados de base viaacuteveis e a MampA tem que ser adiada Nesses casos o gestor talvez tenha que aceitar fazer a avaliaccedilatildeo mais tarde sem os dados de base que poderia usar para a comparaccedilatildeo
Descuidar-se da monitoria contiacutenua Outra armadilha frequente eacute a falha em incluir a monitoria contiacutenua na implementaccedilatildeo das actividades Isto ocorre frequentemente por falta de experiecircncia Muitos gestores natildeo tiveram acesso a ferramentas de monitoria uacuteteis (que satildeo raras) Talvez natildeo tenham recebido prontamente os resultados ou a retroinformaccedilatildeo do sistema de MampA no passado e por isso natildeo percebem como eacute importante realizar a monitoria de rotina Aleacutem disso gestores podem facilmente se emaranhar nos detalhes da implementaccedilatildeo e descuidar-se da monitoria de rotina
Exagerar Outra armadilha relacionada agrave monitoria eacute tentar rastrear os dados de todos os indicadores possiacuteveis Tentar obter os dados sobre um nuacutemero excessivo de factores torna o processo de monitoria tatildeo complicado que se torna impreciso Isso tambeacutem torna o processo mais lento de modo que no momento em que os dados satildeo recolhidos e analisados eles jaacute natildeo satildeo mais uacuteteis As ferramentas de monitoria muito demoradas e complicadas acabam por natildeo ser usadas O que acontece entatildeo O gestor deixa totalmente de fazer a monitoria e tem que recorrer agrave avaliaccedilatildeo
Se jaacute se deparou com esses problemas eacute hora de mudar a sua taacutectica Vocecirc pode criar um plano de MampA simples e usar ferramentas de monitoria simples Descubra o que tem que medir para obter os dados dentro de 3 a 6 meses o prazo vai depender dos ciclos de planeamento e apresentaccedilatildeo de relatoacuterios da sua organizaccedilatildeo Entenda tambeacutem qual eacute o miacutenimo que deve ser medido em uma avaliaccedilatildeo de longo prazo Busque a simplicidade mesmo se estiver diante de um conjunto complexo de actividades
Tente incluir apenas o que realmente precisa saber Pode testar todos os indicadores propostos antes de incluiacute-los no planeamento de MampA ao perguntar Quem precisa usar essas informaccedilotildees quando e com que finalidade Se um uacutenico indicador de produtos for suficiente perfeito Natildeo sobrecarregue a monitoria com indicadores desnecessaacuterios Muitas vezes menos dados fornecem mais informaccedilotildees
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 928
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
CARACTERIacuteSTICAS DE UMA BOA FERRAMENTA DE MONITORIA
Como gestor natildeo precisa saber tudo para gerir um serviccedilo ou dirigir uma intervenccedilatildeo mas precisa das informaccedilotildees imediatamente Portanto precisa de uma ferramenta de monitoria que possa fornecer informaccedilotildees suficientes e em tempo haacutebil para identificar e corrigir problemas assim que eles surgirem
Uma ferramenta de monitoria deve ser faacutecil de montar e utilizar As tabelas listas de verificaccedilatildeo e diagramas simples satildeo meacutetodos particularmente uacuteteis de recolher organizar e apresentar informaccedilotildees de monitoria
No miacutenimo sua ferramenta de monitoria deve permitir que vocecirc e sua equipa acompanhem
o progresso da implementaccedilatildeo da actividade a entrega de produtos ou resultados imediatos a situaccedilatildeo dos principais indicadores de resultados comparados aos resultados
esperados se for o caso as despesas orccedilamentais a disponibilidade de recursos humanos e financeiros os obstaacuteculos agrave implementaccedilatildeo e o que tem sido feito para superaacute-los
Vocecirc teraacute que responder agraves seguintes perguntas periodicamente
As actividades foram implementadas conforme planeado dentro do prazo e do orccedilamento
Que actividades adicionais natildeo planeadas foram realizadas Que serviccedilos ou produtos directos e tangiacuteveis foram oferecidos como resultado
das actividades que implementamos Estamos dentro do cronograma para atingir nossos resultados a meacutedio e longo
prazo Possuiacutemos os recursos necessaacuterios (pessoal dinheiro medicamentos e
suprimentos etc) para cumprirmos o cronograma
O Quadro 4 apresenta os componentes baacutesicos de uma ferramenta simples de monitoria
QUADRO 4 Uma ferramenta simples de monitoria
Data de exame Metas de resultados
Actividades (segundo o plano de implementaccedilatildeo)
Situaccedilatildeo ateacute o momento
Resultados esperados
Datas para conclusatildeo
Situaccedilatildeo ateacute o momento Comentaacuterios
Desafios e oportunidades
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 929
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quando usadas correctamente as novas tecnologias (por ex os PDAs ldquosmartphonesrdquo laptops e outros) podem facilitar a monitoria e aumentar os benefiacutecios da monitoria das actividades A monitoria automatizada ndash dados que podem ser obtidos e processados automaticamente ndash podem produzir um resumo dos principais indicadores em uma soacute paacutegina faacutecil de ler e num formato que utiliza cores para alertar ao gestor sobre as aacutereas que precisam de maior atenccedilatildeo As informaccedilotildees obtidas em tempo haacutebil sobre alguns indicadores essenciais permitem que o gestor monitore o progresso e tome medidas correctivas
Essa apresentaccedilatildeo visual das informaccedilotildees mais importantes e necessaacuterias para gerir um projecto eacute geralmente conhecida como Painel de Indicadores de Desempenho Os paineacuteis de indicadores de desempenho podem ser usados em qualquer organizaccedilatildeo departamento ou divisatildeo Nas organizaccedilotildees de sauacutede puacuteblica os paineacuteis satildeo usados frequentemente para monitorar os indicadores financeiros e programaacuteticos bem como a cobertura produccedilatildeo eficaacutecia e qualidade de serviccedilos de sauacutede especiacuteficos Um painel de recursos humanos por exemplo incluiria indicadores relevantes para gerir o seguinte
retenccedilatildeo de funcionaacuterios rotatividade de funcionaacuterios formaccedilatildeo de funcionaacuterios lacunas de habilidades satisfaccedilatildeo dos funcionaacuterios custos benefiacutecios e despesas gerais com funcionaacuterios
A Tabela 6 mostra um painel de indicadores de desempenho criado para monitorar serviccedilos de contracepccedilatildeo ciruacutergica voluntaacuteria (CCV)
TABELA 6 Ilustraccedilatildeo de Painel de Indicadores de Desempenho para Serviccedilos de Contracepccedilatildeo Ciruacutergica Voluntaacuteria (CCV)
Serviccedilo Contracepccedilatildeo Ciruacutergica Voluntaacuteria Periacuteodo do Relatoacuterio Janeiro de 2009
No Indicador de Prestaccedilatildeo de Serviccedilos Custo Qualidade
Meta financeira ou programaacutetica
LimiarNuacutemero
alcanccedilado
Percentagem concluiacuteda
Miacuten Maacutex 10 20 30 40 50 60 70 80 90 100
1 Nuacutemero de CCVs realizadas no mecircs 8 10 7
2 Custo meacutedio das CCVs (US$) 100 120 110
3 Orccedilamento mensal da receita com CCVs realizadas (US$) 800 1200 770
4Percentagem das CCVs realizadas por pessoal
qualificadomdash 100 60
5 Percentagem das CCVs realizadas sem complicaccedilotildees 95 100 100
6
Percentagem de utentes satisfeitas com o tratamento
recebido do pessoal que realizou as CCVs
90 100 90
Adaptado de Colindres 2008 p 6
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 930
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja uma descriccedilatildeo do uso de um painel de indicadores de desempenho para a monitoria de rotina num estudo de caso estudo de caso de uma ONG da Boliacutevia o Centro de Investigaccedilatildeo Educaccedilatildeo e Serviccedilos (CIES)
Para obter mais informaccedilotildees de como criar um painel de indicadores consulte ldquoComo usar os paineacuteis de indicadores de desempenho para monitorar as realizaccedilotildees de uma organizaccedilatildeordquo Esse documento ajuda a esclarecer conceitos e define as etapas essenciais para criar paineacuteis de indicadores de desempenho
Como criar uma avaliaccedilatildeo para fins de aprendizagem
Apesar da importacircncia da monitoria de rotina apenas a monitoria natildeo basta para responder agrave pergunta ldquoE entatildeordquo Ou seja suas actividades e produtos contribuiacuteram para melhorar a cobertura dos serviccedilos aumentar o conhecimento ou encorajar comportamentos mais saudaacuteveis
Talvez uma campanha de comunicaccedilatildeo sobre planeamento familiar criada para aumentar a prevalecircncia do uso de contraceptivos tenha levado o governo a abastecer os depoacutesitos distritais com contraceptivos Para que possam aprender com essa experiecircncia e criar campanhas mais eficazes no futuro os gestores do projecto ainda querem saber que produtos foram realmente dispensados aos centros de sauacutede e distribuiacutedos aos utentes Esta secccedilatildeo discute como criar uma avaliaccedilatildeo para fins de aprendizagem
Existem dois motivos para levar a cabo uma avaliaccedilatildeo
1 A avaliaccedilatildeo fornece informaccedilotildees sobre o sucesso da sua equipa unidade ou organizaccedilatildeo para atingir seus objectivos Essas informaccedilotildees ajudam a definir que actividades expandir modificar ou eliminar Ela pode tambeacutem revelar formas de melhorar a concepccedilatildeo e gestatildeo das actividades futuras
2 A avaliaccedilatildeo pode demonstrar uma cultura de prestaccedilatildeo de contas agrave sua agecircncia doadora e a outros grupos de interesse nomeadamente o governo e os beneficiaacuterios dos seus serviccedilos
AVALIACcedilOtildeES FORMATIVAS E SUMATIVAS
Os gestores podem realizar dois amplos tipos de avaliaccedilotildees formativas e sumativas
Avaliaccedilatildeo formativa Este tipo de avaliaccedilatildeo eacute realizada durante o desenvolvimento e implementaccedilatildeo de um programa Seu objectivo eacute orientar o desenho e a implementaccedilatildeo de actividades que incluam as melhores e mais promissoras praacuteticas que aumentaratildeo as chances de sucesso A avaliaccedilatildeo formativa eacute mais comummente utilizada por projectos de grande porte ou de longo prazo em vez de projectos menores e de curto prazo Poreacutem os projectos menores devem pelo menos realizar uma avaliaccedilatildeo raacutepida das melhores praacuteticas durante a fase de planeamento para apoiar a loacutegica e o conteuacutedo proposto para as actividades
A avaliaccedilatildeo formativa inclui uma avaliaccedilatildeo de necessidades para discernir os desejos e requisitos de um grupo da populaccedilatildeo e determinar a melhor forma de atendecirc-los Inclui tambeacutem uma avaliaccedilatildeo de processo para investigar o processo utilizado para executar uma intervenccedilatildeo Pode-se usar a avaliaccedilatildeo do processo para determinar se as actividades foram realizadas de acordo com o plano ndash em termos de sua concepccedilatildeo original estimativas de custos e nuacutemero de pessoas a serem atendidas ndash e se a qualidade dos processos usados estaacute de acordo com as melhores praacuteticas conhecidas
A avaliaccedilatildeo de processo geralmente inclui vaacuterias abordagens Pode incluir uma avaliaccedilatildeo dos dados referentes aos produtos (por ex nuacutemero de redes mosquiteiras fornecidas nuacutemero
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 931
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
de workshops de formaccedilatildeo realizados nuacutemero de participantes dos workshops) assim como entrevistas individuais ou grupos de enfoque entre os beneficiaacuterios Nas intervenccedilotildees de menor porte eacute uma boa praacutetica realizar uma avaliaccedilatildeo de processo mesmo se limitada agrave retroinformaccedilatildeo dos participantes
Avaliaccedilatildeo somativa Este tipo de avaliaccedilatildeo eacute realizada apoacutes a conclusatildeo de um grupo de actividades ou da intervenccedilatildeo para avaliar a qualidade da intervenccedilatildeo e os seus principais resultados A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo a avaliaccedilatildeo do impacto a anaacutelise de custo-benefiacutecio e custo-eficaacutecia e a investigaccedilatildeo operacional
A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo que avalia em que medida uma equipa unidade ou organizaccedilatildeo inteira atingiram seus resultados esperados A avaliaccedilatildeo dos resultados eacute usada para demonstrar que existe uma cultura de prestaccedilatildeo de contas para aperfeiccediloar o projecto de actividades organizacionais para melhorar a distribuiccedilatildeo dos recursos e para promover intervenccedilotildees futuras bem-sucedidas As principais perguntas satildeo Que modificaccedilotildees ocorreram na vida das pessoas das famiacutelias ou da comunidade como resultado do nosso trabalho Que diferenccedila fizemos
Como observamos anteriormente neste capiacutetulo os resultados a meacutedio e longo prazo satildeo geralmente mudanccedilas mensuraacuteveis eou observaacuteveis em duas dimensotildees A primeira dimensatildeo abrange a conscientizaccedilatildeo o conhecimento as atitudes os valores e as habilidades dos participantes de um programa ou dos beneficiaacuterios dos serviccedilos durante ou depois de seu envolvimento na intervenccedilatildeo A segunda dimensatildeo implica mudanccedilas no comportamento desses mesmos grupos
Idealmente as duas dimensotildees deveriam ser medidas em trecircs pontos no comeccedilo e no final do periacuteodo de implementaccedilatildeo e se possiacutevel apoacutes um periacuteodo de acompanhamento adequado Se a mediccedilatildeo do acompanhamento natildeo for viaacutevel pelo menos devem ser comparadas as mediccedilotildees de base e poacutes-intervenccedilatildeo Muitas vezes as mudanccedilas podem ser pequenas mas deve haver alguma melhoria em pelo menos um ou dois resultados para que a intervenccedilatildeo seja considerada um sucesso
A avaliaccedilatildeo dos resultados tenta distinguir entre a influecircncia da intervenccedilatildeo nessas mudanccedilas e a influecircncia de outros factores externos Mas geralmente os avaliadores teratildeo que optar pela atribuiccedilatildeo parcial de um resultado a uma intervenccedilatildeo ou serviccedilo especiacutefico devido agrave dificuldade em determinar uma relaccedilatildeo directa e causal entre o serviccedilo prestado e uma determinada mudanccedila
As avaliaccedilotildees de resultados utilizam geralmente um desenho natildeo experimental (geralmente denominado ldquopreacute e poacutes-avaliaccedilatildeordquo) que simplesmente mede as mudanccedilas antes e depois de uma intervenccedilatildeo ou seja diferente do desenho experimental (que compara os participantes com um grupo de controlo com designaccedilatildeo aleatoacuteria a ambos os grupos) ou do desenho semi-experimental (que compara os participantes com um grupo de controlo mas sem a designaccedilatildeo aleatoacuteria)
O desenho natildeo experimental eacute aceitaacutevel para as mediccedilotildees e relatoacuterios padratildeo dos resultados a meacutedio e longo prazo As ONGs raramente usam os desenhos experimentais Apesar de uma organizaccedilatildeo de grande porte e com muitos recursos poder ocasionalmente receber assistecircncia de especialistas para um desenho experimental a maioria delas acha que as consideraccedilotildees eacuteticas e logiacutesticas impedem a designaccedilatildeo aleatoacuteria dos participantes aos grupos de intervenccedilatildeo e de controlo Aleacutem disso o custo de recolher dados de um grupo de controlo seraacute provavelmente muito elevado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 932
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A avaliaccedilatildeo do impacto eacute outro componente da avaliaccedilatildeo somativa Eacute mais ampla do que a avaliaccedilatildeo de resultados e avalia os efeitos liacutequidos ou gerais ndash tanto intencionais como natildeo intencionais ndash de todo um programa grupo de programas ou grupo de organizaccedilotildees As avaliaccedilotildees de impacto geralmente se estendem por um periacuteodo de 3 a 5 anos
OUTROS TIPOS DE AVALIACcedilOtildeES
Anaacutelise de custo-benefiacutecio e custo-eficaacutecia Estes tipos de anaacutelise tratam da eficiecircncia da intervenccedilatildeo ao analisar os resultados em termos dos seus custos financeiros e do seu valor
Investigaccedilatildeo operacional Trata-se de um balanccedilo ou avaliaccedilatildeo de uma intervenccedilatildeo especiacutefica no contexto de um programa mais amplo que estaacute a fazer vaacuterias intervenccedilotildees A investigaccedilatildeo operacional eacute usada para testar e avaliar novas abordagens de prestaccedilatildeo de serviccedilos de sauacutede Eacute tambeacutem usada para identificar problemas na prestaccedilatildeo de serviccedilos e oferecer soluccedilotildees
A investigaccedilatildeo operacional eacute uma ferramenta poderosa que os gestores de programas e os tomadores de decisotildees podem usar para melhorar e expandir os serviccedilos Os estudos de investigaccedilatildeo operacional comparam intervenccedilotildees que estatildeo dentro da esfera de influecircncia do gestor Os exemplos incluem a avaliaccedilatildeo da eficaacutecia de uma nova estrateacutegia de prevenccedilatildeo de VIHSIDA um novo curso de formaccedilatildeo um novo conjunto de procedimentos para gerir medicamentos um novo meacutetodo contraceptivo ou um novo serviccedilo de sauacutede reprodutiva
O Toolkit de Investigaccedilatildeo Operacional do Programa Horizons sobre VIHSIDA do Population Council fornece informaccedilotildees detalhadas para criar um estudo de investigaccedilatildeo operacional
CONSIDERACcedilOtildeES PARA A FORMULACcedilAtildeO DE UMA AVALIACcedilAtildeO
O que avaliar para responder agrave pergunta ldquoE entatildeordquo Se quiser saber como gestor se as suas actividades tiveram realmente sucesso precisa preparar todas as intervenccedilotildees tendo em mente a avaliaccedilatildeo e incorporar a avaliaccedilatildeo ao seu planeamento organizacional geral Ao definir objectivos deve se perguntar Como saberemos se estamos a atingir esses objectivos Este eacute o ponto de partida para a avaliaccedilatildeo
Seja qual for o porte da sua intervenccedilatildeo ou serviccedilo e o alcance da avaliaccedilatildeo precisaraacute responder a trecircs perguntas durante a fase de desenho e planeamento
1 O que a sua intervenccedilatildeo ou serviccedilo conseguiraacute realizar a curto e longo prazo Se implementar um conjunto de actividades com sucesso ao longo do tempo o que seraacute diferente
2 Como conceptualiza as suas actividades ndash qual eacute a loacutegica subjacente Duas abordagens para identificar a loacutegica do programa satildeo discutidas neste capiacutetulo na secccedilatildeo intitulada Ferramentas e Abordagens Praacuteticas para MampA
3 Que indicadores pode usar para identificar o progresso no alcance dos resultados
Para responder agrave pergunta ldquoE entatildeordquo vocecirc precisa avaliar os factores sobre os quais tem um niacutevel razoaacutevel de controlo Por exemplo um novo serviccedilo criado para oferecer alojamento a pessoas que vivem com SIDA natildeo pode controlar ou afectar a expectativa de vida das pessoas agraves quais atende Mas ao fornecer um ambiente estaacutevel para elas viverem o serviccedilo pode diminuir o niacutevel de stresse e melhorar a qualidade de vida dessas pessoas que antes eram forccediladas a se mudar com frequecircncia
Depois de tratar da pergunta ldquoE entatildeordquo deve tambeacutem se certificar de que a avaliaccedilatildeo seja concebida de forma que quando o processo estiver concluiacutedo vocecirc possa abordar os cinco toacutepicos principais da avaliaccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 933
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
1 Relevacircncia Foi uma boa ideia fazer a intervenccedilatildeo considerando-se a situaccedilatildeo e a necessidade de melhorias Ela tratou das prioridades do grupo alvo ou beneficiaacuterio Por que sim ou por que natildeo
2 Eficaacutecia Os resultados produtos e actividades foram realizados Por que sim ou por que natildeo A loacutegica da intervenccedilatildeo eacute correcta
3 Eficiecircncia Os insumos (recursos e tempo) foram usados da melhor forma possiacutevel para atingir os resultados a meacutedio e longo prazo Por que sim ou por que natildeo O que vocecirc e sua equipa poderiam fazer de modo diferente no futuro para maximizar os resultados a um custo aceitaacutevel
4 Impacto Em que medida a sua intervenccedilatildeo contribuiu para as metas nacionais ou de longo prazo Que consequecircncias natildeo intencionais (positivas ou negativas) suas actividades tiveram Por que essas consequecircncias aconteceram
5 Sustentabilidade Eacute provaacutevel que os resultados positivos continuem depois que sua intervenccedilatildeo terminar Por que sim ou por que natildeo
Uma uacuteltima advertecircncia assim como a monitoria pode-se complicar demasiado a avaliaccedilatildeo Ao preparar um plano de avaliaccedilatildeo o melhor eacute seleccionar um grupo pequeno de indicadores e resistir agrave tentaccedilatildeo de avaliar todos os aspectos da sua intervenccedilatildeo
Assim como a monitoria a avaliaccedilatildeo soacute eacute uacutetil se as informaccedilotildees forem repassadas em tempo haacutebil para o gestor e outros tomadores de decisotildees e grupos de interesse Um problema comum com as avaliaccedilotildees intercalares eacute que os resultados geralmente soacute satildeo informados de 6 a 8 meses mais tarde o que deixa apenas 1 ou 2 anos para fazer mudanccedilas mais permanentes antes que se esgotem os fundos do governo ou da agecircncia doadora
COMO SELECCIONAR SUAS FONTES DE DADOS
Esta secccedilatildeo descreve trecircs tipos de fontes de dados que satildeo comummente usadas para uma avaliaccedilatildeo dados recolhidos rotineiramente inqueacuteritos de grande escala e teacutecnicas de avaliaccedilatildeo raacutepida inclusive a avaliaccedilatildeo participativa
Dados de rotina Os dados recolhidos e analisados rotineiramente por um SIS satildeo denominados ldquoestatiacutesticas de serviccedilordquo Pode-se utilizar vaacuterios sistemas de informaccedilatildeo de serviccedilos de rotina para monitorar os serviccedilos Alguns deles satildeo o sistema baacutesico de registo e relatoacuterio de SIS os sistemas especiais de relatoacuterios sobre programas (por ex tuberculose malaacuteria imunizaccedilatildeo VIH planeamento familiar etc) os sistemas de relatoacuterios sobre agentes comunitaacuterios especiais (por ex registos de agentes comunitaacuterios de sauacutede) o sistema de informaccedilotildees para a vigilacircncia de doenccedilas e o controlo notificaccedilatildeo e resposta a surtos e os relatoacuterios para os sistemas de suporte especiais (por ex medicamentos encaminhamentos e gestatildeo financeira e de recursos humanos)
Esses sistemas fornecem dados que estatildeo imediatamente disponiacuteveis e cujo objectivo eacute informar o que estaacute a acontecer no sector de sauacutede Os dados de rotina incluem por exemplo o nuacutemero de consultas de preacute-natal em uma cliacutenica o nuacutemero e tipo de vacinaccedilotildees fornecidas no local ou o nuacutemero e tipos de contraceptivos fornecidos mensalmente
Os dados sobre os serviccedilos satildeo geralmente recolhidos pelos centros de sauacutede ou postos de sauacutede e enviados para o proacuteximo niacutevel superior do sistema (geralmente o distrito) para serem agregados Esses dados podem entatildeo ser enviados ao proacuteximo niacutevel superior (regional ou provincial) para posterior agregaccedilatildeo antes que cheguem finalmente ao niacutevel central do Ministeacuterio da Sauacutede
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 934
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Idealmente os gestores de centros de sauacutede e ao niacutevel do distrito usam esses dados para orientar as operaccedilotildees diaacuterias acompanhar o desempenho e a prestaccedilatildeo de contas e tomar decisotildees que continuem a melhorar o desempenho Mas haacute vaacuterios obstaacuteculos a essa utilizaccedilatildeo
Muito frequentemente os dados de rotina satildeo imprecisos ou incompletos Apesar dos que utilizam o SIS tentarem produzir informaccedilotildees de alta qualidade e em tempo haacutebil haacute muitas oportunidades de introduzir erros Pode haver pouco apoio para que os gestores e seu pessoal se concentrem nos procedimentos correctos de recolha registo e agregaccedilatildeo dos dados
Os sistemas de sauacutede de vaacuterios paiacuteses enfatizam a importacircncia de apresentar relatoacuterios para os niacuteveis superiores mas natildeo estabeleceram procedimentos e incentivos para encorajar aqueles que fornecem informaccedilotildees a utilizaacute-las mesmo quando os dados satildeo de boa qualidade
Outra dificuldade eacute que as estatiacutesticas sobre serviccedilos fornecem informaccedilotildees apenas sobre os utentes que utilizam os serviccedilos de sauacutede Natildeo podem fornecer informaccedilotildees sobre as muitas pessoas que natildeo utilizam os serviccedilos
Por tudo isso natildeo se pode confiar apenas nas estatiacutesticas sobre serviccedilos para fazer uma avaliaccedilatildeo Elas satildeo melhor utilizadas para a monitoria de rotina dos problemas de sauacutede puacuteblica e dos serviccedilos essenciais relacionados
Inqueacuteritos em grande escala Os inqueacuteritos em grande escala satildeo outra fonte de informaccedilotildees imediatamente disponiacuteveis Incluem inqueacuteritos de base populacional tais como as Inqueacuterito Demograacutefico e de Sauacutede (IDS) dos EUA avaliaccedilotildees completas de centros de sauacutede como a Anaacutelise de Situaccedilatildeo do Population Council e os censos nacionais Em vaacuterios casos os gestores podem usar os dados de um inqueacuterito em grande escala existente para fornecer o contexto para a interpretaccedilatildeo dos dados capturados atraveacutes das suas proacuteprias avaliaccedilotildees
Por exemplo as IDS satildeo realizadas periodicamente para caracterizar a situaccedilatildeo de sauacutede em um paiacutes ou regiatildeo geograacutefica de grande extensatildeo para vaacuterios grupos populacionais homens mulheres crianccedilas bebeacutes e assim por diante Mas os dados das IDS natildeo podem normalmente ser desagregados para uso pelos gestores no niacutevel de distrito ou comunidade
Aleacutem disso como as IDS satildeo realizadas apenas a cada trecircs ou cinco anos as informaccedilotildees que fornecem podem natildeo estar suficientemente actualizadas para as necessidades de avaliaccedilatildeo dos gestores Apesar dessas dificuldades os dados das IDS satildeo uacuteteis para compreender tendecircncias regionais ou nacionais que podem ajudar a explicar dados recolhidos em uma avaliaccedilatildeo de foco especiacutefico
Avaliaccedilotildees raacutepidas Satildeo formas raacutepidas e econoacutemicas de obter informaccedilotildees para a tomada de decisotildees principalmente ao niacutevel da actividade Os exemplos incluem entrevistas quando os utentes saem de suas consultas as avaliaccedilotildees de pequena escala dos centros de sauacutede os inqueacuteritos raacutepidos por amostragem o exame analiacutetico de registos as entrevistas com grupos de enfoque e outros meacutetodos participativos
Poderaacute usar teacutecnicas de avaliaccedilatildeo raacutepida para complementar as informaccedilotildees obtidas com dados de rotina ou inqueacuteritos de grande escala As avaliaccedilotildees raacutepidas podem-lhe fornecer informaccedilotildees valiosas sobre sua aacuterea de captaccedilatildeo e sua aacuterea de responsabilidade mais ampla ndash ou seja as comunidades e as populaccedilotildees que deveriam ter acesso aos serviccedilos essenciais prestados por um centro de sauacutede determinado Elas podem tambeacutem fornecer contexto e uma compreensatildeo qualitativa dos dados quantitativos recolhidos pelos meacutetodos mais formais
Dentro da categoria de avaliaccedilotildees raacutepidas os meacutetodos participativos e os inqueacuteritos raacutepidos por amostragem merecem a sua atenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 935
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Meacutetodos participativos (tambeacutem chamados de aprendizagem e acccedilatildeo participativas) Essas teacutecnicas e meacutetodos visam incorporar o conhecimento e as opiniotildees dos membros da comunidade no planeamento e gestatildeo de projectos de desenvolvimento no esforccedilo para influenciar as poliacuteticas e na implementaccedilatildeo de programas Eles permitem incluir vozes da comunidade nas poliacuteticas no planeamento e nos inqueacuteritos e criam um senso de propriedade e participaccedilatildeo nos resultados de MampA e nas recomendaccedilotildees feitas pela organizaccedilatildeo e por seus beneficiaacuterios
Ao contraacuterio de outras teacutecnicas de avaliaccedilatildeo raacutepida os meacutetodos participativos natildeo se baseiam em amostragens Eles usam entrevistas individuais ou com informantes essenciais (inclusive entrevistas com utentes ao saiacuterem de suas consultas) entrevistas em grupo estudos de caso e outros meacutetodos qualitativos para identificar as condiccedilotildees locais e entender as perspectivas e prioridades locais
Em vaacuterios locais haacute membros da comunidade que natildeo podem ler nem escrever e por isso os meacutetodos participativos dependem frequentemente da comunicaccedilatildeo oral com apoio de imagens siacutembolos objectos fiacutesicos e memoacuteria colectiva
Os meacutetodos participativos podem ser usados antes durante e apoacutes a implementaccedilatildeo de uma intervenccedilatildeo ou um conjunto de actividades Eles fornecem informaccedilotildees para o projecto e a avaliaccedilatildeo e permitem a participaccedilatildeo activa das partes interessadas na tomada de decisotildees Durante a implementaccedilatildeo os meacutetodos participativos satildeo uacuteteis para identificar e solucionar problemas
Aproveite para examinar e utilizar uma lista de recursos online sobre inqueacuterito qualitativo e directrizes sobre discussotildees em grupos de enfoque no Community Tool Box da Universidade de Kansas
Inqueacuteritos raacutepidos por amostragem Estes inqueacuteritos podem ser utilizados para recolher informaccedilotildees padronizadas de uma amostra pequena e cuidadosamente seleccionada de pessoas ou domiciacutelios em uma aacuterea beneficiaacuteria Eles podem descrever as condiccedilotildees em uma comunidade particular ou grupo-alvo e permitem comparar grupos diferentes em um determinado momento ou mudanccedilas no mesmo grupo ao longo do tempo Permitem tambeacutem comparar condiccedilotildees actuais com os resultados planeados
Um dos inqueacuteritos mais comuns de pequena amostragem eacute o inqueacuterito CAP (Conhecimentos Atitudes e Praacuteticas) baseado em uma amostra de 30 agrupamentos
Amostragem para Garantia de Qualidade de Lotes (Lot Quality Sampling - LQAS) Essa eacute outra teacutecnica de avaliaccedilatildeo raacutepida que se usa cada vez mais na aacuterea de sauacutede puacuteblica A LQAS utiliza amostragens muito pequenas para obter informaccedilotildees confiaacuteveis em uma pequena aacuterea geograacutefica ou unidade administrativa Pode ser usada para detectar de forma precisa os extremos do desempenho ndash para determinar se uma intervenccedilatildeo foi mais aleacutem de um limiar superior de desempenho ou natildeo conseguiu atingir um limiar inferior de desempenho em termos de qualidade ou cobertura As amostras de lotes podem tambeacutem ser combinadas para fornecer estimativas de cobertura em uma aacuterea geograacutefica mais ampla
Uma busca na Web revelaraacute recursos uacuteteis aqui temos um sobre os inqueacuteritos CAP e outro sobre LQAS A aacuterea de MampA do website do CORE Group inclui ligaccedilotildees com ferramentas e recursos importantes para a avaliaccedilatildeo raacutepida criados pelo Grupo de Trabalho de MampA do CORE Group
Como gestor deve revisar todas as fontes de dados jaacute existentes antes de planear a sua avaliaccedilatildeo A Tabela 7 apresenta as vantagens e desvantagens das trecircs principais fontes de
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 936
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 7 Resumo das trecircs fontes de dados mais comuns para uma avaliaccedilatildeo
Fonte de dados Vantagens Limitaccedilotildees
Estatiacutesticas de serviccedilo Dados sobre a populaccedilatildeo de utentes e serviccedilos cliacutenicos que satildeo recolhidos rotineiramente nos registos dos utentes e nos registos cliacutenicos
Disponiacuteveis imediatamente
Cobrem todos os tipos de serviccedilos de sauacutede e todas as aacutereas do paiacutes
Podem ser desagregados para os niacuteveis local e de distrito
Uso econoacutemico
Soacute lhe informam sobre clientes actuais sem informaccedilotildees sobre as pessoas que natildeo usam os serviccedilos de sauacutede e podem ser utentes em potencial
Natildeo fornecem informaccedilotildees sobre valores percepccedilotildees ou comportamentos da comunidade
Natildeo reflectem as pessoas que optam por fontes privadas de serviccedilos
Podem ser inexactas se os locais de prestaccedilatildeo de serviccedilos natildeo registarem os dados correctamente de forma legiacutevel e em tempo haacutebil
Inqueacuteritos de grande escala Inqueacuteritos de base populacional e avaliaccedilotildees de grande escala dos centros de sauacutede
Dados relevantes precisos e confiaacuteveis
Podem medir as tendecircncias nacionais de sauacutede identificar aacutereas com problemas e ajudar a concentrar os recursos do paiacutes em aacutereas de maior carecircncia
Geram valores meacutedios para as aacutereas urbanas e rurais regiotildees e proviacutencias
Fornecem um contexto para interpretar os dados recolhidos localmente
Podem gerar informaccedilotildees adicionais a partir dos seus conjuntos de dados informatizados
Geralmente natildeo podem desagregar os dados para fornecer meacutedias para as aacutereas sub-regionais (distritos ou municipalidades)
Geralmente natildeo satildeo realizadas anualmente os dados se tornam desactualizados rapidamente se as populaccedilotildees ou condiccedilotildees de sauacutede se modificarem rapidamente
Avaliaccedilotildees raacutepidas Meacutetodos focados para avaliar as necessidades locais e tomar decisotildees em acircmbito local
Raacutepidas e econoacutemicas
Resultam em acccedilatildeo local
Haacute directrizes para ajudar os gestores em vaacuterias dessas teacutecnicas
Fornecem aos gestores a capacidade de recolher os dados necessaacuterios
Os inqueacuteritos domiciliares (por ex LQAS ou CAP) podem obter precisatildeo suficiente para fins de avaliaccedilatildeo
Equilibra a necessidade de resultados representativos e objectivos com a necessidade de usar projectos levemente menos rigorosos que satildeo mais viaacuteveis em aacutereas locais
Usam escala e acircmbito reduzidos para produzir resultados em tempo haacutebil e de baixo custo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 937
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
dados que foram discutidas acima estatiacutesticas rotineiras de serviccedilos inqueacuteritos em grande escala e teacutecnicas de avaliaccedilatildeo raacutepida
Que niacutevel de qualidade os dados do SIS precisam ter para serem uacuteteis ndash que niacutevel de abrangecircncia precisatildeo e apresentaccedilatildeo em tempo haacutebil Para as suas necessidades de gestatildeo mesmo que natildeo sejam perfeitos os dados podem ser suficientemente bons para ter um efeito poderoso como nos mostra o exemplo de Madagascar
Dados do SIS pontos fortes e limitaccedilotildees
Subestimar o valor e a utilidade do SIS eacute infelizmente uma tendecircncia Eacute verdade que o SIS tem problemas frequentemente mas tambeacutem eacute grande o seu potencial Como vimos em
Como usar e melhorar dados imperfeitos do SIS ndash Um exemplo de Madagascar
Um SIS de base comunitaacuteria mais preciso e mais oportuno Um projecto de Madagascar implementou um meacutetodo baseado na comunidade para aumentar o uso de meacutetodos de planeamento familiar denominado ldquoComunidades Campeatildesrdquo em 50 dos 110 distritos do paiacutes O meacutetodo utilizou exclusivamente os dados do SIS para monitorar e avaliar as realizaccedilotildees das comunidades participantes
Em primeiro lugar foi estabelecida uma base de referecircncia para cada comunidade ao usar os dados do seu centro de sauacutede Em seguida o pessoal do centro de sauacutede e os representantes da comunidade identificaram metas para 10 indicadores que determinariam se uma comunidade tinha alcanccedilado a posiccedilatildeo de campeatilde apoacutes 12 meses de implementaccedilatildeo Cada comunidade monitorava seu proacuteprio progresso em uma reuniatildeo trimestral de verificaccedilatildeo
Apoacutes 12 meses o pessoal do projecto voltou a cada comunidade para avaliar os resultados Examinaram os dados do relatoacuterio de monitoria de rotina de cada centro de sauacutede e para cada indicador Prepararam tambeacutem um relatoacuterio sobre os dados de cada comunidade e o enviaram para o supervisor de niacutevel distrital para a sua confirmaccedilatildeo com base nos registos informatizados do distrito As fontes de dados para os relatoacuterios do centro de sauacutede e registos de distrito foram as mesmas (registos dos centros de sauacutede) e por isso raramente ocorreu uma discrepacircncia Mas o que interessava era envolver o supervisor distrital no exame dos dados do centro de sauacutede para mostrar a utilidade de se usar ateacute mesmo dados simples nesse niacutevel
O projecto tambeacutem cooperou com o Ministeacuterio da Sauacutede a niacutevel distrital para melhorar a precisatildeo a abrangecircncia e a prontidatildeo do SIS A ecircnfase era obter dados mais completos dos centros de sauacutede e reduzir o tempo gasto pelo escritoacuterio distrital para receber o relatoacuterio do centro de sauacutede apreciaacute-lo devolvecirc-lo ao centro para qualquer correcccedilatildeo recebecirc-lo novamente dar entrada dos dados no sistema e finalmente enviaacute-los ao niacutevel central Os distritos satildeo responsaacuteveis por cooperar com os centros de sauacutede para melhorar o registo de dados e actualizar suas proacuteprias teacutecnicas de processamento de dados
Apoacutes dois anos de assistecircncia teacutecnica o SIS tinha realmente melhorado segundo os indicadores de precisatildeo abrangecircncia e prontidatildeo As melhorias mais notaacuteveis foram em prontidatildeo o tempo gasto pelo escritoacuterio distrital no processo descrito acima reduziu-se de 12 para 3 meses
Imperfeitas mais mesmo assim valiosos Deve-se lembrar que o projecto ldquoComunidades Campeatildesrdquo teve oacuteptimo resultado apesar dos dados imperfeitos Seu numerador (o nuacutemero de utentes regulares de planeamento familiar) era detalhado e preciso Mas suas estimativas das taxas de prevalecircncia do uso de contraceptivos natildeo eram muito precisas porque o denominador (nuacutemero de mulheres em idade reprodutiva) era apenas uma estimativa baseada num censo desactualizado e em estimativas anuais do governo sobre percentagens de crescimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 938
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Madagascar o projecto Comunidades Campeatildes melhorou o sistema substancialmente num periacuteodo de dois anos Nesse caso o sistema jaacute se encontrava relativamente funcional porque projectos anteriores haviam feito um grande esforccedilo para implantar o sistema e tornaacute-lo mais soacutelido Ao aprimorar a forma como o sistema era administrado e os dados eram usados o projecto posterior conseguiu fazer uma grande diferenccedila por meio de pequenas modificaccedilotildees
Os dados do SIS natildeo satildeo 100 exactos e nunca seratildeo Esta eacute a realidade com a qual todos os gestores tecircm que trabalhar Mas os dados natildeo precisam ser perfeitos para serem uacuteteis Eacute possiacutevel fazer a monitoria e a gestatildeo com dados imperfeitos Informaccedilotildees obtidas em tempo
(continuaccedilatildeo)
No entanto o projecto constatou que as taxas de prevalecircncia de uso de contraceptivos eram suficientemente boas para acompanhar o desempenho das comunidades que participavam do meacutetodo de Comunidades Campeatildes O pessoal do projecto tambeacutem complementou as comparaccedilotildees dessas taxas com as comparaccedilotildees dos valores do numerador nuacutemeros simples que faziam sentido para o pessoal do centro de sauacutede e tambeacutem para as comunidades
O niacutevel central comeccedilou a organizar workshops regionais trimestrais para divulgar os resultados ao niacutevel distrital Juntos os gestores dos niacuteveis distritais regionais e centrais analisaram o progresso e classificaram os distritos com base no seu desempenho Usaram a anaacutelise de causa-raiz ndash um processo que identifica as causas subjacentes de um problema ndash para entender os obstaacuteculos enfrentados pelos distritos que apresentavam baixo desempenho (Consulte o Apecircndice A no Capiacutetulo 2 deste guia para obter mais informaccedilotildees sobre a anaacutelise de causa-raiz) Finalmente o Ministeacuterio de Sauacutede mobilizou o apoio de agecircncias doadoras e de organizaccedilotildees parceiras para ajudaacute-los a melhorar
O ministeacuterio comeccedilou a usar as informaccedilotildees de sauacutede para administrar realmente o sistema de sauacutede Antes dessa intervenccedilatildeo poucas organizaccedilotildees confiavam ou utilizavam os dados do SIS Mas quando ficou claro que o sistema funcionava as agecircncias doadoras passaram a confiar as organizaccedilotildees parceiras passaram a utilizaacute-lo e o ministeacuterio se orgulhou do trabalho Pela primeira vez tinham uma visatildeo mais niacutetida do que acontecia em todo o paiacutes e podiam usar essas informaccedilotildees para buscar o apoio de agecircncias doadoras se necessaacuterio
Do mesmo modo os centros de sauacutede raramente usavam seus proacuteprios dados Eles simplesmente faziam os registos e os enviavam para o escritoacuterio distrital sem nem mesmo receber retroinformaccedilatildeo do mesmo Apoacutes a conclusatildeo do projecto perceberam como os dados mais precisos podiam ser usados em seu benefiacutecio e das comunidades
Os distritos tambeacutem actuavam antes de uma forma pouco informada Cada distrito dependia apenas dos seus proacuteprios dados e funcionava num vaacutecuo As mudanccedilas no SIS e o encorajamento do governo central forneceram aos distritos oportunidades para comparar seu trabalho e aprender uns com os outros
Aprendizagem com dados mais precisos completos e oportunos Os dados satildeo geralmente utilizados para fazer comparaccedilotildees mas satildeo menos frequentemente utilizados como ferramenta de aprendizagem Nesse caso depois que os relatoacuterios comeccedilaram a chegar dentro do prazo o Ministeacuterio da Sauacutede usou os dados ndash inclusive dados imperfeitos ndash para descobrir que distritos tinham um desempenho ruim e que distritos estavam melhor que os outros Assim aprenderam com os de melhor desempenho ao perguntar Por que seus resultados satildeo tatildeo bons O que estavam a fazer de diferente O que poderia ser replicado Finalmente aplicaram a aprendizagem ao usar esses distritos como modelos e ao oferecer mais apoio aos de pior desempenho
Todo o sistema de sauacutede se entusiasmou com as informaccedilotildees que podiam produzir e usar A comeccedilar do topo esse entusiasmo chegou aos niacuteveis inferiores e os motivou a melhorar sua recolha e processamento de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 939
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
haacutebil e com 75 de precisatildeo satildeo melhores que as informaccedilotildees com 95 de precisatildeo que chegam com vaacuterios meses de atraso
Apesar do seu grande valor por si soacutes os dados do SIS natildeo atenderatildeo a todas as necessidades de informaccedilatildeo de muitas organizaccedilotildees Algumas organizaccedilotildees e agecircncias doadoras precisam de dados que exigem avaliaccedilotildees ou sistemas especiais Aleacutem disso vaacuterias intervenccedilotildees foram projectadas para modificar o conhecimento as atitudes e as praacuteticas dos beneficiaacuterios factores que natildeo satildeo capturados nos dados de serviccedilo Eacute importante usar os dados do SIS sempre que possiacutevel e complementaacute-los com avaliaccedilotildees locais quando necessaacuterio
Como gestor de um programa de sauacutede ou de serviccedilos de sauacutede parte do seu trabalho deveria ser o de melhorar o SIS em seu paiacutes Ele eacute o uacutenico sistema de informaccedilotildees sustentaacutevel na maioria dos paiacuteses Os sistemas de informaccedilatildeo criados e mantidos por agecircncias doadoras ou organizaccedilotildees externas tecircm duraccedilatildeo limitada mas o SIS eacute parte permanente do seu legado
Se todos os parceiros e agecircncias doadoras trabalharem com o Ministeacuterio de Sauacutede para prestar assistecircncia teacutecnica e financeira ao SIS ele poderaacute render informaccedilotildees que trazem grandes melhorias para os serviccedilos de sauacutede e que justificam plenamente o investimento no mesmo
Praacuteticas comprovadas
Um sistema de MampA deveria proporcionar aos gestores o que eles precisam saber para agir Deve se basear em indicadores relevantes faacuteceis de usar e que possam ser fornecidos em tempo haacutebil para os ciclos de planeamento e apresentaccedilatildeo de relatoacuterios
Os resultados de MampA natildeo se destinam apenas ao pessoal de MampA da sua organizaccedilatildeo ou agrave agecircncia doadora As informaccedilotildees de MampA satildeo um recurso fundamental para as acccedilotildees e a aprendizagem Se o seu processo de MampA tiver mecanismos de retroinformaccedilatildeo que permitam aos tomadores de decisotildees reflectirem sobre os resultados e absorverem o que precisam para seus proacuteprios fins eles assumiratildeo o controlo do processo e utilizaratildeo o que ele oferecer
Se vocecirc define suas actividades de MampA no comeccedilo de uma intervenccedilatildeo ou projecto junto com o plano de acccedilatildeo para o projecto teraacute mais oportunidades de orientar e acompanhar a implementaccedilatildeo das actividades
Quando satildeo demasiado elaborados e complicados os planos de MampA natildeo satildeo usados Elabore um plano de MampA simples escolha ferramentas de monitoria faacuteceis de usar e seleccione a menor quantidade possiacutevel de indicadores para acompanhar o progresso e introduzir as mudanccedilas necessaacuterias ao longo do caminho
Para fortalecer um SIS eacute preciso trabalhar com as pessoas envolvidas os responsaacuteveis pelo sistema que registam transferem analisam comunicam e utilizam os dados e as informaccedilotildees para a gestatildeo dos serviccedilos
Ao fornecer os dados do SIS para os tomadores de decisotildees vocecirc deve reconhecer as diferenccedilas na frequecircncia dos relatoacuterios e nas quantidades de dados agregados e desagregados necessaacuterios aos niacuteveis diferentes de governo ou agraves organizaccedilotildees natildeo governamentais
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 93
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
essenciais de qualquer sistema de sauacutede A OMS define um SIS eficiente como ldquoaquele que garante a produccedilatildeo anaacutelise difusatildeo e uso de informaccedilotildees confiaacuteveis e em tempo haacutebil sobre factores os determinantes da sauacutede o desempenho do sistema de sauacutede e o estado da sauacutederdquo (OMS 2007) O termo SIS geralmente engloba os vaacuterios subsistemas que fornecem as informaccedilotildees necessaacuterias para a gestatildeo de serviccedilos de sauacutede A Figura 1 apresenta uma visatildeo geral dos subsistemas comuns dentro de um SIS
Um SIS bem projectado e eficiente fornece suporte aos processos essenciais e necessaacuterios para gerir os serviccedilos de sauacutede Esses processos satildeo ciacuteclicos e constantes e a recolha anaacutelise e uso das informaccedilotildees para executar as funccedilotildees de gestatildeo de sauacutede tambeacutem criam um processo ciacuteclico
A Figura 2 mostra o MampA como um elemento de um ciclo de gestatildeo tiacutepico que fornece dados para um ciclo de informaccedilotildees Eles satildeo aiacute processados e se transformam em informaccedilotildees que satildeo enviadas de volta para vaacuterias funccedilotildees do ciclo de gestatildeo
FIGURA 1 Subsistemas comuns de informaccedilotildees sobre sauacutede
Vigilacircncia epidemioloacutegica
Detecccedilatildeo e notificaccedilatildeo sobre doenccedilas e factores de risco investigaccedilatildeo de acompanhamento e medidas para controlo de surtos
Relatoacuterios sobre serviccedilos de rotina
Registo e apresentaccedilatildeo de relatoacuterios sobre os serviccedilos dos centros de sauacutede serviccedilos de alcance social e serviccedilos comunitaacuterios em termos de monitoria dos casos e monitoria do desempenho (qualidade) das tarefas dos serviccedilos do desempenho da cobertura e alcance
social dos serviccedilos e da disponibilidade e uso de recursos
Relatoacuterios sobre programas especiacuteficos
Programas tais como
prevenccedilatildeo e controlo da malaacuteria
sauacutede reprodutiva e planeamento familiar (PF)
imunizaccedilatildeo
controlo da tuberculose
prevenccedilatildeo e controlo de VIHSIDA e DSTs
controlo da lepra
gestatildeo integrada de doenccedilas infantis
aacutegua e saneamento
seguranccedila e higiene alimentar
Informaccedilotildees administrativas
gestatildeo financeira e orccedilamentaacuteria
gestatildeo de recursos humanos
administraccedilatildeo de formaccedilatildeo
gestatildeo de suprimentos e medicamentos essenciais
desenvolvimento e manutenccedilatildeo dos centros de sauacutede e equipamentos
gestatildeo das investigaccedilotildees de sauacutede
gestatildeo de documentos e dados
gestatildeo de recursos externos
Registos vitais
Registo de nascimentos mortes formaccedilatildeo de famiacutelia e migraccedilatildeo nos sistemas civil e de sauacutede
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 94
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
DIFERENCcedilAS ENTRE MONITORIA E AVALIACcedilAtildeO
Monitoria e avaliaccedilatildeo satildeo funccedilotildees essenciais de gestatildeo de uma organizaccedilatildeo Juntas elas permitem decisotildees informadas uma melhor utilizaccedilatildeo dos recursos e uma avaliaccedilatildeo objectiva de ateacute que ponto os serviccedilos e outras actividades de uma organizaccedilatildeo permitiram a obtenccedilatildeo de um resultado esperado
Para tomar decisotildees informadas os gestores de sauacutede precisam de um sistema de MampA que forneccedila informaccedilotildees confiaacuteveis sobre factores tais como os seguintes
as necessidades de sauacutede das pessoas na aacuterea de captaccedilatildeo ou seja a aacuterea de onde vecircm os utentes dos serviccedilos
as prioridades do paiacutes proviacutencia distrito e comunidades a que servem a qualidade e cobertura dos serviccedilos que oferecem os recursos que eles utilizaram e os recursos ainda disponiacuteveis o progresso na implementaccedilatildeo das suas actividades
Tanto as actividades de monitoria quanto as de avaliaccedilatildeo satildeo necessaacuterias para satisfazer essas necessidades de informaccedilatildeo Mas qual delas deve ser usada e quando As diferenccedilas entre monitoria e avaliaccedilatildeo residem nos seus propoacutesitos prazos e fontes de informaccedilatildeo
A Monitoria eacute usada para rastrear continuamente as mudanccedilas nos indicadores ndash marcadores mensuraacuteveis de mudanccedila ao longo do tempo ndash de modo a gerir a implementaccedilatildeo de um programa A monitoria mede o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos actividades resultados imediatos e por vezes resultados de curto prazo Para vocecirc como gestor isso pode envolver monitorar o progresso por referecircncia aos seus planos operacionais eou monitoria dos serviccedilos que oferece
Os procedimentos comuns para a monitoria de programas incluem acompanhar as estatiacutesticas sobre serviccedilos e examinar os registos e relatoacuterios sobre formaccedilatildeo A monitoria regular e sistemaacutetica fornece informaccedilotildees para fins de planeamento e uma base confiaacutevel para realizar uma avaliaccedilatildeo
FIGURA 2 Relaccedilatildeo entre as informaccedilotildees e os ciclos de gestatildeo
Ciclo de informaccedilotildees
Ciclo de gestatildeo
Orccedilamento
Implementaccedilatildeo
Controlo
Monitoria e avaliaccedilatildeo
Planeamento
Apresentaccedilatildeo de informaccedilotildees
Interpretaccedilatildeo das informaccedilotildees
Uso das informaccedilotildees
Recolha de dados
Anaacutelise de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 95
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A Avaliaccedilatildeo por outro lado eacute usada para avaliar a eficaacutecia (e por vezes o custo) dos esforccedilos para melhorar os serviccedilos e para prevenir e controlar os problemas prioritaacuterios de sauacutede A avaliaccedilatildeo mede os resultados a meacutedio e longo prazo e o impacto Avalia em que medida sua organizaccedilatildeo estaacute a atingir os resultados esperados e o ajuda a entender por que os resultados foram ou natildeo atingidos A avaliaccedilatildeo eacute tambeacutem uma oportunidade de aprendizado constante a partir das experiecircncias
Portanto o primeiro factor que diferencia a monitoria da avaliaccedilatildeo eacute uma diferenccedila de propoacutesito A monitoria eacute motivada por uma necessidade de gestatildeo ao passo que a avaliaccedilatildeo eacute motivada pela necessidade de documentar os resultados a meacutedio e longo prazo de uma intervenccedilatildeo e relataacute-los a uma agecircncia doadora ou a outros grupos de interesse A monitoria portanto se concentra na implementaccedilatildeo operacional ao passo que a avaliaccedilatildeo se concentra nos efeitos das actividades sobre a sauacutede da populaccedilatildeo-alvo
Isso nos leva a uma segunda diferenccedila criacutetica o periacuteodo durante o qual cada uma delas eacute usada A monitoria eacute um processo rotineiro e constante usado durante toda a intervenccedilatildeo A avaliaccedilatildeo requer a recolha de dados basais preliminares (como referecircncia) e de dados apoacutes a intervenccedilatildeo que lhe permitem comparar as mudanccedilas durante o periacuteodo da intervenccedilatildeo e agraves vezes apoacutes um periacuteodo adequado de acompanhamento
Por uacuteltimo uma terceira diferenccedila diz respeito agraves fontes de informaccedilatildeo que cada funccedilatildeo utiliza Os dados para a monitoria geralmente provecircm do que estaacute imediatamente disponiacutevel do sistema de informaccedilatildeo de sauacutede ou de registos de serviccedilos de rotina As estatiacutesticas dos serviccedilos fornecem dados de monitoria tais como stocks de suprimentos nuacutemeros de doses de vacinas ministradas mensalmente e resultados de utentes Os dados de monitoria tambeacutem podem ser obtidos ao compilar os registos de rotina da organizaccedilatildeo Um exemplo satildeo as listas de participantes de workshops de formaccedilatildeo que podem dar informaccedilotildees sobre o nuacutemero de pessoas que receberam formaccedilatildeo sobre um toacutepico especiacutefico
Os indicadores de impacto e de resultados a meacutedio e longo prazo devem ser medidos no niacutevel dos beneficiaacuterios ou da populaccedilatildeo e devem ser obtidos por meio de uma avaliaccedilatildeo Por exemplo para determinar o resultado a meacutedio e longo prazo de uma iniciativa de orientaccedilatildeo sobre planeamento familiar precisaria saber a percentagem de mulheres entre as orientadas que de facto adoptaram um meacutetodo de planeamento familiar Natildeo poderia obter essas informaccedilotildees a partir das estatiacutesticas sobre serviccedilos nem de registos de rotina da organizaccedilatildeo precisaria realizar um inqueacuterito para recolher os dados
Medidas comuns em uma avaliaccedilatildeo incluem as mudanccedilas de uso dos serviccedilos de sauacutede de um periacuteodo para outro a proporccedilatildeo de partos seguros a cobertura de serviccedilos de imunizaccedilatildeo e as mudanccedilas no conhecimento atitudes ou comportamento de um grupo-alvo
Praacuteticas de lideranccedila e gestatildeo para a monitoria e a avaliaccedilatildeo Apesar das diferenccedilas entre monitoria e avaliaccedilatildeo as duas funccedilotildees seratildeo optimizadas se usar outras praacuteticas de lideranccedila e gestatildeo quando executar tarefas de monitoria ou avaliaccedilatildeo Por exemplo monitoria e avaliaccedilatildeo ndash uma das praacuteticas de gestatildeo discutidas no Capiacutetulo 2 deste manual ndash exigem que vocecirc focalize as metas e prioridades e use suas habilidades de exploraccedilatildeo para recolher e analisar os dados apropriados Em resposta aos resultados recolhidos por meio da monitoria e avaliaccedilatildeo talvez precise focalizar e alinhar e mobilizar o pessoal para modificar os planos de intervenccedilatildeo de modo a obter resultados melhores A depender da medida em que as actividades estejam a atingir seus objectivos e os resultados esperados vocecirc poderaacute tambeacutem utilizar as informaccedilotildees de MampA para inspirar o pessoal a melhorar seu desempenho ou continuar a fazer um bom trabalho
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 96
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para gerir as actividades de MampA precisaraacute desenvolver um plano de MampA e entatildeo organizar as estruturas subsistemas e processos para implementar o plano Finalmente teraacute que monitorar e avaliar o programa de MampA para determinar o progresso no alcance dos resultados esperados
As principais praacuteticas de lideranccedila e gestatildeo discutidas aqui e no Capiacutetulo 2 deste manual satildeo tambeacutem descritas em detalhes no Centro de Recursos Electroacutenicos da MSH da secccedilatildeo de Desenvolvimento da Lideranccedila intitulada ldquoComo criar liacutederes que lideramrdquo
De quem eacute a MampA
Quem utiliza a MampA Quem precisa de informaccedilotildees de sauacutede Os gestores de todos os niacuteveis de uma organizaccedilatildeo tecircm interesse em utilizar as informaccedilotildees como base para a acccedilatildeo Isso lhes permite serem gestores e liacutederes eficazes em todos os niacuteveis Na verdade os gestores constituem a fundaccedilatildeo do sistema de MampA
O problema eacute que a funccedilatildeo de MampA nem sempre eacute integrada agrave organizaccedilatildeo Em muitos casos as organizaccedilotildees ndash e por vezes as agecircncias doadoras ndash actuam como se a MampA fosse responsabilidade apenas do pessoal de MampA Sem um processo adequado de comunicaccedilatildeo e retroinformaccedilatildeo as informaccedilotildees e o conhecimento poderiam permanecer nas matildeos do pessoal de MampA Como consequecircncia os resultados (bons ou maus) nem sempre satildeo informados agraves pessoas que precisam deles e as informaccedilotildees natildeo satildeo utilizadas para as decisotildees de gestatildeo
Eacute muito frequente por exemplo que se realize uma avaliaccedilatildeo e se produzam informaccedilotildees para atender agraves necessidades de uma agecircncia doadora ou uma agecircncia do governo e natildeo para melhorar os serviccedilos de uma organizaccedilatildeo Uma forma de garantir que os resultados da avaliaccedilatildeo sejam usados eacute fazer com que os gestores de todos os niacuteveis de uma organizaccedilatildeo desde o centro de sauacutede ateacute o Ministeacuterio da Sauacutede detenham o controlo dos processos e dos resultados de MampA
Necessidades de informaccedilatildeo em niacuteveis diferentes Nem todas as informaccedilotildees satildeo necessaacuterias em todos os niacuteveis e a todo o tempo Gestores agecircncias doadoras e o governo central podem precisar de informaccedilotildees diferentes em momentos diferentes para cumprir seus requisitos de apresentaccedilatildeo de relatoacuterios e para tomar decisotildees Os gestores de projectos financiados por agecircncias doadoras por exemplo trabalham geralmente em um ciclo trimestral ou bienal de apresentaccedilatildeo de relatoacuterios ao passo que o Ministeacuterio da Sauacutede pode precisar de dados que cubram um periacuteodo de trecircs a cinco anos para demonstrar seu impacto e para apresentaacute-los aos poliacuteticos e aos meios de comunicaccedilatildeo
As necessidades de informaccedilatildeo de um sistema de sauacutede podem ser vistas sob a forma de uma hierarquia A Figura 3 mostra que se necessita de volumes cada vez menores de informaccedilatildeo agrave medida que se sobe nos niacuteveis de uma organizaccedilatildeo Existe um conjunto baacutesico de informaccedilotildees de que os gestores de todos os niacuteveis precisam mas apenas um pequeno subconjunto dessas informaccedilotildees eacute necessaacuterio no niacutevel nacional No niacutevel de distrito e dos centros de sauacutede os gestores precisam de informaccedilotildees desagregadas e de forma contiacutenua porque eacute nesses niacuteveis que se empreendem acccedilotildees em resposta a dados operacionais (por ex falta de estoque e abandono de tratamento)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 97
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria dos indicadores operacionais tem menos importacircncia no niacutevel nacional Os que tomam decisotildees no niacutevel nacional precisam na verdade de indicadores que meccedilam o impacto dos programas e serviccedilos de sauacutede no estado de sauacutede a longo prazo Por isso deve-se projectar um SIS para atender a todos os seus utentes fornecendo informaccedilotildees confiaacuteveis a curto meacutedio e longo prazo
No niacutevel do centro de sauacutede por exemplo os gestores recolheriam e utilizariam informaccedilotildees sobre a distribuiccedilatildeo mensal de contraceptivos medicamentos fora de estoque e abandono de tratamento Nos niacuteveis distritais e provinciais ou na sede de uma ONG de grande porte as informaccedilotildees mais uacuteteis seriam taxas anuais de prevalecircncia do uso de contraceptivos ao passo que para o Ministeacuterio de Sauacutede poderiam ser as taxas de mortalidade e morbidade materna a intervalos de trecircs a cinco anos
Para uma discussatildeo mais detalhada sobre a hierarquia das necessidades de informaccedilotildees consulte um artigo no website da OMS
Princiacutepios para uma melhor gestatildeo das informaccedilotildees O Capiacutetulo 1 deste manual afirma que nenhum sistema de gestatildeo pode ser fortalecido se as pessoas natildeo forem incluiacutedas no processo O mesmo se aplica a um SIS Eacute preciso trabalhar com as pessoas envolvidas aquelas que controlam o sistema e registam transferem analisam comunicam e usam os dados e informaccedilotildees para gerir os serviccedilos
Como deveriacuteamos trabalhar com as pessoas no SIS O Quadro 1 apresenta os princiacutepios baacutesicos para criar um SIS eficiente ou melhorar a gestatildeo das informaccedilotildees O objectivo eacute aumentar a disponibilidade e a confiabilidade das informaccedilotildees para que possam ser usadas com mais eficaacutecia na gestatildeo das organizaccedilotildees de sauacutede e dos serviccedilos Esses princiacutepios enfatizam a necessidade da participaccedilatildeo integral de todo o pessoal do SIS e dos gestores e profissionais de sauacutede que utilizaratildeo as informaccedilotildees
FIGURA 3 Hierarquia das necessidades de informaccedilotildees
Informaccedilotildees utilizadas por gestores de programa nacional
Informaccedilotildees recolhidas pelo centro de sauacutede e aiacute utilizadas
Informaccedilotildees exigidas por autoridade nacional
Informaccedilotildees adicionais exigidas por distrito ou departamento municipal
Informaccedilotildees adicionais exigidas para direcccedilatildeo do centro de sauacutede
Fonte Reproduzido com autorizaccedilatildeo de ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo por Vincent Shaw 2005
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 98
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
QUADRO 1 Princiacutepios orientadores para melhorar a gestatildeo das informaccedilotildees
Entenda as funccedilotildees e responsabilidades dos serviccedilos de sauacutede Como o SIS estaacute vinculado ao ciclo de gestatildeo de sauacutede um preacute-requisito para melhorar o SIS eacute entender claramente as funccedilotildees e responsabilidades de cada serviccedilo de sauacutede programa niacutevel de operaccedilotildees e sector (puacuteblico privado comunitaacuterio OSC ONG) envolvido na prestaccedilatildeo de serviccedilos de sauacutede
Focalize na melhoria da sauacutede e dos serviccedilos de sauacutede Quaisquer mudanccedilas nos registos e relatoacuterios de sauacutede devem ser feitas com vistas a melhorar o desempenho dos serviccedilos de sauacutede Eacute importante buscar formas de atender agraves necessidades de informaccedilatildeo em niacuteveis superiores do sistema de sauacutede sem pedir aos gestores e profissionais de sauacutede que registem e reportem dados que natildeo sejam utilizados no niacutevel da prestaccedilatildeo de serviccedilos
Fortaleccedila os sistemas existentes Apesar de ser tentador reformular completamente os sistemas e integrar sistemas paralelos de registos que satildeo especiacuteficos a certos programas o tempo dinheiro interrupccedilatildeo e outros custos de fazer isso satildeo maiores que os possiacuteveis benefiacutecios Poucos esforccedilos para desenvolver SIS totalmente integrados tiveram sucesso Uma opccedilatildeo melhor eacute definir padrotildees de formatos e codificaccedilatildeo de dados que facilitem o intercacircmbio de dados entre sistemas separados
Procure garantir a aceitaccedilatildeo em niacutevel nacional Todas as actividades para desenvolver ou melhorar um sistema de informaccedilotildees devem ser realizadas por grupos de trabalho do proacuteprio paiacutes sob a gestatildeo de pessoal nacional Eacute essencial ter a participaccedilatildeo natildeo soacute do pessoal ligado aos sistemas de informaccedilatildeo mas tambeacutem de gestores e prestadores de serviccedilos esses uacuteltimos as principais pessoas para dar informaccedilotildees Se for necessaacuterio usar um consultor externo essa pessoa deve assumir um papel de facilitador que permita que o pessoal local desenvolva seu proacuteprio sistema Por meio da participaccedilatildeo activa eles entenderatildeo e assumiratildeo o controlo dos meacutetodos e instrumentos do sistema e ao fazer isso se tornaratildeo melhores para mantecirc-lo
Reforce as habilidades do pessoal de sauacutede Essas habilidades incluem registar relatar transmitir processar apresentar analisar e interpretar os dados e usaacute-los para a tomada de decisotildees Usar e manter sistemas de computaccedilatildeo eacute algo que tambeacutem pode ser ensinado O meacutetodo recomendado para desenvolver habilidades eacute ldquoaprender ao fazerrdquo atraveacutes do seguinte
workshops no local de serviccedilo em que pessoal do serviccedilo de sauacutede e os gestores de dados trabalham juntos para solucionar problemas reais usando dados reais
envolver o pessoal nacional nos estudos de planeamento e implementaccedilatildeo e no desenho das mudanccedilas do sistema
esclarecer os papeacuteis e responsabilidades atraveacutes da promoccedilatildeo do consenso
Use a tecnologia de forma apropriada Vocecirc pode usar computadores para a manutenccedilatildeo de banco de dados geraccedilatildeo de relatoacuterios anaacutelise de dados e comunicaccedilotildees se seus sistemas de computaccedilatildeo e software puderem ser mantidos localmente com pessoal jaacute existente Mas certifique-se de que a informatizaccedilatildeo natildeo prejudicaraacute o fluxo e acesso aos dados natildeo sobrecarregaraacute as pessoas de trabalho e natildeo estimularaacute a falsificaccedilatildeo dos dados o que reduziria a confiabilidade dos mesmos
Aceda ao Centro de Recursos Electroacutenicos da MSH para obter enlaces (links) para orientaccedilatildeo adicional sobre gestatildeo de informaccedilotildees
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 99
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria como um caminho para a acccedilatildeo
A IMPORTAcircNCIA DA MONITORIA DE ROTINA
Por que soacute a avaliaccedilatildeo natildeo basta Na comunidade envolvida com o desenvolvimento algumas organizaccedilotildees tendem a confiar mais nos estudos de avaliaccedilatildeo do que numa soacutelida monitoria dos programas Muitas pretendem executar tanto a monitoria quanto a avaliaccedilatildeo mas na praacutetica geralmente dedicam mais tempo e recursos agrave avaliaccedilatildeo
As agecircncias doadoras os governos e as organizaccedilotildees podem preferir as avaliaccedilotildees porque elas fornecem evidecircncias mais palpaacuteveis de progresso tais como a prevalecircncia do uso de contraceptivos (uma medida tiacutepica de resultado a meacutedio e longo prazo para planeamento familiarsauacutede reprodutiva) medida por meio de um inqueacuterito anual domiciliar
A monitoria natildeo pode produzir o indicador de resultado a meacutedio e longo prazo ndash a evidecircncia palpaacutevel de que esses contraceptivos estatildeo efectivamente a ser utilizados Ela pode apenas fornecer um indicador de progresso ou um marco de referecircncia ndash tal como a distribuiccedilatildeo mensal de contraceptivos ndash que lhe permite acompanhar o progresso em direcccedilatildeo agraves metas operacionais Vocecirc pode monitorar a distribuiccedilatildeo de produtos mas natildeo pode concluir que os produtos estejam a ser efectivamente utilizados
Mas para um gestor como vocecirc os dados sobre distribuiccedilatildeo satildeo exactamente o tipo de informaccedilatildeo de que precisa para demonstrar o progresso no alcance da meta e para fazer seu trabalho de forma eficaz
Veja por exemplo uma intervenccedilatildeo para a mudanccedila de comportamento no Peru a qual estaacute descrita e analisada no quadro abaixo
No contexto de serviccedilos de sauacutede do governo os gestores de distrito e de centros de sauacutede precisam monitorar tanto os indicadores de resultados a meacutedio e longo prazo como os indicadores de cobertura Os indicadores de cobertura informam ao gestor de sauacutede se os serviccedilos essenciais estatildeo a ser fornecidos a grupos-alvo especiacuteficos e permitem assim agir rapidamente para resolver falhas na prestaccedilatildeo de serviccedilos a subgrupos ou comunidades carentes
Um bom sistema de monitoria lhe fornece as informaccedilotildees criacuteticas para gerir a intervenccedilatildeo e tomar medidas correctivas imediatamente Uma avaliaccedilatildeo natildeo lhe daacute esse tipo de informaccedilatildeo Portanto quando se vecirc um bom sistema de monitoria eacute geralmente porque um gestor estaacute a impulsionaacute-lo porque precisa de informaccedilotildees de monitoria fornecidas pelo sistema de MampA para que o dito gestor possa comeccedilar a agir
COMO PRODUZIR INFORMACcedilOtildeES ACCIONAacuteVEIS
As informaccedilotildees accionaacuteveis satildeo dados que vocecirc pode usar para tomar uma decisatildeo e empreender uma acccedilatildeo Elas ajudam a identificar falhas de desempenho e encontrar maneiras de resolver essas falhas Para serem accionaacuteveis as informaccedilotildees obtidas com a monitoria devem se basear em indicadores uacuteteis produzidos em formato simples e em tempo haacutebil para o ciclo de planeamento ou apresentaccedilatildeo de relatoacuterios
ldquoAccionaacutevelrdquo significa coisas diferentes para diferentes utentes As informaccedilotildees de que o gestor precisa natildeo satildeo iguais agraves informaccedilotildees de que o director executivo de uma organizaccedilatildeo ou o ministeacuterio de sauacutede utilizariam para apresentar relatoacuterios para agecircncias doadoras poliacuteticos ou para a miacutedia
Como produzir informaccedilotildees accionaacuteveis para o gestor
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 910
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Em primeiro lugar os indicadores devem ser uacuteteis para o gestor Eles devem estar directamente relacionados com o plano operacional da organizaccedilatildeo (ou o plano de intervenccedilatildeo) e os resultados esperados Algumas organizaccedilotildees tecircm a tendecircncia de focalizar a monitoria do processo entre os inqueacuteritos sobre conhecimentos atitudes e praacuteticas (CAP) Isso significa que monitoram os processos tais como a formaccedilatildeo Quem recebeu formaccedilatildeo Em que toacutepicos Quando Isto eacute importante mas natildeo o suficiente A monitoria do processo natildeo monitora o progresso para atingir os resultados simplesmente acompanha a conclusatildeo das actividades
Aleacutem da monitoria do processo os gestores tambeacutem precisam monitorar os indicadores substitutos que indicam o maacuteximo que vocecirc se aproximaraacute dos resultados reais durante a implementaccedilatildeo de um conjunto de actividades quando os resultados natildeo forem ainda facilmente mensuraacuteveis Os indicadores substitutos satildeo medidas indirectas que se aproximam de um alvo ou resultado ou representam esse alvo ou resultado quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis
Por exemplo no caso da prestaccedilatildeo de serviccedilos de planeamento familiar como determinados contraceptivos satildeo distribuiacutedos atraveacutes do centro de sauacutede os dados de monitoria deveriam vir do centro de sauacutede Apesar de natildeo se poder concluir que o resultado-alvo tenha sido atingido ndash que os produtos estejam efectivamente a ser utilizados pela populaccedilatildeo beneficiaacuteria ndash as informaccedilotildees sobre distribuiccedilatildeo fornecem pistas sobre a possibilidade de sucesso das actividades A maioria dos dados para monitorar os indicadores substitutos pode ser obtida a partir do SIS
As informaccedilotildees accionaacuteveis devem ser fornecidas em um formato utilizaacutevel Os gestores frequentemente recebem um excesso de informaccedilotildees em um formato muito complicado Eacute
Em acccedilatildeo o monitoramento para melhor gestatildeo de programas ndash Um exemplo do Peru
Uma organizaccedilatildeo de planeamento familiar local no Peru fez uma campanha de comunicaccedilatildeo para aumentar a prevalecircncia do uso de contraceptivos na aacuterea de captaccedilatildeo da organizaccedilatildeo Criaram os materiais e deram formaccedilatildeo aos trabalhadores de sauacutede comunitaacuterios para educar as mulheres nas suas aldeias A organizaccedilatildeo pretendia realizar apenas um inqueacuterito para obter dados baacutesicos preliminares para depois realizar inqueacuteritos sobre conhecimentos atitudes e praacuteticas (CAP) Esses eram os passos iniciais necessaacuterios e os meacutetodos adequados para avaliar a eficaacutecia da campanha mas a questatildeo eacute se forneceriam dados suficientes e accionaacuteveis para atender agraves necessidades do gestor Natildeo porque os resultados viriam apoacutes a campanha ser concluiacuteda O gestor precisava de informaccedilotildees para tomar medidas correctivas enquanto a campanha de comunicaccedilatildeo estava em andamento
Coloque-se no lugar do gestor nesse cenaacuterio O que precisaria monitorar Poderia comeccedilar com a distribuiccedilatildeo mensal de contraceptivos durante a campanha de comunicaccedilatildeo usando dados faacuteceis de obter do depoacutesito de suprimentos O movimento do stock dos produtos contraceptivos na cadeia de suprimentos indicaria que a campanha estava a criar uma demanda ao passo que nenhum movimento poderia indicar que a campanha ou o sistema de fornecimento natildeo estava a funcionar adequadamente Notam-se picos de distribuiccedilatildeo durante a campanha O movimento de contraceptivos eacute maior durante a campanha do que era antes
Se natildeo notar mudanccedilas apoacutes dois ou trecircs meses saberaacute que algo precisa ser modificado na campanha de comunicaccedilatildeo ou na cadeia de suprimentos ou em ambas Teraacute que fazer visitas ao local para descobrir os motivos O problema eacute a falta de stock Natildeo houve mudanccedila na distribuiccedilatildeo porque natildeo haacute produtos disponiacuteveis Ou natildeo houve mudanccedila porque a estaccedilatildeo de raacutedio natildeo transmitiu o anuacutencio informativo Ou talvez os agentes de distribuiccedilatildeo da comunidade nunca receberam os papeacuteis gigantes e os modelos de que precisavam para educar as mulheres nas suas comunidades
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 911
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
preciso ter uma ferramenta simples que lhe forneccedila apenas informaccedilotildees essenciais Poderaacute aprender mais sobre essas ferramentas na secccedilatildeo deste capiacutetulo intitulada ldquoCaracteriacutesticas de uma boa ferramenta de monitoriardquo
Por uacuteltimo os gestores precisam receber informaccedilotildees em tempo haacutebil para que possam agir imediatamente Os projectos implementados pelas organizaccedilotildees com fundos do governo ou de uma agecircncia doadora satildeo frequentemente conduzidos em dois periacuteodos de tempo
Por exemplo vocecirc poderaacute gerir um projecto que se estende por cinco anos desmembrado em ciclos anuais de apresentaccedilatildeo de relatoacuterios com base em planos de operaccedilatildeo anuais Mas para monitorar o plano anual e apresentar os relatoacuterios necessaacuterios vocecirc precisa de informaccedilotildees trimestrais Se os seus centros de sauacutede apresentarem os dados apoacutes o prazo estabelecido as informaccedilotildees natildeo chegaratildeo a tempo para os seus relatoacuterios
Informaccedilotildees em acccedilatildeo para melhorar os serviccedilos ndash experiecircncias da Boliacutevia e da Aacutefrica do Sul
Uso de informaccedilotildees para mobilizar a cadeia de suprimentos O programa de suplementaccedilatildeo de aacutecido foacutelico e ferro na Boliacutevia foi uma actividade de mobilizaccedilatildeo comunitaacuteria implementada por vaacuterias ONGs em aacutereas rurais do paiacutes
Surgiu um problema apoacutes apenas trecircs meses de implementaccedilatildeo Se a gestora tivesse confiado apenas na monitoria do processo teria visto que todas as actividades haviam sido executadas dentro do prazo e conforme planeadas Poreacutem os dados mensais dos centros de sauacutede das aacutereas de captaccedilatildeo atendidas pelo programa revelaram que em vaacuterias comunidades a distribuiccedilatildeo de ferro e aacutecido foacutelico para graacutevidas havia sido nula desde o primeiro mecircs de implementaccedilatildeo do programa
A gestora investigou imediatamente e descobriu que 16 centros de sauacutede estavam com faltas de stock Apesar de haver um protocolo escrito para a distribuiccedilatildeo de ferro e aacutecido foacutelico e de todos os centros de sauacutede possuiacuterem supostamente o produto nos seus stocks historicamente natildeo havia demanda para esse produto Os centros de sauacutede haviam decidido haacute muito tempo natildeo tecirc-lo mais em stock
A gestora levou o problema agrave atenccedilatildeo do vice-ministro de sauacutede e em poucos dias o Ministeacuterio da Sauacutede mobilizou toda a sua cadeia de suprimentos para garantir que havia um stock suficiente em toda a cadeia No final do ano a suplementaccedilatildeo de ferro e aacutecido foacutelico havia melhorado dramaticamente em todo o paiacutes Tudo isso aconteceu graccedilas a uma simples ferramenta de monitoria mensal que permitiu que a gestora tomasse medidas correctivas no iniacutecio da implementaccedilatildeo
Simplificaccedilatildeo da recolha de dados e estiacutemulo ao uso dos dados Sabe-se que se a recolha e o processamento dos dados forem muito complicados a qualidade e o uso dos mesmos tendem a diminuir Na Aacutefrica do Sul o pessoal de enfermagem dos centros de sauacutede eacute geralmente solicitado a executar duas funccedilotildees (1) cuidar dos utentes do sistema e (2) recolher e utilizar dados O problema eacute que esse pessoal se dedica principalmente a prestar cuidados e considera a recolha de dados uma sobrecarga de trabalho desnecessaacuteria aleacutem de suas actividades quotidianas
Um grupo de enfermeiras da Aacutefrica do Sul que reconheceu a importacircncia das informaccedilotildees para a prestaccedilatildeo dos serviccedilos decidiu tornar a recolha e uso de dados de rotina parte do seu trabalho diaacuterio Entenderam que era necessaacuterio reduzir a quantidade de dados necessaacuterios e simplificar o processo de recolha
Como resultado criaram uma lista itemizada ou lista de verificaccedilatildeo que lhes permitia ter ao final de cada dia um quadro raacutepido dos serviccedilos que haviam prestado No final do mecircs podiam tabular rapidamente e analisar os dados sobre seus serviccedilos Esse tipo de sumaacuterio diaacuterio e mensal das suas actividades foi extremamente satisfatoacuterio Ele motivou seu uso contiacutenuo para monitorar analisar e melhorar os serviccedilos
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 912
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Abordagens e ferramentas praacuteticas de MampA
QUADROS DE REFEREcircNCIA PARA A FORMULACcedilAtildeO MONITORIA E AVALIACcedilAtildeO DOS SERVICcedilOS DE SAUacuteDE
Os resultados de intervenccedilotildees programaacuteticas e nos serviccedilos de sauacutede podem ser medidos em niacuteveis variados Muitas directrizes de MampA se baseiam numa sequecircncia de cinco niacuteveis de resultados insumos actividades produtos resultados e impactos A Figura 4 resume os niacuteveis de resultados que podem ser monitorados e avaliados
Para compreender melhor a sequecircncia de resultados considere as definiccedilotildees abaixo
Insumos Os materiais e recursos necessaacuterios para executar o plano de implementaccedilatildeo da sua unidade ou equipa e obter o resultado esperado Os exemplos incluem os recursos financeiros teacutecnicos humanos suprimentos e produtos essenciais
Processo As actividades executadas por meio do seu plano de implementaccedilatildeo Os exemplos incluem a formaccedilatildeo dos profissionais de sauacutede a melhoria do sistema de gestatildeo de suprimentos e a distribuiccedilatildeo de meios de planeamento familiar
Produtos Eacute o resultado imediato de uma actividade Os exemplos incluem o nuacutemero de pessoas formadas o nuacutemero de novos utentes de contraceptivos e a quantidade de produtos distribuiacutedos
Resultados (a meacutedio e longo prazo) Eacute uma mudanccedila de curto prazo em um grupo da populaccedilatildeo como resultado de uma seacuterie de actividades Os exemplos incluem as mudanccedilas na cobertura do atendimento preacute-natal na proporccedilatildeo de partos seguros no conhecimento e atitudes sobre meacutetodos de planeamento familiar e sauacutede reprodutiva nas necessidades ainda natildeo atendidas de planeamento familiar e nas taxas de prevalecircncia do uso de contraceptivos
Impacto Mudanccedilas a longo prazo dentro de um grupo da populaccedilatildeo beneficiaacuteria Os exemplos incluem mudanccedilas na taxa total de fertilidade e nas taxas de mortalidade e morbidade maternas
Dois tipos de quadros de referecircncia satildeo comummente utilizados para planear e organizar a formulaccedilatildeo de uma intervenccedilatildeo ou serviccedilo e o seu plano de MampA quadros loacutegicos e quadros conceptuais
FIGURA 4 Niacuteveis da sequecircncia de resultados
InsumosProcessos
(actividades)Produtos Resultados Impacto
recursos humanos
recursos financeiros
equipa-mentos
centros de sauacutede
poliacuteticas
reuniotildees formaccedilatildeo supervisatildeo serviccedilos
nuacutemero de pessoal formado
nuacutemero de clientes
nuacutemero de produtos
melhor supervisatildeo
melhoria da cadeia de frio
mudanccedila no conheci-mento
mudanccedila no comporta-mento
mudanccedila nas praacuteticas
melhores serviccedilos
mudanccedila das taxas de doenccedila
mudanccedilas das taxas de oacutebitos
mudanccedila das taxas de nascimento
mudanccedilas das taxas de fertilidade
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 913
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
QUADROS LOacuteGICOS
Desde a elaboraccedilatildeo em 1969 de uma abordagem de quadro loacutegico para a USAID (Agecircncia dos EUA para o Desenvolvimento Internacional) os quadros loacutegicos (tambeacutem denominados Modelos Loacutegicos) foram adoptados depois de vaacuterias adaptaccedilotildees por vaacuterias organizaccedilotildees de desenvolvimento internacional e bilateral
A Figura 5 mostra os elementos de um Quadro Loacutegico
O Quadro Loacutegico ajuda os gestores e as equipas a responder a quatro perguntas principais
1 O que queremos realizar e por quecirc2 Como mediremos o sucesso 3 Que condiccedilotildees devem existir em cada fase da nossa intervenccedilatildeo4 Que recursos e processos seratildeo necessaacuterios para chegarmos laacute
Os Quadros Loacutegicos ajudam a identificar as conexotildees causais da sequecircncia de resultados insumos rarr processos (actividades) rarr produtos rarr resultados a meacutedio e longo prazo rarr impacto Essas conexotildees causais determinam a loacutegica da intervenccedilatildeo e orientam a selecccedilatildeo de indicadores para cada fase da sequecircncia de resultados
FIGURA 5 Elementos tiacutepicos de um quadro loacutegico
Objectivos IndicadoresFormas de verificaccedilatildeo Pressupostos
Meta O objectivo final ou impacto pretendido da intervenccedilatildeo
Medidas usadas para avaliar ateacute que ponto as metas foram atingidas
Meacutetodos e fontes de informaccedilatildeo para medir ou avaliar os indicadores de metas
Factores ou condiccedilotildees necessaacuterios para a sustentabilidade a longo prazo
PropoacutesitoResultado Mudanccedilas ou benefiacutecios esperados a serem conseguidos para utentes comunidades organizaccedilotildees ou sistemas
Medidas usadas para avaliar ateacute que ponto foi alcanccedilado o propoacutesito ou resultado
Meacutetodos e fontes de informaccedilatildeo para medir ou avaliar indicadores de propoacutesitoresultado
Factores ou condiccedilotildees necessaacuterios para o sucesso do programa nesse niacutevel e passagem para o seguinte niacutevel
Produtos Resultados directos e tangiacuteveis das actividades do programa que deveratildeo atingir o propoacutesito
Medidas usadas para avaliar ateacute que ponto os produtos foram apresentados
Meacutetodos e fontes de informaccedilatildeo para medir e avaliar os indicadores de produtos
Factores ou condiccedilotildees necessaacuterios para o sucesso do programa neste niacutevel e passagem para o seguinte niacutevel
ProcessosActividades Medidas tomadas por um programa para atingir os objectivos definidos
InsumosRecursos Pessoal tempo materiais e fundos necessaacuterios para executar as actividades
Meacutetodos e fontes de informaccedilatildeo utilizados para mostrar que as actividades foram concluiacutedas
Factores ou condiccedilotildees necessaacuterios para o sucesso do programa neste niacutevel e passagem para o seguinte niacutevel
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 914
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para entender como um Quadro Loacutegico explicita a loacutegica de uma intervenccedilatildeo examine novamente a Figura 5 Uma seacuterie de relacionamentos condicionais (ldquose entatildeordquo) conecta cada componente do Quadro Loacutegico
1 Se os recursos necessaacuterios estiverem disponiacuteveis e supondo-se que as condiccedilotildees sejam favoraacuteveis entatildeo as actividades do programa podem ser implementadas e
2 hellipse as actividades do programa forem implementadas com sucesso e supondo-se que existam condiccedilotildees favoraacuteveis especiacuteficas entatildeo os produtos e resultados esperados poderatildeo ser alcanccedilados e
3 hellipse os produtos e resultados esperados forem alcanccedilados e supondo-se que existam as condiccedilotildees favoraacuteveis especiacuteficas entatildeo a meta estrateacutegica poderaacute ser atingida
O Quadro Loacutegico pode ser uacutetil na conceptualizaccedilatildeo de um projecto durante o periacuteodo de planeamento e na avaliaccedilatildeo do progresso e aplicaccedilatildeo de medidas correctivas durante a implementaccedilatildeo Como qualquer outro quadro de referecircncia ele possui vantagens e desvantagens como mostra a Tabela 1
O Apecircndice A deste capiacutetulo fornece um exemplo de Quadro Loacutegico para um programa de visita domiciliar desenvolvido pelo Banco Interamericano de Desenvolvimento
QUADROS CONCEPTUAIS
Estes satildeo semelhantes aos Quadros Loacutegicos no sentido de que descrevem uma sequecircncia de resultados mas levam em consideraccedilatildeo as razotildees subjacentes de por que ocorrem as mudanccedilas ao longo da sequecircncia de resultados Enquanto os Quadros Loacutegicos simplesmente afirmam que as actividades traratildeo resultados ainda maiores os quadros conceptuais permitem mapear os factores que na sua opiniatildeo satildeo criacuteticos e explicam porque esses factores satildeo importantes para o sucesso
Este tipo de mapeamento ajuda a decidir que factores devem ser monitorados durante a implementaccedilatildeo das actividades Quando os dados mostram que esses elementos criacuteticos foram ou natildeo alcanccedilados pode-se compreender melhor por que uma intervenccedilatildeo teve ou natildeo sucesso e o que poderia ser modificado no futuro
Veja as vantagens e desvantagens dos quadros conceptuais na Tabela 2
TABELA 1 Visatildeo geral do quadro loacutegico
Vantagens Desvantagens
Melhora a qualidade dos planos de intervenccedilatildeo ao exigir a definiccedilatildeo de indicadores e objectivos claros e a anaacutelise de pressupostos e riscos
Quando usado regularmente durante uma intervenccedilatildeo eacute uma ferramenta de gestatildeo eficaz para orientar a implementaccedilatildeo e a MampA
Resume a elaboraccedilatildeo de planos complexos
Apoia a preparaccedilatildeo de planos de implementaccedilatildeo detalhados
Pressupotildee uma relaccedilatildeo linear entre insumos-produtos-resultados que natildeo leva em consideraccedilatildeo outros factores de influecircncia
Se usado rigidamente durante o processo de formulaccedilatildeo poderaacute restringir a criatividade e a inovaccedilatildeo
Se natildeo for actualizado durante a implementaccedilatildeo pode ser uma ferramenta estaacutetica que natildeo reflecte as condiccedilotildees em mudanccedila
Geralmente a formaccedilatildeo e o acompanhamento satildeo necessaacuterios para usar esse meacutetodo correctamente
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 915
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O modelo conhecido como Caminho de Mudanccedila (Pathway to Change) eacute um exemplo particularmente uacutetil de um quadro conceptual Esse modelo utiliza um formato de condicionalidade (ldquose entatildeordquo) para mostrar passo a passo como os resultados a meacutedio e longo prazo foram conceptualizados e como seratildeo alcanccedilados A Figura 6 eacute um exemplo de aplicaccedilatildeo do Caminho de Mudanccedila em um projecto de sauacutede de seis meses de duraccedilatildeo e acircmbito municipal na Nicaraacutegua
Caminho de Mudanccedila Tratamos deste modelo neste capiacutetulo devido agrave sua utilidade para os gestores e seus benefiacutecios como actividade de fortalecimento de uma equipa O estabelecimento de um Caminho de Mudanccedila eacute geralmente um processo participativo que permite que a sua equipa ou unidade e outros grupos de interesse formulem uma intervenccedilatildeo e determinem como ela vai funcionar O produto final eacute um mapa que mostra como uma acccedilatildeo estaacute relacionada com outras e como todas elas acrescentam algo ao resultado esperado Frequentemente o estabelecimento de um caminho expotildee as crenccedilas subjacentes que as pessoas de uma organizaccedilatildeo mantecircm sobre a forma em que suas acccedilotildees promovem mudanccedilas
A criaccedilatildeo de um Caminho de Mudanccedila tem vaacuterios benefiacutecios Em primeiro lugar exige que a sua equipa examine cada acccedilatildeo proposta e responda agraves seguintes perguntas
Todas as actividades contribuem para o resultado esperado Se a resposta for negativa algumas actividades deveriam ser modificadas acrescentadas ou eliminadas
As actividades satildeo sequenciais Elas estatildeo relacionadas de uma forma loacutegica Elas se somam umas agraves outras para formar um conjunto racional e coerente de acccedilotildees
Pensamos em todos os produtos e resultados necessaacuterios para atingir nosso resultado esperado
Temos os recursos necessaacuterios para implementar as actividades propostas Em quanto tempo atingiremos o resultado que desejamos Que outros factores podem contribuir ou entravar cada uma das actividades do
caminho
Em segundo lugar sua equipa deve tornar expliacutecita e chegar a um acordo sobre a loacutegica subjacente de um plano de intervenccedilatildeo Em outras palavras deve mostrar no papel como cada acccedilatildeo resultaraacute na mudanccedila desejada em cada niacutevel do mapa Por uacuteltimo o caminho define que resultados imediatos e resultados a meacutedio e longo prazo a equipa deve monitorar e que indicadores devem usar
TABELA 2 Visatildeo geral do quadro conceptual
Vantagens Desvantagens
Fornece um mapeamento visual e flexiacutevel de planos de intervenccedilatildeo complexos
Quando usado regularmente durante a implementaccedilatildeo permite uma retroinformaccedilatildeo antecipada do que estaacute ou natildeo a funcionar e por quecirc
Auxilia na identificaccedilatildeo de efeitos colaterais natildeo previstos
Ajuda a priorizar os problemas a serem investigados mais profundamente talvez ao usar meacutetodos mais focalizados de recolha de dados ou teacutecnicas mais sofisticadas de MampA
Pode se tornar extremamente complexo se a escala de actividades for muito grande ou se for reunida uma lista exaustiva de factores e pressupostos
Os grupos de interesse podem discordar sobre os factores determinantes que consideram ser os mais importantes
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 916
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Como se lecirc um mapa de Caminho de Mudanccedila O caminho pode ser lido como um fluxograma em que caixas e setas mostram a relaccedilatildeo entre as acccedilotildees e os efeitos como mostrado na Figura 6 O resultado esperado aparece no topo do caminho e os resultados imediatos que devem ser atingidos para se chegar laacute satildeo exibidos no proacuteximo niacutevel Os produtos que devem ser obtidos para conseguir os resultados a meacutedio e longo prazo aparecem no proacuteximo niacutevel inferior Finalmente as actividades aparecem no fundo ou base
Quando lido de baixo para cima o mapa mostra que actividades satildeo necessaacuterias para conseguir os produtos e que resultados a meacutedio e longo prazo satildeo necessaacuterios para se chegar ao topo Eacute preciso sempre poder traccedilar um caminho desde o comeccedilo de suas acccedilotildees ateacute o resultado esperado
Pode ser uacutetil imaginar o caminho como o organigrama de uma empresa vocecirc pode comeccedilar da base do organigrama como assistente administrativo passar a coordenador de escritoacuterio depois a uma funccedilatildeo de gestatildeo e finalmente ocupar o gabinete do director
A criaccedilatildeo de um Caminho de Mudanccedila Para desenvolver um Caminho da Mudanccedila sua equipa mapeia a mudanccedila de forma reversa Comeccedila no final do caminho (no topo da
FIGURA 6 Exemplo de um Caminho de Mudanccedila
Resultado 180 dos pacientes
estatildeo satisfeitos com os serviccedilos prestados no
centro de sauacutede
Resultado 260 das mulheres
entre 15 e 49 anos na aacuterea de captaccedilatildeo do centro de
sauacutede entendem a importacircncia do planeamento familiar
para o espaccedilamento dos nascimentos
Resultado 3Todos os meacutetodos
contraceptivos modernos estatildeo
disponiacuteveis no centro de sauacutede
Produto 1Os tempos de
espera no centro de sauacutede se
reduziram de 40 para 20 minutos
Produto 2Eacute oferecida
orientaccedilatildeo a todos os pacientes em
espaccedilo privado do centro de sauacutede
Produto 3Voluntaacuterias
realizam palestras semanais sobre temas
de sauacutede reprodutiva na comunidade
Produto 4Todos os stocks
de contraceptivos satildeo monitorados semanalmente
Actividade 1Realizar um
inqueacuterito sobre o uxo de
pacientes e cumprir
recomendaccedilotildees
Actividade 2Transformar um canto do
centro de sauacutede para a
orientaccedilatildeo dos pacientes
Actividade 3Mobilizar as
ONGs parceiras para imprimir panetos de informaccedilatildeo educaccedilatildeo e
comunicaccedilatildeo
Actividade 4Mobilizar as
ONGs parceiras para dar
formaccedilatildeo ou equipar as voluntaacuterias
Actividade 5Recrutar liacutederes
comunitaacuterios para prestar
apoio agraves palestras sobre
sauacutede reprodutiva
Actividade 6Desenvolver
um sistema de registo e
pedidos de suprimentos
contraceptivos
Resultado esperadoAumento na percentagem de utentes de planeamento familiar de 50 para 52
durante o periacuteodo de Junho a Dezembro de 2006
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 917
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
sequecircncia) e define a meta da organizaccedilatildeo a longo prazo ou o resultado esperado de uma intervenccedilatildeo Em seguida preenche o mapa ao trabalhar de cima para baixo onde identifica finalmente as actividades principais os primeiros elementos do seu plano de implementaccedilatildeo
Enquanto se desloca pelo caminho faccedila trecircs perguntas Que resultados precisam acontecer para contribuir agrave meta de longo prazo Que produtos precisam ser obtidos antes disso para alcanccedilar os resultados Que actividades precisam acontecer antes disso para conseguir os produtos
O desenho de uma intervenccedilatildeo dessa forma pode ajudar a revelar as condiccedilotildees necessaacuterias para atingir os resultados a meacutedio e longo prazo e a meta de longo prazo Talvez sejam necessaacuterias vaacuterias tentativas para criar um Caminho de Mudanccedila com o qual todos estejam de acordo Os resultados produtos e acccedilotildees podem ser acrescentados modificados e eliminados ateacute que eventualmente surja um mapa que conte a histoacuteria com a qual sua equipa pode concordar O debate eacute frequentemente a parte mais importante da experiecircncia porque a equipa junta define as expectativas pressupostos e caracteriacutesticas do processo de mudanccedila
Uso da sequecircncia ldquopara querdquo como forma de verificar as vias de um Caminho de Mudanccedila Uma boa forma de verificar a loacutegica do mapa do seu caminho eacute inverter o processo e criar uma sequecircncia de ldquopara querdquo para cada actividade O exemplo na Figura 7 mostra como fazer isso para a Actividade 5 da Figura 6 O movimento na sequecircncia ldquopara querdquo eacute o
FIGURA 7 Sequecircncia ldquopara querdquo para uma actividade de um Caminho de Mudanccedila
Dar formaccedilatildeo agraves voluntaacuterias da comunidade e equipaacute-las com os materiais de informaccedilatildeo educaccedilatildeo e comunicaccedilatildeo necessaacuterios
para que
As voluntaacuterias realizem sessotildees educativas sobre sauacutede sobre temas de planeamento familiar na aacuterea especiacutefica do centro de sauacutede
para que
As mulheres em idade reprodutiva na aacuterea especiacutefica se sintam agrave vontade para participar de sessotildees apresentadas pelas voluntaacuterias
para que
As mulheres participem das sessotildees e aprendam sobre a importacircncia do planeamento familiar para o espaccedilamento dos nascimentos
para que
Mais mulheres em idade reprodutiva busquem meacutetodos de planeamento familiar no centro de sauacutede e a percentagem de mulheres que recebem os meacutetodos aumentem 2 durante o periacuteodo do projecto (o resultado esperado)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 918
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
oposto exacto do Caminho de Mudanccedila Vocecirc coloca cada actividade no topo da sua proacutepria sequecircncia e desce pela sequecircncia ateacute a meta ou resultado esperado Essa sequecircncia ajuda a confirmar que cada rota individual no Caminho de Mudanccedila faz sentido em termos loacutegicos
Para usar essa teacutecnica eacute preciso criar uma sequecircncia ldquopara querdquo para cada actividade no seu Caminho de Mudanccedila Comece por descrever cada actividade e segui-la da frase ldquopara querdquo seguida de uma descriccedilatildeo do que aconteceraacute se essa actividade for realizada Continue a fazer isto ateacute atingir a sua meta de longo prazo ou resultado esperado
Etapas do desenvolvimento de um plano de MampA
Uma das suas tarefas essenciais de MampA como gestor que exerce lideranccedila eacute a de elaborar um plano que ajude vocecirc e sua equipa a determinar se atingiram ou natildeo os resultados esperados e a acompanhar o progresso no alcance desses resultados durante a implementaccedilatildeo Isso exige que vocecirc natildeo soacute escolha indicadores confiaacuteveis mas tambeacutem que meccedila esses indicadores de forma organizada Seu plano de MampA deve especificar que indicadores seratildeo medidos como e quando seratildeo medidos e por quem
Um plano de MampA bem formulado responde a cinco perguntas
1 Seu resultado esperado eacute mensuraacutevel2 Que indicadores utilizaraacute para monitorar seus produtos e para avaliar seus
resultados 3 Quais satildeo as suas fontes de dados e como recolheraacute os dados dessas fontes 4 Quais satildeo os periacuteodos cobertos de cada indicador 5 Quem recolheraacute os dados
Essas perguntas satildeo importantes porque sem um plano vaacutelido de MampA vocecirc poderaacute interpretar erroneamente os efeitos da sua intervenccedilatildeo Poderaacute concluir que ela natildeo teve efeito algum quando na verdade ela teve alguns resultados positivos ou poderaacute concluir que ela teve um efeito positivo quando na verdade natildeo obteve resultado algum o que eacute um erro comum e mais destrutivo
Elaborar e utilizar um plano de MampA garante que dados comparaacuteveis seratildeo recolhidos regularmente e em tempo haacutebil mesmo quando houver mudanccedilas de pessoal A Tabela 3 resume as etapas no desenvolvimento e implementaccedilatildeo de um plano de MampA O resto desta secccedilatildeo descreve cada etapa detalhadamente
ETAPA 1 DEFINA OS RESULTADOS ESPERADOS
A primeira etapa no desenvolvimento do plano de MampA eacute determinar um niacutevel apropriado de resultados Juntos o tipo e o acircmbito da intervenccedilatildeo os recursos disponiacuteveis e o prazo de implementaccedilatildeo determinam um resultado viaacutevel
Como jaacute vimos antes neste capiacutetulo as intervenccedilotildees dirigidas por organizaccedilotildees com fundos de agecircncias doadoras e por serviccedilos governamentais geralmente levam a produtos ou resultados a meacutedio e longo prazo Apesar de o impacto demorar a ser obtido e geralmente estar fora do acircmbito de um uacutenico conjunto de actividades eacute importante incluiacute-lo no seu plano de MampA para que fique clara qual seraacute a contribuiccedilatildeo da sua intervenccedilatildeo a longo prazo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 919
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 3 Etapas para elaborar e usar um Plano de MampA
Etapas Recomendaccedilotildees
1 Definir os resultados esperados
Os resultados devem ser identificados de acordo com o acircmbito e o periacuteodo de tempo da sua intervenccedilatildeo
Os resultados devem atender aos criteacuterios SMART (Especiacuteficos Mensuraacuteveis Apropriados Realistas de Prazo Definido)
2 Seleccionar os indicadores
Os indicadores devem possuir as qualidades de um bom indicador
Os indicadores devem ser acessiacuteveis faacuteceis de recolher e comparaacuteveis ao longo do tempo e em diferentes locais
Para os problemas de sauacutede prioritaacuterios e os serviccedilos essenciais use indicadores criacuteticos nacionais ou padratildeo
Seleccione um nuacutemero miacutenimo de indicadores essenciais e procure garantir que os indicadores seleccionados sejam realmente necessaacuterios para medir seus resultados esperados
3 Identificar as fontes de dados
Identifique de onde viratildeo os dados para cada indicador Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos organizacionais utentes ou a comunidade
4 Definir os meacutetodos de recolha dos dados
Seleccione o meacutetodo mais apropriado e confiaacutevel para a recolha de dados para cada indicador Estes meacutetodos podem incluir a anaacutelise de registos ou diaacuterios de estatiacutesticas de serviccedilo o uso de listas de verificaccedilatildeo para fins de observaccedilatildeo as entrevistas de utentes ao saiacuterem da cliacutenica ou um modelo de inqueacuterito de dados comunitaacuterios
Decida sobre a frequecircncia da recolha de dados Poderaacute recolher apenas os dados de base ou referecircncia e os dados apoacutes a intervenccedilatildeo ou talvez precise recolher dados diaacuterios mensais ou trimestrais dependendo do tipo de indicador
Para cada indicador designe a responsabilidade pela recolha a um escritoacuterio equipa ou pessoa especiacuteficos
5 Recolher os dados de base (ou referecircncia) e os dados apoacutes a intervenccedilatildeo
Entenda que os resultados de base seratildeo usados para definir os seus alvos
Defina claramente a duraccedilatildeo coberta pelos dados de base jaacute que precisa de um periacuteodo semelhante para a comparaccedilatildeo ao final do periacuteodo de implementaccedilatildeo
Use a mesma metodologia e ferramentas para a recolha de dados que as usadas para os dados de base e as medidas poacutes-intervenccedilatildeo
6 Compartilhar e utilizar os seus resultados
Marque reuniotildees workshops e apresentaccedilatildeo de relatoacuterios para mostrar os resultados ao pessoal do projecto agrave direcccedilatildeo da organizaccedilatildeo e a outros grupos de interesse importantes
Apresente as opccedilotildees de aprendizado e acccedilatildeo com base nos resultados de MampA
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 920
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para determinar em que niacutevel deve monitorar e avaliar seus resultados eacute uacutetil examinar novamente e expandir a cadeia de resultados a comeccedilar da direita pelo resultado final (impacto) e voltar ateacute os materiais e recursos (insumos) necessaacuterios
Insumos rarr Processos rarr Produtos rarr Resultados rarr Impacto
Impacto Esses resultados satildeo medidos ao niacutevel da populaccedilatildeo levam um tempo relativamente longo para serem alcanccedilados (geralmente 3 a 5 cinco anos) e exigem o esforccedilo conjunto de vaacuterias intervenccedilotildees e mesmo de vaacuterias organizaccedilotildees Como gestor vocecirc poderaacute ser responsaacutevel por medir o impacto mas deve incluiacute-lo na loacutegica do seu plano de MampA para saber o que a sua organizaccedilatildeo e os parceiros da organizaccedilatildeo pretendem alcanccedilar a longo prazo
Resultados a meacutedio e longo prazo Na maioria dos casos os gestores satildeo responsaacuteveis por medir os resultados nos niacuteveis de produtos eou resultados a meacutedio e longo prazo Os resultados a meacutedio e longo prazo satildeo obtidos pelas actividades criadas para produzir uma mudanccedila de comportamento nos profissionais de sauacutede ou nos utentes Satildeo geralmente medidos em termos de mudanccedilas na cobertura de serviccedilos e mudanccedilas nos conhecimentos atitudes e praacuteticas de uma populaccedilatildeo beneficiaacuteria Um resultado a meacutedio e longo prazo pode ser o iniacutecio de uma praacutetica comprovada de prestaccedilatildeo de serviccedilos a adopccedilatildeo de novas estrateacutegias de gestatildeo ou a elaboraccedilatildeo bem-sucedida de uma poliacutetica de promoccedilatildeo da sauacutede Pode tambeacutem ser um aumento no nuacutemero de mulheres que datildeo agrave luz em um centro de sauacutede ou no nuacutemero de crianccedilas totalmente imunizadas Na maioria dos casos eacute possiacutevel estabelecer uma relaccedilatildeo clara entre produtos e resultados a meacutedio e longo prazo
Produtos Os produtos ou resultados imediatos satildeo fruto directo das actividades Devem ser monitorados durante toda a implementaccedilatildeo como um elemento essencial da boa gestatildeo Os planos de MampA devem definir o produto esperado de cada actividade Para as unidades de prestaccedilatildeo de serviccedilos isso geralmente significa os resultados imediatos em termos dos serviccedilos (por exemplo nuacutemero de utentes atendidos ou tempo de espera dos clientes ou utentes) Para as organizaccedilotildees que natildeo prestam serviccedilos de sauacutede directamente isso pode significar a distribuiccedilatildeo de produtos de sauacutede ou serviccedilos de formaccedilatildeo (por exemplo quantidade de produtos para planeamento familiar distribuiacutedos ou nuacutemero de participantes formados)
Processos A monitoria de processos ou actividades eacute em grande parte uma medida da cultura de prestaccedilatildeo de contas (ou grau de responsabilizaccedilatildeo) ao garantir que as actividades sejam realizadas dentro do prazo e com recursos suficientes A monitoria nesse niacutevel acompanha o progresso da implementaccedilatildeo tendo como referecircncia os prazos propostos e o uso dos recursos tendo como referecircncia os orccedilamentos Eacute geralmente executada atraveacutes da apresentaccedilatildeo de relatoacuterios tradicionais trimestrais semestrais e anuais
Insumos Ao preparar uma intervenccedilatildeo deve identificar a quantidade e os tipos de recursos necessaacuterios para implementar as actividades O desempenho pode ser monitorado em termos da quantidade e dos tipos de insumos fornecidos e do nuacutemero e timing das actividades realizadas
A etapa seguinte na definiccedilatildeo dos resultados esperados eacute garantir que cumpram os criteacuterios SMART (consulte a Tabela 4) Eacute possiacutevel monitorar e avaliar o progresso no alcance de um resultado apenas se esse resultado tiver sido definido em termos mensuraacuteveis
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 921
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja a seguir um exemplo de um resultado mensuraacutevel para uma intervenccedilatildeo cujo propoacutesito eacute promover a cobertura de imunizaccedilatildeo em crianccedilas de 12 a 24 meses de idade A percentagem de crianccedilas de 12 a 24 meses totalmente vacinadas na aacuterea de captaccedilatildeo aumentaraacute para 70 dentro de um ano
ETAPA 2 IDENTIFIQUE OS INDICADORES E SUAS DEFINICcedilOtildeES
Os indicadores satildeo geralmente percentagens ou proporccedilotildees que representam o alcance de uma condiccedilatildeo especiacutefica de sauacutede na populaccedilatildeo de interesse Podem tambeacutem ser um valor absoluto tal como o nuacutemero de ocorrecircncias de um evento de sauacutede (por ex um oacutebito materno ou um caso de malaacuteria)
Todos os indicadores pedem uma definiccedilatildeo detalhada Trata-se de um indicador qualitativo ou quantitativo Se for uma percentagem qual eacute o numerador e qual eacute o denominador A definiccedilatildeo deve ser suficientemente detalhada para garantir que pessoas diferentes em momentos diferentes possam recolher tipos idecircnticos de dados para o indicador
Veja o que caracteriza um bom indicador no Quadro 2 Os indicadores podem ser classificados como indicadores do estado de sauacutede ou do desempenho de serviccedilos
Os indicadores do estado de sauacutede podem incluir o seguinte
nuacutemero de casos e mortes causados por doenccedilas especiacuteficas em um determinado periacuteodo
proporccedilatildeo da populaccedilatildeo com uma doenccedila ou condiccedilatildeo de sauacutede num momento particular ou ao longo de um periacuteodo de tempo
proporccedilatildeo da populaccedilatildeo com um factor ou condiccedilatildeo de sauacutede que os coloca em risco de contrair doenccedilas tal como a falta de conhecimento ou um comportamento de risco
Os indicadores de desempenho podem incluir o seguinte
proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que recebeu um serviccedilo especiacutefico proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que demonstra comportamentos e
conhecimentos especiacuteficos de sauacutede
TABELA 4 Criteacuterios de um resultado SMART
Criteacuterio Descriccedilatildeo
Especiacutefico (S ndash Smart)
Claramente escrito e compreendido O resultado esperado eacute suficientemente especiacutefico para ser medido por uma frequecircncia percentagem ou nuacutemero
Mensuraacutevel (M ndash Measurable)
Eacute possiacutevel monitorar o progresso e avaliar os resultados O resultado esperado eacute definido em termos que sejam mensuraacuteveis
Apropriado (A ndash Appropriate)
O resultado esperado eacute apropriado ao acircmbito do seu trabalho e agrave missatildeo da sua organizaccedilatildeo
Realista (R ndash Realistic)
O resultado esperado pode ser alcanccedilado e estaacute dentro do controlo da sua organizaccedilatildeo Pode ser realisticamente alcanccedilado ao usar os recursos disponiacuteveis e dentro do prazo do seu plano de implementaccedilatildeo
de Tiempo limitado (T ndash Time Bound)
Foi estabelecido um prazo especiacutefico para obter o resultado esperado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 922
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
proporccedilatildeo de centros e pessoal de sauacutede que demonstram adesatildeo a padrotildees especiacuteficos de serviccedilo ou que atingiram objectivo definido
proporccedilatildeo de centros de sauacutede que seguem padrotildees definidos de gestatildeo funcional (por ex em termos de pessoal disponibilidade de medicamentos registo e apresentaccedilatildeo de relatoacuterios)
Orientaccedilatildeo adicional sobre os indicadores pode ser obtida em ldquoCompecircndio de indicadores para avaliaccedilatildeo de programas de sauacutede reprodutivardquo e ldquoLista dos indicadores sobre desenvolvimento da capacidade de gestatildeo e lideranccedilardquo
ETAPA 3 IDENTIFIQUE AS FONTES DE DADOS
Agora precisa identificar uma fonte de dados para cada indicador incluiacutedo no plano de MampA ao seleccionar dados que estejam prontamente disponiacuteveis em uma fonte confiaacutevel e dentro das possibilidades financeiras de sua organizaccedilatildeo O ideal seria escolher os dados imediatamente disponiacuteveis atraveacutes da organizaccedilatildeo em vez de dar iniacutecio a uma nova estrateacutegia de recolha de dados o que poderia ser oneroso e demorado
Uma boa forma de comeccedilar eacute com a seguinte pergunta Que dados jaacute recolhemos de forma rotineira e sistemaacutetica Vocecirc deve sempre levar em consideraccedilatildeo as vantagens e desvantagens de cada fonte de dados Consulte a secccedilatildeo ldquoComo seleccionar suas fontes de dadosrdquo para obter mais informaccedilotildees sobre as vantagens e desvantagens de algumas fontes de dados mais comuns
Vocecirc deve ser o mais especiacutefico possiacutevel sobre as fontes de dados para que a mesma fonte possa ser utilizada de forma coerente durante toda a intervenccedilatildeo Mudar as fontes de dados para o mesmo indicador pode resultar em incoerecircncias e erros de interpretaccedilatildeo Por exemplo se estiver a medir as taxas de mortalidade infantil passar de estimativas baseadas num inqueacuterito de grande escala para estimativas baseadas em estatiacutesticas hospitalares pode resultar dar a falsa impressatildeo de que houve uma mudanccedila
QUADRO 2 Qualidades de um bom indicador
Vaacutelido O indicador mede o que se pretende medir
Confiaacutevel A medida do indicador deve ser igual natildeo importa quantas vezes a medida seja feita
Preciso O indicador eacute definido em termos claros e especiacuteficos para que possa ser medido O indicador pode ser qualitativo (descritivo) discreto (SimNatildeo) ou baseado em niacuteveis quantitativos ou proporccedilotildees desde que seja claramente mensuraacutevel
Faacutecil de entender Tanto especialistas como natildeo especialistas devem poder entender o significado do indicador
Discreto O indicador captura um uacutenico componente ou aspecto de um resultado mais complexo Mede apenas uma coisa natildeo um conjunto de coisas
Em tempo haacutebil O indicador pode ser medido em intervalos temporais apropriados de acordo com a disponibilidade dos dados
Comparaacutevel Quando possiacutevel o indicador evita definiccedilotildees limitadas ou singulares cujos valores seriam difiacuteceis de comparar com outros resultados
Viaacutevel para utilizar Os dados para o indicador satildeo faacuteceis de obter de uma fonte confiaacutevel e relativamente econoacutemica ndash acessiacutevel tendo em vista os recursos da sua organizaccedilatildeo Se esses dados natildeo estiverem disponiacuteveis existem meacutetodos para obtecirc-los no futuro
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 923
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 4 DEFINA OS MEacuteTODOS DE RECOLHA DE DADOS
A etapa seguinte eacute a de definir os meacutetodos ou ferramentas que utilizaraacute para cada indicador Para os indicadores baseados em dados primaacuterios (dados que vocecirc mesmo recolhe) deve descrever o tipo de instrumento necessaacuterio para recolher os dados Os exemplos podem incluir questionaacuterios estruturados listas de verificaccedilatildeo de observaccedilatildeo directa ou balanccedilas para pesar bebeacutes
Para os dados secundaacuterios (dados recolhidos por terceiros e que estatildeo disponiacuteveis para vocecirc usar) deve explicar o meacutetodo para calcular o indicador e a fonte dos dados e fornecer detalhes suficientes sobre o meacutetodo de caacutelculo para que outros possam replicaacute-lo Lembre-se de que eacute mais faacutecil e mais barato usar dados secundaacuterios mas sua qualidade eacute menos confiaacutevel do que a dos dados primaacuterios
Tambeacutem eacute importante observar a frequecircncia da recolha dos dados para cada indicador A depender do tipo de indicador vocecirc poderaacute recolher os dados mensalmente trimestralmente anualmente ou ateacute com menos frequecircncia Ao definir o programa de recolha de dados para cada indicador leve em consideraccedilatildeo a necessidade de fornecer informaccedilotildees em tempo haacutebil aos responsaacuteveis por tomar decisotildees na sua organizaccedilatildeo Atribuir responsabilidades pela recolha de dados a indiviacuteduos ou grupos do seu pessoal garantiraacute que os dados sejam recolhidos dentro do prazo necessaacuterio
As informaccedilotildees das Etapas 1 a 4 fornecem o conteuacutedo do seu plano de monitoria e avaliaccedilatildeo A Tabela 5 mostra os elementos de um plano de MampA para um programa de mentoria cliacutenica para centros de orientaccedilatildeo e testes voluntaacuterios
ETAPA 5 RECOLHA OS DADOS DE BASE E DE ACOMPANHAMENTO
Recolher dados de base precisos eacute uma das tarefas mais importantes de MampA Os dados de base ou referecircncia satildeo o ponto de partida para definir as metas que vocecirc e sua equipa pretendem atingir e para acompanhar as mudanccedilas dos indicadores durante todo o periacuteodo de sua intervenccedilatildeo Dessa forma os dados de base ajudam a definir melhor um resultado final esperado
Vocecirc precisaraacute recolher dados de base para cada indicador antes que suas actividades comecem Esses dados identificam o ponto de partida de onde poderaacute avaliar o progresso Depois em pontos variados durante a implementaccedilatildeo vocecirc recolheraacute dados de acompanhamento sobre cada indicador para comparaacute-los com os niacuteveis de base e os resultados previstos Isto permite que vocecirc e outros tomadores de decisotildees em sua organizaccedilatildeo avaliem o progresso de cada intervenccedilatildeo ou serviccedilo e faccedilam as mudanccedilas necessaacuterias ao longo do caminho Examine o exemplo no Quadro 3
Por que acompanhar as mudanccedilas dos indicadores durante a implementaccedilatildeo Os indicadores de um plano de MampA estatildeo relacionados aos resultados imediatos (produtos) e aos resultados de meacutedio e longo prazo que os gestores precisam monitorar As mudanccedilas nos valores do indicador ao longo do tempo mostram se esses resultados estatildeo a subir ou a baixar ou se permanecem iguais Isto mostra ao gestor se as intervenccedilotildees e estrateacutegias estatildeo a funcionar conforme planeado para atingir os resultados esperados
Ao final do periacuteodo de implementaccedilatildeo precisaraacute recolher dados sobre os seus indicadores para comparar os niacuteveis finais com os niacuteveis de base e com os seus resultados esperados A depender dos seus indicadores precisaraacute tambeacutem recolher dados de acompanhamento a uma altura acordada previamente para determinar se as mudanccedilas seratildeo mantidas apoacutes o teacutermino da sua intervenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 924
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 5 Exemplo de um Plano de Monitoria e Avaliaccedilatildeo
Objectivo Os profissionais de sauacutede que receberam formaccedilatildeo aumentam sua capacidade de fornecer tratamento anti-retroviral de acordo com as directrizes nacionais
ActividadeProduto Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
CronogramaPrazo final
Cliacutenicos experientes em VIH recrutados para servir como mentores cliacutenicos em cinco hospitais regionais
Nuacutemero de mentores recrutados e designados a hospitais regionais
Registos de emprego
Como concluiacutedo Director adjunto para programas cliacutenicos
Setembro de 2008
Pessoal meacutedico em cinco hospitais regionais que recebem mentoria individual sobre terapia anti-retroviral
Nuacutemero de locais que recebem mentoria cliacutenica
Nuacutemero de meacutedicos que recebem mentoria individual
Nuacutemero de dias de mentoria cliacutenica realizados
Relatoacuterios mensais do mentor
Mensalmente Mentores Marccedilo de 2009
Resultados a meacutedio e longo prazo Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
Trabalhadores de sauacutede aumentam seu conhecimento sobre terapia anti-retroviral
80 dos participantes obtecircm 85 ou mais de pontuaccedilatildeo correcta no teste posterior
Trabalhadores de sauacutede melhoram suas habilidades no fornecimento de terapia anti-retroviral
Percentagem de habilidades demonstradas na lista de verificaccedilatildeo de competecircncia
Estudo especial Datas a definir Director adjunto para programas cliacutenicos
Fonte Centro Internacional de Formaccedilatildeo e Ensino sobre VIH p 2
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 925
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Observaccedilatildeo sobre o uso de indicadores para uma avaliaccedilatildeo A maioria dos esforccedilos de MampA enfatizam a selecccedilatildeo de indicadores bem definidos para estabelecer metas e medir as mudanccedilas nas condiccedilotildees e nos serviccedilos de sauacutede
Mas eacute importante lembrar que os indicadores servem apenas como marcadores Os dados dos indicadores fornecem pistas para saber se uma intervenccedilatildeo ou um grupo de actividades estaacute dentro do cronograma e se os resultados esperados estatildeo a ser alcanccedilados Eles natildeo respondem agraves perguntas de por que os resultados estatildeo ou natildeo a ser alcanccedilados Natildeo explicam os resultados fortuitos as relaccedilotildees entre intervenccedilotildees e resultados ou as causas de resultados percebidos que podem ocorrer fora da intervenccedilatildeo Assim natildeo podem recomendar medidas a tomar para melhorar os resultados
Os dados de indicadores devem portanto ser interpretados com cuidado Eles simplesmente indicam resultados que precisam ser melhor explorados em vez de fornecer uma avaliaccedilatildeo definitiva do sucesso ou fracasso Um estudo de avaliaccedilatildeo eacute geralmente executado para determinar se uma intervenccedilatildeo pode ser considerada um sucesso e por quecirc
Em geral agrave medida que sobe na hierarquia e passa das actividades para os resultados a longo prazo a MampA se torna mais complicada Nos niacuteveis de processo e produtos pode-se facilmente rastrear que actividades foram concluiacutedas e seus resultados imediatos Essas informaccedilotildees satildeo operacionais ndash informaccedilotildees que vocecirc pode usar para decisotildees quotidianas de gestatildeo Poreacutem para identificar e medir os resultados da sinergia dos produtos provavelmente teraacute que integrar as informaccedilotildees qualitativas e quantitativas e confiar menos em indicadores quantitativos singulares
Lembre-se de que quando uma melhoria desejada ndash seja na eficiecircncia do serviccedilo no conhecimento e comportamento dos provedores de serviccedilos ou dos beneficiaacuterios ou na tendecircncia de um problema de sauacutede ndash eacute confirmada atraveacutes de MampA isto natildeo prova que foi a intervenccedilatildeo que provocou a mudanccedila Outras coisas podem estar a se passar no serviccedilo ou no ambiente geral que causam essa mudanccedila Eacute claro que o mesmo se aplica aos resultados negativos ou resultados que indicam natildeo haver nenhuma mudanccedila nos resultados a meacutedio e longo prazo
QUADRO 3 Como usar dados de base para ajustar os resultados
Uma equipa de sobrevivecircncia infantil estaacute a propor uma intervenccedilatildeo com o seguinte resultado mensuraacutevel e especiacutefico ldquoNos proacuteximos 12 meses 40 das crianccedilas entre 12 e 24 meses de idade na aacuterea de captaccedilatildeo seratildeo completamente imunizadasrdquo
Para determinar se seu programa pode realmente atingir esse resultado o pessoal precisa medir os niacuteveis actuais de vacinaccedilatildeo Ao examinar os dados vecircem que apenas 10 das crianccedilas na aacuterea de captaccedilatildeo estatildeo completamente imunizadas ao completarem 24 meses Estes satildeo portanto seus dados de base
A gestora entende que natildeo seraacute possiacutevel atingir o objectivo de 40 de cobertura de imunizaccedilatildeo em apenas 12 meses Por isso ela e sua equipa revisam o resultado esperado e o modificam para que seja mais razoaacutevel e realista mas continue sendo significativo ldquoNos proacuteximos 12 meses 20 das crianccedilas de 12 a 24 meses na aacuterea de de actuaccedilatildeo seratildeo completamente imunizadas
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 926
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 6 COMPARTILHE E USE SEUS DADOS
Na pressa para comeccedilar a recolher dados alguns gestores se esquecem de planear um processo para reflectir sobre as informaccedilotildees e fazer mudanccedilas para aumentar a eficiecircncia das actividades Para garantir que os dados sejam natildeo soacute recolhidos mas tambeacutem utilizados pense como vocecirc e sua equipa divulgaratildeo as informaccedilotildees sobre MampA e obteratildeo retroinformaccedilatildeo dos diversos grupos de interesse Algumas perguntas baacutesicas serviratildeo para lhe orientar
Quem precisa de que tipo de informaccedilotildees e quando precisam delas Que tipo de formato deve usar para comunicar os resultados ao pessoal
aos gestores de niacutevel superior e a outros grupos de interesse importantes Eacute suficiente fazer circular um relatoacuterio ou deveria organizar uma reuniatildeo ou workshop
Deveria tambeacutem organizar reuniotildees com a comunidade para solicitar retroinformaccedilatildeo dos seus beneficiaacuterios sobre os primeiros resultados da MampA
Como deve apresentar as informaccedilotildees para que sejam uacuteteis aos diferentes tomadores de decisotildees As informaccedilotildees devem ser apresentadas visualmente em diagramas graacuteficos ou mapas Para obter orientaccedilatildeo sobre dados e resultados consulte o Guiatildeo de MampA para Facilitadores de Programas de Desenvolvimento da Lideranccedila
Uso dos resultados para melhorar os dados de rotina em acccedilatildeo ndash Um exemplo do Paquistatildeo
No Paquistatildeo com o apoio do projecto PRIDE 10 equipas de subdistritos aplicaram o Processo de Avaliaccedilatildeo e Melhoria do Desempenho em Sauacutede Puacuteblica (PIP-PH) um conjunto de procedimentos e formatos para tratar dos problemas de sauacutede que identificaram como os mais graves para as suas populaccedilotildees Usaram o PIP-PH para priorizar os problemas e serviccedilos que mais precisavam de atenccedilatildeo a curto prazo para obter melhorias
Como parte do processo PIP-PH as equipas tambeacutem conceberam um formato de Estrutura de Vigilacircncia de Sauacutede (ldquoHealth Watch Frameworkrdquo) para os seus subdistritos como um todo e para os centros de sauacutede dentro deles Cada equipa seleccionou indicadores para medir a situaccedilatildeo de dois problemas de sauacutede puacuteblica os serviccedilos essenciais a eles relacionados e as limitaccedilotildees que afectavam esses serviccedilos
As equipas usaram os formulaacuterios Health Watch para estabelecer valores de base para os indicadores e depois para monitorar esses valores agrave medida que as intervenccedilotildees prosseguiam ao longo do tempo Os centros de sauacutede revisavam e actualizavam o formulaacuterio todo mecircs as equipas do subdistrito inclusive gestores de centros de sauacutede revisavam e discutiam os formulaacuterios trimestralmente os formulaacuterios revisados
As equipas de subdistrito usaram as informaccedilotildees para analisar os motivos do progresso ou falta de progresso para poderem prestar apoio aos gestores dos centros de sauacutede O processo estimulou os gestores dos centros de sauacutede a melhorarem a integridade e precisatildeo dos dados de rotina para poderem usar as informaccedilotildees e monitorarem mais eficazmente os eventos e os serviccedilos essenciais e introduzirem as melhorias necessaacuterias
Exemplos e informaccedilotildees detalhadas sobre o PIP-PH e o Health Watch Framework aparecem no Relatoacuterio Anual do Projecto PRIDE 2007
Para se informar mais sobre meacutetodos adicionais de utilizaccedilatildeo dos dados para melhorar o desempenho de uma organizaccedilatildeo equipa serviccedilo de sauacutede ou intervenccedilatildeo consulte o processo de Avaliaccedilatildeo e Melhoria de Desempenho (Performance Assessment and Improvement ndash PAI) no website de Programa de Lideranccedila Gestatildeo e Sustentabilidade (Leadership Management and Sustainability ndash LMS)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 927
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O processo de Monitoria e Avaliaccedilatildeo deve ser executado com o objectivo de usar imediatamente os resultados para identificar as falhas de desempenho e tomar medidas para reduzir ou eliminar essas falhas Vocecirc deve sempre planear formas de usar os resultados de MampA para o aprendizado e a acccedilatildeo Por exemplo o que deve fazer se as actividades do projecto natildeo trouxerem os resultados esperados O que precisa mudar se os serviccedilos essenciais natildeo estiverem a fornecer os niacuteveis de cobertura previstos ou a alcanccedilar grupos especiacuteficos de pessoas E como vocecirc pode levar esses fatos agrave atenccedilatildeo das pessoas certas para obter uma resposta raacutepida
Desenho de uma ferramenta de MampA
ARMADILHAS DA MONITORIA E AVALIACcedilAtildeO
Haacute vaacuterias armadilhas comuns que impedem que vocecirc como gestor aperfeiccediloe a funccedilatildeo de MampA na sua organizaccedilatildeo
Planeamento excessivo ou insuficienteAlguns gestores podem gastar tempo demais a preparar o plano de MampA do que resultam planos muito elaborados e complicados de usar Outros ficam muito ansiosos por implementar as intervenccedilotildees de MampA e comeccedilam antes de concluir o plano de MampA Isso significa que quando o plano fica pronto eacute geralmente tarde demais para obter dados de base viaacuteveis e a MampA tem que ser adiada Nesses casos o gestor talvez tenha que aceitar fazer a avaliaccedilatildeo mais tarde sem os dados de base que poderia usar para a comparaccedilatildeo
Descuidar-se da monitoria contiacutenua Outra armadilha frequente eacute a falha em incluir a monitoria contiacutenua na implementaccedilatildeo das actividades Isto ocorre frequentemente por falta de experiecircncia Muitos gestores natildeo tiveram acesso a ferramentas de monitoria uacuteteis (que satildeo raras) Talvez natildeo tenham recebido prontamente os resultados ou a retroinformaccedilatildeo do sistema de MampA no passado e por isso natildeo percebem como eacute importante realizar a monitoria de rotina Aleacutem disso gestores podem facilmente se emaranhar nos detalhes da implementaccedilatildeo e descuidar-se da monitoria de rotina
Exagerar Outra armadilha relacionada agrave monitoria eacute tentar rastrear os dados de todos os indicadores possiacuteveis Tentar obter os dados sobre um nuacutemero excessivo de factores torna o processo de monitoria tatildeo complicado que se torna impreciso Isso tambeacutem torna o processo mais lento de modo que no momento em que os dados satildeo recolhidos e analisados eles jaacute natildeo satildeo mais uacuteteis As ferramentas de monitoria muito demoradas e complicadas acabam por natildeo ser usadas O que acontece entatildeo O gestor deixa totalmente de fazer a monitoria e tem que recorrer agrave avaliaccedilatildeo
Se jaacute se deparou com esses problemas eacute hora de mudar a sua taacutectica Vocecirc pode criar um plano de MampA simples e usar ferramentas de monitoria simples Descubra o que tem que medir para obter os dados dentro de 3 a 6 meses o prazo vai depender dos ciclos de planeamento e apresentaccedilatildeo de relatoacuterios da sua organizaccedilatildeo Entenda tambeacutem qual eacute o miacutenimo que deve ser medido em uma avaliaccedilatildeo de longo prazo Busque a simplicidade mesmo se estiver diante de um conjunto complexo de actividades
Tente incluir apenas o que realmente precisa saber Pode testar todos os indicadores propostos antes de incluiacute-los no planeamento de MampA ao perguntar Quem precisa usar essas informaccedilotildees quando e com que finalidade Se um uacutenico indicador de produtos for suficiente perfeito Natildeo sobrecarregue a monitoria com indicadores desnecessaacuterios Muitas vezes menos dados fornecem mais informaccedilotildees
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 928
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
CARACTERIacuteSTICAS DE UMA BOA FERRAMENTA DE MONITORIA
Como gestor natildeo precisa saber tudo para gerir um serviccedilo ou dirigir uma intervenccedilatildeo mas precisa das informaccedilotildees imediatamente Portanto precisa de uma ferramenta de monitoria que possa fornecer informaccedilotildees suficientes e em tempo haacutebil para identificar e corrigir problemas assim que eles surgirem
Uma ferramenta de monitoria deve ser faacutecil de montar e utilizar As tabelas listas de verificaccedilatildeo e diagramas simples satildeo meacutetodos particularmente uacuteteis de recolher organizar e apresentar informaccedilotildees de monitoria
No miacutenimo sua ferramenta de monitoria deve permitir que vocecirc e sua equipa acompanhem
o progresso da implementaccedilatildeo da actividade a entrega de produtos ou resultados imediatos a situaccedilatildeo dos principais indicadores de resultados comparados aos resultados
esperados se for o caso as despesas orccedilamentais a disponibilidade de recursos humanos e financeiros os obstaacuteculos agrave implementaccedilatildeo e o que tem sido feito para superaacute-los
Vocecirc teraacute que responder agraves seguintes perguntas periodicamente
As actividades foram implementadas conforme planeado dentro do prazo e do orccedilamento
Que actividades adicionais natildeo planeadas foram realizadas Que serviccedilos ou produtos directos e tangiacuteveis foram oferecidos como resultado
das actividades que implementamos Estamos dentro do cronograma para atingir nossos resultados a meacutedio e longo
prazo Possuiacutemos os recursos necessaacuterios (pessoal dinheiro medicamentos e
suprimentos etc) para cumprirmos o cronograma
O Quadro 4 apresenta os componentes baacutesicos de uma ferramenta simples de monitoria
QUADRO 4 Uma ferramenta simples de monitoria
Data de exame Metas de resultados
Actividades (segundo o plano de implementaccedilatildeo)
Situaccedilatildeo ateacute o momento
Resultados esperados
Datas para conclusatildeo
Situaccedilatildeo ateacute o momento Comentaacuterios
Desafios e oportunidades
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 929
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quando usadas correctamente as novas tecnologias (por ex os PDAs ldquosmartphonesrdquo laptops e outros) podem facilitar a monitoria e aumentar os benefiacutecios da monitoria das actividades A monitoria automatizada ndash dados que podem ser obtidos e processados automaticamente ndash podem produzir um resumo dos principais indicadores em uma soacute paacutegina faacutecil de ler e num formato que utiliza cores para alertar ao gestor sobre as aacutereas que precisam de maior atenccedilatildeo As informaccedilotildees obtidas em tempo haacutebil sobre alguns indicadores essenciais permitem que o gestor monitore o progresso e tome medidas correctivas
Essa apresentaccedilatildeo visual das informaccedilotildees mais importantes e necessaacuterias para gerir um projecto eacute geralmente conhecida como Painel de Indicadores de Desempenho Os paineacuteis de indicadores de desempenho podem ser usados em qualquer organizaccedilatildeo departamento ou divisatildeo Nas organizaccedilotildees de sauacutede puacuteblica os paineacuteis satildeo usados frequentemente para monitorar os indicadores financeiros e programaacuteticos bem como a cobertura produccedilatildeo eficaacutecia e qualidade de serviccedilos de sauacutede especiacuteficos Um painel de recursos humanos por exemplo incluiria indicadores relevantes para gerir o seguinte
retenccedilatildeo de funcionaacuterios rotatividade de funcionaacuterios formaccedilatildeo de funcionaacuterios lacunas de habilidades satisfaccedilatildeo dos funcionaacuterios custos benefiacutecios e despesas gerais com funcionaacuterios
A Tabela 6 mostra um painel de indicadores de desempenho criado para monitorar serviccedilos de contracepccedilatildeo ciruacutergica voluntaacuteria (CCV)
TABELA 6 Ilustraccedilatildeo de Painel de Indicadores de Desempenho para Serviccedilos de Contracepccedilatildeo Ciruacutergica Voluntaacuteria (CCV)
Serviccedilo Contracepccedilatildeo Ciruacutergica Voluntaacuteria Periacuteodo do Relatoacuterio Janeiro de 2009
No Indicador de Prestaccedilatildeo de Serviccedilos Custo Qualidade
Meta financeira ou programaacutetica
LimiarNuacutemero
alcanccedilado
Percentagem concluiacuteda
Miacuten Maacutex 10 20 30 40 50 60 70 80 90 100
1 Nuacutemero de CCVs realizadas no mecircs 8 10 7
2 Custo meacutedio das CCVs (US$) 100 120 110
3 Orccedilamento mensal da receita com CCVs realizadas (US$) 800 1200 770
4Percentagem das CCVs realizadas por pessoal
qualificadomdash 100 60
5 Percentagem das CCVs realizadas sem complicaccedilotildees 95 100 100
6
Percentagem de utentes satisfeitas com o tratamento
recebido do pessoal que realizou as CCVs
90 100 90
Adaptado de Colindres 2008 p 6
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 930
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja uma descriccedilatildeo do uso de um painel de indicadores de desempenho para a monitoria de rotina num estudo de caso estudo de caso de uma ONG da Boliacutevia o Centro de Investigaccedilatildeo Educaccedilatildeo e Serviccedilos (CIES)
Para obter mais informaccedilotildees de como criar um painel de indicadores consulte ldquoComo usar os paineacuteis de indicadores de desempenho para monitorar as realizaccedilotildees de uma organizaccedilatildeordquo Esse documento ajuda a esclarecer conceitos e define as etapas essenciais para criar paineacuteis de indicadores de desempenho
Como criar uma avaliaccedilatildeo para fins de aprendizagem
Apesar da importacircncia da monitoria de rotina apenas a monitoria natildeo basta para responder agrave pergunta ldquoE entatildeordquo Ou seja suas actividades e produtos contribuiacuteram para melhorar a cobertura dos serviccedilos aumentar o conhecimento ou encorajar comportamentos mais saudaacuteveis
Talvez uma campanha de comunicaccedilatildeo sobre planeamento familiar criada para aumentar a prevalecircncia do uso de contraceptivos tenha levado o governo a abastecer os depoacutesitos distritais com contraceptivos Para que possam aprender com essa experiecircncia e criar campanhas mais eficazes no futuro os gestores do projecto ainda querem saber que produtos foram realmente dispensados aos centros de sauacutede e distribuiacutedos aos utentes Esta secccedilatildeo discute como criar uma avaliaccedilatildeo para fins de aprendizagem
Existem dois motivos para levar a cabo uma avaliaccedilatildeo
1 A avaliaccedilatildeo fornece informaccedilotildees sobre o sucesso da sua equipa unidade ou organizaccedilatildeo para atingir seus objectivos Essas informaccedilotildees ajudam a definir que actividades expandir modificar ou eliminar Ela pode tambeacutem revelar formas de melhorar a concepccedilatildeo e gestatildeo das actividades futuras
2 A avaliaccedilatildeo pode demonstrar uma cultura de prestaccedilatildeo de contas agrave sua agecircncia doadora e a outros grupos de interesse nomeadamente o governo e os beneficiaacuterios dos seus serviccedilos
AVALIACcedilOtildeES FORMATIVAS E SUMATIVAS
Os gestores podem realizar dois amplos tipos de avaliaccedilotildees formativas e sumativas
Avaliaccedilatildeo formativa Este tipo de avaliaccedilatildeo eacute realizada durante o desenvolvimento e implementaccedilatildeo de um programa Seu objectivo eacute orientar o desenho e a implementaccedilatildeo de actividades que incluam as melhores e mais promissoras praacuteticas que aumentaratildeo as chances de sucesso A avaliaccedilatildeo formativa eacute mais comummente utilizada por projectos de grande porte ou de longo prazo em vez de projectos menores e de curto prazo Poreacutem os projectos menores devem pelo menos realizar uma avaliaccedilatildeo raacutepida das melhores praacuteticas durante a fase de planeamento para apoiar a loacutegica e o conteuacutedo proposto para as actividades
A avaliaccedilatildeo formativa inclui uma avaliaccedilatildeo de necessidades para discernir os desejos e requisitos de um grupo da populaccedilatildeo e determinar a melhor forma de atendecirc-los Inclui tambeacutem uma avaliaccedilatildeo de processo para investigar o processo utilizado para executar uma intervenccedilatildeo Pode-se usar a avaliaccedilatildeo do processo para determinar se as actividades foram realizadas de acordo com o plano ndash em termos de sua concepccedilatildeo original estimativas de custos e nuacutemero de pessoas a serem atendidas ndash e se a qualidade dos processos usados estaacute de acordo com as melhores praacuteticas conhecidas
A avaliaccedilatildeo de processo geralmente inclui vaacuterias abordagens Pode incluir uma avaliaccedilatildeo dos dados referentes aos produtos (por ex nuacutemero de redes mosquiteiras fornecidas nuacutemero
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 931
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
de workshops de formaccedilatildeo realizados nuacutemero de participantes dos workshops) assim como entrevistas individuais ou grupos de enfoque entre os beneficiaacuterios Nas intervenccedilotildees de menor porte eacute uma boa praacutetica realizar uma avaliaccedilatildeo de processo mesmo se limitada agrave retroinformaccedilatildeo dos participantes
Avaliaccedilatildeo somativa Este tipo de avaliaccedilatildeo eacute realizada apoacutes a conclusatildeo de um grupo de actividades ou da intervenccedilatildeo para avaliar a qualidade da intervenccedilatildeo e os seus principais resultados A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo a avaliaccedilatildeo do impacto a anaacutelise de custo-benefiacutecio e custo-eficaacutecia e a investigaccedilatildeo operacional
A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo que avalia em que medida uma equipa unidade ou organizaccedilatildeo inteira atingiram seus resultados esperados A avaliaccedilatildeo dos resultados eacute usada para demonstrar que existe uma cultura de prestaccedilatildeo de contas para aperfeiccediloar o projecto de actividades organizacionais para melhorar a distribuiccedilatildeo dos recursos e para promover intervenccedilotildees futuras bem-sucedidas As principais perguntas satildeo Que modificaccedilotildees ocorreram na vida das pessoas das famiacutelias ou da comunidade como resultado do nosso trabalho Que diferenccedila fizemos
Como observamos anteriormente neste capiacutetulo os resultados a meacutedio e longo prazo satildeo geralmente mudanccedilas mensuraacuteveis eou observaacuteveis em duas dimensotildees A primeira dimensatildeo abrange a conscientizaccedilatildeo o conhecimento as atitudes os valores e as habilidades dos participantes de um programa ou dos beneficiaacuterios dos serviccedilos durante ou depois de seu envolvimento na intervenccedilatildeo A segunda dimensatildeo implica mudanccedilas no comportamento desses mesmos grupos
Idealmente as duas dimensotildees deveriam ser medidas em trecircs pontos no comeccedilo e no final do periacuteodo de implementaccedilatildeo e se possiacutevel apoacutes um periacuteodo de acompanhamento adequado Se a mediccedilatildeo do acompanhamento natildeo for viaacutevel pelo menos devem ser comparadas as mediccedilotildees de base e poacutes-intervenccedilatildeo Muitas vezes as mudanccedilas podem ser pequenas mas deve haver alguma melhoria em pelo menos um ou dois resultados para que a intervenccedilatildeo seja considerada um sucesso
A avaliaccedilatildeo dos resultados tenta distinguir entre a influecircncia da intervenccedilatildeo nessas mudanccedilas e a influecircncia de outros factores externos Mas geralmente os avaliadores teratildeo que optar pela atribuiccedilatildeo parcial de um resultado a uma intervenccedilatildeo ou serviccedilo especiacutefico devido agrave dificuldade em determinar uma relaccedilatildeo directa e causal entre o serviccedilo prestado e uma determinada mudanccedila
As avaliaccedilotildees de resultados utilizam geralmente um desenho natildeo experimental (geralmente denominado ldquopreacute e poacutes-avaliaccedilatildeordquo) que simplesmente mede as mudanccedilas antes e depois de uma intervenccedilatildeo ou seja diferente do desenho experimental (que compara os participantes com um grupo de controlo com designaccedilatildeo aleatoacuteria a ambos os grupos) ou do desenho semi-experimental (que compara os participantes com um grupo de controlo mas sem a designaccedilatildeo aleatoacuteria)
O desenho natildeo experimental eacute aceitaacutevel para as mediccedilotildees e relatoacuterios padratildeo dos resultados a meacutedio e longo prazo As ONGs raramente usam os desenhos experimentais Apesar de uma organizaccedilatildeo de grande porte e com muitos recursos poder ocasionalmente receber assistecircncia de especialistas para um desenho experimental a maioria delas acha que as consideraccedilotildees eacuteticas e logiacutesticas impedem a designaccedilatildeo aleatoacuteria dos participantes aos grupos de intervenccedilatildeo e de controlo Aleacutem disso o custo de recolher dados de um grupo de controlo seraacute provavelmente muito elevado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 932
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A avaliaccedilatildeo do impacto eacute outro componente da avaliaccedilatildeo somativa Eacute mais ampla do que a avaliaccedilatildeo de resultados e avalia os efeitos liacutequidos ou gerais ndash tanto intencionais como natildeo intencionais ndash de todo um programa grupo de programas ou grupo de organizaccedilotildees As avaliaccedilotildees de impacto geralmente se estendem por um periacuteodo de 3 a 5 anos
OUTROS TIPOS DE AVALIACcedilOtildeES
Anaacutelise de custo-benefiacutecio e custo-eficaacutecia Estes tipos de anaacutelise tratam da eficiecircncia da intervenccedilatildeo ao analisar os resultados em termos dos seus custos financeiros e do seu valor
Investigaccedilatildeo operacional Trata-se de um balanccedilo ou avaliaccedilatildeo de uma intervenccedilatildeo especiacutefica no contexto de um programa mais amplo que estaacute a fazer vaacuterias intervenccedilotildees A investigaccedilatildeo operacional eacute usada para testar e avaliar novas abordagens de prestaccedilatildeo de serviccedilos de sauacutede Eacute tambeacutem usada para identificar problemas na prestaccedilatildeo de serviccedilos e oferecer soluccedilotildees
A investigaccedilatildeo operacional eacute uma ferramenta poderosa que os gestores de programas e os tomadores de decisotildees podem usar para melhorar e expandir os serviccedilos Os estudos de investigaccedilatildeo operacional comparam intervenccedilotildees que estatildeo dentro da esfera de influecircncia do gestor Os exemplos incluem a avaliaccedilatildeo da eficaacutecia de uma nova estrateacutegia de prevenccedilatildeo de VIHSIDA um novo curso de formaccedilatildeo um novo conjunto de procedimentos para gerir medicamentos um novo meacutetodo contraceptivo ou um novo serviccedilo de sauacutede reprodutiva
O Toolkit de Investigaccedilatildeo Operacional do Programa Horizons sobre VIHSIDA do Population Council fornece informaccedilotildees detalhadas para criar um estudo de investigaccedilatildeo operacional
CONSIDERACcedilOtildeES PARA A FORMULACcedilAtildeO DE UMA AVALIACcedilAtildeO
O que avaliar para responder agrave pergunta ldquoE entatildeordquo Se quiser saber como gestor se as suas actividades tiveram realmente sucesso precisa preparar todas as intervenccedilotildees tendo em mente a avaliaccedilatildeo e incorporar a avaliaccedilatildeo ao seu planeamento organizacional geral Ao definir objectivos deve se perguntar Como saberemos se estamos a atingir esses objectivos Este eacute o ponto de partida para a avaliaccedilatildeo
Seja qual for o porte da sua intervenccedilatildeo ou serviccedilo e o alcance da avaliaccedilatildeo precisaraacute responder a trecircs perguntas durante a fase de desenho e planeamento
1 O que a sua intervenccedilatildeo ou serviccedilo conseguiraacute realizar a curto e longo prazo Se implementar um conjunto de actividades com sucesso ao longo do tempo o que seraacute diferente
2 Como conceptualiza as suas actividades ndash qual eacute a loacutegica subjacente Duas abordagens para identificar a loacutegica do programa satildeo discutidas neste capiacutetulo na secccedilatildeo intitulada Ferramentas e Abordagens Praacuteticas para MampA
3 Que indicadores pode usar para identificar o progresso no alcance dos resultados
Para responder agrave pergunta ldquoE entatildeordquo vocecirc precisa avaliar os factores sobre os quais tem um niacutevel razoaacutevel de controlo Por exemplo um novo serviccedilo criado para oferecer alojamento a pessoas que vivem com SIDA natildeo pode controlar ou afectar a expectativa de vida das pessoas agraves quais atende Mas ao fornecer um ambiente estaacutevel para elas viverem o serviccedilo pode diminuir o niacutevel de stresse e melhorar a qualidade de vida dessas pessoas que antes eram forccediladas a se mudar com frequecircncia
Depois de tratar da pergunta ldquoE entatildeordquo deve tambeacutem se certificar de que a avaliaccedilatildeo seja concebida de forma que quando o processo estiver concluiacutedo vocecirc possa abordar os cinco toacutepicos principais da avaliaccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 933
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
1 Relevacircncia Foi uma boa ideia fazer a intervenccedilatildeo considerando-se a situaccedilatildeo e a necessidade de melhorias Ela tratou das prioridades do grupo alvo ou beneficiaacuterio Por que sim ou por que natildeo
2 Eficaacutecia Os resultados produtos e actividades foram realizados Por que sim ou por que natildeo A loacutegica da intervenccedilatildeo eacute correcta
3 Eficiecircncia Os insumos (recursos e tempo) foram usados da melhor forma possiacutevel para atingir os resultados a meacutedio e longo prazo Por que sim ou por que natildeo O que vocecirc e sua equipa poderiam fazer de modo diferente no futuro para maximizar os resultados a um custo aceitaacutevel
4 Impacto Em que medida a sua intervenccedilatildeo contribuiu para as metas nacionais ou de longo prazo Que consequecircncias natildeo intencionais (positivas ou negativas) suas actividades tiveram Por que essas consequecircncias aconteceram
5 Sustentabilidade Eacute provaacutevel que os resultados positivos continuem depois que sua intervenccedilatildeo terminar Por que sim ou por que natildeo
Uma uacuteltima advertecircncia assim como a monitoria pode-se complicar demasiado a avaliaccedilatildeo Ao preparar um plano de avaliaccedilatildeo o melhor eacute seleccionar um grupo pequeno de indicadores e resistir agrave tentaccedilatildeo de avaliar todos os aspectos da sua intervenccedilatildeo
Assim como a monitoria a avaliaccedilatildeo soacute eacute uacutetil se as informaccedilotildees forem repassadas em tempo haacutebil para o gestor e outros tomadores de decisotildees e grupos de interesse Um problema comum com as avaliaccedilotildees intercalares eacute que os resultados geralmente soacute satildeo informados de 6 a 8 meses mais tarde o que deixa apenas 1 ou 2 anos para fazer mudanccedilas mais permanentes antes que se esgotem os fundos do governo ou da agecircncia doadora
COMO SELECCIONAR SUAS FONTES DE DADOS
Esta secccedilatildeo descreve trecircs tipos de fontes de dados que satildeo comummente usadas para uma avaliaccedilatildeo dados recolhidos rotineiramente inqueacuteritos de grande escala e teacutecnicas de avaliaccedilatildeo raacutepida inclusive a avaliaccedilatildeo participativa
Dados de rotina Os dados recolhidos e analisados rotineiramente por um SIS satildeo denominados ldquoestatiacutesticas de serviccedilordquo Pode-se utilizar vaacuterios sistemas de informaccedilatildeo de serviccedilos de rotina para monitorar os serviccedilos Alguns deles satildeo o sistema baacutesico de registo e relatoacuterio de SIS os sistemas especiais de relatoacuterios sobre programas (por ex tuberculose malaacuteria imunizaccedilatildeo VIH planeamento familiar etc) os sistemas de relatoacuterios sobre agentes comunitaacuterios especiais (por ex registos de agentes comunitaacuterios de sauacutede) o sistema de informaccedilotildees para a vigilacircncia de doenccedilas e o controlo notificaccedilatildeo e resposta a surtos e os relatoacuterios para os sistemas de suporte especiais (por ex medicamentos encaminhamentos e gestatildeo financeira e de recursos humanos)
Esses sistemas fornecem dados que estatildeo imediatamente disponiacuteveis e cujo objectivo eacute informar o que estaacute a acontecer no sector de sauacutede Os dados de rotina incluem por exemplo o nuacutemero de consultas de preacute-natal em uma cliacutenica o nuacutemero e tipo de vacinaccedilotildees fornecidas no local ou o nuacutemero e tipos de contraceptivos fornecidos mensalmente
Os dados sobre os serviccedilos satildeo geralmente recolhidos pelos centros de sauacutede ou postos de sauacutede e enviados para o proacuteximo niacutevel superior do sistema (geralmente o distrito) para serem agregados Esses dados podem entatildeo ser enviados ao proacuteximo niacutevel superior (regional ou provincial) para posterior agregaccedilatildeo antes que cheguem finalmente ao niacutevel central do Ministeacuterio da Sauacutede
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 934
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Idealmente os gestores de centros de sauacutede e ao niacutevel do distrito usam esses dados para orientar as operaccedilotildees diaacuterias acompanhar o desempenho e a prestaccedilatildeo de contas e tomar decisotildees que continuem a melhorar o desempenho Mas haacute vaacuterios obstaacuteculos a essa utilizaccedilatildeo
Muito frequentemente os dados de rotina satildeo imprecisos ou incompletos Apesar dos que utilizam o SIS tentarem produzir informaccedilotildees de alta qualidade e em tempo haacutebil haacute muitas oportunidades de introduzir erros Pode haver pouco apoio para que os gestores e seu pessoal se concentrem nos procedimentos correctos de recolha registo e agregaccedilatildeo dos dados
Os sistemas de sauacutede de vaacuterios paiacuteses enfatizam a importacircncia de apresentar relatoacuterios para os niacuteveis superiores mas natildeo estabeleceram procedimentos e incentivos para encorajar aqueles que fornecem informaccedilotildees a utilizaacute-las mesmo quando os dados satildeo de boa qualidade
Outra dificuldade eacute que as estatiacutesticas sobre serviccedilos fornecem informaccedilotildees apenas sobre os utentes que utilizam os serviccedilos de sauacutede Natildeo podem fornecer informaccedilotildees sobre as muitas pessoas que natildeo utilizam os serviccedilos
Por tudo isso natildeo se pode confiar apenas nas estatiacutesticas sobre serviccedilos para fazer uma avaliaccedilatildeo Elas satildeo melhor utilizadas para a monitoria de rotina dos problemas de sauacutede puacuteblica e dos serviccedilos essenciais relacionados
Inqueacuteritos em grande escala Os inqueacuteritos em grande escala satildeo outra fonte de informaccedilotildees imediatamente disponiacuteveis Incluem inqueacuteritos de base populacional tais como as Inqueacuterito Demograacutefico e de Sauacutede (IDS) dos EUA avaliaccedilotildees completas de centros de sauacutede como a Anaacutelise de Situaccedilatildeo do Population Council e os censos nacionais Em vaacuterios casos os gestores podem usar os dados de um inqueacuterito em grande escala existente para fornecer o contexto para a interpretaccedilatildeo dos dados capturados atraveacutes das suas proacuteprias avaliaccedilotildees
Por exemplo as IDS satildeo realizadas periodicamente para caracterizar a situaccedilatildeo de sauacutede em um paiacutes ou regiatildeo geograacutefica de grande extensatildeo para vaacuterios grupos populacionais homens mulheres crianccedilas bebeacutes e assim por diante Mas os dados das IDS natildeo podem normalmente ser desagregados para uso pelos gestores no niacutevel de distrito ou comunidade
Aleacutem disso como as IDS satildeo realizadas apenas a cada trecircs ou cinco anos as informaccedilotildees que fornecem podem natildeo estar suficientemente actualizadas para as necessidades de avaliaccedilatildeo dos gestores Apesar dessas dificuldades os dados das IDS satildeo uacuteteis para compreender tendecircncias regionais ou nacionais que podem ajudar a explicar dados recolhidos em uma avaliaccedilatildeo de foco especiacutefico
Avaliaccedilotildees raacutepidas Satildeo formas raacutepidas e econoacutemicas de obter informaccedilotildees para a tomada de decisotildees principalmente ao niacutevel da actividade Os exemplos incluem entrevistas quando os utentes saem de suas consultas as avaliaccedilotildees de pequena escala dos centros de sauacutede os inqueacuteritos raacutepidos por amostragem o exame analiacutetico de registos as entrevistas com grupos de enfoque e outros meacutetodos participativos
Poderaacute usar teacutecnicas de avaliaccedilatildeo raacutepida para complementar as informaccedilotildees obtidas com dados de rotina ou inqueacuteritos de grande escala As avaliaccedilotildees raacutepidas podem-lhe fornecer informaccedilotildees valiosas sobre sua aacuterea de captaccedilatildeo e sua aacuterea de responsabilidade mais ampla ndash ou seja as comunidades e as populaccedilotildees que deveriam ter acesso aos serviccedilos essenciais prestados por um centro de sauacutede determinado Elas podem tambeacutem fornecer contexto e uma compreensatildeo qualitativa dos dados quantitativos recolhidos pelos meacutetodos mais formais
Dentro da categoria de avaliaccedilotildees raacutepidas os meacutetodos participativos e os inqueacuteritos raacutepidos por amostragem merecem a sua atenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 935
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Meacutetodos participativos (tambeacutem chamados de aprendizagem e acccedilatildeo participativas) Essas teacutecnicas e meacutetodos visam incorporar o conhecimento e as opiniotildees dos membros da comunidade no planeamento e gestatildeo de projectos de desenvolvimento no esforccedilo para influenciar as poliacuteticas e na implementaccedilatildeo de programas Eles permitem incluir vozes da comunidade nas poliacuteticas no planeamento e nos inqueacuteritos e criam um senso de propriedade e participaccedilatildeo nos resultados de MampA e nas recomendaccedilotildees feitas pela organizaccedilatildeo e por seus beneficiaacuterios
Ao contraacuterio de outras teacutecnicas de avaliaccedilatildeo raacutepida os meacutetodos participativos natildeo se baseiam em amostragens Eles usam entrevistas individuais ou com informantes essenciais (inclusive entrevistas com utentes ao saiacuterem de suas consultas) entrevistas em grupo estudos de caso e outros meacutetodos qualitativos para identificar as condiccedilotildees locais e entender as perspectivas e prioridades locais
Em vaacuterios locais haacute membros da comunidade que natildeo podem ler nem escrever e por isso os meacutetodos participativos dependem frequentemente da comunicaccedilatildeo oral com apoio de imagens siacutembolos objectos fiacutesicos e memoacuteria colectiva
Os meacutetodos participativos podem ser usados antes durante e apoacutes a implementaccedilatildeo de uma intervenccedilatildeo ou um conjunto de actividades Eles fornecem informaccedilotildees para o projecto e a avaliaccedilatildeo e permitem a participaccedilatildeo activa das partes interessadas na tomada de decisotildees Durante a implementaccedilatildeo os meacutetodos participativos satildeo uacuteteis para identificar e solucionar problemas
Aproveite para examinar e utilizar uma lista de recursos online sobre inqueacuterito qualitativo e directrizes sobre discussotildees em grupos de enfoque no Community Tool Box da Universidade de Kansas
Inqueacuteritos raacutepidos por amostragem Estes inqueacuteritos podem ser utilizados para recolher informaccedilotildees padronizadas de uma amostra pequena e cuidadosamente seleccionada de pessoas ou domiciacutelios em uma aacuterea beneficiaacuteria Eles podem descrever as condiccedilotildees em uma comunidade particular ou grupo-alvo e permitem comparar grupos diferentes em um determinado momento ou mudanccedilas no mesmo grupo ao longo do tempo Permitem tambeacutem comparar condiccedilotildees actuais com os resultados planeados
Um dos inqueacuteritos mais comuns de pequena amostragem eacute o inqueacuterito CAP (Conhecimentos Atitudes e Praacuteticas) baseado em uma amostra de 30 agrupamentos
Amostragem para Garantia de Qualidade de Lotes (Lot Quality Sampling - LQAS) Essa eacute outra teacutecnica de avaliaccedilatildeo raacutepida que se usa cada vez mais na aacuterea de sauacutede puacuteblica A LQAS utiliza amostragens muito pequenas para obter informaccedilotildees confiaacuteveis em uma pequena aacuterea geograacutefica ou unidade administrativa Pode ser usada para detectar de forma precisa os extremos do desempenho ndash para determinar se uma intervenccedilatildeo foi mais aleacutem de um limiar superior de desempenho ou natildeo conseguiu atingir um limiar inferior de desempenho em termos de qualidade ou cobertura As amostras de lotes podem tambeacutem ser combinadas para fornecer estimativas de cobertura em uma aacuterea geograacutefica mais ampla
Uma busca na Web revelaraacute recursos uacuteteis aqui temos um sobre os inqueacuteritos CAP e outro sobre LQAS A aacuterea de MampA do website do CORE Group inclui ligaccedilotildees com ferramentas e recursos importantes para a avaliaccedilatildeo raacutepida criados pelo Grupo de Trabalho de MampA do CORE Group
Como gestor deve revisar todas as fontes de dados jaacute existentes antes de planear a sua avaliaccedilatildeo A Tabela 7 apresenta as vantagens e desvantagens das trecircs principais fontes de
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 936
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 7 Resumo das trecircs fontes de dados mais comuns para uma avaliaccedilatildeo
Fonte de dados Vantagens Limitaccedilotildees
Estatiacutesticas de serviccedilo Dados sobre a populaccedilatildeo de utentes e serviccedilos cliacutenicos que satildeo recolhidos rotineiramente nos registos dos utentes e nos registos cliacutenicos
Disponiacuteveis imediatamente
Cobrem todos os tipos de serviccedilos de sauacutede e todas as aacutereas do paiacutes
Podem ser desagregados para os niacuteveis local e de distrito
Uso econoacutemico
Soacute lhe informam sobre clientes actuais sem informaccedilotildees sobre as pessoas que natildeo usam os serviccedilos de sauacutede e podem ser utentes em potencial
Natildeo fornecem informaccedilotildees sobre valores percepccedilotildees ou comportamentos da comunidade
Natildeo reflectem as pessoas que optam por fontes privadas de serviccedilos
Podem ser inexactas se os locais de prestaccedilatildeo de serviccedilos natildeo registarem os dados correctamente de forma legiacutevel e em tempo haacutebil
Inqueacuteritos de grande escala Inqueacuteritos de base populacional e avaliaccedilotildees de grande escala dos centros de sauacutede
Dados relevantes precisos e confiaacuteveis
Podem medir as tendecircncias nacionais de sauacutede identificar aacutereas com problemas e ajudar a concentrar os recursos do paiacutes em aacutereas de maior carecircncia
Geram valores meacutedios para as aacutereas urbanas e rurais regiotildees e proviacutencias
Fornecem um contexto para interpretar os dados recolhidos localmente
Podem gerar informaccedilotildees adicionais a partir dos seus conjuntos de dados informatizados
Geralmente natildeo podem desagregar os dados para fornecer meacutedias para as aacutereas sub-regionais (distritos ou municipalidades)
Geralmente natildeo satildeo realizadas anualmente os dados se tornam desactualizados rapidamente se as populaccedilotildees ou condiccedilotildees de sauacutede se modificarem rapidamente
Avaliaccedilotildees raacutepidas Meacutetodos focados para avaliar as necessidades locais e tomar decisotildees em acircmbito local
Raacutepidas e econoacutemicas
Resultam em acccedilatildeo local
Haacute directrizes para ajudar os gestores em vaacuterias dessas teacutecnicas
Fornecem aos gestores a capacidade de recolher os dados necessaacuterios
Os inqueacuteritos domiciliares (por ex LQAS ou CAP) podem obter precisatildeo suficiente para fins de avaliaccedilatildeo
Equilibra a necessidade de resultados representativos e objectivos com a necessidade de usar projectos levemente menos rigorosos que satildeo mais viaacuteveis em aacutereas locais
Usam escala e acircmbito reduzidos para produzir resultados em tempo haacutebil e de baixo custo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 937
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
dados que foram discutidas acima estatiacutesticas rotineiras de serviccedilos inqueacuteritos em grande escala e teacutecnicas de avaliaccedilatildeo raacutepida
Que niacutevel de qualidade os dados do SIS precisam ter para serem uacuteteis ndash que niacutevel de abrangecircncia precisatildeo e apresentaccedilatildeo em tempo haacutebil Para as suas necessidades de gestatildeo mesmo que natildeo sejam perfeitos os dados podem ser suficientemente bons para ter um efeito poderoso como nos mostra o exemplo de Madagascar
Dados do SIS pontos fortes e limitaccedilotildees
Subestimar o valor e a utilidade do SIS eacute infelizmente uma tendecircncia Eacute verdade que o SIS tem problemas frequentemente mas tambeacutem eacute grande o seu potencial Como vimos em
Como usar e melhorar dados imperfeitos do SIS ndash Um exemplo de Madagascar
Um SIS de base comunitaacuteria mais preciso e mais oportuno Um projecto de Madagascar implementou um meacutetodo baseado na comunidade para aumentar o uso de meacutetodos de planeamento familiar denominado ldquoComunidades Campeatildesrdquo em 50 dos 110 distritos do paiacutes O meacutetodo utilizou exclusivamente os dados do SIS para monitorar e avaliar as realizaccedilotildees das comunidades participantes
Em primeiro lugar foi estabelecida uma base de referecircncia para cada comunidade ao usar os dados do seu centro de sauacutede Em seguida o pessoal do centro de sauacutede e os representantes da comunidade identificaram metas para 10 indicadores que determinariam se uma comunidade tinha alcanccedilado a posiccedilatildeo de campeatilde apoacutes 12 meses de implementaccedilatildeo Cada comunidade monitorava seu proacuteprio progresso em uma reuniatildeo trimestral de verificaccedilatildeo
Apoacutes 12 meses o pessoal do projecto voltou a cada comunidade para avaliar os resultados Examinaram os dados do relatoacuterio de monitoria de rotina de cada centro de sauacutede e para cada indicador Prepararam tambeacutem um relatoacuterio sobre os dados de cada comunidade e o enviaram para o supervisor de niacutevel distrital para a sua confirmaccedilatildeo com base nos registos informatizados do distrito As fontes de dados para os relatoacuterios do centro de sauacutede e registos de distrito foram as mesmas (registos dos centros de sauacutede) e por isso raramente ocorreu uma discrepacircncia Mas o que interessava era envolver o supervisor distrital no exame dos dados do centro de sauacutede para mostrar a utilidade de se usar ateacute mesmo dados simples nesse niacutevel
O projecto tambeacutem cooperou com o Ministeacuterio da Sauacutede a niacutevel distrital para melhorar a precisatildeo a abrangecircncia e a prontidatildeo do SIS A ecircnfase era obter dados mais completos dos centros de sauacutede e reduzir o tempo gasto pelo escritoacuterio distrital para receber o relatoacuterio do centro de sauacutede apreciaacute-lo devolvecirc-lo ao centro para qualquer correcccedilatildeo recebecirc-lo novamente dar entrada dos dados no sistema e finalmente enviaacute-los ao niacutevel central Os distritos satildeo responsaacuteveis por cooperar com os centros de sauacutede para melhorar o registo de dados e actualizar suas proacuteprias teacutecnicas de processamento de dados
Apoacutes dois anos de assistecircncia teacutecnica o SIS tinha realmente melhorado segundo os indicadores de precisatildeo abrangecircncia e prontidatildeo As melhorias mais notaacuteveis foram em prontidatildeo o tempo gasto pelo escritoacuterio distrital no processo descrito acima reduziu-se de 12 para 3 meses
Imperfeitas mais mesmo assim valiosos Deve-se lembrar que o projecto ldquoComunidades Campeatildesrdquo teve oacuteptimo resultado apesar dos dados imperfeitos Seu numerador (o nuacutemero de utentes regulares de planeamento familiar) era detalhado e preciso Mas suas estimativas das taxas de prevalecircncia do uso de contraceptivos natildeo eram muito precisas porque o denominador (nuacutemero de mulheres em idade reprodutiva) era apenas uma estimativa baseada num censo desactualizado e em estimativas anuais do governo sobre percentagens de crescimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 938
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Madagascar o projecto Comunidades Campeatildes melhorou o sistema substancialmente num periacuteodo de dois anos Nesse caso o sistema jaacute se encontrava relativamente funcional porque projectos anteriores haviam feito um grande esforccedilo para implantar o sistema e tornaacute-lo mais soacutelido Ao aprimorar a forma como o sistema era administrado e os dados eram usados o projecto posterior conseguiu fazer uma grande diferenccedila por meio de pequenas modificaccedilotildees
Os dados do SIS natildeo satildeo 100 exactos e nunca seratildeo Esta eacute a realidade com a qual todos os gestores tecircm que trabalhar Mas os dados natildeo precisam ser perfeitos para serem uacuteteis Eacute possiacutevel fazer a monitoria e a gestatildeo com dados imperfeitos Informaccedilotildees obtidas em tempo
(continuaccedilatildeo)
No entanto o projecto constatou que as taxas de prevalecircncia de uso de contraceptivos eram suficientemente boas para acompanhar o desempenho das comunidades que participavam do meacutetodo de Comunidades Campeatildes O pessoal do projecto tambeacutem complementou as comparaccedilotildees dessas taxas com as comparaccedilotildees dos valores do numerador nuacutemeros simples que faziam sentido para o pessoal do centro de sauacutede e tambeacutem para as comunidades
O niacutevel central comeccedilou a organizar workshops regionais trimestrais para divulgar os resultados ao niacutevel distrital Juntos os gestores dos niacuteveis distritais regionais e centrais analisaram o progresso e classificaram os distritos com base no seu desempenho Usaram a anaacutelise de causa-raiz ndash um processo que identifica as causas subjacentes de um problema ndash para entender os obstaacuteculos enfrentados pelos distritos que apresentavam baixo desempenho (Consulte o Apecircndice A no Capiacutetulo 2 deste guia para obter mais informaccedilotildees sobre a anaacutelise de causa-raiz) Finalmente o Ministeacuterio de Sauacutede mobilizou o apoio de agecircncias doadoras e de organizaccedilotildees parceiras para ajudaacute-los a melhorar
O ministeacuterio comeccedilou a usar as informaccedilotildees de sauacutede para administrar realmente o sistema de sauacutede Antes dessa intervenccedilatildeo poucas organizaccedilotildees confiavam ou utilizavam os dados do SIS Mas quando ficou claro que o sistema funcionava as agecircncias doadoras passaram a confiar as organizaccedilotildees parceiras passaram a utilizaacute-lo e o ministeacuterio se orgulhou do trabalho Pela primeira vez tinham uma visatildeo mais niacutetida do que acontecia em todo o paiacutes e podiam usar essas informaccedilotildees para buscar o apoio de agecircncias doadoras se necessaacuterio
Do mesmo modo os centros de sauacutede raramente usavam seus proacuteprios dados Eles simplesmente faziam os registos e os enviavam para o escritoacuterio distrital sem nem mesmo receber retroinformaccedilatildeo do mesmo Apoacutes a conclusatildeo do projecto perceberam como os dados mais precisos podiam ser usados em seu benefiacutecio e das comunidades
Os distritos tambeacutem actuavam antes de uma forma pouco informada Cada distrito dependia apenas dos seus proacuteprios dados e funcionava num vaacutecuo As mudanccedilas no SIS e o encorajamento do governo central forneceram aos distritos oportunidades para comparar seu trabalho e aprender uns com os outros
Aprendizagem com dados mais precisos completos e oportunos Os dados satildeo geralmente utilizados para fazer comparaccedilotildees mas satildeo menos frequentemente utilizados como ferramenta de aprendizagem Nesse caso depois que os relatoacuterios comeccedilaram a chegar dentro do prazo o Ministeacuterio da Sauacutede usou os dados ndash inclusive dados imperfeitos ndash para descobrir que distritos tinham um desempenho ruim e que distritos estavam melhor que os outros Assim aprenderam com os de melhor desempenho ao perguntar Por que seus resultados satildeo tatildeo bons O que estavam a fazer de diferente O que poderia ser replicado Finalmente aplicaram a aprendizagem ao usar esses distritos como modelos e ao oferecer mais apoio aos de pior desempenho
Todo o sistema de sauacutede se entusiasmou com as informaccedilotildees que podiam produzir e usar A comeccedilar do topo esse entusiasmo chegou aos niacuteveis inferiores e os motivou a melhorar sua recolha e processamento de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 939
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
haacutebil e com 75 de precisatildeo satildeo melhores que as informaccedilotildees com 95 de precisatildeo que chegam com vaacuterios meses de atraso
Apesar do seu grande valor por si soacutes os dados do SIS natildeo atenderatildeo a todas as necessidades de informaccedilatildeo de muitas organizaccedilotildees Algumas organizaccedilotildees e agecircncias doadoras precisam de dados que exigem avaliaccedilotildees ou sistemas especiais Aleacutem disso vaacuterias intervenccedilotildees foram projectadas para modificar o conhecimento as atitudes e as praacuteticas dos beneficiaacuterios factores que natildeo satildeo capturados nos dados de serviccedilo Eacute importante usar os dados do SIS sempre que possiacutevel e complementaacute-los com avaliaccedilotildees locais quando necessaacuterio
Como gestor de um programa de sauacutede ou de serviccedilos de sauacutede parte do seu trabalho deveria ser o de melhorar o SIS em seu paiacutes Ele eacute o uacutenico sistema de informaccedilotildees sustentaacutevel na maioria dos paiacuteses Os sistemas de informaccedilatildeo criados e mantidos por agecircncias doadoras ou organizaccedilotildees externas tecircm duraccedilatildeo limitada mas o SIS eacute parte permanente do seu legado
Se todos os parceiros e agecircncias doadoras trabalharem com o Ministeacuterio de Sauacutede para prestar assistecircncia teacutecnica e financeira ao SIS ele poderaacute render informaccedilotildees que trazem grandes melhorias para os serviccedilos de sauacutede e que justificam plenamente o investimento no mesmo
Praacuteticas comprovadas
Um sistema de MampA deveria proporcionar aos gestores o que eles precisam saber para agir Deve se basear em indicadores relevantes faacuteceis de usar e que possam ser fornecidos em tempo haacutebil para os ciclos de planeamento e apresentaccedilatildeo de relatoacuterios
Os resultados de MampA natildeo se destinam apenas ao pessoal de MampA da sua organizaccedilatildeo ou agrave agecircncia doadora As informaccedilotildees de MampA satildeo um recurso fundamental para as acccedilotildees e a aprendizagem Se o seu processo de MampA tiver mecanismos de retroinformaccedilatildeo que permitam aos tomadores de decisotildees reflectirem sobre os resultados e absorverem o que precisam para seus proacuteprios fins eles assumiratildeo o controlo do processo e utilizaratildeo o que ele oferecer
Se vocecirc define suas actividades de MampA no comeccedilo de uma intervenccedilatildeo ou projecto junto com o plano de acccedilatildeo para o projecto teraacute mais oportunidades de orientar e acompanhar a implementaccedilatildeo das actividades
Quando satildeo demasiado elaborados e complicados os planos de MampA natildeo satildeo usados Elabore um plano de MampA simples escolha ferramentas de monitoria faacuteceis de usar e seleccione a menor quantidade possiacutevel de indicadores para acompanhar o progresso e introduzir as mudanccedilas necessaacuterias ao longo do caminho
Para fortalecer um SIS eacute preciso trabalhar com as pessoas envolvidas os responsaacuteveis pelo sistema que registam transferem analisam comunicam e utilizam os dados e as informaccedilotildees para a gestatildeo dos serviccedilos
Ao fornecer os dados do SIS para os tomadores de decisotildees vocecirc deve reconhecer as diferenccedilas na frequecircncia dos relatoacuterios e nas quantidades de dados agregados e desagregados necessaacuterios aos niacuteveis diferentes de governo ou agraves organizaccedilotildees natildeo governamentais
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 94
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
DIFERENCcedilAS ENTRE MONITORIA E AVALIACcedilAtildeO
Monitoria e avaliaccedilatildeo satildeo funccedilotildees essenciais de gestatildeo de uma organizaccedilatildeo Juntas elas permitem decisotildees informadas uma melhor utilizaccedilatildeo dos recursos e uma avaliaccedilatildeo objectiva de ateacute que ponto os serviccedilos e outras actividades de uma organizaccedilatildeo permitiram a obtenccedilatildeo de um resultado esperado
Para tomar decisotildees informadas os gestores de sauacutede precisam de um sistema de MampA que forneccedila informaccedilotildees confiaacuteveis sobre factores tais como os seguintes
as necessidades de sauacutede das pessoas na aacuterea de captaccedilatildeo ou seja a aacuterea de onde vecircm os utentes dos serviccedilos
as prioridades do paiacutes proviacutencia distrito e comunidades a que servem a qualidade e cobertura dos serviccedilos que oferecem os recursos que eles utilizaram e os recursos ainda disponiacuteveis o progresso na implementaccedilatildeo das suas actividades
Tanto as actividades de monitoria quanto as de avaliaccedilatildeo satildeo necessaacuterias para satisfazer essas necessidades de informaccedilatildeo Mas qual delas deve ser usada e quando As diferenccedilas entre monitoria e avaliaccedilatildeo residem nos seus propoacutesitos prazos e fontes de informaccedilatildeo
A Monitoria eacute usada para rastrear continuamente as mudanccedilas nos indicadores ndash marcadores mensuraacuteveis de mudanccedila ao longo do tempo ndash de modo a gerir a implementaccedilatildeo de um programa A monitoria mede o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos actividades resultados imediatos e por vezes resultados de curto prazo Para vocecirc como gestor isso pode envolver monitorar o progresso por referecircncia aos seus planos operacionais eou monitoria dos serviccedilos que oferece
Os procedimentos comuns para a monitoria de programas incluem acompanhar as estatiacutesticas sobre serviccedilos e examinar os registos e relatoacuterios sobre formaccedilatildeo A monitoria regular e sistemaacutetica fornece informaccedilotildees para fins de planeamento e uma base confiaacutevel para realizar uma avaliaccedilatildeo
FIGURA 2 Relaccedilatildeo entre as informaccedilotildees e os ciclos de gestatildeo
Ciclo de informaccedilotildees
Ciclo de gestatildeo
Orccedilamento
Implementaccedilatildeo
Controlo
Monitoria e avaliaccedilatildeo
Planeamento
Apresentaccedilatildeo de informaccedilotildees
Interpretaccedilatildeo das informaccedilotildees
Uso das informaccedilotildees
Recolha de dados
Anaacutelise de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 95
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A Avaliaccedilatildeo por outro lado eacute usada para avaliar a eficaacutecia (e por vezes o custo) dos esforccedilos para melhorar os serviccedilos e para prevenir e controlar os problemas prioritaacuterios de sauacutede A avaliaccedilatildeo mede os resultados a meacutedio e longo prazo e o impacto Avalia em que medida sua organizaccedilatildeo estaacute a atingir os resultados esperados e o ajuda a entender por que os resultados foram ou natildeo atingidos A avaliaccedilatildeo eacute tambeacutem uma oportunidade de aprendizado constante a partir das experiecircncias
Portanto o primeiro factor que diferencia a monitoria da avaliaccedilatildeo eacute uma diferenccedila de propoacutesito A monitoria eacute motivada por uma necessidade de gestatildeo ao passo que a avaliaccedilatildeo eacute motivada pela necessidade de documentar os resultados a meacutedio e longo prazo de uma intervenccedilatildeo e relataacute-los a uma agecircncia doadora ou a outros grupos de interesse A monitoria portanto se concentra na implementaccedilatildeo operacional ao passo que a avaliaccedilatildeo se concentra nos efeitos das actividades sobre a sauacutede da populaccedilatildeo-alvo
Isso nos leva a uma segunda diferenccedila criacutetica o periacuteodo durante o qual cada uma delas eacute usada A monitoria eacute um processo rotineiro e constante usado durante toda a intervenccedilatildeo A avaliaccedilatildeo requer a recolha de dados basais preliminares (como referecircncia) e de dados apoacutes a intervenccedilatildeo que lhe permitem comparar as mudanccedilas durante o periacuteodo da intervenccedilatildeo e agraves vezes apoacutes um periacuteodo adequado de acompanhamento
Por uacuteltimo uma terceira diferenccedila diz respeito agraves fontes de informaccedilatildeo que cada funccedilatildeo utiliza Os dados para a monitoria geralmente provecircm do que estaacute imediatamente disponiacutevel do sistema de informaccedilatildeo de sauacutede ou de registos de serviccedilos de rotina As estatiacutesticas dos serviccedilos fornecem dados de monitoria tais como stocks de suprimentos nuacutemeros de doses de vacinas ministradas mensalmente e resultados de utentes Os dados de monitoria tambeacutem podem ser obtidos ao compilar os registos de rotina da organizaccedilatildeo Um exemplo satildeo as listas de participantes de workshops de formaccedilatildeo que podem dar informaccedilotildees sobre o nuacutemero de pessoas que receberam formaccedilatildeo sobre um toacutepico especiacutefico
Os indicadores de impacto e de resultados a meacutedio e longo prazo devem ser medidos no niacutevel dos beneficiaacuterios ou da populaccedilatildeo e devem ser obtidos por meio de uma avaliaccedilatildeo Por exemplo para determinar o resultado a meacutedio e longo prazo de uma iniciativa de orientaccedilatildeo sobre planeamento familiar precisaria saber a percentagem de mulheres entre as orientadas que de facto adoptaram um meacutetodo de planeamento familiar Natildeo poderia obter essas informaccedilotildees a partir das estatiacutesticas sobre serviccedilos nem de registos de rotina da organizaccedilatildeo precisaria realizar um inqueacuterito para recolher os dados
Medidas comuns em uma avaliaccedilatildeo incluem as mudanccedilas de uso dos serviccedilos de sauacutede de um periacuteodo para outro a proporccedilatildeo de partos seguros a cobertura de serviccedilos de imunizaccedilatildeo e as mudanccedilas no conhecimento atitudes ou comportamento de um grupo-alvo
Praacuteticas de lideranccedila e gestatildeo para a monitoria e a avaliaccedilatildeo Apesar das diferenccedilas entre monitoria e avaliaccedilatildeo as duas funccedilotildees seratildeo optimizadas se usar outras praacuteticas de lideranccedila e gestatildeo quando executar tarefas de monitoria ou avaliaccedilatildeo Por exemplo monitoria e avaliaccedilatildeo ndash uma das praacuteticas de gestatildeo discutidas no Capiacutetulo 2 deste manual ndash exigem que vocecirc focalize as metas e prioridades e use suas habilidades de exploraccedilatildeo para recolher e analisar os dados apropriados Em resposta aos resultados recolhidos por meio da monitoria e avaliaccedilatildeo talvez precise focalizar e alinhar e mobilizar o pessoal para modificar os planos de intervenccedilatildeo de modo a obter resultados melhores A depender da medida em que as actividades estejam a atingir seus objectivos e os resultados esperados vocecirc poderaacute tambeacutem utilizar as informaccedilotildees de MampA para inspirar o pessoal a melhorar seu desempenho ou continuar a fazer um bom trabalho
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 96
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para gerir as actividades de MampA precisaraacute desenvolver um plano de MampA e entatildeo organizar as estruturas subsistemas e processos para implementar o plano Finalmente teraacute que monitorar e avaliar o programa de MampA para determinar o progresso no alcance dos resultados esperados
As principais praacuteticas de lideranccedila e gestatildeo discutidas aqui e no Capiacutetulo 2 deste manual satildeo tambeacutem descritas em detalhes no Centro de Recursos Electroacutenicos da MSH da secccedilatildeo de Desenvolvimento da Lideranccedila intitulada ldquoComo criar liacutederes que lideramrdquo
De quem eacute a MampA
Quem utiliza a MampA Quem precisa de informaccedilotildees de sauacutede Os gestores de todos os niacuteveis de uma organizaccedilatildeo tecircm interesse em utilizar as informaccedilotildees como base para a acccedilatildeo Isso lhes permite serem gestores e liacutederes eficazes em todos os niacuteveis Na verdade os gestores constituem a fundaccedilatildeo do sistema de MampA
O problema eacute que a funccedilatildeo de MampA nem sempre eacute integrada agrave organizaccedilatildeo Em muitos casos as organizaccedilotildees ndash e por vezes as agecircncias doadoras ndash actuam como se a MampA fosse responsabilidade apenas do pessoal de MampA Sem um processo adequado de comunicaccedilatildeo e retroinformaccedilatildeo as informaccedilotildees e o conhecimento poderiam permanecer nas matildeos do pessoal de MampA Como consequecircncia os resultados (bons ou maus) nem sempre satildeo informados agraves pessoas que precisam deles e as informaccedilotildees natildeo satildeo utilizadas para as decisotildees de gestatildeo
Eacute muito frequente por exemplo que se realize uma avaliaccedilatildeo e se produzam informaccedilotildees para atender agraves necessidades de uma agecircncia doadora ou uma agecircncia do governo e natildeo para melhorar os serviccedilos de uma organizaccedilatildeo Uma forma de garantir que os resultados da avaliaccedilatildeo sejam usados eacute fazer com que os gestores de todos os niacuteveis de uma organizaccedilatildeo desde o centro de sauacutede ateacute o Ministeacuterio da Sauacutede detenham o controlo dos processos e dos resultados de MampA
Necessidades de informaccedilatildeo em niacuteveis diferentes Nem todas as informaccedilotildees satildeo necessaacuterias em todos os niacuteveis e a todo o tempo Gestores agecircncias doadoras e o governo central podem precisar de informaccedilotildees diferentes em momentos diferentes para cumprir seus requisitos de apresentaccedilatildeo de relatoacuterios e para tomar decisotildees Os gestores de projectos financiados por agecircncias doadoras por exemplo trabalham geralmente em um ciclo trimestral ou bienal de apresentaccedilatildeo de relatoacuterios ao passo que o Ministeacuterio da Sauacutede pode precisar de dados que cubram um periacuteodo de trecircs a cinco anos para demonstrar seu impacto e para apresentaacute-los aos poliacuteticos e aos meios de comunicaccedilatildeo
As necessidades de informaccedilatildeo de um sistema de sauacutede podem ser vistas sob a forma de uma hierarquia A Figura 3 mostra que se necessita de volumes cada vez menores de informaccedilatildeo agrave medida que se sobe nos niacuteveis de uma organizaccedilatildeo Existe um conjunto baacutesico de informaccedilotildees de que os gestores de todos os niacuteveis precisam mas apenas um pequeno subconjunto dessas informaccedilotildees eacute necessaacuterio no niacutevel nacional No niacutevel de distrito e dos centros de sauacutede os gestores precisam de informaccedilotildees desagregadas e de forma contiacutenua porque eacute nesses niacuteveis que se empreendem acccedilotildees em resposta a dados operacionais (por ex falta de estoque e abandono de tratamento)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 97
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria dos indicadores operacionais tem menos importacircncia no niacutevel nacional Os que tomam decisotildees no niacutevel nacional precisam na verdade de indicadores que meccedilam o impacto dos programas e serviccedilos de sauacutede no estado de sauacutede a longo prazo Por isso deve-se projectar um SIS para atender a todos os seus utentes fornecendo informaccedilotildees confiaacuteveis a curto meacutedio e longo prazo
No niacutevel do centro de sauacutede por exemplo os gestores recolheriam e utilizariam informaccedilotildees sobre a distribuiccedilatildeo mensal de contraceptivos medicamentos fora de estoque e abandono de tratamento Nos niacuteveis distritais e provinciais ou na sede de uma ONG de grande porte as informaccedilotildees mais uacuteteis seriam taxas anuais de prevalecircncia do uso de contraceptivos ao passo que para o Ministeacuterio de Sauacutede poderiam ser as taxas de mortalidade e morbidade materna a intervalos de trecircs a cinco anos
Para uma discussatildeo mais detalhada sobre a hierarquia das necessidades de informaccedilotildees consulte um artigo no website da OMS
Princiacutepios para uma melhor gestatildeo das informaccedilotildees O Capiacutetulo 1 deste manual afirma que nenhum sistema de gestatildeo pode ser fortalecido se as pessoas natildeo forem incluiacutedas no processo O mesmo se aplica a um SIS Eacute preciso trabalhar com as pessoas envolvidas aquelas que controlam o sistema e registam transferem analisam comunicam e usam os dados e informaccedilotildees para gerir os serviccedilos
Como deveriacuteamos trabalhar com as pessoas no SIS O Quadro 1 apresenta os princiacutepios baacutesicos para criar um SIS eficiente ou melhorar a gestatildeo das informaccedilotildees O objectivo eacute aumentar a disponibilidade e a confiabilidade das informaccedilotildees para que possam ser usadas com mais eficaacutecia na gestatildeo das organizaccedilotildees de sauacutede e dos serviccedilos Esses princiacutepios enfatizam a necessidade da participaccedilatildeo integral de todo o pessoal do SIS e dos gestores e profissionais de sauacutede que utilizaratildeo as informaccedilotildees
FIGURA 3 Hierarquia das necessidades de informaccedilotildees
Informaccedilotildees utilizadas por gestores de programa nacional
Informaccedilotildees recolhidas pelo centro de sauacutede e aiacute utilizadas
Informaccedilotildees exigidas por autoridade nacional
Informaccedilotildees adicionais exigidas por distrito ou departamento municipal
Informaccedilotildees adicionais exigidas para direcccedilatildeo do centro de sauacutede
Fonte Reproduzido com autorizaccedilatildeo de ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo por Vincent Shaw 2005
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 98
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
QUADRO 1 Princiacutepios orientadores para melhorar a gestatildeo das informaccedilotildees
Entenda as funccedilotildees e responsabilidades dos serviccedilos de sauacutede Como o SIS estaacute vinculado ao ciclo de gestatildeo de sauacutede um preacute-requisito para melhorar o SIS eacute entender claramente as funccedilotildees e responsabilidades de cada serviccedilo de sauacutede programa niacutevel de operaccedilotildees e sector (puacuteblico privado comunitaacuterio OSC ONG) envolvido na prestaccedilatildeo de serviccedilos de sauacutede
Focalize na melhoria da sauacutede e dos serviccedilos de sauacutede Quaisquer mudanccedilas nos registos e relatoacuterios de sauacutede devem ser feitas com vistas a melhorar o desempenho dos serviccedilos de sauacutede Eacute importante buscar formas de atender agraves necessidades de informaccedilatildeo em niacuteveis superiores do sistema de sauacutede sem pedir aos gestores e profissionais de sauacutede que registem e reportem dados que natildeo sejam utilizados no niacutevel da prestaccedilatildeo de serviccedilos
Fortaleccedila os sistemas existentes Apesar de ser tentador reformular completamente os sistemas e integrar sistemas paralelos de registos que satildeo especiacuteficos a certos programas o tempo dinheiro interrupccedilatildeo e outros custos de fazer isso satildeo maiores que os possiacuteveis benefiacutecios Poucos esforccedilos para desenvolver SIS totalmente integrados tiveram sucesso Uma opccedilatildeo melhor eacute definir padrotildees de formatos e codificaccedilatildeo de dados que facilitem o intercacircmbio de dados entre sistemas separados
Procure garantir a aceitaccedilatildeo em niacutevel nacional Todas as actividades para desenvolver ou melhorar um sistema de informaccedilotildees devem ser realizadas por grupos de trabalho do proacuteprio paiacutes sob a gestatildeo de pessoal nacional Eacute essencial ter a participaccedilatildeo natildeo soacute do pessoal ligado aos sistemas de informaccedilatildeo mas tambeacutem de gestores e prestadores de serviccedilos esses uacuteltimos as principais pessoas para dar informaccedilotildees Se for necessaacuterio usar um consultor externo essa pessoa deve assumir um papel de facilitador que permita que o pessoal local desenvolva seu proacuteprio sistema Por meio da participaccedilatildeo activa eles entenderatildeo e assumiratildeo o controlo dos meacutetodos e instrumentos do sistema e ao fazer isso se tornaratildeo melhores para mantecirc-lo
Reforce as habilidades do pessoal de sauacutede Essas habilidades incluem registar relatar transmitir processar apresentar analisar e interpretar os dados e usaacute-los para a tomada de decisotildees Usar e manter sistemas de computaccedilatildeo eacute algo que tambeacutem pode ser ensinado O meacutetodo recomendado para desenvolver habilidades eacute ldquoaprender ao fazerrdquo atraveacutes do seguinte
workshops no local de serviccedilo em que pessoal do serviccedilo de sauacutede e os gestores de dados trabalham juntos para solucionar problemas reais usando dados reais
envolver o pessoal nacional nos estudos de planeamento e implementaccedilatildeo e no desenho das mudanccedilas do sistema
esclarecer os papeacuteis e responsabilidades atraveacutes da promoccedilatildeo do consenso
Use a tecnologia de forma apropriada Vocecirc pode usar computadores para a manutenccedilatildeo de banco de dados geraccedilatildeo de relatoacuterios anaacutelise de dados e comunicaccedilotildees se seus sistemas de computaccedilatildeo e software puderem ser mantidos localmente com pessoal jaacute existente Mas certifique-se de que a informatizaccedilatildeo natildeo prejudicaraacute o fluxo e acesso aos dados natildeo sobrecarregaraacute as pessoas de trabalho e natildeo estimularaacute a falsificaccedilatildeo dos dados o que reduziria a confiabilidade dos mesmos
Aceda ao Centro de Recursos Electroacutenicos da MSH para obter enlaces (links) para orientaccedilatildeo adicional sobre gestatildeo de informaccedilotildees
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 99
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria como um caminho para a acccedilatildeo
A IMPORTAcircNCIA DA MONITORIA DE ROTINA
Por que soacute a avaliaccedilatildeo natildeo basta Na comunidade envolvida com o desenvolvimento algumas organizaccedilotildees tendem a confiar mais nos estudos de avaliaccedilatildeo do que numa soacutelida monitoria dos programas Muitas pretendem executar tanto a monitoria quanto a avaliaccedilatildeo mas na praacutetica geralmente dedicam mais tempo e recursos agrave avaliaccedilatildeo
As agecircncias doadoras os governos e as organizaccedilotildees podem preferir as avaliaccedilotildees porque elas fornecem evidecircncias mais palpaacuteveis de progresso tais como a prevalecircncia do uso de contraceptivos (uma medida tiacutepica de resultado a meacutedio e longo prazo para planeamento familiarsauacutede reprodutiva) medida por meio de um inqueacuterito anual domiciliar
A monitoria natildeo pode produzir o indicador de resultado a meacutedio e longo prazo ndash a evidecircncia palpaacutevel de que esses contraceptivos estatildeo efectivamente a ser utilizados Ela pode apenas fornecer um indicador de progresso ou um marco de referecircncia ndash tal como a distribuiccedilatildeo mensal de contraceptivos ndash que lhe permite acompanhar o progresso em direcccedilatildeo agraves metas operacionais Vocecirc pode monitorar a distribuiccedilatildeo de produtos mas natildeo pode concluir que os produtos estejam a ser efectivamente utilizados
Mas para um gestor como vocecirc os dados sobre distribuiccedilatildeo satildeo exactamente o tipo de informaccedilatildeo de que precisa para demonstrar o progresso no alcance da meta e para fazer seu trabalho de forma eficaz
Veja por exemplo uma intervenccedilatildeo para a mudanccedila de comportamento no Peru a qual estaacute descrita e analisada no quadro abaixo
No contexto de serviccedilos de sauacutede do governo os gestores de distrito e de centros de sauacutede precisam monitorar tanto os indicadores de resultados a meacutedio e longo prazo como os indicadores de cobertura Os indicadores de cobertura informam ao gestor de sauacutede se os serviccedilos essenciais estatildeo a ser fornecidos a grupos-alvo especiacuteficos e permitem assim agir rapidamente para resolver falhas na prestaccedilatildeo de serviccedilos a subgrupos ou comunidades carentes
Um bom sistema de monitoria lhe fornece as informaccedilotildees criacuteticas para gerir a intervenccedilatildeo e tomar medidas correctivas imediatamente Uma avaliaccedilatildeo natildeo lhe daacute esse tipo de informaccedilatildeo Portanto quando se vecirc um bom sistema de monitoria eacute geralmente porque um gestor estaacute a impulsionaacute-lo porque precisa de informaccedilotildees de monitoria fornecidas pelo sistema de MampA para que o dito gestor possa comeccedilar a agir
COMO PRODUZIR INFORMACcedilOtildeES ACCIONAacuteVEIS
As informaccedilotildees accionaacuteveis satildeo dados que vocecirc pode usar para tomar uma decisatildeo e empreender uma acccedilatildeo Elas ajudam a identificar falhas de desempenho e encontrar maneiras de resolver essas falhas Para serem accionaacuteveis as informaccedilotildees obtidas com a monitoria devem se basear em indicadores uacuteteis produzidos em formato simples e em tempo haacutebil para o ciclo de planeamento ou apresentaccedilatildeo de relatoacuterios
ldquoAccionaacutevelrdquo significa coisas diferentes para diferentes utentes As informaccedilotildees de que o gestor precisa natildeo satildeo iguais agraves informaccedilotildees de que o director executivo de uma organizaccedilatildeo ou o ministeacuterio de sauacutede utilizariam para apresentar relatoacuterios para agecircncias doadoras poliacuteticos ou para a miacutedia
Como produzir informaccedilotildees accionaacuteveis para o gestor
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 910
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Em primeiro lugar os indicadores devem ser uacuteteis para o gestor Eles devem estar directamente relacionados com o plano operacional da organizaccedilatildeo (ou o plano de intervenccedilatildeo) e os resultados esperados Algumas organizaccedilotildees tecircm a tendecircncia de focalizar a monitoria do processo entre os inqueacuteritos sobre conhecimentos atitudes e praacuteticas (CAP) Isso significa que monitoram os processos tais como a formaccedilatildeo Quem recebeu formaccedilatildeo Em que toacutepicos Quando Isto eacute importante mas natildeo o suficiente A monitoria do processo natildeo monitora o progresso para atingir os resultados simplesmente acompanha a conclusatildeo das actividades
Aleacutem da monitoria do processo os gestores tambeacutem precisam monitorar os indicadores substitutos que indicam o maacuteximo que vocecirc se aproximaraacute dos resultados reais durante a implementaccedilatildeo de um conjunto de actividades quando os resultados natildeo forem ainda facilmente mensuraacuteveis Os indicadores substitutos satildeo medidas indirectas que se aproximam de um alvo ou resultado ou representam esse alvo ou resultado quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis
Por exemplo no caso da prestaccedilatildeo de serviccedilos de planeamento familiar como determinados contraceptivos satildeo distribuiacutedos atraveacutes do centro de sauacutede os dados de monitoria deveriam vir do centro de sauacutede Apesar de natildeo se poder concluir que o resultado-alvo tenha sido atingido ndash que os produtos estejam efectivamente a ser utilizados pela populaccedilatildeo beneficiaacuteria ndash as informaccedilotildees sobre distribuiccedilatildeo fornecem pistas sobre a possibilidade de sucesso das actividades A maioria dos dados para monitorar os indicadores substitutos pode ser obtida a partir do SIS
As informaccedilotildees accionaacuteveis devem ser fornecidas em um formato utilizaacutevel Os gestores frequentemente recebem um excesso de informaccedilotildees em um formato muito complicado Eacute
Em acccedilatildeo o monitoramento para melhor gestatildeo de programas ndash Um exemplo do Peru
Uma organizaccedilatildeo de planeamento familiar local no Peru fez uma campanha de comunicaccedilatildeo para aumentar a prevalecircncia do uso de contraceptivos na aacuterea de captaccedilatildeo da organizaccedilatildeo Criaram os materiais e deram formaccedilatildeo aos trabalhadores de sauacutede comunitaacuterios para educar as mulheres nas suas aldeias A organizaccedilatildeo pretendia realizar apenas um inqueacuterito para obter dados baacutesicos preliminares para depois realizar inqueacuteritos sobre conhecimentos atitudes e praacuteticas (CAP) Esses eram os passos iniciais necessaacuterios e os meacutetodos adequados para avaliar a eficaacutecia da campanha mas a questatildeo eacute se forneceriam dados suficientes e accionaacuteveis para atender agraves necessidades do gestor Natildeo porque os resultados viriam apoacutes a campanha ser concluiacuteda O gestor precisava de informaccedilotildees para tomar medidas correctivas enquanto a campanha de comunicaccedilatildeo estava em andamento
Coloque-se no lugar do gestor nesse cenaacuterio O que precisaria monitorar Poderia comeccedilar com a distribuiccedilatildeo mensal de contraceptivos durante a campanha de comunicaccedilatildeo usando dados faacuteceis de obter do depoacutesito de suprimentos O movimento do stock dos produtos contraceptivos na cadeia de suprimentos indicaria que a campanha estava a criar uma demanda ao passo que nenhum movimento poderia indicar que a campanha ou o sistema de fornecimento natildeo estava a funcionar adequadamente Notam-se picos de distribuiccedilatildeo durante a campanha O movimento de contraceptivos eacute maior durante a campanha do que era antes
Se natildeo notar mudanccedilas apoacutes dois ou trecircs meses saberaacute que algo precisa ser modificado na campanha de comunicaccedilatildeo ou na cadeia de suprimentos ou em ambas Teraacute que fazer visitas ao local para descobrir os motivos O problema eacute a falta de stock Natildeo houve mudanccedila na distribuiccedilatildeo porque natildeo haacute produtos disponiacuteveis Ou natildeo houve mudanccedila porque a estaccedilatildeo de raacutedio natildeo transmitiu o anuacutencio informativo Ou talvez os agentes de distribuiccedilatildeo da comunidade nunca receberam os papeacuteis gigantes e os modelos de que precisavam para educar as mulheres nas suas comunidades
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 911
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
preciso ter uma ferramenta simples que lhe forneccedila apenas informaccedilotildees essenciais Poderaacute aprender mais sobre essas ferramentas na secccedilatildeo deste capiacutetulo intitulada ldquoCaracteriacutesticas de uma boa ferramenta de monitoriardquo
Por uacuteltimo os gestores precisam receber informaccedilotildees em tempo haacutebil para que possam agir imediatamente Os projectos implementados pelas organizaccedilotildees com fundos do governo ou de uma agecircncia doadora satildeo frequentemente conduzidos em dois periacuteodos de tempo
Por exemplo vocecirc poderaacute gerir um projecto que se estende por cinco anos desmembrado em ciclos anuais de apresentaccedilatildeo de relatoacuterios com base em planos de operaccedilatildeo anuais Mas para monitorar o plano anual e apresentar os relatoacuterios necessaacuterios vocecirc precisa de informaccedilotildees trimestrais Se os seus centros de sauacutede apresentarem os dados apoacutes o prazo estabelecido as informaccedilotildees natildeo chegaratildeo a tempo para os seus relatoacuterios
Informaccedilotildees em acccedilatildeo para melhorar os serviccedilos ndash experiecircncias da Boliacutevia e da Aacutefrica do Sul
Uso de informaccedilotildees para mobilizar a cadeia de suprimentos O programa de suplementaccedilatildeo de aacutecido foacutelico e ferro na Boliacutevia foi uma actividade de mobilizaccedilatildeo comunitaacuteria implementada por vaacuterias ONGs em aacutereas rurais do paiacutes
Surgiu um problema apoacutes apenas trecircs meses de implementaccedilatildeo Se a gestora tivesse confiado apenas na monitoria do processo teria visto que todas as actividades haviam sido executadas dentro do prazo e conforme planeadas Poreacutem os dados mensais dos centros de sauacutede das aacutereas de captaccedilatildeo atendidas pelo programa revelaram que em vaacuterias comunidades a distribuiccedilatildeo de ferro e aacutecido foacutelico para graacutevidas havia sido nula desde o primeiro mecircs de implementaccedilatildeo do programa
A gestora investigou imediatamente e descobriu que 16 centros de sauacutede estavam com faltas de stock Apesar de haver um protocolo escrito para a distribuiccedilatildeo de ferro e aacutecido foacutelico e de todos os centros de sauacutede possuiacuterem supostamente o produto nos seus stocks historicamente natildeo havia demanda para esse produto Os centros de sauacutede haviam decidido haacute muito tempo natildeo tecirc-lo mais em stock
A gestora levou o problema agrave atenccedilatildeo do vice-ministro de sauacutede e em poucos dias o Ministeacuterio da Sauacutede mobilizou toda a sua cadeia de suprimentos para garantir que havia um stock suficiente em toda a cadeia No final do ano a suplementaccedilatildeo de ferro e aacutecido foacutelico havia melhorado dramaticamente em todo o paiacutes Tudo isso aconteceu graccedilas a uma simples ferramenta de monitoria mensal que permitiu que a gestora tomasse medidas correctivas no iniacutecio da implementaccedilatildeo
Simplificaccedilatildeo da recolha de dados e estiacutemulo ao uso dos dados Sabe-se que se a recolha e o processamento dos dados forem muito complicados a qualidade e o uso dos mesmos tendem a diminuir Na Aacutefrica do Sul o pessoal de enfermagem dos centros de sauacutede eacute geralmente solicitado a executar duas funccedilotildees (1) cuidar dos utentes do sistema e (2) recolher e utilizar dados O problema eacute que esse pessoal se dedica principalmente a prestar cuidados e considera a recolha de dados uma sobrecarga de trabalho desnecessaacuteria aleacutem de suas actividades quotidianas
Um grupo de enfermeiras da Aacutefrica do Sul que reconheceu a importacircncia das informaccedilotildees para a prestaccedilatildeo dos serviccedilos decidiu tornar a recolha e uso de dados de rotina parte do seu trabalho diaacuterio Entenderam que era necessaacuterio reduzir a quantidade de dados necessaacuterios e simplificar o processo de recolha
Como resultado criaram uma lista itemizada ou lista de verificaccedilatildeo que lhes permitia ter ao final de cada dia um quadro raacutepido dos serviccedilos que haviam prestado No final do mecircs podiam tabular rapidamente e analisar os dados sobre seus serviccedilos Esse tipo de sumaacuterio diaacuterio e mensal das suas actividades foi extremamente satisfatoacuterio Ele motivou seu uso contiacutenuo para monitorar analisar e melhorar os serviccedilos
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 912
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Abordagens e ferramentas praacuteticas de MampA
QUADROS DE REFEREcircNCIA PARA A FORMULACcedilAtildeO MONITORIA E AVALIACcedilAtildeO DOS SERVICcedilOS DE SAUacuteDE
Os resultados de intervenccedilotildees programaacuteticas e nos serviccedilos de sauacutede podem ser medidos em niacuteveis variados Muitas directrizes de MampA se baseiam numa sequecircncia de cinco niacuteveis de resultados insumos actividades produtos resultados e impactos A Figura 4 resume os niacuteveis de resultados que podem ser monitorados e avaliados
Para compreender melhor a sequecircncia de resultados considere as definiccedilotildees abaixo
Insumos Os materiais e recursos necessaacuterios para executar o plano de implementaccedilatildeo da sua unidade ou equipa e obter o resultado esperado Os exemplos incluem os recursos financeiros teacutecnicos humanos suprimentos e produtos essenciais
Processo As actividades executadas por meio do seu plano de implementaccedilatildeo Os exemplos incluem a formaccedilatildeo dos profissionais de sauacutede a melhoria do sistema de gestatildeo de suprimentos e a distribuiccedilatildeo de meios de planeamento familiar
Produtos Eacute o resultado imediato de uma actividade Os exemplos incluem o nuacutemero de pessoas formadas o nuacutemero de novos utentes de contraceptivos e a quantidade de produtos distribuiacutedos
Resultados (a meacutedio e longo prazo) Eacute uma mudanccedila de curto prazo em um grupo da populaccedilatildeo como resultado de uma seacuterie de actividades Os exemplos incluem as mudanccedilas na cobertura do atendimento preacute-natal na proporccedilatildeo de partos seguros no conhecimento e atitudes sobre meacutetodos de planeamento familiar e sauacutede reprodutiva nas necessidades ainda natildeo atendidas de planeamento familiar e nas taxas de prevalecircncia do uso de contraceptivos
Impacto Mudanccedilas a longo prazo dentro de um grupo da populaccedilatildeo beneficiaacuteria Os exemplos incluem mudanccedilas na taxa total de fertilidade e nas taxas de mortalidade e morbidade maternas
Dois tipos de quadros de referecircncia satildeo comummente utilizados para planear e organizar a formulaccedilatildeo de uma intervenccedilatildeo ou serviccedilo e o seu plano de MampA quadros loacutegicos e quadros conceptuais
FIGURA 4 Niacuteveis da sequecircncia de resultados
InsumosProcessos
(actividades)Produtos Resultados Impacto
recursos humanos
recursos financeiros
equipa-mentos
centros de sauacutede
poliacuteticas
reuniotildees formaccedilatildeo supervisatildeo serviccedilos
nuacutemero de pessoal formado
nuacutemero de clientes
nuacutemero de produtos
melhor supervisatildeo
melhoria da cadeia de frio
mudanccedila no conheci-mento
mudanccedila no comporta-mento
mudanccedila nas praacuteticas
melhores serviccedilos
mudanccedila das taxas de doenccedila
mudanccedilas das taxas de oacutebitos
mudanccedila das taxas de nascimento
mudanccedilas das taxas de fertilidade
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 913
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
QUADROS LOacuteGICOS
Desde a elaboraccedilatildeo em 1969 de uma abordagem de quadro loacutegico para a USAID (Agecircncia dos EUA para o Desenvolvimento Internacional) os quadros loacutegicos (tambeacutem denominados Modelos Loacutegicos) foram adoptados depois de vaacuterias adaptaccedilotildees por vaacuterias organizaccedilotildees de desenvolvimento internacional e bilateral
A Figura 5 mostra os elementos de um Quadro Loacutegico
O Quadro Loacutegico ajuda os gestores e as equipas a responder a quatro perguntas principais
1 O que queremos realizar e por quecirc2 Como mediremos o sucesso 3 Que condiccedilotildees devem existir em cada fase da nossa intervenccedilatildeo4 Que recursos e processos seratildeo necessaacuterios para chegarmos laacute
Os Quadros Loacutegicos ajudam a identificar as conexotildees causais da sequecircncia de resultados insumos rarr processos (actividades) rarr produtos rarr resultados a meacutedio e longo prazo rarr impacto Essas conexotildees causais determinam a loacutegica da intervenccedilatildeo e orientam a selecccedilatildeo de indicadores para cada fase da sequecircncia de resultados
FIGURA 5 Elementos tiacutepicos de um quadro loacutegico
Objectivos IndicadoresFormas de verificaccedilatildeo Pressupostos
Meta O objectivo final ou impacto pretendido da intervenccedilatildeo
Medidas usadas para avaliar ateacute que ponto as metas foram atingidas
Meacutetodos e fontes de informaccedilatildeo para medir ou avaliar os indicadores de metas
Factores ou condiccedilotildees necessaacuterios para a sustentabilidade a longo prazo
PropoacutesitoResultado Mudanccedilas ou benefiacutecios esperados a serem conseguidos para utentes comunidades organizaccedilotildees ou sistemas
Medidas usadas para avaliar ateacute que ponto foi alcanccedilado o propoacutesito ou resultado
Meacutetodos e fontes de informaccedilatildeo para medir ou avaliar indicadores de propoacutesitoresultado
Factores ou condiccedilotildees necessaacuterios para o sucesso do programa nesse niacutevel e passagem para o seguinte niacutevel
Produtos Resultados directos e tangiacuteveis das actividades do programa que deveratildeo atingir o propoacutesito
Medidas usadas para avaliar ateacute que ponto os produtos foram apresentados
Meacutetodos e fontes de informaccedilatildeo para medir e avaliar os indicadores de produtos
Factores ou condiccedilotildees necessaacuterios para o sucesso do programa neste niacutevel e passagem para o seguinte niacutevel
ProcessosActividades Medidas tomadas por um programa para atingir os objectivos definidos
InsumosRecursos Pessoal tempo materiais e fundos necessaacuterios para executar as actividades
Meacutetodos e fontes de informaccedilatildeo utilizados para mostrar que as actividades foram concluiacutedas
Factores ou condiccedilotildees necessaacuterios para o sucesso do programa neste niacutevel e passagem para o seguinte niacutevel
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 914
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para entender como um Quadro Loacutegico explicita a loacutegica de uma intervenccedilatildeo examine novamente a Figura 5 Uma seacuterie de relacionamentos condicionais (ldquose entatildeordquo) conecta cada componente do Quadro Loacutegico
1 Se os recursos necessaacuterios estiverem disponiacuteveis e supondo-se que as condiccedilotildees sejam favoraacuteveis entatildeo as actividades do programa podem ser implementadas e
2 hellipse as actividades do programa forem implementadas com sucesso e supondo-se que existam condiccedilotildees favoraacuteveis especiacuteficas entatildeo os produtos e resultados esperados poderatildeo ser alcanccedilados e
3 hellipse os produtos e resultados esperados forem alcanccedilados e supondo-se que existam as condiccedilotildees favoraacuteveis especiacuteficas entatildeo a meta estrateacutegica poderaacute ser atingida
O Quadro Loacutegico pode ser uacutetil na conceptualizaccedilatildeo de um projecto durante o periacuteodo de planeamento e na avaliaccedilatildeo do progresso e aplicaccedilatildeo de medidas correctivas durante a implementaccedilatildeo Como qualquer outro quadro de referecircncia ele possui vantagens e desvantagens como mostra a Tabela 1
O Apecircndice A deste capiacutetulo fornece um exemplo de Quadro Loacutegico para um programa de visita domiciliar desenvolvido pelo Banco Interamericano de Desenvolvimento
QUADROS CONCEPTUAIS
Estes satildeo semelhantes aos Quadros Loacutegicos no sentido de que descrevem uma sequecircncia de resultados mas levam em consideraccedilatildeo as razotildees subjacentes de por que ocorrem as mudanccedilas ao longo da sequecircncia de resultados Enquanto os Quadros Loacutegicos simplesmente afirmam que as actividades traratildeo resultados ainda maiores os quadros conceptuais permitem mapear os factores que na sua opiniatildeo satildeo criacuteticos e explicam porque esses factores satildeo importantes para o sucesso
Este tipo de mapeamento ajuda a decidir que factores devem ser monitorados durante a implementaccedilatildeo das actividades Quando os dados mostram que esses elementos criacuteticos foram ou natildeo alcanccedilados pode-se compreender melhor por que uma intervenccedilatildeo teve ou natildeo sucesso e o que poderia ser modificado no futuro
Veja as vantagens e desvantagens dos quadros conceptuais na Tabela 2
TABELA 1 Visatildeo geral do quadro loacutegico
Vantagens Desvantagens
Melhora a qualidade dos planos de intervenccedilatildeo ao exigir a definiccedilatildeo de indicadores e objectivos claros e a anaacutelise de pressupostos e riscos
Quando usado regularmente durante uma intervenccedilatildeo eacute uma ferramenta de gestatildeo eficaz para orientar a implementaccedilatildeo e a MampA
Resume a elaboraccedilatildeo de planos complexos
Apoia a preparaccedilatildeo de planos de implementaccedilatildeo detalhados
Pressupotildee uma relaccedilatildeo linear entre insumos-produtos-resultados que natildeo leva em consideraccedilatildeo outros factores de influecircncia
Se usado rigidamente durante o processo de formulaccedilatildeo poderaacute restringir a criatividade e a inovaccedilatildeo
Se natildeo for actualizado durante a implementaccedilatildeo pode ser uma ferramenta estaacutetica que natildeo reflecte as condiccedilotildees em mudanccedila
Geralmente a formaccedilatildeo e o acompanhamento satildeo necessaacuterios para usar esse meacutetodo correctamente
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 915
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O modelo conhecido como Caminho de Mudanccedila (Pathway to Change) eacute um exemplo particularmente uacutetil de um quadro conceptual Esse modelo utiliza um formato de condicionalidade (ldquose entatildeordquo) para mostrar passo a passo como os resultados a meacutedio e longo prazo foram conceptualizados e como seratildeo alcanccedilados A Figura 6 eacute um exemplo de aplicaccedilatildeo do Caminho de Mudanccedila em um projecto de sauacutede de seis meses de duraccedilatildeo e acircmbito municipal na Nicaraacutegua
Caminho de Mudanccedila Tratamos deste modelo neste capiacutetulo devido agrave sua utilidade para os gestores e seus benefiacutecios como actividade de fortalecimento de uma equipa O estabelecimento de um Caminho de Mudanccedila eacute geralmente um processo participativo que permite que a sua equipa ou unidade e outros grupos de interesse formulem uma intervenccedilatildeo e determinem como ela vai funcionar O produto final eacute um mapa que mostra como uma acccedilatildeo estaacute relacionada com outras e como todas elas acrescentam algo ao resultado esperado Frequentemente o estabelecimento de um caminho expotildee as crenccedilas subjacentes que as pessoas de uma organizaccedilatildeo mantecircm sobre a forma em que suas acccedilotildees promovem mudanccedilas
A criaccedilatildeo de um Caminho de Mudanccedila tem vaacuterios benefiacutecios Em primeiro lugar exige que a sua equipa examine cada acccedilatildeo proposta e responda agraves seguintes perguntas
Todas as actividades contribuem para o resultado esperado Se a resposta for negativa algumas actividades deveriam ser modificadas acrescentadas ou eliminadas
As actividades satildeo sequenciais Elas estatildeo relacionadas de uma forma loacutegica Elas se somam umas agraves outras para formar um conjunto racional e coerente de acccedilotildees
Pensamos em todos os produtos e resultados necessaacuterios para atingir nosso resultado esperado
Temos os recursos necessaacuterios para implementar as actividades propostas Em quanto tempo atingiremos o resultado que desejamos Que outros factores podem contribuir ou entravar cada uma das actividades do
caminho
Em segundo lugar sua equipa deve tornar expliacutecita e chegar a um acordo sobre a loacutegica subjacente de um plano de intervenccedilatildeo Em outras palavras deve mostrar no papel como cada acccedilatildeo resultaraacute na mudanccedila desejada em cada niacutevel do mapa Por uacuteltimo o caminho define que resultados imediatos e resultados a meacutedio e longo prazo a equipa deve monitorar e que indicadores devem usar
TABELA 2 Visatildeo geral do quadro conceptual
Vantagens Desvantagens
Fornece um mapeamento visual e flexiacutevel de planos de intervenccedilatildeo complexos
Quando usado regularmente durante a implementaccedilatildeo permite uma retroinformaccedilatildeo antecipada do que estaacute ou natildeo a funcionar e por quecirc
Auxilia na identificaccedilatildeo de efeitos colaterais natildeo previstos
Ajuda a priorizar os problemas a serem investigados mais profundamente talvez ao usar meacutetodos mais focalizados de recolha de dados ou teacutecnicas mais sofisticadas de MampA
Pode se tornar extremamente complexo se a escala de actividades for muito grande ou se for reunida uma lista exaustiva de factores e pressupostos
Os grupos de interesse podem discordar sobre os factores determinantes que consideram ser os mais importantes
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 916
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Como se lecirc um mapa de Caminho de Mudanccedila O caminho pode ser lido como um fluxograma em que caixas e setas mostram a relaccedilatildeo entre as acccedilotildees e os efeitos como mostrado na Figura 6 O resultado esperado aparece no topo do caminho e os resultados imediatos que devem ser atingidos para se chegar laacute satildeo exibidos no proacuteximo niacutevel Os produtos que devem ser obtidos para conseguir os resultados a meacutedio e longo prazo aparecem no proacuteximo niacutevel inferior Finalmente as actividades aparecem no fundo ou base
Quando lido de baixo para cima o mapa mostra que actividades satildeo necessaacuterias para conseguir os produtos e que resultados a meacutedio e longo prazo satildeo necessaacuterios para se chegar ao topo Eacute preciso sempre poder traccedilar um caminho desde o comeccedilo de suas acccedilotildees ateacute o resultado esperado
Pode ser uacutetil imaginar o caminho como o organigrama de uma empresa vocecirc pode comeccedilar da base do organigrama como assistente administrativo passar a coordenador de escritoacuterio depois a uma funccedilatildeo de gestatildeo e finalmente ocupar o gabinete do director
A criaccedilatildeo de um Caminho de Mudanccedila Para desenvolver um Caminho da Mudanccedila sua equipa mapeia a mudanccedila de forma reversa Comeccedila no final do caminho (no topo da
FIGURA 6 Exemplo de um Caminho de Mudanccedila
Resultado 180 dos pacientes
estatildeo satisfeitos com os serviccedilos prestados no
centro de sauacutede
Resultado 260 das mulheres
entre 15 e 49 anos na aacuterea de captaccedilatildeo do centro de
sauacutede entendem a importacircncia do planeamento familiar
para o espaccedilamento dos nascimentos
Resultado 3Todos os meacutetodos
contraceptivos modernos estatildeo
disponiacuteveis no centro de sauacutede
Produto 1Os tempos de
espera no centro de sauacutede se
reduziram de 40 para 20 minutos
Produto 2Eacute oferecida
orientaccedilatildeo a todos os pacientes em
espaccedilo privado do centro de sauacutede
Produto 3Voluntaacuterias
realizam palestras semanais sobre temas
de sauacutede reprodutiva na comunidade
Produto 4Todos os stocks
de contraceptivos satildeo monitorados semanalmente
Actividade 1Realizar um
inqueacuterito sobre o uxo de
pacientes e cumprir
recomendaccedilotildees
Actividade 2Transformar um canto do
centro de sauacutede para a
orientaccedilatildeo dos pacientes
Actividade 3Mobilizar as
ONGs parceiras para imprimir panetos de informaccedilatildeo educaccedilatildeo e
comunicaccedilatildeo
Actividade 4Mobilizar as
ONGs parceiras para dar
formaccedilatildeo ou equipar as voluntaacuterias
Actividade 5Recrutar liacutederes
comunitaacuterios para prestar
apoio agraves palestras sobre
sauacutede reprodutiva
Actividade 6Desenvolver
um sistema de registo e
pedidos de suprimentos
contraceptivos
Resultado esperadoAumento na percentagem de utentes de planeamento familiar de 50 para 52
durante o periacuteodo de Junho a Dezembro de 2006
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 917
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
sequecircncia) e define a meta da organizaccedilatildeo a longo prazo ou o resultado esperado de uma intervenccedilatildeo Em seguida preenche o mapa ao trabalhar de cima para baixo onde identifica finalmente as actividades principais os primeiros elementos do seu plano de implementaccedilatildeo
Enquanto se desloca pelo caminho faccedila trecircs perguntas Que resultados precisam acontecer para contribuir agrave meta de longo prazo Que produtos precisam ser obtidos antes disso para alcanccedilar os resultados Que actividades precisam acontecer antes disso para conseguir os produtos
O desenho de uma intervenccedilatildeo dessa forma pode ajudar a revelar as condiccedilotildees necessaacuterias para atingir os resultados a meacutedio e longo prazo e a meta de longo prazo Talvez sejam necessaacuterias vaacuterias tentativas para criar um Caminho de Mudanccedila com o qual todos estejam de acordo Os resultados produtos e acccedilotildees podem ser acrescentados modificados e eliminados ateacute que eventualmente surja um mapa que conte a histoacuteria com a qual sua equipa pode concordar O debate eacute frequentemente a parte mais importante da experiecircncia porque a equipa junta define as expectativas pressupostos e caracteriacutesticas do processo de mudanccedila
Uso da sequecircncia ldquopara querdquo como forma de verificar as vias de um Caminho de Mudanccedila Uma boa forma de verificar a loacutegica do mapa do seu caminho eacute inverter o processo e criar uma sequecircncia de ldquopara querdquo para cada actividade O exemplo na Figura 7 mostra como fazer isso para a Actividade 5 da Figura 6 O movimento na sequecircncia ldquopara querdquo eacute o
FIGURA 7 Sequecircncia ldquopara querdquo para uma actividade de um Caminho de Mudanccedila
Dar formaccedilatildeo agraves voluntaacuterias da comunidade e equipaacute-las com os materiais de informaccedilatildeo educaccedilatildeo e comunicaccedilatildeo necessaacuterios
para que
As voluntaacuterias realizem sessotildees educativas sobre sauacutede sobre temas de planeamento familiar na aacuterea especiacutefica do centro de sauacutede
para que
As mulheres em idade reprodutiva na aacuterea especiacutefica se sintam agrave vontade para participar de sessotildees apresentadas pelas voluntaacuterias
para que
As mulheres participem das sessotildees e aprendam sobre a importacircncia do planeamento familiar para o espaccedilamento dos nascimentos
para que
Mais mulheres em idade reprodutiva busquem meacutetodos de planeamento familiar no centro de sauacutede e a percentagem de mulheres que recebem os meacutetodos aumentem 2 durante o periacuteodo do projecto (o resultado esperado)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 918
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
oposto exacto do Caminho de Mudanccedila Vocecirc coloca cada actividade no topo da sua proacutepria sequecircncia e desce pela sequecircncia ateacute a meta ou resultado esperado Essa sequecircncia ajuda a confirmar que cada rota individual no Caminho de Mudanccedila faz sentido em termos loacutegicos
Para usar essa teacutecnica eacute preciso criar uma sequecircncia ldquopara querdquo para cada actividade no seu Caminho de Mudanccedila Comece por descrever cada actividade e segui-la da frase ldquopara querdquo seguida de uma descriccedilatildeo do que aconteceraacute se essa actividade for realizada Continue a fazer isto ateacute atingir a sua meta de longo prazo ou resultado esperado
Etapas do desenvolvimento de um plano de MampA
Uma das suas tarefas essenciais de MampA como gestor que exerce lideranccedila eacute a de elaborar um plano que ajude vocecirc e sua equipa a determinar se atingiram ou natildeo os resultados esperados e a acompanhar o progresso no alcance desses resultados durante a implementaccedilatildeo Isso exige que vocecirc natildeo soacute escolha indicadores confiaacuteveis mas tambeacutem que meccedila esses indicadores de forma organizada Seu plano de MampA deve especificar que indicadores seratildeo medidos como e quando seratildeo medidos e por quem
Um plano de MampA bem formulado responde a cinco perguntas
1 Seu resultado esperado eacute mensuraacutevel2 Que indicadores utilizaraacute para monitorar seus produtos e para avaliar seus
resultados 3 Quais satildeo as suas fontes de dados e como recolheraacute os dados dessas fontes 4 Quais satildeo os periacuteodos cobertos de cada indicador 5 Quem recolheraacute os dados
Essas perguntas satildeo importantes porque sem um plano vaacutelido de MampA vocecirc poderaacute interpretar erroneamente os efeitos da sua intervenccedilatildeo Poderaacute concluir que ela natildeo teve efeito algum quando na verdade ela teve alguns resultados positivos ou poderaacute concluir que ela teve um efeito positivo quando na verdade natildeo obteve resultado algum o que eacute um erro comum e mais destrutivo
Elaborar e utilizar um plano de MampA garante que dados comparaacuteveis seratildeo recolhidos regularmente e em tempo haacutebil mesmo quando houver mudanccedilas de pessoal A Tabela 3 resume as etapas no desenvolvimento e implementaccedilatildeo de um plano de MampA O resto desta secccedilatildeo descreve cada etapa detalhadamente
ETAPA 1 DEFINA OS RESULTADOS ESPERADOS
A primeira etapa no desenvolvimento do plano de MampA eacute determinar um niacutevel apropriado de resultados Juntos o tipo e o acircmbito da intervenccedilatildeo os recursos disponiacuteveis e o prazo de implementaccedilatildeo determinam um resultado viaacutevel
Como jaacute vimos antes neste capiacutetulo as intervenccedilotildees dirigidas por organizaccedilotildees com fundos de agecircncias doadoras e por serviccedilos governamentais geralmente levam a produtos ou resultados a meacutedio e longo prazo Apesar de o impacto demorar a ser obtido e geralmente estar fora do acircmbito de um uacutenico conjunto de actividades eacute importante incluiacute-lo no seu plano de MampA para que fique clara qual seraacute a contribuiccedilatildeo da sua intervenccedilatildeo a longo prazo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 919
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 3 Etapas para elaborar e usar um Plano de MampA
Etapas Recomendaccedilotildees
1 Definir os resultados esperados
Os resultados devem ser identificados de acordo com o acircmbito e o periacuteodo de tempo da sua intervenccedilatildeo
Os resultados devem atender aos criteacuterios SMART (Especiacuteficos Mensuraacuteveis Apropriados Realistas de Prazo Definido)
2 Seleccionar os indicadores
Os indicadores devem possuir as qualidades de um bom indicador
Os indicadores devem ser acessiacuteveis faacuteceis de recolher e comparaacuteveis ao longo do tempo e em diferentes locais
Para os problemas de sauacutede prioritaacuterios e os serviccedilos essenciais use indicadores criacuteticos nacionais ou padratildeo
Seleccione um nuacutemero miacutenimo de indicadores essenciais e procure garantir que os indicadores seleccionados sejam realmente necessaacuterios para medir seus resultados esperados
3 Identificar as fontes de dados
Identifique de onde viratildeo os dados para cada indicador Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos organizacionais utentes ou a comunidade
4 Definir os meacutetodos de recolha dos dados
Seleccione o meacutetodo mais apropriado e confiaacutevel para a recolha de dados para cada indicador Estes meacutetodos podem incluir a anaacutelise de registos ou diaacuterios de estatiacutesticas de serviccedilo o uso de listas de verificaccedilatildeo para fins de observaccedilatildeo as entrevistas de utentes ao saiacuterem da cliacutenica ou um modelo de inqueacuterito de dados comunitaacuterios
Decida sobre a frequecircncia da recolha de dados Poderaacute recolher apenas os dados de base ou referecircncia e os dados apoacutes a intervenccedilatildeo ou talvez precise recolher dados diaacuterios mensais ou trimestrais dependendo do tipo de indicador
Para cada indicador designe a responsabilidade pela recolha a um escritoacuterio equipa ou pessoa especiacuteficos
5 Recolher os dados de base (ou referecircncia) e os dados apoacutes a intervenccedilatildeo
Entenda que os resultados de base seratildeo usados para definir os seus alvos
Defina claramente a duraccedilatildeo coberta pelos dados de base jaacute que precisa de um periacuteodo semelhante para a comparaccedilatildeo ao final do periacuteodo de implementaccedilatildeo
Use a mesma metodologia e ferramentas para a recolha de dados que as usadas para os dados de base e as medidas poacutes-intervenccedilatildeo
6 Compartilhar e utilizar os seus resultados
Marque reuniotildees workshops e apresentaccedilatildeo de relatoacuterios para mostrar os resultados ao pessoal do projecto agrave direcccedilatildeo da organizaccedilatildeo e a outros grupos de interesse importantes
Apresente as opccedilotildees de aprendizado e acccedilatildeo com base nos resultados de MampA
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 920
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para determinar em que niacutevel deve monitorar e avaliar seus resultados eacute uacutetil examinar novamente e expandir a cadeia de resultados a comeccedilar da direita pelo resultado final (impacto) e voltar ateacute os materiais e recursos (insumos) necessaacuterios
Insumos rarr Processos rarr Produtos rarr Resultados rarr Impacto
Impacto Esses resultados satildeo medidos ao niacutevel da populaccedilatildeo levam um tempo relativamente longo para serem alcanccedilados (geralmente 3 a 5 cinco anos) e exigem o esforccedilo conjunto de vaacuterias intervenccedilotildees e mesmo de vaacuterias organizaccedilotildees Como gestor vocecirc poderaacute ser responsaacutevel por medir o impacto mas deve incluiacute-lo na loacutegica do seu plano de MampA para saber o que a sua organizaccedilatildeo e os parceiros da organizaccedilatildeo pretendem alcanccedilar a longo prazo
Resultados a meacutedio e longo prazo Na maioria dos casos os gestores satildeo responsaacuteveis por medir os resultados nos niacuteveis de produtos eou resultados a meacutedio e longo prazo Os resultados a meacutedio e longo prazo satildeo obtidos pelas actividades criadas para produzir uma mudanccedila de comportamento nos profissionais de sauacutede ou nos utentes Satildeo geralmente medidos em termos de mudanccedilas na cobertura de serviccedilos e mudanccedilas nos conhecimentos atitudes e praacuteticas de uma populaccedilatildeo beneficiaacuteria Um resultado a meacutedio e longo prazo pode ser o iniacutecio de uma praacutetica comprovada de prestaccedilatildeo de serviccedilos a adopccedilatildeo de novas estrateacutegias de gestatildeo ou a elaboraccedilatildeo bem-sucedida de uma poliacutetica de promoccedilatildeo da sauacutede Pode tambeacutem ser um aumento no nuacutemero de mulheres que datildeo agrave luz em um centro de sauacutede ou no nuacutemero de crianccedilas totalmente imunizadas Na maioria dos casos eacute possiacutevel estabelecer uma relaccedilatildeo clara entre produtos e resultados a meacutedio e longo prazo
Produtos Os produtos ou resultados imediatos satildeo fruto directo das actividades Devem ser monitorados durante toda a implementaccedilatildeo como um elemento essencial da boa gestatildeo Os planos de MampA devem definir o produto esperado de cada actividade Para as unidades de prestaccedilatildeo de serviccedilos isso geralmente significa os resultados imediatos em termos dos serviccedilos (por exemplo nuacutemero de utentes atendidos ou tempo de espera dos clientes ou utentes) Para as organizaccedilotildees que natildeo prestam serviccedilos de sauacutede directamente isso pode significar a distribuiccedilatildeo de produtos de sauacutede ou serviccedilos de formaccedilatildeo (por exemplo quantidade de produtos para planeamento familiar distribuiacutedos ou nuacutemero de participantes formados)
Processos A monitoria de processos ou actividades eacute em grande parte uma medida da cultura de prestaccedilatildeo de contas (ou grau de responsabilizaccedilatildeo) ao garantir que as actividades sejam realizadas dentro do prazo e com recursos suficientes A monitoria nesse niacutevel acompanha o progresso da implementaccedilatildeo tendo como referecircncia os prazos propostos e o uso dos recursos tendo como referecircncia os orccedilamentos Eacute geralmente executada atraveacutes da apresentaccedilatildeo de relatoacuterios tradicionais trimestrais semestrais e anuais
Insumos Ao preparar uma intervenccedilatildeo deve identificar a quantidade e os tipos de recursos necessaacuterios para implementar as actividades O desempenho pode ser monitorado em termos da quantidade e dos tipos de insumos fornecidos e do nuacutemero e timing das actividades realizadas
A etapa seguinte na definiccedilatildeo dos resultados esperados eacute garantir que cumpram os criteacuterios SMART (consulte a Tabela 4) Eacute possiacutevel monitorar e avaliar o progresso no alcance de um resultado apenas se esse resultado tiver sido definido em termos mensuraacuteveis
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 921
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja a seguir um exemplo de um resultado mensuraacutevel para uma intervenccedilatildeo cujo propoacutesito eacute promover a cobertura de imunizaccedilatildeo em crianccedilas de 12 a 24 meses de idade A percentagem de crianccedilas de 12 a 24 meses totalmente vacinadas na aacuterea de captaccedilatildeo aumentaraacute para 70 dentro de um ano
ETAPA 2 IDENTIFIQUE OS INDICADORES E SUAS DEFINICcedilOtildeES
Os indicadores satildeo geralmente percentagens ou proporccedilotildees que representam o alcance de uma condiccedilatildeo especiacutefica de sauacutede na populaccedilatildeo de interesse Podem tambeacutem ser um valor absoluto tal como o nuacutemero de ocorrecircncias de um evento de sauacutede (por ex um oacutebito materno ou um caso de malaacuteria)
Todos os indicadores pedem uma definiccedilatildeo detalhada Trata-se de um indicador qualitativo ou quantitativo Se for uma percentagem qual eacute o numerador e qual eacute o denominador A definiccedilatildeo deve ser suficientemente detalhada para garantir que pessoas diferentes em momentos diferentes possam recolher tipos idecircnticos de dados para o indicador
Veja o que caracteriza um bom indicador no Quadro 2 Os indicadores podem ser classificados como indicadores do estado de sauacutede ou do desempenho de serviccedilos
Os indicadores do estado de sauacutede podem incluir o seguinte
nuacutemero de casos e mortes causados por doenccedilas especiacuteficas em um determinado periacuteodo
proporccedilatildeo da populaccedilatildeo com uma doenccedila ou condiccedilatildeo de sauacutede num momento particular ou ao longo de um periacuteodo de tempo
proporccedilatildeo da populaccedilatildeo com um factor ou condiccedilatildeo de sauacutede que os coloca em risco de contrair doenccedilas tal como a falta de conhecimento ou um comportamento de risco
Os indicadores de desempenho podem incluir o seguinte
proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que recebeu um serviccedilo especiacutefico proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que demonstra comportamentos e
conhecimentos especiacuteficos de sauacutede
TABELA 4 Criteacuterios de um resultado SMART
Criteacuterio Descriccedilatildeo
Especiacutefico (S ndash Smart)
Claramente escrito e compreendido O resultado esperado eacute suficientemente especiacutefico para ser medido por uma frequecircncia percentagem ou nuacutemero
Mensuraacutevel (M ndash Measurable)
Eacute possiacutevel monitorar o progresso e avaliar os resultados O resultado esperado eacute definido em termos que sejam mensuraacuteveis
Apropriado (A ndash Appropriate)
O resultado esperado eacute apropriado ao acircmbito do seu trabalho e agrave missatildeo da sua organizaccedilatildeo
Realista (R ndash Realistic)
O resultado esperado pode ser alcanccedilado e estaacute dentro do controlo da sua organizaccedilatildeo Pode ser realisticamente alcanccedilado ao usar os recursos disponiacuteveis e dentro do prazo do seu plano de implementaccedilatildeo
de Tiempo limitado (T ndash Time Bound)
Foi estabelecido um prazo especiacutefico para obter o resultado esperado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 922
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
proporccedilatildeo de centros e pessoal de sauacutede que demonstram adesatildeo a padrotildees especiacuteficos de serviccedilo ou que atingiram objectivo definido
proporccedilatildeo de centros de sauacutede que seguem padrotildees definidos de gestatildeo funcional (por ex em termos de pessoal disponibilidade de medicamentos registo e apresentaccedilatildeo de relatoacuterios)
Orientaccedilatildeo adicional sobre os indicadores pode ser obtida em ldquoCompecircndio de indicadores para avaliaccedilatildeo de programas de sauacutede reprodutivardquo e ldquoLista dos indicadores sobre desenvolvimento da capacidade de gestatildeo e lideranccedilardquo
ETAPA 3 IDENTIFIQUE AS FONTES DE DADOS
Agora precisa identificar uma fonte de dados para cada indicador incluiacutedo no plano de MampA ao seleccionar dados que estejam prontamente disponiacuteveis em uma fonte confiaacutevel e dentro das possibilidades financeiras de sua organizaccedilatildeo O ideal seria escolher os dados imediatamente disponiacuteveis atraveacutes da organizaccedilatildeo em vez de dar iniacutecio a uma nova estrateacutegia de recolha de dados o que poderia ser oneroso e demorado
Uma boa forma de comeccedilar eacute com a seguinte pergunta Que dados jaacute recolhemos de forma rotineira e sistemaacutetica Vocecirc deve sempre levar em consideraccedilatildeo as vantagens e desvantagens de cada fonte de dados Consulte a secccedilatildeo ldquoComo seleccionar suas fontes de dadosrdquo para obter mais informaccedilotildees sobre as vantagens e desvantagens de algumas fontes de dados mais comuns
Vocecirc deve ser o mais especiacutefico possiacutevel sobre as fontes de dados para que a mesma fonte possa ser utilizada de forma coerente durante toda a intervenccedilatildeo Mudar as fontes de dados para o mesmo indicador pode resultar em incoerecircncias e erros de interpretaccedilatildeo Por exemplo se estiver a medir as taxas de mortalidade infantil passar de estimativas baseadas num inqueacuterito de grande escala para estimativas baseadas em estatiacutesticas hospitalares pode resultar dar a falsa impressatildeo de que houve uma mudanccedila
QUADRO 2 Qualidades de um bom indicador
Vaacutelido O indicador mede o que se pretende medir
Confiaacutevel A medida do indicador deve ser igual natildeo importa quantas vezes a medida seja feita
Preciso O indicador eacute definido em termos claros e especiacuteficos para que possa ser medido O indicador pode ser qualitativo (descritivo) discreto (SimNatildeo) ou baseado em niacuteveis quantitativos ou proporccedilotildees desde que seja claramente mensuraacutevel
Faacutecil de entender Tanto especialistas como natildeo especialistas devem poder entender o significado do indicador
Discreto O indicador captura um uacutenico componente ou aspecto de um resultado mais complexo Mede apenas uma coisa natildeo um conjunto de coisas
Em tempo haacutebil O indicador pode ser medido em intervalos temporais apropriados de acordo com a disponibilidade dos dados
Comparaacutevel Quando possiacutevel o indicador evita definiccedilotildees limitadas ou singulares cujos valores seriam difiacuteceis de comparar com outros resultados
Viaacutevel para utilizar Os dados para o indicador satildeo faacuteceis de obter de uma fonte confiaacutevel e relativamente econoacutemica ndash acessiacutevel tendo em vista os recursos da sua organizaccedilatildeo Se esses dados natildeo estiverem disponiacuteveis existem meacutetodos para obtecirc-los no futuro
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 923
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 4 DEFINA OS MEacuteTODOS DE RECOLHA DE DADOS
A etapa seguinte eacute a de definir os meacutetodos ou ferramentas que utilizaraacute para cada indicador Para os indicadores baseados em dados primaacuterios (dados que vocecirc mesmo recolhe) deve descrever o tipo de instrumento necessaacuterio para recolher os dados Os exemplos podem incluir questionaacuterios estruturados listas de verificaccedilatildeo de observaccedilatildeo directa ou balanccedilas para pesar bebeacutes
Para os dados secundaacuterios (dados recolhidos por terceiros e que estatildeo disponiacuteveis para vocecirc usar) deve explicar o meacutetodo para calcular o indicador e a fonte dos dados e fornecer detalhes suficientes sobre o meacutetodo de caacutelculo para que outros possam replicaacute-lo Lembre-se de que eacute mais faacutecil e mais barato usar dados secundaacuterios mas sua qualidade eacute menos confiaacutevel do que a dos dados primaacuterios
Tambeacutem eacute importante observar a frequecircncia da recolha dos dados para cada indicador A depender do tipo de indicador vocecirc poderaacute recolher os dados mensalmente trimestralmente anualmente ou ateacute com menos frequecircncia Ao definir o programa de recolha de dados para cada indicador leve em consideraccedilatildeo a necessidade de fornecer informaccedilotildees em tempo haacutebil aos responsaacuteveis por tomar decisotildees na sua organizaccedilatildeo Atribuir responsabilidades pela recolha de dados a indiviacuteduos ou grupos do seu pessoal garantiraacute que os dados sejam recolhidos dentro do prazo necessaacuterio
As informaccedilotildees das Etapas 1 a 4 fornecem o conteuacutedo do seu plano de monitoria e avaliaccedilatildeo A Tabela 5 mostra os elementos de um plano de MampA para um programa de mentoria cliacutenica para centros de orientaccedilatildeo e testes voluntaacuterios
ETAPA 5 RECOLHA OS DADOS DE BASE E DE ACOMPANHAMENTO
Recolher dados de base precisos eacute uma das tarefas mais importantes de MampA Os dados de base ou referecircncia satildeo o ponto de partida para definir as metas que vocecirc e sua equipa pretendem atingir e para acompanhar as mudanccedilas dos indicadores durante todo o periacuteodo de sua intervenccedilatildeo Dessa forma os dados de base ajudam a definir melhor um resultado final esperado
Vocecirc precisaraacute recolher dados de base para cada indicador antes que suas actividades comecem Esses dados identificam o ponto de partida de onde poderaacute avaliar o progresso Depois em pontos variados durante a implementaccedilatildeo vocecirc recolheraacute dados de acompanhamento sobre cada indicador para comparaacute-los com os niacuteveis de base e os resultados previstos Isto permite que vocecirc e outros tomadores de decisotildees em sua organizaccedilatildeo avaliem o progresso de cada intervenccedilatildeo ou serviccedilo e faccedilam as mudanccedilas necessaacuterias ao longo do caminho Examine o exemplo no Quadro 3
Por que acompanhar as mudanccedilas dos indicadores durante a implementaccedilatildeo Os indicadores de um plano de MampA estatildeo relacionados aos resultados imediatos (produtos) e aos resultados de meacutedio e longo prazo que os gestores precisam monitorar As mudanccedilas nos valores do indicador ao longo do tempo mostram se esses resultados estatildeo a subir ou a baixar ou se permanecem iguais Isto mostra ao gestor se as intervenccedilotildees e estrateacutegias estatildeo a funcionar conforme planeado para atingir os resultados esperados
Ao final do periacuteodo de implementaccedilatildeo precisaraacute recolher dados sobre os seus indicadores para comparar os niacuteveis finais com os niacuteveis de base e com os seus resultados esperados A depender dos seus indicadores precisaraacute tambeacutem recolher dados de acompanhamento a uma altura acordada previamente para determinar se as mudanccedilas seratildeo mantidas apoacutes o teacutermino da sua intervenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 924
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 5 Exemplo de um Plano de Monitoria e Avaliaccedilatildeo
Objectivo Os profissionais de sauacutede que receberam formaccedilatildeo aumentam sua capacidade de fornecer tratamento anti-retroviral de acordo com as directrizes nacionais
ActividadeProduto Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
CronogramaPrazo final
Cliacutenicos experientes em VIH recrutados para servir como mentores cliacutenicos em cinco hospitais regionais
Nuacutemero de mentores recrutados e designados a hospitais regionais
Registos de emprego
Como concluiacutedo Director adjunto para programas cliacutenicos
Setembro de 2008
Pessoal meacutedico em cinco hospitais regionais que recebem mentoria individual sobre terapia anti-retroviral
Nuacutemero de locais que recebem mentoria cliacutenica
Nuacutemero de meacutedicos que recebem mentoria individual
Nuacutemero de dias de mentoria cliacutenica realizados
Relatoacuterios mensais do mentor
Mensalmente Mentores Marccedilo de 2009
Resultados a meacutedio e longo prazo Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
Trabalhadores de sauacutede aumentam seu conhecimento sobre terapia anti-retroviral
80 dos participantes obtecircm 85 ou mais de pontuaccedilatildeo correcta no teste posterior
Trabalhadores de sauacutede melhoram suas habilidades no fornecimento de terapia anti-retroviral
Percentagem de habilidades demonstradas na lista de verificaccedilatildeo de competecircncia
Estudo especial Datas a definir Director adjunto para programas cliacutenicos
Fonte Centro Internacional de Formaccedilatildeo e Ensino sobre VIH p 2
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 925
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Observaccedilatildeo sobre o uso de indicadores para uma avaliaccedilatildeo A maioria dos esforccedilos de MampA enfatizam a selecccedilatildeo de indicadores bem definidos para estabelecer metas e medir as mudanccedilas nas condiccedilotildees e nos serviccedilos de sauacutede
Mas eacute importante lembrar que os indicadores servem apenas como marcadores Os dados dos indicadores fornecem pistas para saber se uma intervenccedilatildeo ou um grupo de actividades estaacute dentro do cronograma e se os resultados esperados estatildeo a ser alcanccedilados Eles natildeo respondem agraves perguntas de por que os resultados estatildeo ou natildeo a ser alcanccedilados Natildeo explicam os resultados fortuitos as relaccedilotildees entre intervenccedilotildees e resultados ou as causas de resultados percebidos que podem ocorrer fora da intervenccedilatildeo Assim natildeo podem recomendar medidas a tomar para melhorar os resultados
Os dados de indicadores devem portanto ser interpretados com cuidado Eles simplesmente indicam resultados que precisam ser melhor explorados em vez de fornecer uma avaliaccedilatildeo definitiva do sucesso ou fracasso Um estudo de avaliaccedilatildeo eacute geralmente executado para determinar se uma intervenccedilatildeo pode ser considerada um sucesso e por quecirc
Em geral agrave medida que sobe na hierarquia e passa das actividades para os resultados a longo prazo a MampA se torna mais complicada Nos niacuteveis de processo e produtos pode-se facilmente rastrear que actividades foram concluiacutedas e seus resultados imediatos Essas informaccedilotildees satildeo operacionais ndash informaccedilotildees que vocecirc pode usar para decisotildees quotidianas de gestatildeo Poreacutem para identificar e medir os resultados da sinergia dos produtos provavelmente teraacute que integrar as informaccedilotildees qualitativas e quantitativas e confiar menos em indicadores quantitativos singulares
Lembre-se de que quando uma melhoria desejada ndash seja na eficiecircncia do serviccedilo no conhecimento e comportamento dos provedores de serviccedilos ou dos beneficiaacuterios ou na tendecircncia de um problema de sauacutede ndash eacute confirmada atraveacutes de MampA isto natildeo prova que foi a intervenccedilatildeo que provocou a mudanccedila Outras coisas podem estar a se passar no serviccedilo ou no ambiente geral que causam essa mudanccedila Eacute claro que o mesmo se aplica aos resultados negativos ou resultados que indicam natildeo haver nenhuma mudanccedila nos resultados a meacutedio e longo prazo
QUADRO 3 Como usar dados de base para ajustar os resultados
Uma equipa de sobrevivecircncia infantil estaacute a propor uma intervenccedilatildeo com o seguinte resultado mensuraacutevel e especiacutefico ldquoNos proacuteximos 12 meses 40 das crianccedilas entre 12 e 24 meses de idade na aacuterea de captaccedilatildeo seratildeo completamente imunizadasrdquo
Para determinar se seu programa pode realmente atingir esse resultado o pessoal precisa medir os niacuteveis actuais de vacinaccedilatildeo Ao examinar os dados vecircem que apenas 10 das crianccedilas na aacuterea de captaccedilatildeo estatildeo completamente imunizadas ao completarem 24 meses Estes satildeo portanto seus dados de base
A gestora entende que natildeo seraacute possiacutevel atingir o objectivo de 40 de cobertura de imunizaccedilatildeo em apenas 12 meses Por isso ela e sua equipa revisam o resultado esperado e o modificam para que seja mais razoaacutevel e realista mas continue sendo significativo ldquoNos proacuteximos 12 meses 20 das crianccedilas de 12 a 24 meses na aacuterea de de actuaccedilatildeo seratildeo completamente imunizadas
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 926
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 6 COMPARTILHE E USE SEUS DADOS
Na pressa para comeccedilar a recolher dados alguns gestores se esquecem de planear um processo para reflectir sobre as informaccedilotildees e fazer mudanccedilas para aumentar a eficiecircncia das actividades Para garantir que os dados sejam natildeo soacute recolhidos mas tambeacutem utilizados pense como vocecirc e sua equipa divulgaratildeo as informaccedilotildees sobre MampA e obteratildeo retroinformaccedilatildeo dos diversos grupos de interesse Algumas perguntas baacutesicas serviratildeo para lhe orientar
Quem precisa de que tipo de informaccedilotildees e quando precisam delas Que tipo de formato deve usar para comunicar os resultados ao pessoal
aos gestores de niacutevel superior e a outros grupos de interesse importantes Eacute suficiente fazer circular um relatoacuterio ou deveria organizar uma reuniatildeo ou workshop
Deveria tambeacutem organizar reuniotildees com a comunidade para solicitar retroinformaccedilatildeo dos seus beneficiaacuterios sobre os primeiros resultados da MampA
Como deve apresentar as informaccedilotildees para que sejam uacuteteis aos diferentes tomadores de decisotildees As informaccedilotildees devem ser apresentadas visualmente em diagramas graacuteficos ou mapas Para obter orientaccedilatildeo sobre dados e resultados consulte o Guiatildeo de MampA para Facilitadores de Programas de Desenvolvimento da Lideranccedila
Uso dos resultados para melhorar os dados de rotina em acccedilatildeo ndash Um exemplo do Paquistatildeo
No Paquistatildeo com o apoio do projecto PRIDE 10 equipas de subdistritos aplicaram o Processo de Avaliaccedilatildeo e Melhoria do Desempenho em Sauacutede Puacuteblica (PIP-PH) um conjunto de procedimentos e formatos para tratar dos problemas de sauacutede que identificaram como os mais graves para as suas populaccedilotildees Usaram o PIP-PH para priorizar os problemas e serviccedilos que mais precisavam de atenccedilatildeo a curto prazo para obter melhorias
Como parte do processo PIP-PH as equipas tambeacutem conceberam um formato de Estrutura de Vigilacircncia de Sauacutede (ldquoHealth Watch Frameworkrdquo) para os seus subdistritos como um todo e para os centros de sauacutede dentro deles Cada equipa seleccionou indicadores para medir a situaccedilatildeo de dois problemas de sauacutede puacuteblica os serviccedilos essenciais a eles relacionados e as limitaccedilotildees que afectavam esses serviccedilos
As equipas usaram os formulaacuterios Health Watch para estabelecer valores de base para os indicadores e depois para monitorar esses valores agrave medida que as intervenccedilotildees prosseguiam ao longo do tempo Os centros de sauacutede revisavam e actualizavam o formulaacuterio todo mecircs as equipas do subdistrito inclusive gestores de centros de sauacutede revisavam e discutiam os formulaacuterios trimestralmente os formulaacuterios revisados
As equipas de subdistrito usaram as informaccedilotildees para analisar os motivos do progresso ou falta de progresso para poderem prestar apoio aos gestores dos centros de sauacutede O processo estimulou os gestores dos centros de sauacutede a melhorarem a integridade e precisatildeo dos dados de rotina para poderem usar as informaccedilotildees e monitorarem mais eficazmente os eventos e os serviccedilos essenciais e introduzirem as melhorias necessaacuterias
Exemplos e informaccedilotildees detalhadas sobre o PIP-PH e o Health Watch Framework aparecem no Relatoacuterio Anual do Projecto PRIDE 2007
Para se informar mais sobre meacutetodos adicionais de utilizaccedilatildeo dos dados para melhorar o desempenho de uma organizaccedilatildeo equipa serviccedilo de sauacutede ou intervenccedilatildeo consulte o processo de Avaliaccedilatildeo e Melhoria de Desempenho (Performance Assessment and Improvement ndash PAI) no website de Programa de Lideranccedila Gestatildeo e Sustentabilidade (Leadership Management and Sustainability ndash LMS)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 927
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O processo de Monitoria e Avaliaccedilatildeo deve ser executado com o objectivo de usar imediatamente os resultados para identificar as falhas de desempenho e tomar medidas para reduzir ou eliminar essas falhas Vocecirc deve sempre planear formas de usar os resultados de MampA para o aprendizado e a acccedilatildeo Por exemplo o que deve fazer se as actividades do projecto natildeo trouxerem os resultados esperados O que precisa mudar se os serviccedilos essenciais natildeo estiverem a fornecer os niacuteveis de cobertura previstos ou a alcanccedilar grupos especiacuteficos de pessoas E como vocecirc pode levar esses fatos agrave atenccedilatildeo das pessoas certas para obter uma resposta raacutepida
Desenho de uma ferramenta de MampA
ARMADILHAS DA MONITORIA E AVALIACcedilAtildeO
Haacute vaacuterias armadilhas comuns que impedem que vocecirc como gestor aperfeiccediloe a funccedilatildeo de MampA na sua organizaccedilatildeo
Planeamento excessivo ou insuficienteAlguns gestores podem gastar tempo demais a preparar o plano de MampA do que resultam planos muito elaborados e complicados de usar Outros ficam muito ansiosos por implementar as intervenccedilotildees de MampA e comeccedilam antes de concluir o plano de MampA Isso significa que quando o plano fica pronto eacute geralmente tarde demais para obter dados de base viaacuteveis e a MampA tem que ser adiada Nesses casos o gestor talvez tenha que aceitar fazer a avaliaccedilatildeo mais tarde sem os dados de base que poderia usar para a comparaccedilatildeo
Descuidar-se da monitoria contiacutenua Outra armadilha frequente eacute a falha em incluir a monitoria contiacutenua na implementaccedilatildeo das actividades Isto ocorre frequentemente por falta de experiecircncia Muitos gestores natildeo tiveram acesso a ferramentas de monitoria uacuteteis (que satildeo raras) Talvez natildeo tenham recebido prontamente os resultados ou a retroinformaccedilatildeo do sistema de MampA no passado e por isso natildeo percebem como eacute importante realizar a monitoria de rotina Aleacutem disso gestores podem facilmente se emaranhar nos detalhes da implementaccedilatildeo e descuidar-se da monitoria de rotina
Exagerar Outra armadilha relacionada agrave monitoria eacute tentar rastrear os dados de todos os indicadores possiacuteveis Tentar obter os dados sobre um nuacutemero excessivo de factores torna o processo de monitoria tatildeo complicado que se torna impreciso Isso tambeacutem torna o processo mais lento de modo que no momento em que os dados satildeo recolhidos e analisados eles jaacute natildeo satildeo mais uacuteteis As ferramentas de monitoria muito demoradas e complicadas acabam por natildeo ser usadas O que acontece entatildeo O gestor deixa totalmente de fazer a monitoria e tem que recorrer agrave avaliaccedilatildeo
Se jaacute se deparou com esses problemas eacute hora de mudar a sua taacutectica Vocecirc pode criar um plano de MampA simples e usar ferramentas de monitoria simples Descubra o que tem que medir para obter os dados dentro de 3 a 6 meses o prazo vai depender dos ciclos de planeamento e apresentaccedilatildeo de relatoacuterios da sua organizaccedilatildeo Entenda tambeacutem qual eacute o miacutenimo que deve ser medido em uma avaliaccedilatildeo de longo prazo Busque a simplicidade mesmo se estiver diante de um conjunto complexo de actividades
Tente incluir apenas o que realmente precisa saber Pode testar todos os indicadores propostos antes de incluiacute-los no planeamento de MampA ao perguntar Quem precisa usar essas informaccedilotildees quando e com que finalidade Se um uacutenico indicador de produtos for suficiente perfeito Natildeo sobrecarregue a monitoria com indicadores desnecessaacuterios Muitas vezes menos dados fornecem mais informaccedilotildees
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 928
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
CARACTERIacuteSTICAS DE UMA BOA FERRAMENTA DE MONITORIA
Como gestor natildeo precisa saber tudo para gerir um serviccedilo ou dirigir uma intervenccedilatildeo mas precisa das informaccedilotildees imediatamente Portanto precisa de uma ferramenta de monitoria que possa fornecer informaccedilotildees suficientes e em tempo haacutebil para identificar e corrigir problemas assim que eles surgirem
Uma ferramenta de monitoria deve ser faacutecil de montar e utilizar As tabelas listas de verificaccedilatildeo e diagramas simples satildeo meacutetodos particularmente uacuteteis de recolher organizar e apresentar informaccedilotildees de monitoria
No miacutenimo sua ferramenta de monitoria deve permitir que vocecirc e sua equipa acompanhem
o progresso da implementaccedilatildeo da actividade a entrega de produtos ou resultados imediatos a situaccedilatildeo dos principais indicadores de resultados comparados aos resultados
esperados se for o caso as despesas orccedilamentais a disponibilidade de recursos humanos e financeiros os obstaacuteculos agrave implementaccedilatildeo e o que tem sido feito para superaacute-los
Vocecirc teraacute que responder agraves seguintes perguntas periodicamente
As actividades foram implementadas conforme planeado dentro do prazo e do orccedilamento
Que actividades adicionais natildeo planeadas foram realizadas Que serviccedilos ou produtos directos e tangiacuteveis foram oferecidos como resultado
das actividades que implementamos Estamos dentro do cronograma para atingir nossos resultados a meacutedio e longo
prazo Possuiacutemos os recursos necessaacuterios (pessoal dinheiro medicamentos e
suprimentos etc) para cumprirmos o cronograma
O Quadro 4 apresenta os componentes baacutesicos de uma ferramenta simples de monitoria
QUADRO 4 Uma ferramenta simples de monitoria
Data de exame Metas de resultados
Actividades (segundo o plano de implementaccedilatildeo)
Situaccedilatildeo ateacute o momento
Resultados esperados
Datas para conclusatildeo
Situaccedilatildeo ateacute o momento Comentaacuterios
Desafios e oportunidades
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 929
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quando usadas correctamente as novas tecnologias (por ex os PDAs ldquosmartphonesrdquo laptops e outros) podem facilitar a monitoria e aumentar os benefiacutecios da monitoria das actividades A monitoria automatizada ndash dados que podem ser obtidos e processados automaticamente ndash podem produzir um resumo dos principais indicadores em uma soacute paacutegina faacutecil de ler e num formato que utiliza cores para alertar ao gestor sobre as aacutereas que precisam de maior atenccedilatildeo As informaccedilotildees obtidas em tempo haacutebil sobre alguns indicadores essenciais permitem que o gestor monitore o progresso e tome medidas correctivas
Essa apresentaccedilatildeo visual das informaccedilotildees mais importantes e necessaacuterias para gerir um projecto eacute geralmente conhecida como Painel de Indicadores de Desempenho Os paineacuteis de indicadores de desempenho podem ser usados em qualquer organizaccedilatildeo departamento ou divisatildeo Nas organizaccedilotildees de sauacutede puacuteblica os paineacuteis satildeo usados frequentemente para monitorar os indicadores financeiros e programaacuteticos bem como a cobertura produccedilatildeo eficaacutecia e qualidade de serviccedilos de sauacutede especiacuteficos Um painel de recursos humanos por exemplo incluiria indicadores relevantes para gerir o seguinte
retenccedilatildeo de funcionaacuterios rotatividade de funcionaacuterios formaccedilatildeo de funcionaacuterios lacunas de habilidades satisfaccedilatildeo dos funcionaacuterios custos benefiacutecios e despesas gerais com funcionaacuterios
A Tabela 6 mostra um painel de indicadores de desempenho criado para monitorar serviccedilos de contracepccedilatildeo ciruacutergica voluntaacuteria (CCV)
TABELA 6 Ilustraccedilatildeo de Painel de Indicadores de Desempenho para Serviccedilos de Contracepccedilatildeo Ciruacutergica Voluntaacuteria (CCV)
Serviccedilo Contracepccedilatildeo Ciruacutergica Voluntaacuteria Periacuteodo do Relatoacuterio Janeiro de 2009
No Indicador de Prestaccedilatildeo de Serviccedilos Custo Qualidade
Meta financeira ou programaacutetica
LimiarNuacutemero
alcanccedilado
Percentagem concluiacuteda
Miacuten Maacutex 10 20 30 40 50 60 70 80 90 100
1 Nuacutemero de CCVs realizadas no mecircs 8 10 7
2 Custo meacutedio das CCVs (US$) 100 120 110
3 Orccedilamento mensal da receita com CCVs realizadas (US$) 800 1200 770
4Percentagem das CCVs realizadas por pessoal
qualificadomdash 100 60
5 Percentagem das CCVs realizadas sem complicaccedilotildees 95 100 100
6
Percentagem de utentes satisfeitas com o tratamento
recebido do pessoal que realizou as CCVs
90 100 90
Adaptado de Colindres 2008 p 6
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 930
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja uma descriccedilatildeo do uso de um painel de indicadores de desempenho para a monitoria de rotina num estudo de caso estudo de caso de uma ONG da Boliacutevia o Centro de Investigaccedilatildeo Educaccedilatildeo e Serviccedilos (CIES)
Para obter mais informaccedilotildees de como criar um painel de indicadores consulte ldquoComo usar os paineacuteis de indicadores de desempenho para monitorar as realizaccedilotildees de uma organizaccedilatildeordquo Esse documento ajuda a esclarecer conceitos e define as etapas essenciais para criar paineacuteis de indicadores de desempenho
Como criar uma avaliaccedilatildeo para fins de aprendizagem
Apesar da importacircncia da monitoria de rotina apenas a monitoria natildeo basta para responder agrave pergunta ldquoE entatildeordquo Ou seja suas actividades e produtos contribuiacuteram para melhorar a cobertura dos serviccedilos aumentar o conhecimento ou encorajar comportamentos mais saudaacuteveis
Talvez uma campanha de comunicaccedilatildeo sobre planeamento familiar criada para aumentar a prevalecircncia do uso de contraceptivos tenha levado o governo a abastecer os depoacutesitos distritais com contraceptivos Para que possam aprender com essa experiecircncia e criar campanhas mais eficazes no futuro os gestores do projecto ainda querem saber que produtos foram realmente dispensados aos centros de sauacutede e distribuiacutedos aos utentes Esta secccedilatildeo discute como criar uma avaliaccedilatildeo para fins de aprendizagem
Existem dois motivos para levar a cabo uma avaliaccedilatildeo
1 A avaliaccedilatildeo fornece informaccedilotildees sobre o sucesso da sua equipa unidade ou organizaccedilatildeo para atingir seus objectivos Essas informaccedilotildees ajudam a definir que actividades expandir modificar ou eliminar Ela pode tambeacutem revelar formas de melhorar a concepccedilatildeo e gestatildeo das actividades futuras
2 A avaliaccedilatildeo pode demonstrar uma cultura de prestaccedilatildeo de contas agrave sua agecircncia doadora e a outros grupos de interesse nomeadamente o governo e os beneficiaacuterios dos seus serviccedilos
AVALIACcedilOtildeES FORMATIVAS E SUMATIVAS
Os gestores podem realizar dois amplos tipos de avaliaccedilotildees formativas e sumativas
Avaliaccedilatildeo formativa Este tipo de avaliaccedilatildeo eacute realizada durante o desenvolvimento e implementaccedilatildeo de um programa Seu objectivo eacute orientar o desenho e a implementaccedilatildeo de actividades que incluam as melhores e mais promissoras praacuteticas que aumentaratildeo as chances de sucesso A avaliaccedilatildeo formativa eacute mais comummente utilizada por projectos de grande porte ou de longo prazo em vez de projectos menores e de curto prazo Poreacutem os projectos menores devem pelo menos realizar uma avaliaccedilatildeo raacutepida das melhores praacuteticas durante a fase de planeamento para apoiar a loacutegica e o conteuacutedo proposto para as actividades
A avaliaccedilatildeo formativa inclui uma avaliaccedilatildeo de necessidades para discernir os desejos e requisitos de um grupo da populaccedilatildeo e determinar a melhor forma de atendecirc-los Inclui tambeacutem uma avaliaccedilatildeo de processo para investigar o processo utilizado para executar uma intervenccedilatildeo Pode-se usar a avaliaccedilatildeo do processo para determinar se as actividades foram realizadas de acordo com o plano ndash em termos de sua concepccedilatildeo original estimativas de custos e nuacutemero de pessoas a serem atendidas ndash e se a qualidade dos processos usados estaacute de acordo com as melhores praacuteticas conhecidas
A avaliaccedilatildeo de processo geralmente inclui vaacuterias abordagens Pode incluir uma avaliaccedilatildeo dos dados referentes aos produtos (por ex nuacutemero de redes mosquiteiras fornecidas nuacutemero
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 931
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
de workshops de formaccedilatildeo realizados nuacutemero de participantes dos workshops) assim como entrevistas individuais ou grupos de enfoque entre os beneficiaacuterios Nas intervenccedilotildees de menor porte eacute uma boa praacutetica realizar uma avaliaccedilatildeo de processo mesmo se limitada agrave retroinformaccedilatildeo dos participantes
Avaliaccedilatildeo somativa Este tipo de avaliaccedilatildeo eacute realizada apoacutes a conclusatildeo de um grupo de actividades ou da intervenccedilatildeo para avaliar a qualidade da intervenccedilatildeo e os seus principais resultados A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo a avaliaccedilatildeo do impacto a anaacutelise de custo-benefiacutecio e custo-eficaacutecia e a investigaccedilatildeo operacional
A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo que avalia em que medida uma equipa unidade ou organizaccedilatildeo inteira atingiram seus resultados esperados A avaliaccedilatildeo dos resultados eacute usada para demonstrar que existe uma cultura de prestaccedilatildeo de contas para aperfeiccediloar o projecto de actividades organizacionais para melhorar a distribuiccedilatildeo dos recursos e para promover intervenccedilotildees futuras bem-sucedidas As principais perguntas satildeo Que modificaccedilotildees ocorreram na vida das pessoas das famiacutelias ou da comunidade como resultado do nosso trabalho Que diferenccedila fizemos
Como observamos anteriormente neste capiacutetulo os resultados a meacutedio e longo prazo satildeo geralmente mudanccedilas mensuraacuteveis eou observaacuteveis em duas dimensotildees A primeira dimensatildeo abrange a conscientizaccedilatildeo o conhecimento as atitudes os valores e as habilidades dos participantes de um programa ou dos beneficiaacuterios dos serviccedilos durante ou depois de seu envolvimento na intervenccedilatildeo A segunda dimensatildeo implica mudanccedilas no comportamento desses mesmos grupos
Idealmente as duas dimensotildees deveriam ser medidas em trecircs pontos no comeccedilo e no final do periacuteodo de implementaccedilatildeo e se possiacutevel apoacutes um periacuteodo de acompanhamento adequado Se a mediccedilatildeo do acompanhamento natildeo for viaacutevel pelo menos devem ser comparadas as mediccedilotildees de base e poacutes-intervenccedilatildeo Muitas vezes as mudanccedilas podem ser pequenas mas deve haver alguma melhoria em pelo menos um ou dois resultados para que a intervenccedilatildeo seja considerada um sucesso
A avaliaccedilatildeo dos resultados tenta distinguir entre a influecircncia da intervenccedilatildeo nessas mudanccedilas e a influecircncia de outros factores externos Mas geralmente os avaliadores teratildeo que optar pela atribuiccedilatildeo parcial de um resultado a uma intervenccedilatildeo ou serviccedilo especiacutefico devido agrave dificuldade em determinar uma relaccedilatildeo directa e causal entre o serviccedilo prestado e uma determinada mudanccedila
As avaliaccedilotildees de resultados utilizam geralmente um desenho natildeo experimental (geralmente denominado ldquopreacute e poacutes-avaliaccedilatildeordquo) que simplesmente mede as mudanccedilas antes e depois de uma intervenccedilatildeo ou seja diferente do desenho experimental (que compara os participantes com um grupo de controlo com designaccedilatildeo aleatoacuteria a ambos os grupos) ou do desenho semi-experimental (que compara os participantes com um grupo de controlo mas sem a designaccedilatildeo aleatoacuteria)
O desenho natildeo experimental eacute aceitaacutevel para as mediccedilotildees e relatoacuterios padratildeo dos resultados a meacutedio e longo prazo As ONGs raramente usam os desenhos experimentais Apesar de uma organizaccedilatildeo de grande porte e com muitos recursos poder ocasionalmente receber assistecircncia de especialistas para um desenho experimental a maioria delas acha que as consideraccedilotildees eacuteticas e logiacutesticas impedem a designaccedilatildeo aleatoacuteria dos participantes aos grupos de intervenccedilatildeo e de controlo Aleacutem disso o custo de recolher dados de um grupo de controlo seraacute provavelmente muito elevado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 932
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A avaliaccedilatildeo do impacto eacute outro componente da avaliaccedilatildeo somativa Eacute mais ampla do que a avaliaccedilatildeo de resultados e avalia os efeitos liacutequidos ou gerais ndash tanto intencionais como natildeo intencionais ndash de todo um programa grupo de programas ou grupo de organizaccedilotildees As avaliaccedilotildees de impacto geralmente se estendem por um periacuteodo de 3 a 5 anos
OUTROS TIPOS DE AVALIACcedilOtildeES
Anaacutelise de custo-benefiacutecio e custo-eficaacutecia Estes tipos de anaacutelise tratam da eficiecircncia da intervenccedilatildeo ao analisar os resultados em termos dos seus custos financeiros e do seu valor
Investigaccedilatildeo operacional Trata-se de um balanccedilo ou avaliaccedilatildeo de uma intervenccedilatildeo especiacutefica no contexto de um programa mais amplo que estaacute a fazer vaacuterias intervenccedilotildees A investigaccedilatildeo operacional eacute usada para testar e avaliar novas abordagens de prestaccedilatildeo de serviccedilos de sauacutede Eacute tambeacutem usada para identificar problemas na prestaccedilatildeo de serviccedilos e oferecer soluccedilotildees
A investigaccedilatildeo operacional eacute uma ferramenta poderosa que os gestores de programas e os tomadores de decisotildees podem usar para melhorar e expandir os serviccedilos Os estudos de investigaccedilatildeo operacional comparam intervenccedilotildees que estatildeo dentro da esfera de influecircncia do gestor Os exemplos incluem a avaliaccedilatildeo da eficaacutecia de uma nova estrateacutegia de prevenccedilatildeo de VIHSIDA um novo curso de formaccedilatildeo um novo conjunto de procedimentos para gerir medicamentos um novo meacutetodo contraceptivo ou um novo serviccedilo de sauacutede reprodutiva
O Toolkit de Investigaccedilatildeo Operacional do Programa Horizons sobre VIHSIDA do Population Council fornece informaccedilotildees detalhadas para criar um estudo de investigaccedilatildeo operacional
CONSIDERACcedilOtildeES PARA A FORMULACcedilAtildeO DE UMA AVALIACcedilAtildeO
O que avaliar para responder agrave pergunta ldquoE entatildeordquo Se quiser saber como gestor se as suas actividades tiveram realmente sucesso precisa preparar todas as intervenccedilotildees tendo em mente a avaliaccedilatildeo e incorporar a avaliaccedilatildeo ao seu planeamento organizacional geral Ao definir objectivos deve se perguntar Como saberemos se estamos a atingir esses objectivos Este eacute o ponto de partida para a avaliaccedilatildeo
Seja qual for o porte da sua intervenccedilatildeo ou serviccedilo e o alcance da avaliaccedilatildeo precisaraacute responder a trecircs perguntas durante a fase de desenho e planeamento
1 O que a sua intervenccedilatildeo ou serviccedilo conseguiraacute realizar a curto e longo prazo Se implementar um conjunto de actividades com sucesso ao longo do tempo o que seraacute diferente
2 Como conceptualiza as suas actividades ndash qual eacute a loacutegica subjacente Duas abordagens para identificar a loacutegica do programa satildeo discutidas neste capiacutetulo na secccedilatildeo intitulada Ferramentas e Abordagens Praacuteticas para MampA
3 Que indicadores pode usar para identificar o progresso no alcance dos resultados
Para responder agrave pergunta ldquoE entatildeordquo vocecirc precisa avaliar os factores sobre os quais tem um niacutevel razoaacutevel de controlo Por exemplo um novo serviccedilo criado para oferecer alojamento a pessoas que vivem com SIDA natildeo pode controlar ou afectar a expectativa de vida das pessoas agraves quais atende Mas ao fornecer um ambiente estaacutevel para elas viverem o serviccedilo pode diminuir o niacutevel de stresse e melhorar a qualidade de vida dessas pessoas que antes eram forccediladas a se mudar com frequecircncia
Depois de tratar da pergunta ldquoE entatildeordquo deve tambeacutem se certificar de que a avaliaccedilatildeo seja concebida de forma que quando o processo estiver concluiacutedo vocecirc possa abordar os cinco toacutepicos principais da avaliaccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 933
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
1 Relevacircncia Foi uma boa ideia fazer a intervenccedilatildeo considerando-se a situaccedilatildeo e a necessidade de melhorias Ela tratou das prioridades do grupo alvo ou beneficiaacuterio Por que sim ou por que natildeo
2 Eficaacutecia Os resultados produtos e actividades foram realizados Por que sim ou por que natildeo A loacutegica da intervenccedilatildeo eacute correcta
3 Eficiecircncia Os insumos (recursos e tempo) foram usados da melhor forma possiacutevel para atingir os resultados a meacutedio e longo prazo Por que sim ou por que natildeo O que vocecirc e sua equipa poderiam fazer de modo diferente no futuro para maximizar os resultados a um custo aceitaacutevel
4 Impacto Em que medida a sua intervenccedilatildeo contribuiu para as metas nacionais ou de longo prazo Que consequecircncias natildeo intencionais (positivas ou negativas) suas actividades tiveram Por que essas consequecircncias aconteceram
5 Sustentabilidade Eacute provaacutevel que os resultados positivos continuem depois que sua intervenccedilatildeo terminar Por que sim ou por que natildeo
Uma uacuteltima advertecircncia assim como a monitoria pode-se complicar demasiado a avaliaccedilatildeo Ao preparar um plano de avaliaccedilatildeo o melhor eacute seleccionar um grupo pequeno de indicadores e resistir agrave tentaccedilatildeo de avaliar todos os aspectos da sua intervenccedilatildeo
Assim como a monitoria a avaliaccedilatildeo soacute eacute uacutetil se as informaccedilotildees forem repassadas em tempo haacutebil para o gestor e outros tomadores de decisotildees e grupos de interesse Um problema comum com as avaliaccedilotildees intercalares eacute que os resultados geralmente soacute satildeo informados de 6 a 8 meses mais tarde o que deixa apenas 1 ou 2 anos para fazer mudanccedilas mais permanentes antes que se esgotem os fundos do governo ou da agecircncia doadora
COMO SELECCIONAR SUAS FONTES DE DADOS
Esta secccedilatildeo descreve trecircs tipos de fontes de dados que satildeo comummente usadas para uma avaliaccedilatildeo dados recolhidos rotineiramente inqueacuteritos de grande escala e teacutecnicas de avaliaccedilatildeo raacutepida inclusive a avaliaccedilatildeo participativa
Dados de rotina Os dados recolhidos e analisados rotineiramente por um SIS satildeo denominados ldquoestatiacutesticas de serviccedilordquo Pode-se utilizar vaacuterios sistemas de informaccedilatildeo de serviccedilos de rotina para monitorar os serviccedilos Alguns deles satildeo o sistema baacutesico de registo e relatoacuterio de SIS os sistemas especiais de relatoacuterios sobre programas (por ex tuberculose malaacuteria imunizaccedilatildeo VIH planeamento familiar etc) os sistemas de relatoacuterios sobre agentes comunitaacuterios especiais (por ex registos de agentes comunitaacuterios de sauacutede) o sistema de informaccedilotildees para a vigilacircncia de doenccedilas e o controlo notificaccedilatildeo e resposta a surtos e os relatoacuterios para os sistemas de suporte especiais (por ex medicamentos encaminhamentos e gestatildeo financeira e de recursos humanos)
Esses sistemas fornecem dados que estatildeo imediatamente disponiacuteveis e cujo objectivo eacute informar o que estaacute a acontecer no sector de sauacutede Os dados de rotina incluem por exemplo o nuacutemero de consultas de preacute-natal em uma cliacutenica o nuacutemero e tipo de vacinaccedilotildees fornecidas no local ou o nuacutemero e tipos de contraceptivos fornecidos mensalmente
Os dados sobre os serviccedilos satildeo geralmente recolhidos pelos centros de sauacutede ou postos de sauacutede e enviados para o proacuteximo niacutevel superior do sistema (geralmente o distrito) para serem agregados Esses dados podem entatildeo ser enviados ao proacuteximo niacutevel superior (regional ou provincial) para posterior agregaccedilatildeo antes que cheguem finalmente ao niacutevel central do Ministeacuterio da Sauacutede
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 934
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Idealmente os gestores de centros de sauacutede e ao niacutevel do distrito usam esses dados para orientar as operaccedilotildees diaacuterias acompanhar o desempenho e a prestaccedilatildeo de contas e tomar decisotildees que continuem a melhorar o desempenho Mas haacute vaacuterios obstaacuteculos a essa utilizaccedilatildeo
Muito frequentemente os dados de rotina satildeo imprecisos ou incompletos Apesar dos que utilizam o SIS tentarem produzir informaccedilotildees de alta qualidade e em tempo haacutebil haacute muitas oportunidades de introduzir erros Pode haver pouco apoio para que os gestores e seu pessoal se concentrem nos procedimentos correctos de recolha registo e agregaccedilatildeo dos dados
Os sistemas de sauacutede de vaacuterios paiacuteses enfatizam a importacircncia de apresentar relatoacuterios para os niacuteveis superiores mas natildeo estabeleceram procedimentos e incentivos para encorajar aqueles que fornecem informaccedilotildees a utilizaacute-las mesmo quando os dados satildeo de boa qualidade
Outra dificuldade eacute que as estatiacutesticas sobre serviccedilos fornecem informaccedilotildees apenas sobre os utentes que utilizam os serviccedilos de sauacutede Natildeo podem fornecer informaccedilotildees sobre as muitas pessoas que natildeo utilizam os serviccedilos
Por tudo isso natildeo se pode confiar apenas nas estatiacutesticas sobre serviccedilos para fazer uma avaliaccedilatildeo Elas satildeo melhor utilizadas para a monitoria de rotina dos problemas de sauacutede puacuteblica e dos serviccedilos essenciais relacionados
Inqueacuteritos em grande escala Os inqueacuteritos em grande escala satildeo outra fonte de informaccedilotildees imediatamente disponiacuteveis Incluem inqueacuteritos de base populacional tais como as Inqueacuterito Demograacutefico e de Sauacutede (IDS) dos EUA avaliaccedilotildees completas de centros de sauacutede como a Anaacutelise de Situaccedilatildeo do Population Council e os censos nacionais Em vaacuterios casos os gestores podem usar os dados de um inqueacuterito em grande escala existente para fornecer o contexto para a interpretaccedilatildeo dos dados capturados atraveacutes das suas proacuteprias avaliaccedilotildees
Por exemplo as IDS satildeo realizadas periodicamente para caracterizar a situaccedilatildeo de sauacutede em um paiacutes ou regiatildeo geograacutefica de grande extensatildeo para vaacuterios grupos populacionais homens mulheres crianccedilas bebeacutes e assim por diante Mas os dados das IDS natildeo podem normalmente ser desagregados para uso pelos gestores no niacutevel de distrito ou comunidade
Aleacutem disso como as IDS satildeo realizadas apenas a cada trecircs ou cinco anos as informaccedilotildees que fornecem podem natildeo estar suficientemente actualizadas para as necessidades de avaliaccedilatildeo dos gestores Apesar dessas dificuldades os dados das IDS satildeo uacuteteis para compreender tendecircncias regionais ou nacionais que podem ajudar a explicar dados recolhidos em uma avaliaccedilatildeo de foco especiacutefico
Avaliaccedilotildees raacutepidas Satildeo formas raacutepidas e econoacutemicas de obter informaccedilotildees para a tomada de decisotildees principalmente ao niacutevel da actividade Os exemplos incluem entrevistas quando os utentes saem de suas consultas as avaliaccedilotildees de pequena escala dos centros de sauacutede os inqueacuteritos raacutepidos por amostragem o exame analiacutetico de registos as entrevistas com grupos de enfoque e outros meacutetodos participativos
Poderaacute usar teacutecnicas de avaliaccedilatildeo raacutepida para complementar as informaccedilotildees obtidas com dados de rotina ou inqueacuteritos de grande escala As avaliaccedilotildees raacutepidas podem-lhe fornecer informaccedilotildees valiosas sobre sua aacuterea de captaccedilatildeo e sua aacuterea de responsabilidade mais ampla ndash ou seja as comunidades e as populaccedilotildees que deveriam ter acesso aos serviccedilos essenciais prestados por um centro de sauacutede determinado Elas podem tambeacutem fornecer contexto e uma compreensatildeo qualitativa dos dados quantitativos recolhidos pelos meacutetodos mais formais
Dentro da categoria de avaliaccedilotildees raacutepidas os meacutetodos participativos e os inqueacuteritos raacutepidos por amostragem merecem a sua atenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 935
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Meacutetodos participativos (tambeacutem chamados de aprendizagem e acccedilatildeo participativas) Essas teacutecnicas e meacutetodos visam incorporar o conhecimento e as opiniotildees dos membros da comunidade no planeamento e gestatildeo de projectos de desenvolvimento no esforccedilo para influenciar as poliacuteticas e na implementaccedilatildeo de programas Eles permitem incluir vozes da comunidade nas poliacuteticas no planeamento e nos inqueacuteritos e criam um senso de propriedade e participaccedilatildeo nos resultados de MampA e nas recomendaccedilotildees feitas pela organizaccedilatildeo e por seus beneficiaacuterios
Ao contraacuterio de outras teacutecnicas de avaliaccedilatildeo raacutepida os meacutetodos participativos natildeo se baseiam em amostragens Eles usam entrevistas individuais ou com informantes essenciais (inclusive entrevistas com utentes ao saiacuterem de suas consultas) entrevistas em grupo estudos de caso e outros meacutetodos qualitativos para identificar as condiccedilotildees locais e entender as perspectivas e prioridades locais
Em vaacuterios locais haacute membros da comunidade que natildeo podem ler nem escrever e por isso os meacutetodos participativos dependem frequentemente da comunicaccedilatildeo oral com apoio de imagens siacutembolos objectos fiacutesicos e memoacuteria colectiva
Os meacutetodos participativos podem ser usados antes durante e apoacutes a implementaccedilatildeo de uma intervenccedilatildeo ou um conjunto de actividades Eles fornecem informaccedilotildees para o projecto e a avaliaccedilatildeo e permitem a participaccedilatildeo activa das partes interessadas na tomada de decisotildees Durante a implementaccedilatildeo os meacutetodos participativos satildeo uacuteteis para identificar e solucionar problemas
Aproveite para examinar e utilizar uma lista de recursos online sobre inqueacuterito qualitativo e directrizes sobre discussotildees em grupos de enfoque no Community Tool Box da Universidade de Kansas
Inqueacuteritos raacutepidos por amostragem Estes inqueacuteritos podem ser utilizados para recolher informaccedilotildees padronizadas de uma amostra pequena e cuidadosamente seleccionada de pessoas ou domiciacutelios em uma aacuterea beneficiaacuteria Eles podem descrever as condiccedilotildees em uma comunidade particular ou grupo-alvo e permitem comparar grupos diferentes em um determinado momento ou mudanccedilas no mesmo grupo ao longo do tempo Permitem tambeacutem comparar condiccedilotildees actuais com os resultados planeados
Um dos inqueacuteritos mais comuns de pequena amostragem eacute o inqueacuterito CAP (Conhecimentos Atitudes e Praacuteticas) baseado em uma amostra de 30 agrupamentos
Amostragem para Garantia de Qualidade de Lotes (Lot Quality Sampling - LQAS) Essa eacute outra teacutecnica de avaliaccedilatildeo raacutepida que se usa cada vez mais na aacuterea de sauacutede puacuteblica A LQAS utiliza amostragens muito pequenas para obter informaccedilotildees confiaacuteveis em uma pequena aacuterea geograacutefica ou unidade administrativa Pode ser usada para detectar de forma precisa os extremos do desempenho ndash para determinar se uma intervenccedilatildeo foi mais aleacutem de um limiar superior de desempenho ou natildeo conseguiu atingir um limiar inferior de desempenho em termos de qualidade ou cobertura As amostras de lotes podem tambeacutem ser combinadas para fornecer estimativas de cobertura em uma aacuterea geograacutefica mais ampla
Uma busca na Web revelaraacute recursos uacuteteis aqui temos um sobre os inqueacuteritos CAP e outro sobre LQAS A aacuterea de MampA do website do CORE Group inclui ligaccedilotildees com ferramentas e recursos importantes para a avaliaccedilatildeo raacutepida criados pelo Grupo de Trabalho de MampA do CORE Group
Como gestor deve revisar todas as fontes de dados jaacute existentes antes de planear a sua avaliaccedilatildeo A Tabela 7 apresenta as vantagens e desvantagens das trecircs principais fontes de
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 936
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 7 Resumo das trecircs fontes de dados mais comuns para uma avaliaccedilatildeo
Fonte de dados Vantagens Limitaccedilotildees
Estatiacutesticas de serviccedilo Dados sobre a populaccedilatildeo de utentes e serviccedilos cliacutenicos que satildeo recolhidos rotineiramente nos registos dos utentes e nos registos cliacutenicos
Disponiacuteveis imediatamente
Cobrem todos os tipos de serviccedilos de sauacutede e todas as aacutereas do paiacutes
Podem ser desagregados para os niacuteveis local e de distrito
Uso econoacutemico
Soacute lhe informam sobre clientes actuais sem informaccedilotildees sobre as pessoas que natildeo usam os serviccedilos de sauacutede e podem ser utentes em potencial
Natildeo fornecem informaccedilotildees sobre valores percepccedilotildees ou comportamentos da comunidade
Natildeo reflectem as pessoas que optam por fontes privadas de serviccedilos
Podem ser inexactas se os locais de prestaccedilatildeo de serviccedilos natildeo registarem os dados correctamente de forma legiacutevel e em tempo haacutebil
Inqueacuteritos de grande escala Inqueacuteritos de base populacional e avaliaccedilotildees de grande escala dos centros de sauacutede
Dados relevantes precisos e confiaacuteveis
Podem medir as tendecircncias nacionais de sauacutede identificar aacutereas com problemas e ajudar a concentrar os recursos do paiacutes em aacutereas de maior carecircncia
Geram valores meacutedios para as aacutereas urbanas e rurais regiotildees e proviacutencias
Fornecem um contexto para interpretar os dados recolhidos localmente
Podem gerar informaccedilotildees adicionais a partir dos seus conjuntos de dados informatizados
Geralmente natildeo podem desagregar os dados para fornecer meacutedias para as aacutereas sub-regionais (distritos ou municipalidades)
Geralmente natildeo satildeo realizadas anualmente os dados se tornam desactualizados rapidamente se as populaccedilotildees ou condiccedilotildees de sauacutede se modificarem rapidamente
Avaliaccedilotildees raacutepidas Meacutetodos focados para avaliar as necessidades locais e tomar decisotildees em acircmbito local
Raacutepidas e econoacutemicas
Resultam em acccedilatildeo local
Haacute directrizes para ajudar os gestores em vaacuterias dessas teacutecnicas
Fornecem aos gestores a capacidade de recolher os dados necessaacuterios
Os inqueacuteritos domiciliares (por ex LQAS ou CAP) podem obter precisatildeo suficiente para fins de avaliaccedilatildeo
Equilibra a necessidade de resultados representativos e objectivos com a necessidade de usar projectos levemente menos rigorosos que satildeo mais viaacuteveis em aacutereas locais
Usam escala e acircmbito reduzidos para produzir resultados em tempo haacutebil e de baixo custo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 937
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
dados que foram discutidas acima estatiacutesticas rotineiras de serviccedilos inqueacuteritos em grande escala e teacutecnicas de avaliaccedilatildeo raacutepida
Que niacutevel de qualidade os dados do SIS precisam ter para serem uacuteteis ndash que niacutevel de abrangecircncia precisatildeo e apresentaccedilatildeo em tempo haacutebil Para as suas necessidades de gestatildeo mesmo que natildeo sejam perfeitos os dados podem ser suficientemente bons para ter um efeito poderoso como nos mostra o exemplo de Madagascar
Dados do SIS pontos fortes e limitaccedilotildees
Subestimar o valor e a utilidade do SIS eacute infelizmente uma tendecircncia Eacute verdade que o SIS tem problemas frequentemente mas tambeacutem eacute grande o seu potencial Como vimos em
Como usar e melhorar dados imperfeitos do SIS ndash Um exemplo de Madagascar
Um SIS de base comunitaacuteria mais preciso e mais oportuno Um projecto de Madagascar implementou um meacutetodo baseado na comunidade para aumentar o uso de meacutetodos de planeamento familiar denominado ldquoComunidades Campeatildesrdquo em 50 dos 110 distritos do paiacutes O meacutetodo utilizou exclusivamente os dados do SIS para monitorar e avaliar as realizaccedilotildees das comunidades participantes
Em primeiro lugar foi estabelecida uma base de referecircncia para cada comunidade ao usar os dados do seu centro de sauacutede Em seguida o pessoal do centro de sauacutede e os representantes da comunidade identificaram metas para 10 indicadores que determinariam se uma comunidade tinha alcanccedilado a posiccedilatildeo de campeatilde apoacutes 12 meses de implementaccedilatildeo Cada comunidade monitorava seu proacuteprio progresso em uma reuniatildeo trimestral de verificaccedilatildeo
Apoacutes 12 meses o pessoal do projecto voltou a cada comunidade para avaliar os resultados Examinaram os dados do relatoacuterio de monitoria de rotina de cada centro de sauacutede e para cada indicador Prepararam tambeacutem um relatoacuterio sobre os dados de cada comunidade e o enviaram para o supervisor de niacutevel distrital para a sua confirmaccedilatildeo com base nos registos informatizados do distrito As fontes de dados para os relatoacuterios do centro de sauacutede e registos de distrito foram as mesmas (registos dos centros de sauacutede) e por isso raramente ocorreu uma discrepacircncia Mas o que interessava era envolver o supervisor distrital no exame dos dados do centro de sauacutede para mostrar a utilidade de se usar ateacute mesmo dados simples nesse niacutevel
O projecto tambeacutem cooperou com o Ministeacuterio da Sauacutede a niacutevel distrital para melhorar a precisatildeo a abrangecircncia e a prontidatildeo do SIS A ecircnfase era obter dados mais completos dos centros de sauacutede e reduzir o tempo gasto pelo escritoacuterio distrital para receber o relatoacuterio do centro de sauacutede apreciaacute-lo devolvecirc-lo ao centro para qualquer correcccedilatildeo recebecirc-lo novamente dar entrada dos dados no sistema e finalmente enviaacute-los ao niacutevel central Os distritos satildeo responsaacuteveis por cooperar com os centros de sauacutede para melhorar o registo de dados e actualizar suas proacuteprias teacutecnicas de processamento de dados
Apoacutes dois anos de assistecircncia teacutecnica o SIS tinha realmente melhorado segundo os indicadores de precisatildeo abrangecircncia e prontidatildeo As melhorias mais notaacuteveis foram em prontidatildeo o tempo gasto pelo escritoacuterio distrital no processo descrito acima reduziu-se de 12 para 3 meses
Imperfeitas mais mesmo assim valiosos Deve-se lembrar que o projecto ldquoComunidades Campeatildesrdquo teve oacuteptimo resultado apesar dos dados imperfeitos Seu numerador (o nuacutemero de utentes regulares de planeamento familiar) era detalhado e preciso Mas suas estimativas das taxas de prevalecircncia do uso de contraceptivos natildeo eram muito precisas porque o denominador (nuacutemero de mulheres em idade reprodutiva) era apenas uma estimativa baseada num censo desactualizado e em estimativas anuais do governo sobre percentagens de crescimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 938
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Madagascar o projecto Comunidades Campeatildes melhorou o sistema substancialmente num periacuteodo de dois anos Nesse caso o sistema jaacute se encontrava relativamente funcional porque projectos anteriores haviam feito um grande esforccedilo para implantar o sistema e tornaacute-lo mais soacutelido Ao aprimorar a forma como o sistema era administrado e os dados eram usados o projecto posterior conseguiu fazer uma grande diferenccedila por meio de pequenas modificaccedilotildees
Os dados do SIS natildeo satildeo 100 exactos e nunca seratildeo Esta eacute a realidade com a qual todos os gestores tecircm que trabalhar Mas os dados natildeo precisam ser perfeitos para serem uacuteteis Eacute possiacutevel fazer a monitoria e a gestatildeo com dados imperfeitos Informaccedilotildees obtidas em tempo
(continuaccedilatildeo)
No entanto o projecto constatou que as taxas de prevalecircncia de uso de contraceptivos eram suficientemente boas para acompanhar o desempenho das comunidades que participavam do meacutetodo de Comunidades Campeatildes O pessoal do projecto tambeacutem complementou as comparaccedilotildees dessas taxas com as comparaccedilotildees dos valores do numerador nuacutemeros simples que faziam sentido para o pessoal do centro de sauacutede e tambeacutem para as comunidades
O niacutevel central comeccedilou a organizar workshops regionais trimestrais para divulgar os resultados ao niacutevel distrital Juntos os gestores dos niacuteveis distritais regionais e centrais analisaram o progresso e classificaram os distritos com base no seu desempenho Usaram a anaacutelise de causa-raiz ndash um processo que identifica as causas subjacentes de um problema ndash para entender os obstaacuteculos enfrentados pelos distritos que apresentavam baixo desempenho (Consulte o Apecircndice A no Capiacutetulo 2 deste guia para obter mais informaccedilotildees sobre a anaacutelise de causa-raiz) Finalmente o Ministeacuterio de Sauacutede mobilizou o apoio de agecircncias doadoras e de organizaccedilotildees parceiras para ajudaacute-los a melhorar
O ministeacuterio comeccedilou a usar as informaccedilotildees de sauacutede para administrar realmente o sistema de sauacutede Antes dessa intervenccedilatildeo poucas organizaccedilotildees confiavam ou utilizavam os dados do SIS Mas quando ficou claro que o sistema funcionava as agecircncias doadoras passaram a confiar as organizaccedilotildees parceiras passaram a utilizaacute-lo e o ministeacuterio se orgulhou do trabalho Pela primeira vez tinham uma visatildeo mais niacutetida do que acontecia em todo o paiacutes e podiam usar essas informaccedilotildees para buscar o apoio de agecircncias doadoras se necessaacuterio
Do mesmo modo os centros de sauacutede raramente usavam seus proacuteprios dados Eles simplesmente faziam os registos e os enviavam para o escritoacuterio distrital sem nem mesmo receber retroinformaccedilatildeo do mesmo Apoacutes a conclusatildeo do projecto perceberam como os dados mais precisos podiam ser usados em seu benefiacutecio e das comunidades
Os distritos tambeacutem actuavam antes de uma forma pouco informada Cada distrito dependia apenas dos seus proacuteprios dados e funcionava num vaacutecuo As mudanccedilas no SIS e o encorajamento do governo central forneceram aos distritos oportunidades para comparar seu trabalho e aprender uns com os outros
Aprendizagem com dados mais precisos completos e oportunos Os dados satildeo geralmente utilizados para fazer comparaccedilotildees mas satildeo menos frequentemente utilizados como ferramenta de aprendizagem Nesse caso depois que os relatoacuterios comeccedilaram a chegar dentro do prazo o Ministeacuterio da Sauacutede usou os dados ndash inclusive dados imperfeitos ndash para descobrir que distritos tinham um desempenho ruim e que distritos estavam melhor que os outros Assim aprenderam com os de melhor desempenho ao perguntar Por que seus resultados satildeo tatildeo bons O que estavam a fazer de diferente O que poderia ser replicado Finalmente aplicaram a aprendizagem ao usar esses distritos como modelos e ao oferecer mais apoio aos de pior desempenho
Todo o sistema de sauacutede se entusiasmou com as informaccedilotildees que podiam produzir e usar A comeccedilar do topo esse entusiasmo chegou aos niacuteveis inferiores e os motivou a melhorar sua recolha e processamento de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 939
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
haacutebil e com 75 de precisatildeo satildeo melhores que as informaccedilotildees com 95 de precisatildeo que chegam com vaacuterios meses de atraso
Apesar do seu grande valor por si soacutes os dados do SIS natildeo atenderatildeo a todas as necessidades de informaccedilatildeo de muitas organizaccedilotildees Algumas organizaccedilotildees e agecircncias doadoras precisam de dados que exigem avaliaccedilotildees ou sistemas especiais Aleacutem disso vaacuterias intervenccedilotildees foram projectadas para modificar o conhecimento as atitudes e as praacuteticas dos beneficiaacuterios factores que natildeo satildeo capturados nos dados de serviccedilo Eacute importante usar os dados do SIS sempre que possiacutevel e complementaacute-los com avaliaccedilotildees locais quando necessaacuterio
Como gestor de um programa de sauacutede ou de serviccedilos de sauacutede parte do seu trabalho deveria ser o de melhorar o SIS em seu paiacutes Ele eacute o uacutenico sistema de informaccedilotildees sustentaacutevel na maioria dos paiacuteses Os sistemas de informaccedilatildeo criados e mantidos por agecircncias doadoras ou organizaccedilotildees externas tecircm duraccedilatildeo limitada mas o SIS eacute parte permanente do seu legado
Se todos os parceiros e agecircncias doadoras trabalharem com o Ministeacuterio de Sauacutede para prestar assistecircncia teacutecnica e financeira ao SIS ele poderaacute render informaccedilotildees que trazem grandes melhorias para os serviccedilos de sauacutede e que justificam plenamente o investimento no mesmo
Praacuteticas comprovadas
Um sistema de MampA deveria proporcionar aos gestores o que eles precisam saber para agir Deve se basear em indicadores relevantes faacuteceis de usar e que possam ser fornecidos em tempo haacutebil para os ciclos de planeamento e apresentaccedilatildeo de relatoacuterios
Os resultados de MampA natildeo se destinam apenas ao pessoal de MampA da sua organizaccedilatildeo ou agrave agecircncia doadora As informaccedilotildees de MampA satildeo um recurso fundamental para as acccedilotildees e a aprendizagem Se o seu processo de MampA tiver mecanismos de retroinformaccedilatildeo que permitam aos tomadores de decisotildees reflectirem sobre os resultados e absorverem o que precisam para seus proacuteprios fins eles assumiratildeo o controlo do processo e utilizaratildeo o que ele oferecer
Se vocecirc define suas actividades de MampA no comeccedilo de uma intervenccedilatildeo ou projecto junto com o plano de acccedilatildeo para o projecto teraacute mais oportunidades de orientar e acompanhar a implementaccedilatildeo das actividades
Quando satildeo demasiado elaborados e complicados os planos de MampA natildeo satildeo usados Elabore um plano de MampA simples escolha ferramentas de monitoria faacuteceis de usar e seleccione a menor quantidade possiacutevel de indicadores para acompanhar o progresso e introduzir as mudanccedilas necessaacuterias ao longo do caminho
Para fortalecer um SIS eacute preciso trabalhar com as pessoas envolvidas os responsaacuteveis pelo sistema que registam transferem analisam comunicam e utilizam os dados e as informaccedilotildees para a gestatildeo dos serviccedilos
Ao fornecer os dados do SIS para os tomadores de decisotildees vocecirc deve reconhecer as diferenccedilas na frequecircncia dos relatoacuterios e nas quantidades de dados agregados e desagregados necessaacuterios aos niacuteveis diferentes de governo ou agraves organizaccedilotildees natildeo governamentais
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 95
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A Avaliaccedilatildeo por outro lado eacute usada para avaliar a eficaacutecia (e por vezes o custo) dos esforccedilos para melhorar os serviccedilos e para prevenir e controlar os problemas prioritaacuterios de sauacutede A avaliaccedilatildeo mede os resultados a meacutedio e longo prazo e o impacto Avalia em que medida sua organizaccedilatildeo estaacute a atingir os resultados esperados e o ajuda a entender por que os resultados foram ou natildeo atingidos A avaliaccedilatildeo eacute tambeacutem uma oportunidade de aprendizado constante a partir das experiecircncias
Portanto o primeiro factor que diferencia a monitoria da avaliaccedilatildeo eacute uma diferenccedila de propoacutesito A monitoria eacute motivada por uma necessidade de gestatildeo ao passo que a avaliaccedilatildeo eacute motivada pela necessidade de documentar os resultados a meacutedio e longo prazo de uma intervenccedilatildeo e relataacute-los a uma agecircncia doadora ou a outros grupos de interesse A monitoria portanto se concentra na implementaccedilatildeo operacional ao passo que a avaliaccedilatildeo se concentra nos efeitos das actividades sobre a sauacutede da populaccedilatildeo-alvo
Isso nos leva a uma segunda diferenccedila criacutetica o periacuteodo durante o qual cada uma delas eacute usada A monitoria eacute um processo rotineiro e constante usado durante toda a intervenccedilatildeo A avaliaccedilatildeo requer a recolha de dados basais preliminares (como referecircncia) e de dados apoacutes a intervenccedilatildeo que lhe permitem comparar as mudanccedilas durante o periacuteodo da intervenccedilatildeo e agraves vezes apoacutes um periacuteodo adequado de acompanhamento
Por uacuteltimo uma terceira diferenccedila diz respeito agraves fontes de informaccedilatildeo que cada funccedilatildeo utiliza Os dados para a monitoria geralmente provecircm do que estaacute imediatamente disponiacutevel do sistema de informaccedilatildeo de sauacutede ou de registos de serviccedilos de rotina As estatiacutesticas dos serviccedilos fornecem dados de monitoria tais como stocks de suprimentos nuacutemeros de doses de vacinas ministradas mensalmente e resultados de utentes Os dados de monitoria tambeacutem podem ser obtidos ao compilar os registos de rotina da organizaccedilatildeo Um exemplo satildeo as listas de participantes de workshops de formaccedilatildeo que podem dar informaccedilotildees sobre o nuacutemero de pessoas que receberam formaccedilatildeo sobre um toacutepico especiacutefico
Os indicadores de impacto e de resultados a meacutedio e longo prazo devem ser medidos no niacutevel dos beneficiaacuterios ou da populaccedilatildeo e devem ser obtidos por meio de uma avaliaccedilatildeo Por exemplo para determinar o resultado a meacutedio e longo prazo de uma iniciativa de orientaccedilatildeo sobre planeamento familiar precisaria saber a percentagem de mulheres entre as orientadas que de facto adoptaram um meacutetodo de planeamento familiar Natildeo poderia obter essas informaccedilotildees a partir das estatiacutesticas sobre serviccedilos nem de registos de rotina da organizaccedilatildeo precisaria realizar um inqueacuterito para recolher os dados
Medidas comuns em uma avaliaccedilatildeo incluem as mudanccedilas de uso dos serviccedilos de sauacutede de um periacuteodo para outro a proporccedilatildeo de partos seguros a cobertura de serviccedilos de imunizaccedilatildeo e as mudanccedilas no conhecimento atitudes ou comportamento de um grupo-alvo
Praacuteticas de lideranccedila e gestatildeo para a monitoria e a avaliaccedilatildeo Apesar das diferenccedilas entre monitoria e avaliaccedilatildeo as duas funccedilotildees seratildeo optimizadas se usar outras praacuteticas de lideranccedila e gestatildeo quando executar tarefas de monitoria ou avaliaccedilatildeo Por exemplo monitoria e avaliaccedilatildeo ndash uma das praacuteticas de gestatildeo discutidas no Capiacutetulo 2 deste manual ndash exigem que vocecirc focalize as metas e prioridades e use suas habilidades de exploraccedilatildeo para recolher e analisar os dados apropriados Em resposta aos resultados recolhidos por meio da monitoria e avaliaccedilatildeo talvez precise focalizar e alinhar e mobilizar o pessoal para modificar os planos de intervenccedilatildeo de modo a obter resultados melhores A depender da medida em que as actividades estejam a atingir seus objectivos e os resultados esperados vocecirc poderaacute tambeacutem utilizar as informaccedilotildees de MampA para inspirar o pessoal a melhorar seu desempenho ou continuar a fazer um bom trabalho
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 96
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para gerir as actividades de MampA precisaraacute desenvolver um plano de MampA e entatildeo organizar as estruturas subsistemas e processos para implementar o plano Finalmente teraacute que monitorar e avaliar o programa de MampA para determinar o progresso no alcance dos resultados esperados
As principais praacuteticas de lideranccedila e gestatildeo discutidas aqui e no Capiacutetulo 2 deste manual satildeo tambeacutem descritas em detalhes no Centro de Recursos Electroacutenicos da MSH da secccedilatildeo de Desenvolvimento da Lideranccedila intitulada ldquoComo criar liacutederes que lideramrdquo
De quem eacute a MampA
Quem utiliza a MampA Quem precisa de informaccedilotildees de sauacutede Os gestores de todos os niacuteveis de uma organizaccedilatildeo tecircm interesse em utilizar as informaccedilotildees como base para a acccedilatildeo Isso lhes permite serem gestores e liacutederes eficazes em todos os niacuteveis Na verdade os gestores constituem a fundaccedilatildeo do sistema de MampA
O problema eacute que a funccedilatildeo de MampA nem sempre eacute integrada agrave organizaccedilatildeo Em muitos casos as organizaccedilotildees ndash e por vezes as agecircncias doadoras ndash actuam como se a MampA fosse responsabilidade apenas do pessoal de MampA Sem um processo adequado de comunicaccedilatildeo e retroinformaccedilatildeo as informaccedilotildees e o conhecimento poderiam permanecer nas matildeos do pessoal de MampA Como consequecircncia os resultados (bons ou maus) nem sempre satildeo informados agraves pessoas que precisam deles e as informaccedilotildees natildeo satildeo utilizadas para as decisotildees de gestatildeo
Eacute muito frequente por exemplo que se realize uma avaliaccedilatildeo e se produzam informaccedilotildees para atender agraves necessidades de uma agecircncia doadora ou uma agecircncia do governo e natildeo para melhorar os serviccedilos de uma organizaccedilatildeo Uma forma de garantir que os resultados da avaliaccedilatildeo sejam usados eacute fazer com que os gestores de todos os niacuteveis de uma organizaccedilatildeo desde o centro de sauacutede ateacute o Ministeacuterio da Sauacutede detenham o controlo dos processos e dos resultados de MampA
Necessidades de informaccedilatildeo em niacuteveis diferentes Nem todas as informaccedilotildees satildeo necessaacuterias em todos os niacuteveis e a todo o tempo Gestores agecircncias doadoras e o governo central podem precisar de informaccedilotildees diferentes em momentos diferentes para cumprir seus requisitos de apresentaccedilatildeo de relatoacuterios e para tomar decisotildees Os gestores de projectos financiados por agecircncias doadoras por exemplo trabalham geralmente em um ciclo trimestral ou bienal de apresentaccedilatildeo de relatoacuterios ao passo que o Ministeacuterio da Sauacutede pode precisar de dados que cubram um periacuteodo de trecircs a cinco anos para demonstrar seu impacto e para apresentaacute-los aos poliacuteticos e aos meios de comunicaccedilatildeo
As necessidades de informaccedilatildeo de um sistema de sauacutede podem ser vistas sob a forma de uma hierarquia A Figura 3 mostra que se necessita de volumes cada vez menores de informaccedilatildeo agrave medida que se sobe nos niacuteveis de uma organizaccedilatildeo Existe um conjunto baacutesico de informaccedilotildees de que os gestores de todos os niacuteveis precisam mas apenas um pequeno subconjunto dessas informaccedilotildees eacute necessaacuterio no niacutevel nacional No niacutevel de distrito e dos centros de sauacutede os gestores precisam de informaccedilotildees desagregadas e de forma contiacutenua porque eacute nesses niacuteveis que se empreendem acccedilotildees em resposta a dados operacionais (por ex falta de estoque e abandono de tratamento)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 97
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria dos indicadores operacionais tem menos importacircncia no niacutevel nacional Os que tomam decisotildees no niacutevel nacional precisam na verdade de indicadores que meccedilam o impacto dos programas e serviccedilos de sauacutede no estado de sauacutede a longo prazo Por isso deve-se projectar um SIS para atender a todos os seus utentes fornecendo informaccedilotildees confiaacuteveis a curto meacutedio e longo prazo
No niacutevel do centro de sauacutede por exemplo os gestores recolheriam e utilizariam informaccedilotildees sobre a distribuiccedilatildeo mensal de contraceptivos medicamentos fora de estoque e abandono de tratamento Nos niacuteveis distritais e provinciais ou na sede de uma ONG de grande porte as informaccedilotildees mais uacuteteis seriam taxas anuais de prevalecircncia do uso de contraceptivos ao passo que para o Ministeacuterio de Sauacutede poderiam ser as taxas de mortalidade e morbidade materna a intervalos de trecircs a cinco anos
Para uma discussatildeo mais detalhada sobre a hierarquia das necessidades de informaccedilotildees consulte um artigo no website da OMS
Princiacutepios para uma melhor gestatildeo das informaccedilotildees O Capiacutetulo 1 deste manual afirma que nenhum sistema de gestatildeo pode ser fortalecido se as pessoas natildeo forem incluiacutedas no processo O mesmo se aplica a um SIS Eacute preciso trabalhar com as pessoas envolvidas aquelas que controlam o sistema e registam transferem analisam comunicam e usam os dados e informaccedilotildees para gerir os serviccedilos
Como deveriacuteamos trabalhar com as pessoas no SIS O Quadro 1 apresenta os princiacutepios baacutesicos para criar um SIS eficiente ou melhorar a gestatildeo das informaccedilotildees O objectivo eacute aumentar a disponibilidade e a confiabilidade das informaccedilotildees para que possam ser usadas com mais eficaacutecia na gestatildeo das organizaccedilotildees de sauacutede e dos serviccedilos Esses princiacutepios enfatizam a necessidade da participaccedilatildeo integral de todo o pessoal do SIS e dos gestores e profissionais de sauacutede que utilizaratildeo as informaccedilotildees
FIGURA 3 Hierarquia das necessidades de informaccedilotildees
Informaccedilotildees utilizadas por gestores de programa nacional
Informaccedilotildees recolhidas pelo centro de sauacutede e aiacute utilizadas
Informaccedilotildees exigidas por autoridade nacional
Informaccedilotildees adicionais exigidas por distrito ou departamento municipal
Informaccedilotildees adicionais exigidas para direcccedilatildeo do centro de sauacutede
Fonte Reproduzido com autorizaccedilatildeo de ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo por Vincent Shaw 2005
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 98
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
QUADRO 1 Princiacutepios orientadores para melhorar a gestatildeo das informaccedilotildees
Entenda as funccedilotildees e responsabilidades dos serviccedilos de sauacutede Como o SIS estaacute vinculado ao ciclo de gestatildeo de sauacutede um preacute-requisito para melhorar o SIS eacute entender claramente as funccedilotildees e responsabilidades de cada serviccedilo de sauacutede programa niacutevel de operaccedilotildees e sector (puacuteblico privado comunitaacuterio OSC ONG) envolvido na prestaccedilatildeo de serviccedilos de sauacutede
Focalize na melhoria da sauacutede e dos serviccedilos de sauacutede Quaisquer mudanccedilas nos registos e relatoacuterios de sauacutede devem ser feitas com vistas a melhorar o desempenho dos serviccedilos de sauacutede Eacute importante buscar formas de atender agraves necessidades de informaccedilatildeo em niacuteveis superiores do sistema de sauacutede sem pedir aos gestores e profissionais de sauacutede que registem e reportem dados que natildeo sejam utilizados no niacutevel da prestaccedilatildeo de serviccedilos
Fortaleccedila os sistemas existentes Apesar de ser tentador reformular completamente os sistemas e integrar sistemas paralelos de registos que satildeo especiacuteficos a certos programas o tempo dinheiro interrupccedilatildeo e outros custos de fazer isso satildeo maiores que os possiacuteveis benefiacutecios Poucos esforccedilos para desenvolver SIS totalmente integrados tiveram sucesso Uma opccedilatildeo melhor eacute definir padrotildees de formatos e codificaccedilatildeo de dados que facilitem o intercacircmbio de dados entre sistemas separados
Procure garantir a aceitaccedilatildeo em niacutevel nacional Todas as actividades para desenvolver ou melhorar um sistema de informaccedilotildees devem ser realizadas por grupos de trabalho do proacuteprio paiacutes sob a gestatildeo de pessoal nacional Eacute essencial ter a participaccedilatildeo natildeo soacute do pessoal ligado aos sistemas de informaccedilatildeo mas tambeacutem de gestores e prestadores de serviccedilos esses uacuteltimos as principais pessoas para dar informaccedilotildees Se for necessaacuterio usar um consultor externo essa pessoa deve assumir um papel de facilitador que permita que o pessoal local desenvolva seu proacuteprio sistema Por meio da participaccedilatildeo activa eles entenderatildeo e assumiratildeo o controlo dos meacutetodos e instrumentos do sistema e ao fazer isso se tornaratildeo melhores para mantecirc-lo
Reforce as habilidades do pessoal de sauacutede Essas habilidades incluem registar relatar transmitir processar apresentar analisar e interpretar os dados e usaacute-los para a tomada de decisotildees Usar e manter sistemas de computaccedilatildeo eacute algo que tambeacutem pode ser ensinado O meacutetodo recomendado para desenvolver habilidades eacute ldquoaprender ao fazerrdquo atraveacutes do seguinte
workshops no local de serviccedilo em que pessoal do serviccedilo de sauacutede e os gestores de dados trabalham juntos para solucionar problemas reais usando dados reais
envolver o pessoal nacional nos estudos de planeamento e implementaccedilatildeo e no desenho das mudanccedilas do sistema
esclarecer os papeacuteis e responsabilidades atraveacutes da promoccedilatildeo do consenso
Use a tecnologia de forma apropriada Vocecirc pode usar computadores para a manutenccedilatildeo de banco de dados geraccedilatildeo de relatoacuterios anaacutelise de dados e comunicaccedilotildees se seus sistemas de computaccedilatildeo e software puderem ser mantidos localmente com pessoal jaacute existente Mas certifique-se de que a informatizaccedilatildeo natildeo prejudicaraacute o fluxo e acesso aos dados natildeo sobrecarregaraacute as pessoas de trabalho e natildeo estimularaacute a falsificaccedilatildeo dos dados o que reduziria a confiabilidade dos mesmos
Aceda ao Centro de Recursos Electroacutenicos da MSH para obter enlaces (links) para orientaccedilatildeo adicional sobre gestatildeo de informaccedilotildees
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 99
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria como um caminho para a acccedilatildeo
A IMPORTAcircNCIA DA MONITORIA DE ROTINA
Por que soacute a avaliaccedilatildeo natildeo basta Na comunidade envolvida com o desenvolvimento algumas organizaccedilotildees tendem a confiar mais nos estudos de avaliaccedilatildeo do que numa soacutelida monitoria dos programas Muitas pretendem executar tanto a monitoria quanto a avaliaccedilatildeo mas na praacutetica geralmente dedicam mais tempo e recursos agrave avaliaccedilatildeo
As agecircncias doadoras os governos e as organizaccedilotildees podem preferir as avaliaccedilotildees porque elas fornecem evidecircncias mais palpaacuteveis de progresso tais como a prevalecircncia do uso de contraceptivos (uma medida tiacutepica de resultado a meacutedio e longo prazo para planeamento familiarsauacutede reprodutiva) medida por meio de um inqueacuterito anual domiciliar
A monitoria natildeo pode produzir o indicador de resultado a meacutedio e longo prazo ndash a evidecircncia palpaacutevel de que esses contraceptivos estatildeo efectivamente a ser utilizados Ela pode apenas fornecer um indicador de progresso ou um marco de referecircncia ndash tal como a distribuiccedilatildeo mensal de contraceptivos ndash que lhe permite acompanhar o progresso em direcccedilatildeo agraves metas operacionais Vocecirc pode monitorar a distribuiccedilatildeo de produtos mas natildeo pode concluir que os produtos estejam a ser efectivamente utilizados
Mas para um gestor como vocecirc os dados sobre distribuiccedilatildeo satildeo exactamente o tipo de informaccedilatildeo de que precisa para demonstrar o progresso no alcance da meta e para fazer seu trabalho de forma eficaz
Veja por exemplo uma intervenccedilatildeo para a mudanccedila de comportamento no Peru a qual estaacute descrita e analisada no quadro abaixo
No contexto de serviccedilos de sauacutede do governo os gestores de distrito e de centros de sauacutede precisam monitorar tanto os indicadores de resultados a meacutedio e longo prazo como os indicadores de cobertura Os indicadores de cobertura informam ao gestor de sauacutede se os serviccedilos essenciais estatildeo a ser fornecidos a grupos-alvo especiacuteficos e permitem assim agir rapidamente para resolver falhas na prestaccedilatildeo de serviccedilos a subgrupos ou comunidades carentes
Um bom sistema de monitoria lhe fornece as informaccedilotildees criacuteticas para gerir a intervenccedilatildeo e tomar medidas correctivas imediatamente Uma avaliaccedilatildeo natildeo lhe daacute esse tipo de informaccedilatildeo Portanto quando se vecirc um bom sistema de monitoria eacute geralmente porque um gestor estaacute a impulsionaacute-lo porque precisa de informaccedilotildees de monitoria fornecidas pelo sistema de MampA para que o dito gestor possa comeccedilar a agir
COMO PRODUZIR INFORMACcedilOtildeES ACCIONAacuteVEIS
As informaccedilotildees accionaacuteveis satildeo dados que vocecirc pode usar para tomar uma decisatildeo e empreender uma acccedilatildeo Elas ajudam a identificar falhas de desempenho e encontrar maneiras de resolver essas falhas Para serem accionaacuteveis as informaccedilotildees obtidas com a monitoria devem se basear em indicadores uacuteteis produzidos em formato simples e em tempo haacutebil para o ciclo de planeamento ou apresentaccedilatildeo de relatoacuterios
ldquoAccionaacutevelrdquo significa coisas diferentes para diferentes utentes As informaccedilotildees de que o gestor precisa natildeo satildeo iguais agraves informaccedilotildees de que o director executivo de uma organizaccedilatildeo ou o ministeacuterio de sauacutede utilizariam para apresentar relatoacuterios para agecircncias doadoras poliacuteticos ou para a miacutedia
Como produzir informaccedilotildees accionaacuteveis para o gestor
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 910
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Em primeiro lugar os indicadores devem ser uacuteteis para o gestor Eles devem estar directamente relacionados com o plano operacional da organizaccedilatildeo (ou o plano de intervenccedilatildeo) e os resultados esperados Algumas organizaccedilotildees tecircm a tendecircncia de focalizar a monitoria do processo entre os inqueacuteritos sobre conhecimentos atitudes e praacuteticas (CAP) Isso significa que monitoram os processos tais como a formaccedilatildeo Quem recebeu formaccedilatildeo Em que toacutepicos Quando Isto eacute importante mas natildeo o suficiente A monitoria do processo natildeo monitora o progresso para atingir os resultados simplesmente acompanha a conclusatildeo das actividades
Aleacutem da monitoria do processo os gestores tambeacutem precisam monitorar os indicadores substitutos que indicam o maacuteximo que vocecirc se aproximaraacute dos resultados reais durante a implementaccedilatildeo de um conjunto de actividades quando os resultados natildeo forem ainda facilmente mensuraacuteveis Os indicadores substitutos satildeo medidas indirectas que se aproximam de um alvo ou resultado ou representam esse alvo ou resultado quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis
Por exemplo no caso da prestaccedilatildeo de serviccedilos de planeamento familiar como determinados contraceptivos satildeo distribuiacutedos atraveacutes do centro de sauacutede os dados de monitoria deveriam vir do centro de sauacutede Apesar de natildeo se poder concluir que o resultado-alvo tenha sido atingido ndash que os produtos estejam efectivamente a ser utilizados pela populaccedilatildeo beneficiaacuteria ndash as informaccedilotildees sobre distribuiccedilatildeo fornecem pistas sobre a possibilidade de sucesso das actividades A maioria dos dados para monitorar os indicadores substitutos pode ser obtida a partir do SIS
As informaccedilotildees accionaacuteveis devem ser fornecidas em um formato utilizaacutevel Os gestores frequentemente recebem um excesso de informaccedilotildees em um formato muito complicado Eacute
Em acccedilatildeo o monitoramento para melhor gestatildeo de programas ndash Um exemplo do Peru
Uma organizaccedilatildeo de planeamento familiar local no Peru fez uma campanha de comunicaccedilatildeo para aumentar a prevalecircncia do uso de contraceptivos na aacuterea de captaccedilatildeo da organizaccedilatildeo Criaram os materiais e deram formaccedilatildeo aos trabalhadores de sauacutede comunitaacuterios para educar as mulheres nas suas aldeias A organizaccedilatildeo pretendia realizar apenas um inqueacuterito para obter dados baacutesicos preliminares para depois realizar inqueacuteritos sobre conhecimentos atitudes e praacuteticas (CAP) Esses eram os passos iniciais necessaacuterios e os meacutetodos adequados para avaliar a eficaacutecia da campanha mas a questatildeo eacute se forneceriam dados suficientes e accionaacuteveis para atender agraves necessidades do gestor Natildeo porque os resultados viriam apoacutes a campanha ser concluiacuteda O gestor precisava de informaccedilotildees para tomar medidas correctivas enquanto a campanha de comunicaccedilatildeo estava em andamento
Coloque-se no lugar do gestor nesse cenaacuterio O que precisaria monitorar Poderia comeccedilar com a distribuiccedilatildeo mensal de contraceptivos durante a campanha de comunicaccedilatildeo usando dados faacuteceis de obter do depoacutesito de suprimentos O movimento do stock dos produtos contraceptivos na cadeia de suprimentos indicaria que a campanha estava a criar uma demanda ao passo que nenhum movimento poderia indicar que a campanha ou o sistema de fornecimento natildeo estava a funcionar adequadamente Notam-se picos de distribuiccedilatildeo durante a campanha O movimento de contraceptivos eacute maior durante a campanha do que era antes
Se natildeo notar mudanccedilas apoacutes dois ou trecircs meses saberaacute que algo precisa ser modificado na campanha de comunicaccedilatildeo ou na cadeia de suprimentos ou em ambas Teraacute que fazer visitas ao local para descobrir os motivos O problema eacute a falta de stock Natildeo houve mudanccedila na distribuiccedilatildeo porque natildeo haacute produtos disponiacuteveis Ou natildeo houve mudanccedila porque a estaccedilatildeo de raacutedio natildeo transmitiu o anuacutencio informativo Ou talvez os agentes de distribuiccedilatildeo da comunidade nunca receberam os papeacuteis gigantes e os modelos de que precisavam para educar as mulheres nas suas comunidades
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 911
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
preciso ter uma ferramenta simples que lhe forneccedila apenas informaccedilotildees essenciais Poderaacute aprender mais sobre essas ferramentas na secccedilatildeo deste capiacutetulo intitulada ldquoCaracteriacutesticas de uma boa ferramenta de monitoriardquo
Por uacuteltimo os gestores precisam receber informaccedilotildees em tempo haacutebil para que possam agir imediatamente Os projectos implementados pelas organizaccedilotildees com fundos do governo ou de uma agecircncia doadora satildeo frequentemente conduzidos em dois periacuteodos de tempo
Por exemplo vocecirc poderaacute gerir um projecto que se estende por cinco anos desmembrado em ciclos anuais de apresentaccedilatildeo de relatoacuterios com base em planos de operaccedilatildeo anuais Mas para monitorar o plano anual e apresentar os relatoacuterios necessaacuterios vocecirc precisa de informaccedilotildees trimestrais Se os seus centros de sauacutede apresentarem os dados apoacutes o prazo estabelecido as informaccedilotildees natildeo chegaratildeo a tempo para os seus relatoacuterios
Informaccedilotildees em acccedilatildeo para melhorar os serviccedilos ndash experiecircncias da Boliacutevia e da Aacutefrica do Sul
Uso de informaccedilotildees para mobilizar a cadeia de suprimentos O programa de suplementaccedilatildeo de aacutecido foacutelico e ferro na Boliacutevia foi uma actividade de mobilizaccedilatildeo comunitaacuteria implementada por vaacuterias ONGs em aacutereas rurais do paiacutes
Surgiu um problema apoacutes apenas trecircs meses de implementaccedilatildeo Se a gestora tivesse confiado apenas na monitoria do processo teria visto que todas as actividades haviam sido executadas dentro do prazo e conforme planeadas Poreacutem os dados mensais dos centros de sauacutede das aacutereas de captaccedilatildeo atendidas pelo programa revelaram que em vaacuterias comunidades a distribuiccedilatildeo de ferro e aacutecido foacutelico para graacutevidas havia sido nula desde o primeiro mecircs de implementaccedilatildeo do programa
A gestora investigou imediatamente e descobriu que 16 centros de sauacutede estavam com faltas de stock Apesar de haver um protocolo escrito para a distribuiccedilatildeo de ferro e aacutecido foacutelico e de todos os centros de sauacutede possuiacuterem supostamente o produto nos seus stocks historicamente natildeo havia demanda para esse produto Os centros de sauacutede haviam decidido haacute muito tempo natildeo tecirc-lo mais em stock
A gestora levou o problema agrave atenccedilatildeo do vice-ministro de sauacutede e em poucos dias o Ministeacuterio da Sauacutede mobilizou toda a sua cadeia de suprimentos para garantir que havia um stock suficiente em toda a cadeia No final do ano a suplementaccedilatildeo de ferro e aacutecido foacutelico havia melhorado dramaticamente em todo o paiacutes Tudo isso aconteceu graccedilas a uma simples ferramenta de monitoria mensal que permitiu que a gestora tomasse medidas correctivas no iniacutecio da implementaccedilatildeo
Simplificaccedilatildeo da recolha de dados e estiacutemulo ao uso dos dados Sabe-se que se a recolha e o processamento dos dados forem muito complicados a qualidade e o uso dos mesmos tendem a diminuir Na Aacutefrica do Sul o pessoal de enfermagem dos centros de sauacutede eacute geralmente solicitado a executar duas funccedilotildees (1) cuidar dos utentes do sistema e (2) recolher e utilizar dados O problema eacute que esse pessoal se dedica principalmente a prestar cuidados e considera a recolha de dados uma sobrecarga de trabalho desnecessaacuteria aleacutem de suas actividades quotidianas
Um grupo de enfermeiras da Aacutefrica do Sul que reconheceu a importacircncia das informaccedilotildees para a prestaccedilatildeo dos serviccedilos decidiu tornar a recolha e uso de dados de rotina parte do seu trabalho diaacuterio Entenderam que era necessaacuterio reduzir a quantidade de dados necessaacuterios e simplificar o processo de recolha
Como resultado criaram uma lista itemizada ou lista de verificaccedilatildeo que lhes permitia ter ao final de cada dia um quadro raacutepido dos serviccedilos que haviam prestado No final do mecircs podiam tabular rapidamente e analisar os dados sobre seus serviccedilos Esse tipo de sumaacuterio diaacuterio e mensal das suas actividades foi extremamente satisfatoacuterio Ele motivou seu uso contiacutenuo para monitorar analisar e melhorar os serviccedilos
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 912
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Abordagens e ferramentas praacuteticas de MampA
QUADROS DE REFEREcircNCIA PARA A FORMULACcedilAtildeO MONITORIA E AVALIACcedilAtildeO DOS SERVICcedilOS DE SAUacuteDE
Os resultados de intervenccedilotildees programaacuteticas e nos serviccedilos de sauacutede podem ser medidos em niacuteveis variados Muitas directrizes de MampA se baseiam numa sequecircncia de cinco niacuteveis de resultados insumos actividades produtos resultados e impactos A Figura 4 resume os niacuteveis de resultados que podem ser monitorados e avaliados
Para compreender melhor a sequecircncia de resultados considere as definiccedilotildees abaixo
Insumos Os materiais e recursos necessaacuterios para executar o plano de implementaccedilatildeo da sua unidade ou equipa e obter o resultado esperado Os exemplos incluem os recursos financeiros teacutecnicos humanos suprimentos e produtos essenciais
Processo As actividades executadas por meio do seu plano de implementaccedilatildeo Os exemplos incluem a formaccedilatildeo dos profissionais de sauacutede a melhoria do sistema de gestatildeo de suprimentos e a distribuiccedilatildeo de meios de planeamento familiar
Produtos Eacute o resultado imediato de uma actividade Os exemplos incluem o nuacutemero de pessoas formadas o nuacutemero de novos utentes de contraceptivos e a quantidade de produtos distribuiacutedos
Resultados (a meacutedio e longo prazo) Eacute uma mudanccedila de curto prazo em um grupo da populaccedilatildeo como resultado de uma seacuterie de actividades Os exemplos incluem as mudanccedilas na cobertura do atendimento preacute-natal na proporccedilatildeo de partos seguros no conhecimento e atitudes sobre meacutetodos de planeamento familiar e sauacutede reprodutiva nas necessidades ainda natildeo atendidas de planeamento familiar e nas taxas de prevalecircncia do uso de contraceptivos
Impacto Mudanccedilas a longo prazo dentro de um grupo da populaccedilatildeo beneficiaacuteria Os exemplos incluem mudanccedilas na taxa total de fertilidade e nas taxas de mortalidade e morbidade maternas
Dois tipos de quadros de referecircncia satildeo comummente utilizados para planear e organizar a formulaccedilatildeo de uma intervenccedilatildeo ou serviccedilo e o seu plano de MampA quadros loacutegicos e quadros conceptuais
FIGURA 4 Niacuteveis da sequecircncia de resultados
InsumosProcessos
(actividades)Produtos Resultados Impacto
recursos humanos
recursos financeiros
equipa-mentos
centros de sauacutede
poliacuteticas
reuniotildees formaccedilatildeo supervisatildeo serviccedilos
nuacutemero de pessoal formado
nuacutemero de clientes
nuacutemero de produtos
melhor supervisatildeo
melhoria da cadeia de frio
mudanccedila no conheci-mento
mudanccedila no comporta-mento
mudanccedila nas praacuteticas
melhores serviccedilos
mudanccedila das taxas de doenccedila
mudanccedilas das taxas de oacutebitos
mudanccedila das taxas de nascimento
mudanccedilas das taxas de fertilidade
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 913
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
QUADROS LOacuteGICOS
Desde a elaboraccedilatildeo em 1969 de uma abordagem de quadro loacutegico para a USAID (Agecircncia dos EUA para o Desenvolvimento Internacional) os quadros loacutegicos (tambeacutem denominados Modelos Loacutegicos) foram adoptados depois de vaacuterias adaptaccedilotildees por vaacuterias organizaccedilotildees de desenvolvimento internacional e bilateral
A Figura 5 mostra os elementos de um Quadro Loacutegico
O Quadro Loacutegico ajuda os gestores e as equipas a responder a quatro perguntas principais
1 O que queremos realizar e por quecirc2 Como mediremos o sucesso 3 Que condiccedilotildees devem existir em cada fase da nossa intervenccedilatildeo4 Que recursos e processos seratildeo necessaacuterios para chegarmos laacute
Os Quadros Loacutegicos ajudam a identificar as conexotildees causais da sequecircncia de resultados insumos rarr processos (actividades) rarr produtos rarr resultados a meacutedio e longo prazo rarr impacto Essas conexotildees causais determinam a loacutegica da intervenccedilatildeo e orientam a selecccedilatildeo de indicadores para cada fase da sequecircncia de resultados
FIGURA 5 Elementos tiacutepicos de um quadro loacutegico
Objectivos IndicadoresFormas de verificaccedilatildeo Pressupostos
Meta O objectivo final ou impacto pretendido da intervenccedilatildeo
Medidas usadas para avaliar ateacute que ponto as metas foram atingidas
Meacutetodos e fontes de informaccedilatildeo para medir ou avaliar os indicadores de metas
Factores ou condiccedilotildees necessaacuterios para a sustentabilidade a longo prazo
PropoacutesitoResultado Mudanccedilas ou benefiacutecios esperados a serem conseguidos para utentes comunidades organizaccedilotildees ou sistemas
Medidas usadas para avaliar ateacute que ponto foi alcanccedilado o propoacutesito ou resultado
Meacutetodos e fontes de informaccedilatildeo para medir ou avaliar indicadores de propoacutesitoresultado
Factores ou condiccedilotildees necessaacuterios para o sucesso do programa nesse niacutevel e passagem para o seguinte niacutevel
Produtos Resultados directos e tangiacuteveis das actividades do programa que deveratildeo atingir o propoacutesito
Medidas usadas para avaliar ateacute que ponto os produtos foram apresentados
Meacutetodos e fontes de informaccedilatildeo para medir e avaliar os indicadores de produtos
Factores ou condiccedilotildees necessaacuterios para o sucesso do programa neste niacutevel e passagem para o seguinte niacutevel
ProcessosActividades Medidas tomadas por um programa para atingir os objectivos definidos
InsumosRecursos Pessoal tempo materiais e fundos necessaacuterios para executar as actividades
Meacutetodos e fontes de informaccedilatildeo utilizados para mostrar que as actividades foram concluiacutedas
Factores ou condiccedilotildees necessaacuterios para o sucesso do programa neste niacutevel e passagem para o seguinte niacutevel
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 914
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para entender como um Quadro Loacutegico explicita a loacutegica de uma intervenccedilatildeo examine novamente a Figura 5 Uma seacuterie de relacionamentos condicionais (ldquose entatildeordquo) conecta cada componente do Quadro Loacutegico
1 Se os recursos necessaacuterios estiverem disponiacuteveis e supondo-se que as condiccedilotildees sejam favoraacuteveis entatildeo as actividades do programa podem ser implementadas e
2 hellipse as actividades do programa forem implementadas com sucesso e supondo-se que existam condiccedilotildees favoraacuteveis especiacuteficas entatildeo os produtos e resultados esperados poderatildeo ser alcanccedilados e
3 hellipse os produtos e resultados esperados forem alcanccedilados e supondo-se que existam as condiccedilotildees favoraacuteveis especiacuteficas entatildeo a meta estrateacutegica poderaacute ser atingida
O Quadro Loacutegico pode ser uacutetil na conceptualizaccedilatildeo de um projecto durante o periacuteodo de planeamento e na avaliaccedilatildeo do progresso e aplicaccedilatildeo de medidas correctivas durante a implementaccedilatildeo Como qualquer outro quadro de referecircncia ele possui vantagens e desvantagens como mostra a Tabela 1
O Apecircndice A deste capiacutetulo fornece um exemplo de Quadro Loacutegico para um programa de visita domiciliar desenvolvido pelo Banco Interamericano de Desenvolvimento
QUADROS CONCEPTUAIS
Estes satildeo semelhantes aos Quadros Loacutegicos no sentido de que descrevem uma sequecircncia de resultados mas levam em consideraccedilatildeo as razotildees subjacentes de por que ocorrem as mudanccedilas ao longo da sequecircncia de resultados Enquanto os Quadros Loacutegicos simplesmente afirmam que as actividades traratildeo resultados ainda maiores os quadros conceptuais permitem mapear os factores que na sua opiniatildeo satildeo criacuteticos e explicam porque esses factores satildeo importantes para o sucesso
Este tipo de mapeamento ajuda a decidir que factores devem ser monitorados durante a implementaccedilatildeo das actividades Quando os dados mostram que esses elementos criacuteticos foram ou natildeo alcanccedilados pode-se compreender melhor por que uma intervenccedilatildeo teve ou natildeo sucesso e o que poderia ser modificado no futuro
Veja as vantagens e desvantagens dos quadros conceptuais na Tabela 2
TABELA 1 Visatildeo geral do quadro loacutegico
Vantagens Desvantagens
Melhora a qualidade dos planos de intervenccedilatildeo ao exigir a definiccedilatildeo de indicadores e objectivos claros e a anaacutelise de pressupostos e riscos
Quando usado regularmente durante uma intervenccedilatildeo eacute uma ferramenta de gestatildeo eficaz para orientar a implementaccedilatildeo e a MampA
Resume a elaboraccedilatildeo de planos complexos
Apoia a preparaccedilatildeo de planos de implementaccedilatildeo detalhados
Pressupotildee uma relaccedilatildeo linear entre insumos-produtos-resultados que natildeo leva em consideraccedilatildeo outros factores de influecircncia
Se usado rigidamente durante o processo de formulaccedilatildeo poderaacute restringir a criatividade e a inovaccedilatildeo
Se natildeo for actualizado durante a implementaccedilatildeo pode ser uma ferramenta estaacutetica que natildeo reflecte as condiccedilotildees em mudanccedila
Geralmente a formaccedilatildeo e o acompanhamento satildeo necessaacuterios para usar esse meacutetodo correctamente
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 915
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O modelo conhecido como Caminho de Mudanccedila (Pathway to Change) eacute um exemplo particularmente uacutetil de um quadro conceptual Esse modelo utiliza um formato de condicionalidade (ldquose entatildeordquo) para mostrar passo a passo como os resultados a meacutedio e longo prazo foram conceptualizados e como seratildeo alcanccedilados A Figura 6 eacute um exemplo de aplicaccedilatildeo do Caminho de Mudanccedila em um projecto de sauacutede de seis meses de duraccedilatildeo e acircmbito municipal na Nicaraacutegua
Caminho de Mudanccedila Tratamos deste modelo neste capiacutetulo devido agrave sua utilidade para os gestores e seus benefiacutecios como actividade de fortalecimento de uma equipa O estabelecimento de um Caminho de Mudanccedila eacute geralmente um processo participativo que permite que a sua equipa ou unidade e outros grupos de interesse formulem uma intervenccedilatildeo e determinem como ela vai funcionar O produto final eacute um mapa que mostra como uma acccedilatildeo estaacute relacionada com outras e como todas elas acrescentam algo ao resultado esperado Frequentemente o estabelecimento de um caminho expotildee as crenccedilas subjacentes que as pessoas de uma organizaccedilatildeo mantecircm sobre a forma em que suas acccedilotildees promovem mudanccedilas
A criaccedilatildeo de um Caminho de Mudanccedila tem vaacuterios benefiacutecios Em primeiro lugar exige que a sua equipa examine cada acccedilatildeo proposta e responda agraves seguintes perguntas
Todas as actividades contribuem para o resultado esperado Se a resposta for negativa algumas actividades deveriam ser modificadas acrescentadas ou eliminadas
As actividades satildeo sequenciais Elas estatildeo relacionadas de uma forma loacutegica Elas se somam umas agraves outras para formar um conjunto racional e coerente de acccedilotildees
Pensamos em todos os produtos e resultados necessaacuterios para atingir nosso resultado esperado
Temos os recursos necessaacuterios para implementar as actividades propostas Em quanto tempo atingiremos o resultado que desejamos Que outros factores podem contribuir ou entravar cada uma das actividades do
caminho
Em segundo lugar sua equipa deve tornar expliacutecita e chegar a um acordo sobre a loacutegica subjacente de um plano de intervenccedilatildeo Em outras palavras deve mostrar no papel como cada acccedilatildeo resultaraacute na mudanccedila desejada em cada niacutevel do mapa Por uacuteltimo o caminho define que resultados imediatos e resultados a meacutedio e longo prazo a equipa deve monitorar e que indicadores devem usar
TABELA 2 Visatildeo geral do quadro conceptual
Vantagens Desvantagens
Fornece um mapeamento visual e flexiacutevel de planos de intervenccedilatildeo complexos
Quando usado regularmente durante a implementaccedilatildeo permite uma retroinformaccedilatildeo antecipada do que estaacute ou natildeo a funcionar e por quecirc
Auxilia na identificaccedilatildeo de efeitos colaterais natildeo previstos
Ajuda a priorizar os problemas a serem investigados mais profundamente talvez ao usar meacutetodos mais focalizados de recolha de dados ou teacutecnicas mais sofisticadas de MampA
Pode se tornar extremamente complexo se a escala de actividades for muito grande ou se for reunida uma lista exaustiva de factores e pressupostos
Os grupos de interesse podem discordar sobre os factores determinantes que consideram ser os mais importantes
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 916
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Como se lecirc um mapa de Caminho de Mudanccedila O caminho pode ser lido como um fluxograma em que caixas e setas mostram a relaccedilatildeo entre as acccedilotildees e os efeitos como mostrado na Figura 6 O resultado esperado aparece no topo do caminho e os resultados imediatos que devem ser atingidos para se chegar laacute satildeo exibidos no proacuteximo niacutevel Os produtos que devem ser obtidos para conseguir os resultados a meacutedio e longo prazo aparecem no proacuteximo niacutevel inferior Finalmente as actividades aparecem no fundo ou base
Quando lido de baixo para cima o mapa mostra que actividades satildeo necessaacuterias para conseguir os produtos e que resultados a meacutedio e longo prazo satildeo necessaacuterios para se chegar ao topo Eacute preciso sempre poder traccedilar um caminho desde o comeccedilo de suas acccedilotildees ateacute o resultado esperado
Pode ser uacutetil imaginar o caminho como o organigrama de uma empresa vocecirc pode comeccedilar da base do organigrama como assistente administrativo passar a coordenador de escritoacuterio depois a uma funccedilatildeo de gestatildeo e finalmente ocupar o gabinete do director
A criaccedilatildeo de um Caminho de Mudanccedila Para desenvolver um Caminho da Mudanccedila sua equipa mapeia a mudanccedila de forma reversa Comeccedila no final do caminho (no topo da
FIGURA 6 Exemplo de um Caminho de Mudanccedila
Resultado 180 dos pacientes
estatildeo satisfeitos com os serviccedilos prestados no
centro de sauacutede
Resultado 260 das mulheres
entre 15 e 49 anos na aacuterea de captaccedilatildeo do centro de
sauacutede entendem a importacircncia do planeamento familiar
para o espaccedilamento dos nascimentos
Resultado 3Todos os meacutetodos
contraceptivos modernos estatildeo
disponiacuteveis no centro de sauacutede
Produto 1Os tempos de
espera no centro de sauacutede se
reduziram de 40 para 20 minutos
Produto 2Eacute oferecida
orientaccedilatildeo a todos os pacientes em
espaccedilo privado do centro de sauacutede
Produto 3Voluntaacuterias
realizam palestras semanais sobre temas
de sauacutede reprodutiva na comunidade
Produto 4Todos os stocks
de contraceptivos satildeo monitorados semanalmente
Actividade 1Realizar um
inqueacuterito sobre o uxo de
pacientes e cumprir
recomendaccedilotildees
Actividade 2Transformar um canto do
centro de sauacutede para a
orientaccedilatildeo dos pacientes
Actividade 3Mobilizar as
ONGs parceiras para imprimir panetos de informaccedilatildeo educaccedilatildeo e
comunicaccedilatildeo
Actividade 4Mobilizar as
ONGs parceiras para dar
formaccedilatildeo ou equipar as voluntaacuterias
Actividade 5Recrutar liacutederes
comunitaacuterios para prestar
apoio agraves palestras sobre
sauacutede reprodutiva
Actividade 6Desenvolver
um sistema de registo e
pedidos de suprimentos
contraceptivos
Resultado esperadoAumento na percentagem de utentes de planeamento familiar de 50 para 52
durante o periacuteodo de Junho a Dezembro de 2006
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 917
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
sequecircncia) e define a meta da organizaccedilatildeo a longo prazo ou o resultado esperado de uma intervenccedilatildeo Em seguida preenche o mapa ao trabalhar de cima para baixo onde identifica finalmente as actividades principais os primeiros elementos do seu plano de implementaccedilatildeo
Enquanto se desloca pelo caminho faccedila trecircs perguntas Que resultados precisam acontecer para contribuir agrave meta de longo prazo Que produtos precisam ser obtidos antes disso para alcanccedilar os resultados Que actividades precisam acontecer antes disso para conseguir os produtos
O desenho de uma intervenccedilatildeo dessa forma pode ajudar a revelar as condiccedilotildees necessaacuterias para atingir os resultados a meacutedio e longo prazo e a meta de longo prazo Talvez sejam necessaacuterias vaacuterias tentativas para criar um Caminho de Mudanccedila com o qual todos estejam de acordo Os resultados produtos e acccedilotildees podem ser acrescentados modificados e eliminados ateacute que eventualmente surja um mapa que conte a histoacuteria com a qual sua equipa pode concordar O debate eacute frequentemente a parte mais importante da experiecircncia porque a equipa junta define as expectativas pressupostos e caracteriacutesticas do processo de mudanccedila
Uso da sequecircncia ldquopara querdquo como forma de verificar as vias de um Caminho de Mudanccedila Uma boa forma de verificar a loacutegica do mapa do seu caminho eacute inverter o processo e criar uma sequecircncia de ldquopara querdquo para cada actividade O exemplo na Figura 7 mostra como fazer isso para a Actividade 5 da Figura 6 O movimento na sequecircncia ldquopara querdquo eacute o
FIGURA 7 Sequecircncia ldquopara querdquo para uma actividade de um Caminho de Mudanccedila
Dar formaccedilatildeo agraves voluntaacuterias da comunidade e equipaacute-las com os materiais de informaccedilatildeo educaccedilatildeo e comunicaccedilatildeo necessaacuterios
para que
As voluntaacuterias realizem sessotildees educativas sobre sauacutede sobre temas de planeamento familiar na aacuterea especiacutefica do centro de sauacutede
para que
As mulheres em idade reprodutiva na aacuterea especiacutefica se sintam agrave vontade para participar de sessotildees apresentadas pelas voluntaacuterias
para que
As mulheres participem das sessotildees e aprendam sobre a importacircncia do planeamento familiar para o espaccedilamento dos nascimentos
para que
Mais mulheres em idade reprodutiva busquem meacutetodos de planeamento familiar no centro de sauacutede e a percentagem de mulheres que recebem os meacutetodos aumentem 2 durante o periacuteodo do projecto (o resultado esperado)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 918
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
oposto exacto do Caminho de Mudanccedila Vocecirc coloca cada actividade no topo da sua proacutepria sequecircncia e desce pela sequecircncia ateacute a meta ou resultado esperado Essa sequecircncia ajuda a confirmar que cada rota individual no Caminho de Mudanccedila faz sentido em termos loacutegicos
Para usar essa teacutecnica eacute preciso criar uma sequecircncia ldquopara querdquo para cada actividade no seu Caminho de Mudanccedila Comece por descrever cada actividade e segui-la da frase ldquopara querdquo seguida de uma descriccedilatildeo do que aconteceraacute se essa actividade for realizada Continue a fazer isto ateacute atingir a sua meta de longo prazo ou resultado esperado
Etapas do desenvolvimento de um plano de MampA
Uma das suas tarefas essenciais de MampA como gestor que exerce lideranccedila eacute a de elaborar um plano que ajude vocecirc e sua equipa a determinar se atingiram ou natildeo os resultados esperados e a acompanhar o progresso no alcance desses resultados durante a implementaccedilatildeo Isso exige que vocecirc natildeo soacute escolha indicadores confiaacuteveis mas tambeacutem que meccedila esses indicadores de forma organizada Seu plano de MampA deve especificar que indicadores seratildeo medidos como e quando seratildeo medidos e por quem
Um plano de MampA bem formulado responde a cinco perguntas
1 Seu resultado esperado eacute mensuraacutevel2 Que indicadores utilizaraacute para monitorar seus produtos e para avaliar seus
resultados 3 Quais satildeo as suas fontes de dados e como recolheraacute os dados dessas fontes 4 Quais satildeo os periacuteodos cobertos de cada indicador 5 Quem recolheraacute os dados
Essas perguntas satildeo importantes porque sem um plano vaacutelido de MampA vocecirc poderaacute interpretar erroneamente os efeitos da sua intervenccedilatildeo Poderaacute concluir que ela natildeo teve efeito algum quando na verdade ela teve alguns resultados positivos ou poderaacute concluir que ela teve um efeito positivo quando na verdade natildeo obteve resultado algum o que eacute um erro comum e mais destrutivo
Elaborar e utilizar um plano de MampA garante que dados comparaacuteveis seratildeo recolhidos regularmente e em tempo haacutebil mesmo quando houver mudanccedilas de pessoal A Tabela 3 resume as etapas no desenvolvimento e implementaccedilatildeo de um plano de MampA O resto desta secccedilatildeo descreve cada etapa detalhadamente
ETAPA 1 DEFINA OS RESULTADOS ESPERADOS
A primeira etapa no desenvolvimento do plano de MampA eacute determinar um niacutevel apropriado de resultados Juntos o tipo e o acircmbito da intervenccedilatildeo os recursos disponiacuteveis e o prazo de implementaccedilatildeo determinam um resultado viaacutevel
Como jaacute vimos antes neste capiacutetulo as intervenccedilotildees dirigidas por organizaccedilotildees com fundos de agecircncias doadoras e por serviccedilos governamentais geralmente levam a produtos ou resultados a meacutedio e longo prazo Apesar de o impacto demorar a ser obtido e geralmente estar fora do acircmbito de um uacutenico conjunto de actividades eacute importante incluiacute-lo no seu plano de MampA para que fique clara qual seraacute a contribuiccedilatildeo da sua intervenccedilatildeo a longo prazo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 919
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 3 Etapas para elaborar e usar um Plano de MampA
Etapas Recomendaccedilotildees
1 Definir os resultados esperados
Os resultados devem ser identificados de acordo com o acircmbito e o periacuteodo de tempo da sua intervenccedilatildeo
Os resultados devem atender aos criteacuterios SMART (Especiacuteficos Mensuraacuteveis Apropriados Realistas de Prazo Definido)
2 Seleccionar os indicadores
Os indicadores devem possuir as qualidades de um bom indicador
Os indicadores devem ser acessiacuteveis faacuteceis de recolher e comparaacuteveis ao longo do tempo e em diferentes locais
Para os problemas de sauacutede prioritaacuterios e os serviccedilos essenciais use indicadores criacuteticos nacionais ou padratildeo
Seleccione um nuacutemero miacutenimo de indicadores essenciais e procure garantir que os indicadores seleccionados sejam realmente necessaacuterios para medir seus resultados esperados
3 Identificar as fontes de dados
Identifique de onde viratildeo os dados para cada indicador Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos organizacionais utentes ou a comunidade
4 Definir os meacutetodos de recolha dos dados
Seleccione o meacutetodo mais apropriado e confiaacutevel para a recolha de dados para cada indicador Estes meacutetodos podem incluir a anaacutelise de registos ou diaacuterios de estatiacutesticas de serviccedilo o uso de listas de verificaccedilatildeo para fins de observaccedilatildeo as entrevistas de utentes ao saiacuterem da cliacutenica ou um modelo de inqueacuterito de dados comunitaacuterios
Decida sobre a frequecircncia da recolha de dados Poderaacute recolher apenas os dados de base ou referecircncia e os dados apoacutes a intervenccedilatildeo ou talvez precise recolher dados diaacuterios mensais ou trimestrais dependendo do tipo de indicador
Para cada indicador designe a responsabilidade pela recolha a um escritoacuterio equipa ou pessoa especiacuteficos
5 Recolher os dados de base (ou referecircncia) e os dados apoacutes a intervenccedilatildeo
Entenda que os resultados de base seratildeo usados para definir os seus alvos
Defina claramente a duraccedilatildeo coberta pelos dados de base jaacute que precisa de um periacuteodo semelhante para a comparaccedilatildeo ao final do periacuteodo de implementaccedilatildeo
Use a mesma metodologia e ferramentas para a recolha de dados que as usadas para os dados de base e as medidas poacutes-intervenccedilatildeo
6 Compartilhar e utilizar os seus resultados
Marque reuniotildees workshops e apresentaccedilatildeo de relatoacuterios para mostrar os resultados ao pessoal do projecto agrave direcccedilatildeo da organizaccedilatildeo e a outros grupos de interesse importantes
Apresente as opccedilotildees de aprendizado e acccedilatildeo com base nos resultados de MampA
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 920
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para determinar em que niacutevel deve monitorar e avaliar seus resultados eacute uacutetil examinar novamente e expandir a cadeia de resultados a comeccedilar da direita pelo resultado final (impacto) e voltar ateacute os materiais e recursos (insumos) necessaacuterios
Insumos rarr Processos rarr Produtos rarr Resultados rarr Impacto
Impacto Esses resultados satildeo medidos ao niacutevel da populaccedilatildeo levam um tempo relativamente longo para serem alcanccedilados (geralmente 3 a 5 cinco anos) e exigem o esforccedilo conjunto de vaacuterias intervenccedilotildees e mesmo de vaacuterias organizaccedilotildees Como gestor vocecirc poderaacute ser responsaacutevel por medir o impacto mas deve incluiacute-lo na loacutegica do seu plano de MampA para saber o que a sua organizaccedilatildeo e os parceiros da organizaccedilatildeo pretendem alcanccedilar a longo prazo
Resultados a meacutedio e longo prazo Na maioria dos casos os gestores satildeo responsaacuteveis por medir os resultados nos niacuteveis de produtos eou resultados a meacutedio e longo prazo Os resultados a meacutedio e longo prazo satildeo obtidos pelas actividades criadas para produzir uma mudanccedila de comportamento nos profissionais de sauacutede ou nos utentes Satildeo geralmente medidos em termos de mudanccedilas na cobertura de serviccedilos e mudanccedilas nos conhecimentos atitudes e praacuteticas de uma populaccedilatildeo beneficiaacuteria Um resultado a meacutedio e longo prazo pode ser o iniacutecio de uma praacutetica comprovada de prestaccedilatildeo de serviccedilos a adopccedilatildeo de novas estrateacutegias de gestatildeo ou a elaboraccedilatildeo bem-sucedida de uma poliacutetica de promoccedilatildeo da sauacutede Pode tambeacutem ser um aumento no nuacutemero de mulheres que datildeo agrave luz em um centro de sauacutede ou no nuacutemero de crianccedilas totalmente imunizadas Na maioria dos casos eacute possiacutevel estabelecer uma relaccedilatildeo clara entre produtos e resultados a meacutedio e longo prazo
Produtos Os produtos ou resultados imediatos satildeo fruto directo das actividades Devem ser monitorados durante toda a implementaccedilatildeo como um elemento essencial da boa gestatildeo Os planos de MampA devem definir o produto esperado de cada actividade Para as unidades de prestaccedilatildeo de serviccedilos isso geralmente significa os resultados imediatos em termos dos serviccedilos (por exemplo nuacutemero de utentes atendidos ou tempo de espera dos clientes ou utentes) Para as organizaccedilotildees que natildeo prestam serviccedilos de sauacutede directamente isso pode significar a distribuiccedilatildeo de produtos de sauacutede ou serviccedilos de formaccedilatildeo (por exemplo quantidade de produtos para planeamento familiar distribuiacutedos ou nuacutemero de participantes formados)
Processos A monitoria de processos ou actividades eacute em grande parte uma medida da cultura de prestaccedilatildeo de contas (ou grau de responsabilizaccedilatildeo) ao garantir que as actividades sejam realizadas dentro do prazo e com recursos suficientes A monitoria nesse niacutevel acompanha o progresso da implementaccedilatildeo tendo como referecircncia os prazos propostos e o uso dos recursos tendo como referecircncia os orccedilamentos Eacute geralmente executada atraveacutes da apresentaccedilatildeo de relatoacuterios tradicionais trimestrais semestrais e anuais
Insumos Ao preparar uma intervenccedilatildeo deve identificar a quantidade e os tipos de recursos necessaacuterios para implementar as actividades O desempenho pode ser monitorado em termos da quantidade e dos tipos de insumos fornecidos e do nuacutemero e timing das actividades realizadas
A etapa seguinte na definiccedilatildeo dos resultados esperados eacute garantir que cumpram os criteacuterios SMART (consulte a Tabela 4) Eacute possiacutevel monitorar e avaliar o progresso no alcance de um resultado apenas se esse resultado tiver sido definido em termos mensuraacuteveis
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 921
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja a seguir um exemplo de um resultado mensuraacutevel para uma intervenccedilatildeo cujo propoacutesito eacute promover a cobertura de imunizaccedilatildeo em crianccedilas de 12 a 24 meses de idade A percentagem de crianccedilas de 12 a 24 meses totalmente vacinadas na aacuterea de captaccedilatildeo aumentaraacute para 70 dentro de um ano
ETAPA 2 IDENTIFIQUE OS INDICADORES E SUAS DEFINICcedilOtildeES
Os indicadores satildeo geralmente percentagens ou proporccedilotildees que representam o alcance de uma condiccedilatildeo especiacutefica de sauacutede na populaccedilatildeo de interesse Podem tambeacutem ser um valor absoluto tal como o nuacutemero de ocorrecircncias de um evento de sauacutede (por ex um oacutebito materno ou um caso de malaacuteria)
Todos os indicadores pedem uma definiccedilatildeo detalhada Trata-se de um indicador qualitativo ou quantitativo Se for uma percentagem qual eacute o numerador e qual eacute o denominador A definiccedilatildeo deve ser suficientemente detalhada para garantir que pessoas diferentes em momentos diferentes possam recolher tipos idecircnticos de dados para o indicador
Veja o que caracteriza um bom indicador no Quadro 2 Os indicadores podem ser classificados como indicadores do estado de sauacutede ou do desempenho de serviccedilos
Os indicadores do estado de sauacutede podem incluir o seguinte
nuacutemero de casos e mortes causados por doenccedilas especiacuteficas em um determinado periacuteodo
proporccedilatildeo da populaccedilatildeo com uma doenccedila ou condiccedilatildeo de sauacutede num momento particular ou ao longo de um periacuteodo de tempo
proporccedilatildeo da populaccedilatildeo com um factor ou condiccedilatildeo de sauacutede que os coloca em risco de contrair doenccedilas tal como a falta de conhecimento ou um comportamento de risco
Os indicadores de desempenho podem incluir o seguinte
proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que recebeu um serviccedilo especiacutefico proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que demonstra comportamentos e
conhecimentos especiacuteficos de sauacutede
TABELA 4 Criteacuterios de um resultado SMART
Criteacuterio Descriccedilatildeo
Especiacutefico (S ndash Smart)
Claramente escrito e compreendido O resultado esperado eacute suficientemente especiacutefico para ser medido por uma frequecircncia percentagem ou nuacutemero
Mensuraacutevel (M ndash Measurable)
Eacute possiacutevel monitorar o progresso e avaliar os resultados O resultado esperado eacute definido em termos que sejam mensuraacuteveis
Apropriado (A ndash Appropriate)
O resultado esperado eacute apropriado ao acircmbito do seu trabalho e agrave missatildeo da sua organizaccedilatildeo
Realista (R ndash Realistic)
O resultado esperado pode ser alcanccedilado e estaacute dentro do controlo da sua organizaccedilatildeo Pode ser realisticamente alcanccedilado ao usar os recursos disponiacuteveis e dentro do prazo do seu plano de implementaccedilatildeo
de Tiempo limitado (T ndash Time Bound)
Foi estabelecido um prazo especiacutefico para obter o resultado esperado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 922
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
proporccedilatildeo de centros e pessoal de sauacutede que demonstram adesatildeo a padrotildees especiacuteficos de serviccedilo ou que atingiram objectivo definido
proporccedilatildeo de centros de sauacutede que seguem padrotildees definidos de gestatildeo funcional (por ex em termos de pessoal disponibilidade de medicamentos registo e apresentaccedilatildeo de relatoacuterios)
Orientaccedilatildeo adicional sobre os indicadores pode ser obtida em ldquoCompecircndio de indicadores para avaliaccedilatildeo de programas de sauacutede reprodutivardquo e ldquoLista dos indicadores sobre desenvolvimento da capacidade de gestatildeo e lideranccedilardquo
ETAPA 3 IDENTIFIQUE AS FONTES DE DADOS
Agora precisa identificar uma fonte de dados para cada indicador incluiacutedo no plano de MampA ao seleccionar dados que estejam prontamente disponiacuteveis em uma fonte confiaacutevel e dentro das possibilidades financeiras de sua organizaccedilatildeo O ideal seria escolher os dados imediatamente disponiacuteveis atraveacutes da organizaccedilatildeo em vez de dar iniacutecio a uma nova estrateacutegia de recolha de dados o que poderia ser oneroso e demorado
Uma boa forma de comeccedilar eacute com a seguinte pergunta Que dados jaacute recolhemos de forma rotineira e sistemaacutetica Vocecirc deve sempre levar em consideraccedilatildeo as vantagens e desvantagens de cada fonte de dados Consulte a secccedilatildeo ldquoComo seleccionar suas fontes de dadosrdquo para obter mais informaccedilotildees sobre as vantagens e desvantagens de algumas fontes de dados mais comuns
Vocecirc deve ser o mais especiacutefico possiacutevel sobre as fontes de dados para que a mesma fonte possa ser utilizada de forma coerente durante toda a intervenccedilatildeo Mudar as fontes de dados para o mesmo indicador pode resultar em incoerecircncias e erros de interpretaccedilatildeo Por exemplo se estiver a medir as taxas de mortalidade infantil passar de estimativas baseadas num inqueacuterito de grande escala para estimativas baseadas em estatiacutesticas hospitalares pode resultar dar a falsa impressatildeo de que houve uma mudanccedila
QUADRO 2 Qualidades de um bom indicador
Vaacutelido O indicador mede o que se pretende medir
Confiaacutevel A medida do indicador deve ser igual natildeo importa quantas vezes a medida seja feita
Preciso O indicador eacute definido em termos claros e especiacuteficos para que possa ser medido O indicador pode ser qualitativo (descritivo) discreto (SimNatildeo) ou baseado em niacuteveis quantitativos ou proporccedilotildees desde que seja claramente mensuraacutevel
Faacutecil de entender Tanto especialistas como natildeo especialistas devem poder entender o significado do indicador
Discreto O indicador captura um uacutenico componente ou aspecto de um resultado mais complexo Mede apenas uma coisa natildeo um conjunto de coisas
Em tempo haacutebil O indicador pode ser medido em intervalos temporais apropriados de acordo com a disponibilidade dos dados
Comparaacutevel Quando possiacutevel o indicador evita definiccedilotildees limitadas ou singulares cujos valores seriam difiacuteceis de comparar com outros resultados
Viaacutevel para utilizar Os dados para o indicador satildeo faacuteceis de obter de uma fonte confiaacutevel e relativamente econoacutemica ndash acessiacutevel tendo em vista os recursos da sua organizaccedilatildeo Se esses dados natildeo estiverem disponiacuteveis existem meacutetodos para obtecirc-los no futuro
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 923
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 4 DEFINA OS MEacuteTODOS DE RECOLHA DE DADOS
A etapa seguinte eacute a de definir os meacutetodos ou ferramentas que utilizaraacute para cada indicador Para os indicadores baseados em dados primaacuterios (dados que vocecirc mesmo recolhe) deve descrever o tipo de instrumento necessaacuterio para recolher os dados Os exemplos podem incluir questionaacuterios estruturados listas de verificaccedilatildeo de observaccedilatildeo directa ou balanccedilas para pesar bebeacutes
Para os dados secundaacuterios (dados recolhidos por terceiros e que estatildeo disponiacuteveis para vocecirc usar) deve explicar o meacutetodo para calcular o indicador e a fonte dos dados e fornecer detalhes suficientes sobre o meacutetodo de caacutelculo para que outros possam replicaacute-lo Lembre-se de que eacute mais faacutecil e mais barato usar dados secundaacuterios mas sua qualidade eacute menos confiaacutevel do que a dos dados primaacuterios
Tambeacutem eacute importante observar a frequecircncia da recolha dos dados para cada indicador A depender do tipo de indicador vocecirc poderaacute recolher os dados mensalmente trimestralmente anualmente ou ateacute com menos frequecircncia Ao definir o programa de recolha de dados para cada indicador leve em consideraccedilatildeo a necessidade de fornecer informaccedilotildees em tempo haacutebil aos responsaacuteveis por tomar decisotildees na sua organizaccedilatildeo Atribuir responsabilidades pela recolha de dados a indiviacuteduos ou grupos do seu pessoal garantiraacute que os dados sejam recolhidos dentro do prazo necessaacuterio
As informaccedilotildees das Etapas 1 a 4 fornecem o conteuacutedo do seu plano de monitoria e avaliaccedilatildeo A Tabela 5 mostra os elementos de um plano de MampA para um programa de mentoria cliacutenica para centros de orientaccedilatildeo e testes voluntaacuterios
ETAPA 5 RECOLHA OS DADOS DE BASE E DE ACOMPANHAMENTO
Recolher dados de base precisos eacute uma das tarefas mais importantes de MampA Os dados de base ou referecircncia satildeo o ponto de partida para definir as metas que vocecirc e sua equipa pretendem atingir e para acompanhar as mudanccedilas dos indicadores durante todo o periacuteodo de sua intervenccedilatildeo Dessa forma os dados de base ajudam a definir melhor um resultado final esperado
Vocecirc precisaraacute recolher dados de base para cada indicador antes que suas actividades comecem Esses dados identificam o ponto de partida de onde poderaacute avaliar o progresso Depois em pontos variados durante a implementaccedilatildeo vocecirc recolheraacute dados de acompanhamento sobre cada indicador para comparaacute-los com os niacuteveis de base e os resultados previstos Isto permite que vocecirc e outros tomadores de decisotildees em sua organizaccedilatildeo avaliem o progresso de cada intervenccedilatildeo ou serviccedilo e faccedilam as mudanccedilas necessaacuterias ao longo do caminho Examine o exemplo no Quadro 3
Por que acompanhar as mudanccedilas dos indicadores durante a implementaccedilatildeo Os indicadores de um plano de MampA estatildeo relacionados aos resultados imediatos (produtos) e aos resultados de meacutedio e longo prazo que os gestores precisam monitorar As mudanccedilas nos valores do indicador ao longo do tempo mostram se esses resultados estatildeo a subir ou a baixar ou se permanecem iguais Isto mostra ao gestor se as intervenccedilotildees e estrateacutegias estatildeo a funcionar conforme planeado para atingir os resultados esperados
Ao final do periacuteodo de implementaccedilatildeo precisaraacute recolher dados sobre os seus indicadores para comparar os niacuteveis finais com os niacuteveis de base e com os seus resultados esperados A depender dos seus indicadores precisaraacute tambeacutem recolher dados de acompanhamento a uma altura acordada previamente para determinar se as mudanccedilas seratildeo mantidas apoacutes o teacutermino da sua intervenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 924
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 5 Exemplo de um Plano de Monitoria e Avaliaccedilatildeo
Objectivo Os profissionais de sauacutede que receberam formaccedilatildeo aumentam sua capacidade de fornecer tratamento anti-retroviral de acordo com as directrizes nacionais
ActividadeProduto Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
CronogramaPrazo final
Cliacutenicos experientes em VIH recrutados para servir como mentores cliacutenicos em cinco hospitais regionais
Nuacutemero de mentores recrutados e designados a hospitais regionais
Registos de emprego
Como concluiacutedo Director adjunto para programas cliacutenicos
Setembro de 2008
Pessoal meacutedico em cinco hospitais regionais que recebem mentoria individual sobre terapia anti-retroviral
Nuacutemero de locais que recebem mentoria cliacutenica
Nuacutemero de meacutedicos que recebem mentoria individual
Nuacutemero de dias de mentoria cliacutenica realizados
Relatoacuterios mensais do mentor
Mensalmente Mentores Marccedilo de 2009
Resultados a meacutedio e longo prazo Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
Trabalhadores de sauacutede aumentam seu conhecimento sobre terapia anti-retroviral
80 dos participantes obtecircm 85 ou mais de pontuaccedilatildeo correcta no teste posterior
Trabalhadores de sauacutede melhoram suas habilidades no fornecimento de terapia anti-retroviral
Percentagem de habilidades demonstradas na lista de verificaccedilatildeo de competecircncia
Estudo especial Datas a definir Director adjunto para programas cliacutenicos
Fonte Centro Internacional de Formaccedilatildeo e Ensino sobre VIH p 2
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 925
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Observaccedilatildeo sobre o uso de indicadores para uma avaliaccedilatildeo A maioria dos esforccedilos de MampA enfatizam a selecccedilatildeo de indicadores bem definidos para estabelecer metas e medir as mudanccedilas nas condiccedilotildees e nos serviccedilos de sauacutede
Mas eacute importante lembrar que os indicadores servem apenas como marcadores Os dados dos indicadores fornecem pistas para saber se uma intervenccedilatildeo ou um grupo de actividades estaacute dentro do cronograma e se os resultados esperados estatildeo a ser alcanccedilados Eles natildeo respondem agraves perguntas de por que os resultados estatildeo ou natildeo a ser alcanccedilados Natildeo explicam os resultados fortuitos as relaccedilotildees entre intervenccedilotildees e resultados ou as causas de resultados percebidos que podem ocorrer fora da intervenccedilatildeo Assim natildeo podem recomendar medidas a tomar para melhorar os resultados
Os dados de indicadores devem portanto ser interpretados com cuidado Eles simplesmente indicam resultados que precisam ser melhor explorados em vez de fornecer uma avaliaccedilatildeo definitiva do sucesso ou fracasso Um estudo de avaliaccedilatildeo eacute geralmente executado para determinar se uma intervenccedilatildeo pode ser considerada um sucesso e por quecirc
Em geral agrave medida que sobe na hierarquia e passa das actividades para os resultados a longo prazo a MampA se torna mais complicada Nos niacuteveis de processo e produtos pode-se facilmente rastrear que actividades foram concluiacutedas e seus resultados imediatos Essas informaccedilotildees satildeo operacionais ndash informaccedilotildees que vocecirc pode usar para decisotildees quotidianas de gestatildeo Poreacutem para identificar e medir os resultados da sinergia dos produtos provavelmente teraacute que integrar as informaccedilotildees qualitativas e quantitativas e confiar menos em indicadores quantitativos singulares
Lembre-se de que quando uma melhoria desejada ndash seja na eficiecircncia do serviccedilo no conhecimento e comportamento dos provedores de serviccedilos ou dos beneficiaacuterios ou na tendecircncia de um problema de sauacutede ndash eacute confirmada atraveacutes de MampA isto natildeo prova que foi a intervenccedilatildeo que provocou a mudanccedila Outras coisas podem estar a se passar no serviccedilo ou no ambiente geral que causam essa mudanccedila Eacute claro que o mesmo se aplica aos resultados negativos ou resultados que indicam natildeo haver nenhuma mudanccedila nos resultados a meacutedio e longo prazo
QUADRO 3 Como usar dados de base para ajustar os resultados
Uma equipa de sobrevivecircncia infantil estaacute a propor uma intervenccedilatildeo com o seguinte resultado mensuraacutevel e especiacutefico ldquoNos proacuteximos 12 meses 40 das crianccedilas entre 12 e 24 meses de idade na aacuterea de captaccedilatildeo seratildeo completamente imunizadasrdquo
Para determinar se seu programa pode realmente atingir esse resultado o pessoal precisa medir os niacuteveis actuais de vacinaccedilatildeo Ao examinar os dados vecircem que apenas 10 das crianccedilas na aacuterea de captaccedilatildeo estatildeo completamente imunizadas ao completarem 24 meses Estes satildeo portanto seus dados de base
A gestora entende que natildeo seraacute possiacutevel atingir o objectivo de 40 de cobertura de imunizaccedilatildeo em apenas 12 meses Por isso ela e sua equipa revisam o resultado esperado e o modificam para que seja mais razoaacutevel e realista mas continue sendo significativo ldquoNos proacuteximos 12 meses 20 das crianccedilas de 12 a 24 meses na aacuterea de de actuaccedilatildeo seratildeo completamente imunizadas
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 926
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 6 COMPARTILHE E USE SEUS DADOS
Na pressa para comeccedilar a recolher dados alguns gestores se esquecem de planear um processo para reflectir sobre as informaccedilotildees e fazer mudanccedilas para aumentar a eficiecircncia das actividades Para garantir que os dados sejam natildeo soacute recolhidos mas tambeacutem utilizados pense como vocecirc e sua equipa divulgaratildeo as informaccedilotildees sobre MampA e obteratildeo retroinformaccedilatildeo dos diversos grupos de interesse Algumas perguntas baacutesicas serviratildeo para lhe orientar
Quem precisa de que tipo de informaccedilotildees e quando precisam delas Que tipo de formato deve usar para comunicar os resultados ao pessoal
aos gestores de niacutevel superior e a outros grupos de interesse importantes Eacute suficiente fazer circular um relatoacuterio ou deveria organizar uma reuniatildeo ou workshop
Deveria tambeacutem organizar reuniotildees com a comunidade para solicitar retroinformaccedilatildeo dos seus beneficiaacuterios sobre os primeiros resultados da MampA
Como deve apresentar as informaccedilotildees para que sejam uacuteteis aos diferentes tomadores de decisotildees As informaccedilotildees devem ser apresentadas visualmente em diagramas graacuteficos ou mapas Para obter orientaccedilatildeo sobre dados e resultados consulte o Guiatildeo de MampA para Facilitadores de Programas de Desenvolvimento da Lideranccedila
Uso dos resultados para melhorar os dados de rotina em acccedilatildeo ndash Um exemplo do Paquistatildeo
No Paquistatildeo com o apoio do projecto PRIDE 10 equipas de subdistritos aplicaram o Processo de Avaliaccedilatildeo e Melhoria do Desempenho em Sauacutede Puacuteblica (PIP-PH) um conjunto de procedimentos e formatos para tratar dos problemas de sauacutede que identificaram como os mais graves para as suas populaccedilotildees Usaram o PIP-PH para priorizar os problemas e serviccedilos que mais precisavam de atenccedilatildeo a curto prazo para obter melhorias
Como parte do processo PIP-PH as equipas tambeacutem conceberam um formato de Estrutura de Vigilacircncia de Sauacutede (ldquoHealth Watch Frameworkrdquo) para os seus subdistritos como um todo e para os centros de sauacutede dentro deles Cada equipa seleccionou indicadores para medir a situaccedilatildeo de dois problemas de sauacutede puacuteblica os serviccedilos essenciais a eles relacionados e as limitaccedilotildees que afectavam esses serviccedilos
As equipas usaram os formulaacuterios Health Watch para estabelecer valores de base para os indicadores e depois para monitorar esses valores agrave medida que as intervenccedilotildees prosseguiam ao longo do tempo Os centros de sauacutede revisavam e actualizavam o formulaacuterio todo mecircs as equipas do subdistrito inclusive gestores de centros de sauacutede revisavam e discutiam os formulaacuterios trimestralmente os formulaacuterios revisados
As equipas de subdistrito usaram as informaccedilotildees para analisar os motivos do progresso ou falta de progresso para poderem prestar apoio aos gestores dos centros de sauacutede O processo estimulou os gestores dos centros de sauacutede a melhorarem a integridade e precisatildeo dos dados de rotina para poderem usar as informaccedilotildees e monitorarem mais eficazmente os eventos e os serviccedilos essenciais e introduzirem as melhorias necessaacuterias
Exemplos e informaccedilotildees detalhadas sobre o PIP-PH e o Health Watch Framework aparecem no Relatoacuterio Anual do Projecto PRIDE 2007
Para se informar mais sobre meacutetodos adicionais de utilizaccedilatildeo dos dados para melhorar o desempenho de uma organizaccedilatildeo equipa serviccedilo de sauacutede ou intervenccedilatildeo consulte o processo de Avaliaccedilatildeo e Melhoria de Desempenho (Performance Assessment and Improvement ndash PAI) no website de Programa de Lideranccedila Gestatildeo e Sustentabilidade (Leadership Management and Sustainability ndash LMS)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 927
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O processo de Monitoria e Avaliaccedilatildeo deve ser executado com o objectivo de usar imediatamente os resultados para identificar as falhas de desempenho e tomar medidas para reduzir ou eliminar essas falhas Vocecirc deve sempre planear formas de usar os resultados de MampA para o aprendizado e a acccedilatildeo Por exemplo o que deve fazer se as actividades do projecto natildeo trouxerem os resultados esperados O que precisa mudar se os serviccedilos essenciais natildeo estiverem a fornecer os niacuteveis de cobertura previstos ou a alcanccedilar grupos especiacuteficos de pessoas E como vocecirc pode levar esses fatos agrave atenccedilatildeo das pessoas certas para obter uma resposta raacutepida
Desenho de uma ferramenta de MampA
ARMADILHAS DA MONITORIA E AVALIACcedilAtildeO
Haacute vaacuterias armadilhas comuns que impedem que vocecirc como gestor aperfeiccediloe a funccedilatildeo de MampA na sua organizaccedilatildeo
Planeamento excessivo ou insuficienteAlguns gestores podem gastar tempo demais a preparar o plano de MampA do que resultam planos muito elaborados e complicados de usar Outros ficam muito ansiosos por implementar as intervenccedilotildees de MampA e comeccedilam antes de concluir o plano de MampA Isso significa que quando o plano fica pronto eacute geralmente tarde demais para obter dados de base viaacuteveis e a MampA tem que ser adiada Nesses casos o gestor talvez tenha que aceitar fazer a avaliaccedilatildeo mais tarde sem os dados de base que poderia usar para a comparaccedilatildeo
Descuidar-se da monitoria contiacutenua Outra armadilha frequente eacute a falha em incluir a monitoria contiacutenua na implementaccedilatildeo das actividades Isto ocorre frequentemente por falta de experiecircncia Muitos gestores natildeo tiveram acesso a ferramentas de monitoria uacuteteis (que satildeo raras) Talvez natildeo tenham recebido prontamente os resultados ou a retroinformaccedilatildeo do sistema de MampA no passado e por isso natildeo percebem como eacute importante realizar a monitoria de rotina Aleacutem disso gestores podem facilmente se emaranhar nos detalhes da implementaccedilatildeo e descuidar-se da monitoria de rotina
Exagerar Outra armadilha relacionada agrave monitoria eacute tentar rastrear os dados de todos os indicadores possiacuteveis Tentar obter os dados sobre um nuacutemero excessivo de factores torna o processo de monitoria tatildeo complicado que se torna impreciso Isso tambeacutem torna o processo mais lento de modo que no momento em que os dados satildeo recolhidos e analisados eles jaacute natildeo satildeo mais uacuteteis As ferramentas de monitoria muito demoradas e complicadas acabam por natildeo ser usadas O que acontece entatildeo O gestor deixa totalmente de fazer a monitoria e tem que recorrer agrave avaliaccedilatildeo
Se jaacute se deparou com esses problemas eacute hora de mudar a sua taacutectica Vocecirc pode criar um plano de MampA simples e usar ferramentas de monitoria simples Descubra o que tem que medir para obter os dados dentro de 3 a 6 meses o prazo vai depender dos ciclos de planeamento e apresentaccedilatildeo de relatoacuterios da sua organizaccedilatildeo Entenda tambeacutem qual eacute o miacutenimo que deve ser medido em uma avaliaccedilatildeo de longo prazo Busque a simplicidade mesmo se estiver diante de um conjunto complexo de actividades
Tente incluir apenas o que realmente precisa saber Pode testar todos os indicadores propostos antes de incluiacute-los no planeamento de MampA ao perguntar Quem precisa usar essas informaccedilotildees quando e com que finalidade Se um uacutenico indicador de produtos for suficiente perfeito Natildeo sobrecarregue a monitoria com indicadores desnecessaacuterios Muitas vezes menos dados fornecem mais informaccedilotildees
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 928
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
CARACTERIacuteSTICAS DE UMA BOA FERRAMENTA DE MONITORIA
Como gestor natildeo precisa saber tudo para gerir um serviccedilo ou dirigir uma intervenccedilatildeo mas precisa das informaccedilotildees imediatamente Portanto precisa de uma ferramenta de monitoria que possa fornecer informaccedilotildees suficientes e em tempo haacutebil para identificar e corrigir problemas assim que eles surgirem
Uma ferramenta de monitoria deve ser faacutecil de montar e utilizar As tabelas listas de verificaccedilatildeo e diagramas simples satildeo meacutetodos particularmente uacuteteis de recolher organizar e apresentar informaccedilotildees de monitoria
No miacutenimo sua ferramenta de monitoria deve permitir que vocecirc e sua equipa acompanhem
o progresso da implementaccedilatildeo da actividade a entrega de produtos ou resultados imediatos a situaccedilatildeo dos principais indicadores de resultados comparados aos resultados
esperados se for o caso as despesas orccedilamentais a disponibilidade de recursos humanos e financeiros os obstaacuteculos agrave implementaccedilatildeo e o que tem sido feito para superaacute-los
Vocecirc teraacute que responder agraves seguintes perguntas periodicamente
As actividades foram implementadas conforme planeado dentro do prazo e do orccedilamento
Que actividades adicionais natildeo planeadas foram realizadas Que serviccedilos ou produtos directos e tangiacuteveis foram oferecidos como resultado
das actividades que implementamos Estamos dentro do cronograma para atingir nossos resultados a meacutedio e longo
prazo Possuiacutemos os recursos necessaacuterios (pessoal dinheiro medicamentos e
suprimentos etc) para cumprirmos o cronograma
O Quadro 4 apresenta os componentes baacutesicos de uma ferramenta simples de monitoria
QUADRO 4 Uma ferramenta simples de monitoria
Data de exame Metas de resultados
Actividades (segundo o plano de implementaccedilatildeo)
Situaccedilatildeo ateacute o momento
Resultados esperados
Datas para conclusatildeo
Situaccedilatildeo ateacute o momento Comentaacuterios
Desafios e oportunidades
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 929
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quando usadas correctamente as novas tecnologias (por ex os PDAs ldquosmartphonesrdquo laptops e outros) podem facilitar a monitoria e aumentar os benefiacutecios da monitoria das actividades A monitoria automatizada ndash dados que podem ser obtidos e processados automaticamente ndash podem produzir um resumo dos principais indicadores em uma soacute paacutegina faacutecil de ler e num formato que utiliza cores para alertar ao gestor sobre as aacutereas que precisam de maior atenccedilatildeo As informaccedilotildees obtidas em tempo haacutebil sobre alguns indicadores essenciais permitem que o gestor monitore o progresso e tome medidas correctivas
Essa apresentaccedilatildeo visual das informaccedilotildees mais importantes e necessaacuterias para gerir um projecto eacute geralmente conhecida como Painel de Indicadores de Desempenho Os paineacuteis de indicadores de desempenho podem ser usados em qualquer organizaccedilatildeo departamento ou divisatildeo Nas organizaccedilotildees de sauacutede puacuteblica os paineacuteis satildeo usados frequentemente para monitorar os indicadores financeiros e programaacuteticos bem como a cobertura produccedilatildeo eficaacutecia e qualidade de serviccedilos de sauacutede especiacuteficos Um painel de recursos humanos por exemplo incluiria indicadores relevantes para gerir o seguinte
retenccedilatildeo de funcionaacuterios rotatividade de funcionaacuterios formaccedilatildeo de funcionaacuterios lacunas de habilidades satisfaccedilatildeo dos funcionaacuterios custos benefiacutecios e despesas gerais com funcionaacuterios
A Tabela 6 mostra um painel de indicadores de desempenho criado para monitorar serviccedilos de contracepccedilatildeo ciruacutergica voluntaacuteria (CCV)
TABELA 6 Ilustraccedilatildeo de Painel de Indicadores de Desempenho para Serviccedilos de Contracepccedilatildeo Ciruacutergica Voluntaacuteria (CCV)
Serviccedilo Contracepccedilatildeo Ciruacutergica Voluntaacuteria Periacuteodo do Relatoacuterio Janeiro de 2009
No Indicador de Prestaccedilatildeo de Serviccedilos Custo Qualidade
Meta financeira ou programaacutetica
LimiarNuacutemero
alcanccedilado
Percentagem concluiacuteda
Miacuten Maacutex 10 20 30 40 50 60 70 80 90 100
1 Nuacutemero de CCVs realizadas no mecircs 8 10 7
2 Custo meacutedio das CCVs (US$) 100 120 110
3 Orccedilamento mensal da receita com CCVs realizadas (US$) 800 1200 770
4Percentagem das CCVs realizadas por pessoal
qualificadomdash 100 60
5 Percentagem das CCVs realizadas sem complicaccedilotildees 95 100 100
6
Percentagem de utentes satisfeitas com o tratamento
recebido do pessoal que realizou as CCVs
90 100 90
Adaptado de Colindres 2008 p 6
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 930
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja uma descriccedilatildeo do uso de um painel de indicadores de desempenho para a monitoria de rotina num estudo de caso estudo de caso de uma ONG da Boliacutevia o Centro de Investigaccedilatildeo Educaccedilatildeo e Serviccedilos (CIES)
Para obter mais informaccedilotildees de como criar um painel de indicadores consulte ldquoComo usar os paineacuteis de indicadores de desempenho para monitorar as realizaccedilotildees de uma organizaccedilatildeordquo Esse documento ajuda a esclarecer conceitos e define as etapas essenciais para criar paineacuteis de indicadores de desempenho
Como criar uma avaliaccedilatildeo para fins de aprendizagem
Apesar da importacircncia da monitoria de rotina apenas a monitoria natildeo basta para responder agrave pergunta ldquoE entatildeordquo Ou seja suas actividades e produtos contribuiacuteram para melhorar a cobertura dos serviccedilos aumentar o conhecimento ou encorajar comportamentos mais saudaacuteveis
Talvez uma campanha de comunicaccedilatildeo sobre planeamento familiar criada para aumentar a prevalecircncia do uso de contraceptivos tenha levado o governo a abastecer os depoacutesitos distritais com contraceptivos Para que possam aprender com essa experiecircncia e criar campanhas mais eficazes no futuro os gestores do projecto ainda querem saber que produtos foram realmente dispensados aos centros de sauacutede e distribuiacutedos aos utentes Esta secccedilatildeo discute como criar uma avaliaccedilatildeo para fins de aprendizagem
Existem dois motivos para levar a cabo uma avaliaccedilatildeo
1 A avaliaccedilatildeo fornece informaccedilotildees sobre o sucesso da sua equipa unidade ou organizaccedilatildeo para atingir seus objectivos Essas informaccedilotildees ajudam a definir que actividades expandir modificar ou eliminar Ela pode tambeacutem revelar formas de melhorar a concepccedilatildeo e gestatildeo das actividades futuras
2 A avaliaccedilatildeo pode demonstrar uma cultura de prestaccedilatildeo de contas agrave sua agecircncia doadora e a outros grupos de interesse nomeadamente o governo e os beneficiaacuterios dos seus serviccedilos
AVALIACcedilOtildeES FORMATIVAS E SUMATIVAS
Os gestores podem realizar dois amplos tipos de avaliaccedilotildees formativas e sumativas
Avaliaccedilatildeo formativa Este tipo de avaliaccedilatildeo eacute realizada durante o desenvolvimento e implementaccedilatildeo de um programa Seu objectivo eacute orientar o desenho e a implementaccedilatildeo de actividades que incluam as melhores e mais promissoras praacuteticas que aumentaratildeo as chances de sucesso A avaliaccedilatildeo formativa eacute mais comummente utilizada por projectos de grande porte ou de longo prazo em vez de projectos menores e de curto prazo Poreacutem os projectos menores devem pelo menos realizar uma avaliaccedilatildeo raacutepida das melhores praacuteticas durante a fase de planeamento para apoiar a loacutegica e o conteuacutedo proposto para as actividades
A avaliaccedilatildeo formativa inclui uma avaliaccedilatildeo de necessidades para discernir os desejos e requisitos de um grupo da populaccedilatildeo e determinar a melhor forma de atendecirc-los Inclui tambeacutem uma avaliaccedilatildeo de processo para investigar o processo utilizado para executar uma intervenccedilatildeo Pode-se usar a avaliaccedilatildeo do processo para determinar se as actividades foram realizadas de acordo com o plano ndash em termos de sua concepccedilatildeo original estimativas de custos e nuacutemero de pessoas a serem atendidas ndash e se a qualidade dos processos usados estaacute de acordo com as melhores praacuteticas conhecidas
A avaliaccedilatildeo de processo geralmente inclui vaacuterias abordagens Pode incluir uma avaliaccedilatildeo dos dados referentes aos produtos (por ex nuacutemero de redes mosquiteiras fornecidas nuacutemero
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 931
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
de workshops de formaccedilatildeo realizados nuacutemero de participantes dos workshops) assim como entrevistas individuais ou grupos de enfoque entre os beneficiaacuterios Nas intervenccedilotildees de menor porte eacute uma boa praacutetica realizar uma avaliaccedilatildeo de processo mesmo se limitada agrave retroinformaccedilatildeo dos participantes
Avaliaccedilatildeo somativa Este tipo de avaliaccedilatildeo eacute realizada apoacutes a conclusatildeo de um grupo de actividades ou da intervenccedilatildeo para avaliar a qualidade da intervenccedilatildeo e os seus principais resultados A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo a avaliaccedilatildeo do impacto a anaacutelise de custo-benefiacutecio e custo-eficaacutecia e a investigaccedilatildeo operacional
A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo que avalia em que medida uma equipa unidade ou organizaccedilatildeo inteira atingiram seus resultados esperados A avaliaccedilatildeo dos resultados eacute usada para demonstrar que existe uma cultura de prestaccedilatildeo de contas para aperfeiccediloar o projecto de actividades organizacionais para melhorar a distribuiccedilatildeo dos recursos e para promover intervenccedilotildees futuras bem-sucedidas As principais perguntas satildeo Que modificaccedilotildees ocorreram na vida das pessoas das famiacutelias ou da comunidade como resultado do nosso trabalho Que diferenccedila fizemos
Como observamos anteriormente neste capiacutetulo os resultados a meacutedio e longo prazo satildeo geralmente mudanccedilas mensuraacuteveis eou observaacuteveis em duas dimensotildees A primeira dimensatildeo abrange a conscientizaccedilatildeo o conhecimento as atitudes os valores e as habilidades dos participantes de um programa ou dos beneficiaacuterios dos serviccedilos durante ou depois de seu envolvimento na intervenccedilatildeo A segunda dimensatildeo implica mudanccedilas no comportamento desses mesmos grupos
Idealmente as duas dimensotildees deveriam ser medidas em trecircs pontos no comeccedilo e no final do periacuteodo de implementaccedilatildeo e se possiacutevel apoacutes um periacuteodo de acompanhamento adequado Se a mediccedilatildeo do acompanhamento natildeo for viaacutevel pelo menos devem ser comparadas as mediccedilotildees de base e poacutes-intervenccedilatildeo Muitas vezes as mudanccedilas podem ser pequenas mas deve haver alguma melhoria em pelo menos um ou dois resultados para que a intervenccedilatildeo seja considerada um sucesso
A avaliaccedilatildeo dos resultados tenta distinguir entre a influecircncia da intervenccedilatildeo nessas mudanccedilas e a influecircncia de outros factores externos Mas geralmente os avaliadores teratildeo que optar pela atribuiccedilatildeo parcial de um resultado a uma intervenccedilatildeo ou serviccedilo especiacutefico devido agrave dificuldade em determinar uma relaccedilatildeo directa e causal entre o serviccedilo prestado e uma determinada mudanccedila
As avaliaccedilotildees de resultados utilizam geralmente um desenho natildeo experimental (geralmente denominado ldquopreacute e poacutes-avaliaccedilatildeordquo) que simplesmente mede as mudanccedilas antes e depois de uma intervenccedilatildeo ou seja diferente do desenho experimental (que compara os participantes com um grupo de controlo com designaccedilatildeo aleatoacuteria a ambos os grupos) ou do desenho semi-experimental (que compara os participantes com um grupo de controlo mas sem a designaccedilatildeo aleatoacuteria)
O desenho natildeo experimental eacute aceitaacutevel para as mediccedilotildees e relatoacuterios padratildeo dos resultados a meacutedio e longo prazo As ONGs raramente usam os desenhos experimentais Apesar de uma organizaccedilatildeo de grande porte e com muitos recursos poder ocasionalmente receber assistecircncia de especialistas para um desenho experimental a maioria delas acha que as consideraccedilotildees eacuteticas e logiacutesticas impedem a designaccedilatildeo aleatoacuteria dos participantes aos grupos de intervenccedilatildeo e de controlo Aleacutem disso o custo de recolher dados de um grupo de controlo seraacute provavelmente muito elevado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 932
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A avaliaccedilatildeo do impacto eacute outro componente da avaliaccedilatildeo somativa Eacute mais ampla do que a avaliaccedilatildeo de resultados e avalia os efeitos liacutequidos ou gerais ndash tanto intencionais como natildeo intencionais ndash de todo um programa grupo de programas ou grupo de organizaccedilotildees As avaliaccedilotildees de impacto geralmente se estendem por um periacuteodo de 3 a 5 anos
OUTROS TIPOS DE AVALIACcedilOtildeES
Anaacutelise de custo-benefiacutecio e custo-eficaacutecia Estes tipos de anaacutelise tratam da eficiecircncia da intervenccedilatildeo ao analisar os resultados em termos dos seus custos financeiros e do seu valor
Investigaccedilatildeo operacional Trata-se de um balanccedilo ou avaliaccedilatildeo de uma intervenccedilatildeo especiacutefica no contexto de um programa mais amplo que estaacute a fazer vaacuterias intervenccedilotildees A investigaccedilatildeo operacional eacute usada para testar e avaliar novas abordagens de prestaccedilatildeo de serviccedilos de sauacutede Eacute tambeacutem usada para identificar problemas na prestaccedilatildeo de serviccedilos e oferecer soluccedilotildees
A investigaccedilatildeo operacional eacute uma ferramenta poderosa que os gestores de programas e os tomadores de decisotildees podem usar para melhorar e expandir os serviccedilos Os estudos de investigaccedilatildeo operacional comparam intervenccedilotildees que estatildeo dentro da esfera de influecircncia do gestor Os exemplos incluem a avaliaccedilatildeo da eficaacutecia de uma nova estrateacutegia de prevenccedilatildeo de VIHSIDA um novo curso de formaccedilatildeo um novo conjunto de procedimentos para gerir medicamentos um novo meacutetodo contraceptivo ou um novo serviccedilo de sauacutede reprodutiva
O Toolkit de Investigaccedilatildeo Operacional do Programa Horizons sobre VIHSIDA do Population Council fornece informaccedilotildees detalhadas para criar um estudo de investigaccedilatildeo operacional
CONSIDERACcedilOtildeES PARA A FORMULACcedilAtildeO DE UMA AVALIACcedilAtildeO
O que avaliar para responder agrave pergunta ldquoE entatildeordquo Se quiser saber como gestor se as suas actividades tiveram realmente sucesso precisa preparar todas as intervenccedilotildees tendo em mente a avaliaccedilatildeo e incorporar a avaliaccedilatildeo ao seu planeamento organizacional geral Ao definir objectivos deve se perguntar Como saberemos se estamos a atingir esses objectivos Este eacute o ponto de partida para a avaliaccedilatildeo
Seja qual for o porte da sua intervenccedilatildeo ou serviccedilo e o alcance da avaliaccedilatildeo precisaraacute responder a trecircs perguntas durante a fase de desenho e planeamento
1 O que a sua intervenccedilatildeo ou serviccedilo conseguiraacute realizar a curto e longo prazo Se implementar um conjunto de actividades com sucesso ao longo do tempo o que seraacute diferente
2 Como conceptualiza as suas actividades ndash qual eacute a loacutegica subjacente Duas abordagens para identificar a loacutegica do programa satildeo discutidas neste capiacutetulo na secccedilatildeo intitulada Ferramentas e Abordagens Praacuteticas para MampA
3 Que indicadores pode usar para identificar o progresso no alcance dos resultados
Para responder agrave pergunta ldquoE entatildeordquo vocecirc precisa avaliar os factores sobre os quais tem um niacutevel razoaacutevel de controlo Por exemplo um novo serviccedilo criado para oferecer alojamento a pessoas que vivem com SIDA natildeo pode controlar ou afectar a expectativa de vida das pessoas agraves quais atende Mas ao fornecer um ambiente estaacutevel para elas viverem o serviccedilo pode diminuir o niacutevel de stresse e melhorar a qualidade de vida dessas pessoas que antes eram forccediladas a se mudar com frequecircncia
Depois de tratar da pergunta ldquoE entatildeordquo deve tambeacutem se certificar de que a avaliaccedilatildeo seja concebida de forma que quando o processo estiver concluiacutedo vocecirc possa abordar os cinco toacutepicos principais da avaliaccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 933
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
1 Relevacircncia Foi uma boa ideia fazer a intervenccedilatildeo considerando-se a situaccedilatildeo e a necessidade de melhorias Ela tratou das prioridades do grupo alvo ou beneficiaacuterio Por que sim ou por que natildeo
2 Eficaacutecia Os resultados produtos e actividades foram realizados Por que sim ou por que natildeo A loacutegica da intervenccedilatildeo eacute correcta
3 Eficiecircncia Os insumos (recursos e tempo) foram usados da melhor forma possiacutevel para atingir os resultados a meacutedio e longo prazo Por que sim ou por que natildeo O que vocecirc e sua equipa poderiam fazer de modo diferente no futuro para maximizar os resultados a um custo aceitaacutevel
4 Impacto Em que medida a sua intervenccedilatildeo contribuiu para as metas nacionais ou de longo prazo Que consequecircncias natildeo intencionais (positivas ou negativas) suas actividades tiveram Por que essas consequecircncias aconteceram
5 Sustentabilidade Eacute provaacutevel que os resultados positivos continuem depois que sua intervenccedilatildeo terminar Por que sim ou por que natildeo
Uma uacuteltima advertecircncia assim como a monitoria pode-se complicar demasiado a avaliaccedilatildeo Ao preparar um plano de avaliaccedilatildeo o melhor eacute seleccionar um grupo pequeno de indicadores e resistir agrave tentaccedilatildeo de avaliar todos os aspectos da sua intervenccedilatildeo
Assim como a monitoria a avaliaccedilatildeo soacute eacute uacutetil se as informaccedilotildees forem repassadas em tempo haacutebil para o gestor e outros tomadores de decisotildees e grupos de interesse Um problema comum com as avaliaccedilotildees intercalares eacute que os resultados geralmente soacute satildeo informados de 6 a 8 meses mais tarde o que deixa apenas 1 ou 2 anos para fazer mudanccedilas mais permanentes antes que se esgotem os fundos do governo ou da agecircncia doadora
COMO SELECCIONAR SUAS FONTES DE DADOS
Esta secccedilatildeo descreve trecircs tipos de fontes de dados que satildeo comummente usadas para uma avaliaccedilatildeo dados recolhidos rotineiramente inqueacuteritos de grande escala e teacutecnicas de avaliaccedilatildeo raacutepida inclusive a avaliaccedilatildeo participativa
Dados de rotina Os dados recolhidos e analisados rotineiramente por um SIS satildeo denominados ldquoestatiacutesticas de serviccedilordquo Pode-se utilizar vaacuterios sistemas de informaccedilatildeo de serviccedilos de rotina para monitorar os serviccedilos Alguns deles satildeo o sistema baacutesico de registo e relatoacuterio de SIS os sistemas especiais de relatoacuterios sobre programas (por ex tuberculose malaacuteria imunizaccedilatildeo VIH planeamento familiar etc) os sistemas de relatoacuterios sobre agentes comunitaacuterios especiais (por ex registos de agentes comunitaacuterios de sauacutede) o sistema de informaccedilotildees para a vigilacircncia de doenccedilas e o controlo notificaccedilatildeo e resposta a surtos e os relatoacuterios para os sistemas de suporte especiais (por ex medicamentos encaminhamentos e gestatildeo financeira e de recursos humanos)
Esses sistemas fornecem dados que estatildeo imediatamente disponiacuteveis e cujo objectivo eacute informar o que estaacute a acontecer no sector de sauacutede Os dados de rotina incluem por exemplo o nuacutemero de consultas de preacute-natal em uma cliacutenica o nuacutemero e tipo de vacinaccedilotildees fornecidas no local ou o nuacutemero e tipos de contraceptivos fornecidos mensalmente
Os dados sobre os serviccedilos satildeo geralmente recolhidos pelos centros de sauacutede ou postos de sauacutede e enviados para o proacuteximo niacutevel superior do sistema (geralmente o distrito) para serem agregados Esses dados podem entatildeo ser enviados ao proacuteximo niacutevel superior (regional ou provincial) para posterior agregaccedilatildeo antes que cheguem finalmente ao niacutevel central do Ministeacuterio da Sauacutede
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 934
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Idealmente os gestores de centros de sauacutede e ao niacutevel do distrito usam esses dados para orientar as operaccedilotildees diaacuterias acompanhar o desempenho e a prestaccedilatildeo de contas e tomar decisotildees que continuem a melhorar o desempenho Mas haacute vaacuterios obstaacuteculos a essa utilizaccedilatildeo
Muito frequentemente os dados de rotina satildeo imprecisos ou incompletos Apesar dos que utilizam o SIS tentarem produzir informaccedilotildees de alta qualidade e em tempo haacutebil haacute muitas oportunidades de introduzir erros Pode haver pouco apoio para que os gestores e seu pessoal se concentrem nos procedimentos correctos de recolha registo e agregaccedilatildeo dos dados
Os sistemas de sauacutede de vaacuterios paiacuteses enfatizam a importacircncia de apresentar relatoacuterios para os niacuteveis superiores mas natildeo estabeleceram procedimentos e incentivos para encorajar aqueles que fornecem informaccedilotildees a utilizaacute-las mesmo quando os dados satildeo de boa qualidade
Outra dificuldade eacute que as estatiacutesticas sobre serviccedilos fornecem informaccedilotildees apenas sobre os utentes que utilizam os serviccedilos de sauacutede Natildeo podem fornecer informaccedilotildees sobre as muitas pessoas que natildeo utilizam os serviccedilos
Por tudo isso natildeo se pode confiar apenas nas estatiacutesticas sobre serviccedilos para fazer uma avaliaccedilatildeo Elas satildeo melhor utilizadas para a monitoria de rotina dos problemas de sauacutede puacuteblica e dos serviccedilos essenciais relacionados
Inqueacuteritos em grande escala Os inqueacuteritos em grande escala satildeo outra fonte de informaccedilotildees imediatamente disponiacuteveis Incluem inqueacuteritos de base populacional tais como as Inqueacuterito Demograacutefico e de Sauacutede (IDS) dos EUA avaliaccedilotildees completas de centros de sauacutede como a Anaacutelise de Situaccedilatildeo do Population Council e os censos nacionais Em vaacuterios casos os gestores podem usar os dados de um inqueacuterito em grande escala existente para fornecer o contexto para a interpretaccedilatildeo dos dados capturados atraveacutes das suas proacuteprias avaliaccedilotildees
Por exemplo as IDS satildeo realizadas periodicamente para caracterizar a situaccedilatildeo de sauacutede em um paiacutes ou regiatildeo geograacutefica de grande extensatildeo para vaacuterios grupos populacionais homens mulheres crianccedilas bebeacutes e assim por diante Mas os dados das IDS natildeo podem normalmente ser desagregados para uso pelos gestores no niacutevel de distrito ou comunidade
Aleacutem disso como as IDS satildeo realizadas apenas a cada trecircs ou cinco anos as informaccedilotildees que fornecem podem natildeo estar suficientemente actualizadas para as necessidades de avaliaccedilatildeo dos gestores Apesar dessas dificuldades os dados das IDS satildeo uacuteteis para compreender tendecircncias regionais ou nacionais que podem ajudar a explicar dados recolhidos em uma avaliaccedilatildeo de foco especiacutefico
Avaliaccedilotildees raacutepidas Satildeo formas raacutepidas e econoacutemicas de obter informaccedilotildees para a tomada de decisotildees principalmente ao niacutevel da actividade Os exemplos incluem entrevistas quando os utentes saem de suas consultas as avaliaccedilotildees de pequena escala dos centros de sauacutede os inqueacuteritos raacutepidos por amostragem o exame analiacutetico de registos as entrevistas com grupos de enfoque e outros meacutetodos participativos
Poderaacute usar teacutecnicas de avaliaccedilatildeo raacutepida para complementar as informaccedilotildees obtidas com dados de rotina ou inqueacuteritos de grande escala As avaliaccedilotildees raacutepidas podem-lhe fornecer informaccedilotildees valiosas sobre sua aacuterea de captaccedilatildeo e sua aacuterea de responsabilidade mais ampla ndash ou seja as comunidades e as populaccedilotildees que deveriam ter acesso aos serviccedilos essenciais prestados por um centro de sauacutede determinado Elas podem tambeacutem fornecer contexto e uma compreensatildeo qualitativa dos dados quantitativos recolhidos pelos meacutetodos mais formais
Dentro da categoria de avaliaccedilotildees raacutepidas os meacutetodos participativos e os inqueacuteritos raacutepidos por amostragem merecem a sua atenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 935
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Meacutetodos participativos (tambeacutem chamados de aprendizagem e acccedilatildeo participativas) Essas teacutecnicas e meacutetodos visam incorporar o conhecimento e as opiniotildees dos membros da comunidade no planeamento e gestatildeo de projectos de desenvolvimento no esforccedilo para influenciar as poliacuteticas e na implementaccedilatildeo de programas Eles permitem incluir vozes da comunidade nas poliacuteticas no planeamento e nos inqueacuteritos e criam um senso de propriedade e participaccedilatildeo nos resultados de MampA e nas recomendaccedilotildees feitas pela organizaccedilatildeo e por seus beneficiaacuterios
Ao contraacuterio de outras teacutecnicas de avaliaccedilatildeo raacutepida os meacutetodos participativos natildeo se baseiam em amostragens Eles usam entrevistas individuais ou com informantes essenciais (inclusive entrevistas com utentes ao saiacuterem de suas consultas) entrevistas em grupo estudos de caso e outros meacutetodos qualitativos para identificar as condiccedilotildees locais e entender as perspectivas e prioridades locais
Em vaacuterios locais haacute membros da comunidade que natildeo podem ler nem escrever e por isso os meacutetodos participativos dependem frequentemente da comunicaccedilatildeo oral com apoio de imagens siacutembolos objectos fiacutesicos e memoacuteria colectiva
Os meacutetodos participativos podem ser usados antes durante e apoacutes a implementaccedilatildeo de uma intervenccedilatildeo ou um conjunto de actividades Eles fornecem informaccedilotildees para o projecto e a avaliaccedilatildeo e permitem a participaccedilatildeo activa das partes interessadas na tomada de decisotildees Durante a implementaccedilatildeo os meacutetodos participativos satildeo uacuteteis para identificar e solucionar problemas
Aproveite para examinar e utilizar uma lista de recursos online sobre inqueacuterito qualitativo e directrizes sobre discussotildees em grupos de enfoque no Community Tool Box da Universidade de Kansas
Inqueacuteritos raacutepidos por amostragem Estes inqueacuteritos podem ser utilizados para recolher informaccedilotildees padronizadas de uma amostra pequena e cuidadosamente seleccionada de pessoas ou domiciacutelios em uma aacuterea beneficiaacuteria Eles podem descrever as condiccedilotildees em uma comunidade particular ou grupo-alvo e permitem comparar grupos diferentes em um determinado momento ou mudanccedilas no mesmo grupo ao longo do tempo Permitem tambeacutem comparar condiccedilotildees actuais com os resultados planeados
Um dos inqueacuteritos mais comuns de pequena amostragem eacute o inqueacuterito CAP (Conhecimentos Atitudes e Praacuteticas) baseado em uma amostra de 30 agrupamentos
Amostragem para Garantia de Qualidade de Lotes (Lot Quality Sampling - LQAS) Essa eacute outra teacutecnica de avaliaccedilatildeo raacutepida que se usa cada vez mais na aacuterea de sauacutede puacuteblica A LQAS utiliza amostragens muito pequenas para obter informaccedilotildees confiaacuteveis em uma pequena aacuterea geograacutefica ou unidade administrativa Pode ser usada para detectar de forma precisa os extremos do desempenho ndash para determinar se uma intervenccedilatildeo foi mais aleacutem de um limiar superior de desempenho ou natildeo conseguiu atingir um limiar inferior de desempenho em termos de qualidade ou cobertura As amostras de lotes podem tambeacutem ser combinadas para fornecer estimativas de cobertura em uma aacuterea geograacutefica mais ampla
Uma busca na Web revelaraacute recursos uacuteteis aqui temos um sobre os inqueacuteritos CAP e outro sobre LQAS A aacuterea de MampA do website do CORE Group inclui ligaccedilotildees com ferramentas e recursos importantes para a avaliaccedilatildeo raacutepida criados pelo Grupo de Trabalho de MampA do CORE Group
Como gestor deve revisar todas as fontes de dados jaacute existentes antes de planear a sua avaliaccedilatildeo A Tabela 7 apresenta as vantagens e desvantagens das trecircs principais fontes de
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 936
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 7 Resumo das trecircs fontes de dados mais comuns para uma avaliaccedilatildeo
Fonte de dados Vantagens Limitaccedilotildees
Estatiacutesticas de serviccedilo Dados sobre a populaccedilatildeo de utentes e serviccedilos cliacutenicos que satildeo recolhidos rotineiramente nos registos dos utentes e nos registos cliacutenicos
Disponiacuteveis imediatamente
Cobrem todos os tipos de serviccedilos de sauacutede e todas as aacutereas do paiacutes
Podem ser desagregados para os niacuteveis local e de distrito
Uso econoacutemico
Soacute lhe informam sobre clientes actuais sem informaccedilotildees sobre as pessoas que natildeo usam os serviccedilos de sauacutede e podem ser utentes em potencial
Natildeo fornecem informaccedilotildees sobre valores percepccedilotildees ou comportamentos da comunidade
Natildeo reflectem as pessoas que optam por fontes privadas de serviccedilos
Podem ser inexactas se os locais de prestaccedilatildeo de serviccedilos natildeo registarem os dados correctamente de forma legiacutevel e em tempo haacutebil
Inqueacuteritos de grande escala Inqueacuteritos de base populacional e avaliaccedilotildees de grande escala dos centros de sauacutede
Dados relevantes precisos e confiaacuteveis
Podem medir as tendecircncias nacionais de sauacutede identificar aacutereas com problemas e ajudar a concentrar os recursos do paiacutes em aacutereas de maior carecircncia
Geram valores meacutedios para as aacutereas urbanas e rurais regiotildees e proviacutencias
Fornecem um contexto para interpretar os dados recolhidos localmente
Podem gerar informaccedilotildees adicionais a partir dos seus conjuntos de dados informatizados
Geralmente natildeo podem desagregar os dados para fornecer meacutedias para as aacutereas sub-regionais (distritos ou municipalidades)
Geralmente natildeo satildeo realizadas anualmente os dados se tornam desactualizados rapidamente se as populaccedilotildees ou condiccedilotildees de sauacutede se modificarem rapidamente
Avaliaccedilotildees raacutepidas Meacutetodos focados para avaliar as necessidades locais e tomar decisotildees em acircmbito local
Raacutepidas e econoacutemicas
Resultam em acccedilatildeo local
Haacute directrizes para ajudar os gestores em vaacuterias dessas teacutecnicas
Fornecem aos gestores a capacidade de recolher os dados necessaacuterios
Os inqueacuteritos domiciliares (por ex LQAS ou CAP) podem obter precisatildeo suficiente para fins de avaliaccedilatildeo
Equilibra a necessidade de resultados representativos e objectivos com a necessidade de usar projectos levemente menos rigorosos que satildeo mais viaacuteveis em aacutereas locais
Usam escala e acircmbito reduzidos para produzir resultados em tempo haacutebil e de baixo custo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 937
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
dados que foram discutidas acima estatiacutesticas rotineiras de serviccedilos inqueacuteritos em grande escala e teacutecnicas de avaliaccedilatildeo raacutepida
Que niacutevel de qualidade os dados do SIS precisam ter para serem uacuteteis ndash que niacutevel de abrangecircncia precisatildeo e apresentaccedilatildeo em tempo haacutebil Para as suas necessidades de gestatildeo mesmo que natildeo sejam perfeitos os dados podem ser suficientemente bons para ter um efeito poderoso como nos mostra o exemplo de Madagascar
Dados do SIS pontos fortes e limitaccedilotildees
Subestimar o valor e a utilidade do SIS eacute infelizmente uma tendecircncia Eacute verdade que o SIS tem problemas frequentemente mas tambeacutem eacute grande o seu potencial Como vimos em
Como usar e melhorar dados imperfeitos do SIS ndash Um exemplo de Madagascar
Um SIS de base comunitaacuteria mais preciso e mais oportuno Um projecto de Madagascar implementou um meacutetodo baseado na comunidade para aumentar o uso de meacutetodos de planeamento familiar denominado ldquoComunidades Campeatildesrdquo em 50 dos 110 distritos do paiacutes O meacutetodo utilizou exclusivamente os dados do SIS para monitorar e avaliar as realizaccedilotildees das comunidades participantes
Em primeiro lugar foi estabelecida uma base de referecircncia para cada comunidade ao usar os dados do seu centro de sauacutede Em seguida o pessoal do centro de sauacutede e os representantes da comunidade identificaram metas para 10 indicadores que determinariam se uma comunidade tinha alcanccedilado a posiccedilatildeo de campeatilde apoacutes 12 meses de implementaccedilatildeo Cada comunidade monitorava seu proacuteprio progresso em uma reuniatildeo trimestral de verificaccedilatildeo
Apoacutes 12 meses o pessoal do projecto voltou a cada comunidade para avaliar os resultados Examinaram os dados do relatoacuterio de monitoria de rotina de cada centro de sauacutede e para cada indicador Prepararam tambeacutem um relatoacuterio sobre os dados de cada comunidade e o enviaram para o supervisor de niacutevel distrital para a sua confirmaccedilatildeo com base nos registos informatizados do distrito As fontes de dados para os relatoacuterios do centro de sauacutede e registos de distrito foram as mesmas (registos dos centros de sauacutede) e por isso raramente ocorreu uma discrepacircncia Mas o que interessava era envolver o supervisor distrital no exame dos dados do centro de sauacutede para mostrar a utilidade de se usar ateacute mesmo dados simples nesse niacutevel
O projecto tambeacutem cooperou com o Ministeacuterio da Sauacutede a niacutevel distrital para melhorar a precisatildeo a abrangecircncia e a prontidatildeo do SIS A ecircnfase era obter dados mais completos dos centros de sauacutede e reduzir o tempo gasto pelo escritoacuterio distrital para receber o relatoacuterio do centro de sauacutede apreciaacute-lo devolvecirc-lo ao centro para qualquer correcccedilatildeo recebecirc-lo novamente dar entrada dos dados no sistema e finalmente enviaacute-los ao niacutevel central Os distritos satildeo responsaacuteveis por cooperar com os centros de sauacutede para melhorar o registo de dados e actualizar suas proacuteprias teacutecnicas de processamento de dados
Apoacutes dois anos de assistecircncia teacutecnica o SIS tinha realmente melhorado segundo os indicadores de precisatildeo abrangecircncia e prontidatildeo As melhorias mais notaacuteveis foram em prontidatildeo o tempo gasto pelo escritoacuterio distrital no processo descrito acima reduziu-se de 12 para 3 meses
Imperfeitas mais mesmo assim valiosos Deve-se lembrar que o projecto ldquoComunidades Campeatildesrdquo teve oacuteptimo resultado apesar dos dados imperfeitos Seu numerador (o nuacutemero de utentes regulares de planeamento familiar) era detalhado e preciso Mas suas estimativas das taxas de prevalecircncia do uso de contraceptivos natildeo eram muito precisas porque o denominador (nuacutemero de mulheres em idade reprodutiva) era apenas uma estimativa baseada num censo desactualizado e em estimativas anuais do governo sobre percentagens de crescimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 938
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Madagascar o projecto Comunidades Campeatildes melhorou o sistema substancialmente num periacuteodo de dois anos Nesse caso o sistema jaacute se encontrava relativamente funcional porque projectos anteriores haviam feito um grande esforccedilo para implantar o sistema e tornaacute-lo mais soacutelido Ao aprimorar a forma como o sistema era administrado e os dados eram usados o projecto posterior conseguiu fazer uma grande diferenccedila por meio de pequenas modificaccedilotildees
Os dados do SIS natildeo satildeo 100 exactos e nunca seratildeo Esta eacute a realidade com a qual todos os gestores tecircm que trabalhar Mas os dados natildeo precisam ser perfeitos para serem uacuteteis Eacute possiacutevel fazer a monitoria e a gestatildeo com dados imperfeitos Informaccedilotildees obtidas em tempo
(continuaccedilatildeo)
No entanto o projecto constatou que as taxas de prevalecircncia de uso de contraceptivos eram suficientemente boas para acompanhar o desempenho das comunidades que participavam do meacutetodo de Comunidades Campeatildes O pessoal do projecto tambeacutem complementou as comparaccedilotildees dessas taxas com as comparaccedilotildees dos valores do numerador nuacutemeros simples que faziam sentido para o pessoal do centro de sauacutede e tambeacutem para as comunidades
O niacutevel central comeccedilou a organizar workshops regionais trimestrais para divulgar os resultados ao niacutevel distrital Juntos os gestores dos niacuteveis distritais regionais e centrais analisaram o progresso e classificaram os distritos com base no seu desempenho Usaram a anaacutelise de causa-raiz ndash um processo que identifica as causas subjacentes de um problema ndash para entender os obstaacuteculos enfrentados pelos distritos que apresentavam baixo desempenho (Consulte o Apecircndice A no Capiacutetulo 2 deste guia para obter mais informaccedilotildees sobre a anaacutelise de causa-raiz) Finalmente o Ministeacuterio de Sauacutede mobilizou o apoio de agecircncias doadoras e de organizaccedilotildees parceiras para ajudaacute-los a melhorar
O ministeacuterio comeccedilou a usar as informaccedilotildees de sauacutede para administrar realmente o sistema de sauacutede Antes dessa intervenccedilatildeo poucas organizaccedilotildees confiavam ou utilizavam os dados do SIS Mas quando ficou claro que o sistema funcionava as agecircncias doadoras passaram a confiar as organizaccedilotildees parceiras passaram a utilizaacute-lo e o ministeacuterio se orgulhou do trabalho Pela primeira vez tinham uma visatildeo mais niacutetida do que acontecia em todo o paiacutes e podiam usar essas informaccedilotildees para buscar o apoio de agecircncias doadoras se necessaacuterio
Do mesmo modo os centros de sauacutede raramente usavam seus proacuteprios dados Eles simplesmente faziam os registos e os enviavam para o escritoacuterio distrital sem nem mesmo receber retroinformaccedilatildeo do mesmo Apoacutes a conclusatildeo do projecto perceberam como os dados mais precisos podiam ser usados em seu benefiacutecio e das comunidades
Os distritos tambeacutem actuavam antes de uma forma pouco informada Cada distrito dependia apenas dos seus proacuteprios dados e funcionava num vaacutecuo As mudanccedilas no SIS e o encorajamento do governo central forneceram aos distritos oportunidades para comparar seu trabalho e aprender uns com os outros
Aprendizagem com dados mais precisos completos e oportunos Os dados satildeo geralmente utilizados para fazer comparaccedilotildees mas satildeo menos frequentemente utilizados como ferramenta de aprendizagem Nesse caso depois que os relatoacuterios comeccedilaram a chegar dentro do prazo o Ministeacuterio da Sauacutede usou os dados ndash inclusive dados imperfeitos ndash para descobrir que distritos tinham um desempenho ruim e que distritos estavam melhor que os outros Assim aprenderam com os de melhor desempenho ao perguntar Por que seus resultados satildeo tatildeo bons O que estavam a fazer de diferente O que poderia ser replicado Finalmente aplicaram a aprendizagem ao usar esses distritos como modelos e ao oferecer mais apoio aos de pior desempenho
Todo o sistema de sauacutede se entusiasmou com as informaccedilotildees que podiam produzir e usar A comeccedilar do topo esse entusiasmo chegou aos niacuteveis inferiores e os motivou a melhorar sua recolha e processamento de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 939
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
haacutebil e com 75 de precisatildeo satildeo melhores que as informaccedilotildees com 95 de precisatildeo que chegam com vaacuterios meses de atraso
Apesar do seu grande valor por si soacutes os dados do SIS natildeo atenderatildeo a todas as necessidades de informaccedilatildeo de muitas organizaccedilotildees Algumas organizaccedilotildees e agecircncias doadoras precisam de dados que exigem avaliaccedilotildees ou sistemas especiais Aleacutem disso vaacuterias intervenccedilotildees foram projectadas para modificar o conhecimento as atitudes e as praacuteticas dos beneficiaacuterios factores que natildeo satildeo capturados nos dados de serviccedilo Eacute importante usar os dados do SIS sempre que possiacutevel e complementaacute-los com avaliaccedilotildees locais quando necessaacuterio
Como gestor de um programa de sauacutede ou de serviccedilos de sauacutede parte do seu trabalho deveria ser o de melhorar o SIS em seu paiacutes Ele eacute o uacutenico sistema de informaccedilotildees sustentaacutevel na maioria dos paiacuteses Os sistemas de informaccedilatildeo criados e mantidos por agecircncias doadoras ou organizaccedilotildees externas tecircm duraccedilatildeo limitada mas o SIS eacute parte permanente do seu legado
Se todos os parceiros e agecircncias doadoras trabalharem com o Ministeacuterio de Sauacutede para prestar assistecircncia teacutecnica e financeira ao SIS ele poderaacute render informaccedilotildees que trazem grandes melhorias para os serviccedilos de sauacutede e que justificam plenamente o investimento no mesmo
Praacuteticas comprovadas
Um sistema de MampA deveria proporcionar aos gestores o que eles precisam saber para agir Deve se basear em indicadores relevantes faacuteceis de usar e que possam ser fornecidos em tempo haacutebil para os ciclos de planeamento e apresentaccedilatildeo de relatoacuterios
Os resultados de MampA natildeo se destinam apenas ao pessoal de MampA da sua organizaccedilatildeo ou agrave agecircncia doadora As informaccedilotildees de MampA satildeo um recurso fundamental para as acccedilotildees e a aprendizagem Se o seu processo de MampA tiver mecanismos de retroinformaccedilatildeo que permitam aos tomadores de decisotildees reflectirem sobre os resultados e absorverem o que precisam para seus proacuteprios fins eles assumiratildeo o controlo do processo e utilizaratildeo o que ele oferecer
Se vocecirc define suas actividades de MampA no comeccedilo de uma intervenccedilatildeo ou projecto junto com o plano de acccedilatildeo para o projecto teraacute mais oportunidades de orientar e acompanhar a implementaccedilatildeo das actividades
Quando satildeo demasiado elaborados e complicados os planos de MampA natildeo satildeo usados Elabore um plano de MampA simples escolha ferramentas de monitoria faacuteceis de usar e seleccione a menor quantidade possiacutevel de indicadores para acompanhar o progresso e introduzir as mudanccedilas necessaacuterias ao longo do caminho
Para fortalecer um SIS eacute preciso trabalhar com as pessoas envolvidas os responsaacuteveis pelo sistema que registam transferem analisam comunicam e utilizam os dados e as informaccedilotildees para a gestatildeo dos serviccedilos
Ao fornecer os dados do SIS para os tomadores de decisotildees vocecirc deve reconhecer as diferenccedilas na frequecircncia dos relatoacuterios e nas quantidades de dados agregados e desagregados necessaacuterios aos niacuteveis diferentes de governo ou agraves organizaccedilotildees natildeo governamentais
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 96
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para gerir as actividades de MampA precisaraacute desenvolver um plano de MampA e entatildeo organizar as estruturas subsistemas e processos para implementar o plano Finalmente teraacute que monitorar e avaliar o programa de MampA para determinar o progresso no alcance dos resultados esperados
As principais praacuteticas de lideranccedila e gestatildeo discutidas aqui e no Capiacutetulo 2 deste manual satildeo tambeacutem descritas em detalhes no Centro de Recursos Electroacutenicos da MSH da secccedilatildeo de Desenvolvimento da Lideranccedila intitulada ldquoComo criar liacutederes que lideramrdquo
De quem eacute a MampA
Quem utiliza a MampA Quem precisa de informaccedilotildees de sauacutede Os gestores de todos os niacuteveis de uma organizaccedilatildeo tecircm interesse em utilizar as informaccedilotildees como base para a acccedilatildeo Isso lhes permite serem gestores e liacutederes eficazes em todos os niacuteveis Na verdade os gestores constituem a fundaccedilatildeo do sistema de MampA
O problema eacute que a funccedilatildeo de MampA nem sempre eacute integrada agrave organizaccedilatildeo Em muitos casos as organizaccedilotildees ndash e por vezes as agecircncias doadoras ndash actuam como se a MampA fosse responsabilidade apenas do pessoal de MampA Sem um processo adequado de comunicaccedilatildeo e retroinformaccedilatildeo as informaccedilotildees e o conhecimento poderiam permanecer nas matildeos do pessoal de MampA Como consequecircncia os resultados (bons ou maus) nem sempre satildeo informados agraves pessoas que precisam deles e as informaccedilotildees natildeo satildeo utilizadas para as decisotildees de gestatildeo
Eacute muito frequente por exemplo que se realize uma avaliaccedilatildeo e se produzam informaccedilotildees para atender agraves necessidades de uma agecircncia doadora ou uma agecircncia do governo e natildeo para melhorar os serviccedilos de uma organizaccedilatildeo Uma forma de garantir que os resultados da avaliaccedilatildeo sejam usados eacute fazer com que os gestores de todos os niacuteveis de uma organizaccedilatildeo desde o centro de sauacutede ateacute o Ministeacuterio da Sauacutede detenham o controlo dos processos e dos resultados de MampA
Necessidades de informaccedilatildeo em niacuteveis diferentes Nem todas as informaccedilotildees satildeo necessaacuterias em todos os niacuteveis e a todo o tempo Gestores agecircncias doadoras e o governo central podem precisar de informaccedilotildees diferentes em momentos diferentes para cumprir seus requisitos de apresentaccedilatildeo de relatoacuterios e para tomar decisotildees Os gestores de projectos financiados por agecircncias doadoras por exemplo trabalham geralmente em um ciclo trimestral ou bienal de apresentaccedilatildeo de relatoacuterios ao passo que o Ministeacuterio da Sauacutede pode precisar de dados que cubram um periacuteodo de trecircs a cinco anos para demonstrar seu impacto e para apresentaacute-los aos poliacuteticos e aos meios de comunicaccedilatildeo
As necessidades de informaccedilatildeo de um sistema de sauacutede podem ser vistas sob a forma de uma hierarquia A Figura 3 mostra que se necessita de volumes cada vez menores de informaccedilatildeo agrave medida que se sobe nos niacuteveis de uma organizaccedilatildeo Existe um conjunto baacutesico de informaccedilotildees de que os gestores de todos os niacuteveis precisam mas apenas um pequeno subconjunto dessas informaccedilotildees eacute necessaacuterio no niacutevel nacional No niacutevel de distrito e dos centros de sauacutede os gestores precisam de informaccedilotildees desagregadas e de forma contiacutenua porque eacute nesses niacuteveis que se empreendem acccedilotildees em resposta a dados operacionais (por ex falta de estoque e abandono de tratamento)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 97
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria dos indicadores operacionais tem menos importacircncia no niacutevel nacional Os que tomam decisotildees no niacutevel nacional precisam na verdade de indicadores que meccedilam o impacto dos programas e serviccedilos de sauacutede no estado de sauacutede a longo prazo Por isso deve-se projectar um SIS para atender a todos os seus utentes fornecendo informaccedilotildees confiaacuteveis a curto meacutedio e longo prazo
No niacutevel do centro de sauacutede por exemplo os gestores recolheriam e utilizariam informaccedilotildees sobre a distribuiccedilatildeo mensal de contraceptivos medicamentos fora de estoque e abandono de tratamento Nos niacuteveis distritais e provinciais ou na sede de uma ONG de grande porte as informaccedilotildees mais uacuteteis seriam taxas anuais de prevalecircncia do uso de contraceptivos ao passo que para o Ministeacuterio de Sauacutede poderiam ser as taxas de mortalidade e morbidade materna a intervalos de trecircs a cinco anos
Para uma discussatildeo mais detalhada sobre a hierarquia das necessidades de informaccedilotildees consulte um artigo no website da OMS
Princiacutepios para uma melhor gestatildeo das informaccedilotildees O Capiacutetulo 1 deste manual afirma que nenhum sistema de gestatildeo pode ser fortalecido se as pessoas natildeo forem incluiacutedas no processo O mesmo se aplica a um SIS Eacute preciso trabalhar com as pessoas envolvidas aquelas que controlam o sistema e registam transferem analisam comunicam e usam os dados e informaccedilotildees para gerir os serviccedilos
Como deveriacuteamos trabalhar com as pessoas no SIS O Quadro 1 apresenta os princiacutepios baacutesicos para criar um SIS eficiente ou melhorar a gestatildeo das informaccedilotildees O objectivo eacute aumentar a disponibilidade e a confiabilidade das informaccedilotildees para que possam ser usadas com mais eficaacutecia na gestatildeo das organizaccedilotildees de sauacutede e dos serviccedilos Esses princiacutepios enfatizam a necessidade da participaccedilatildeo integral de todo o pessoal do SIS e dos gestores e profissionais de sauacutede que utilizaratildeo as informaccedilotildees
FIGURA 3 Hierarquia das necessidades de informaccedilotildees
Informaccedilotildees utilizadas por gestores de programa nacional
Informaccedilotildees recolhidas pelo centro de sauacutede e aiacute utilizadas
Informaccedilotildees exigidas por autoridade nacional
Informaccedilotildees adicionais exigidas por distrito ou departamento municipal
Informaccedilotildees adicionais exigidas para direcccedilatildeo do centro de sauacutede
Fonte Reproduzido com autorizaccedilatildeo de ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo por Vincent Shaw 2005
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 98
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
QUADRO 1 Princiacutepios orientadores para melhorar a gestatildeo das informaccedilotildees
Entenda as funccedilotildees e responsabilidades dos serviccedilos de sauacutede Como o SIS estaacute vinculado ao ciclo de gestatildeo de sauacutede um preacute-requisito para melhorar o SIS eacute entender claramente as funccedilotildees e responsabilidades de cada serviccedilo de sauacutede programa niacutevel de operaccedilotildees e sector (puacuteblico privado comunitaacuterio OSC ONG) envolvido na prestaccedilatildeo de serviccedilos de sauacutede
Focalize na melhoria da sauacutede e dos serviccedilos de sauacutede Quaisquer mudanccedilas nos registos e relatoacuterios de sauacutede devem ser feitas com vistas a melhorar o desempenho dos serviccedilos de sauacutede Eacute importante buscar formas de atender agraves necessidades de informaccedilatildeo em niacuteveis superiores do sistema de sauacutede sem pedir aos gestores e profissionais de sauacutede que registem e reportem dados que natildeo sejam utilizados no niacutevel da prestaccedilatildeo de serviccedilos
Fortaleccedila os sistemas existentes Apesar de ser tentador reformular completamente os sistemas e integrar sistemas paralelos de registos que satildeo especiacuteficos a certos programas o tempo dinheiro interrupccedilatildeo e outros custos de fazer isso satildeo maiores que os possiacuteveis benefiacutecios Poucos esforccedilos para desenvolver SIS totalmente integrados tiveram sucesso Uma opccedilatildeo melhor eacute definir padrotildees de formatos e codificaccedilatildeo de dados que facilitem o intercacircmbio de dados entre sistemas separados
Procure garantir a aceitaccedilatildeo em niacutevel nacional Todas as actividades para desenvolver ou melhorar um sistema de informaccedilotildees devem ser realizadas por grupos de trabalho do proacuteprio paiacutes sob a gestatildeo de pessoal nacional Eacute essencial ter a participaccedilatildeo natildeo soacute do pessoal ligado aos sistemas de informaccedilatildeo mas tambeacutem de gestores e prestadores de serviccedilos esses uacuteltimos as principais pessoas para dar informaccedilotildees Se for necessaacuterio usar um consultor externo essa pessoa deve assumir um papel de facilitador que permita que o pessoal local desenvolva seu proacuteprio sistema Por meio da participaccedilatildeo activa eles entenderatildeo e assumiratildeo o controlo dos meacutetodos e instrumentos do sistema e ao fazer isso se tornaratildeo melhores para mantecirc-lo
Reforce as habilidades do pessoal de sauacutede Essas habilidades incluem registar relatar transmitir processar apresentar analisar e interpretar os dados e usaacute-los para a tomada de decisotildees Usar e manter sistemas de computaccedilatildeo eacute algo que tambeacutem pode ser ensinado O meacutetodo recomendado para desenvolver habilidades eacute ldquoaprender ao fazerrdquo atraveacutes do seguinte
workshops no local de serviccedilo em que pessoal do serviccedilo de sauacutede e os gestores de dados trabalham juntos para solucionar problemas reais usando dados reais
envolver o pessoal nacional nos estudos de planeamento e implementaccedilatildeo e no desenho das mudanccedilas do sistema
esclarecer os papeacuteis e responsabilidades atraveacutes da promoccedilatildeo do consenso
Use a tecnologia de forma apropriada Vocecirc pode usar computadores para a manutenccedilatildeo de banco de dados geraccedilatildeo de relatoacuterios anaacutelise de dados e comunicaccedilotildees se seus sistemas de computaccedilatildeo e software puderem ser mantidos localmente com pessoal jaacute existente Mas certifique-se de que a informatizaccedilatildeo natildeo prejudicaraacute o fluxo e acesso aos dados natildeo sobrecarregaraacute as pessoas de trabalho e natildeo estimularaacute a falsificaccedilatildeo dos dados o que reduziria a confiabilidade dos mesmos
Aceda ao Centro de Recursos Electroacutenicos da MSH para obter enlaces (links) para orientaccedilatildeo adicional sobre gestatildeo de informaccedilotildees
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 99
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria como um caminho para a acccedilatildeo
A IMPORTAcircNCIA DA MONITORIA DE ROTINA
Por que soacute a avaliaccedilatildeo natildeo basta Na comunidade envolvida com o desenvolvimento algumas organizaccedilotildees tendem a confiar mais nos estudos de avaliaccedilatildeo do que numa soacutelida monitoria dos programas Muitas pretendem executar tanto a monitoria quanto a avaliaccedilatildeo mas na praacutetica geralmente dedicam mais tempo e recursos agrave avaliaccedilatildeo
As agecircncias doadoras os governos e as organizaccedilotildees podem preferir as avaliaccedilotildees porque elas fornecem evidecircncias mais palpaacuteveis de progresso tais como a prevalecircncia do uso de contraceptivos (uma medida tiacutepica de resultado a meacutedio e longo prazo para planeamento familiarsauacutede reprodutiva) medida por meio de um inqueacuterito anual domiciliar
A monitoria natildeo pode produzir o indicador de resultado a meacutedio e longo prazo ndash a evidecircncia palpaacutevel de que esses contraceptivos estatildeo efectivamente a ser utilizados Ela pode apenas fornecer um indicador de progresso ou um marco de referecircncia ndash tal como a distribuiccedilatildeo mensal de contraceptivos ndash que lhe permite acompanhar o progresso em direcccedilatildeo agraves metas operacionais Vocecirc pode monitorar a distribuiccedilatildeo de produtos mas natildeo pode concluir que os produtos estejam a ser efectivamente utilizados
Mas para um gestor como vocecirc os dados sobre distribuiccedilatildeo satildeo exactamente o tipo de informaccedilatildeo de que precisa para demonstrar o progresso no alcance da meta e para fazer seu trabalho de forma eficaz
Veja por exemplo uma intervenccedilatildeo para a mudanccedila de comportamento no Peru a qual estaacute descrita e analisada no quadro abaixo
No contexto de serviccedilos de sauacutede do governo os gestores de distrito e de centros de sauacutede precisam monitorar tanto os indicadores de resultados a meacutedio e longo prazo como os indicadores de cobertura Os indicadores de cobertura informam ao gestor de sauacutede se os serviccedilos essenciais estatildeo a ser fornecidos a grupos-alvo especiacuteficos e permitem assim agir rapidamente para resolver falhas na prestaccedilatildeo de serviccedilos a subgrupos ou comunidades carentes
Um bom sistema de monitoria lhe fornece as informaccedilotildees criacuteticas para gerir a intervenccedilatildeo e tomar medidas correctivas imediatamente Uma avaliaccedilatildeo natildeo lhe daacute esse tipo de informaccedilatildeo Portanto quando se vecirc um bom sistema de monitoria eacute geralmente porque um gestor estaacute a impulsionaacute-lo porque precisa de informaccedilotildees de monitoria fornecidas pelo sistema de MampA para que o dito gestor possa comeccedilar a agir
COMO PRODUZIR INFORMACcedilOtildeES ACCIONAacuteVEIS
As informaccedilotildees accionaacuteveis satildeo dados que vocecirc pode usar para tomar uma decisatildeo e empreender uma acccedilatildeo Elas ajudam a identificar falhas de desempenho e encontrar maneiras de resolver essas falhas Para serem accionaacuteveis as informaccedilotildees obtidas com a monitoria devem se basear em indicadores uacuteteis produzidos em formato simples e em tempo haacutebil para o ciclo de planeamento ou apresentaccedilatildeo de relatoacuterios
ldquoAccionaacutevelrdquo significa coisas diferentes para diferentes utentes As informaccedilotildees de que o gestor precisa natildeo satildeo iguais agraves informaccedilotildees de que o director executivo de uma organizaccedilatildeo ou o ministeacuterio de sauacutede utilizariam para apresentar relatoacuterios para agecircncias doadoras poliacuteticos ou para a miacutedia
Como produzir informaccedilotildees accionaacuteveis para o gestor
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 910
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Em primeiro lugar os indicadores devem ser uacuteteis para o gestor Eles devem estar directamente relacionados com o plano operacional da organizaccedilatildeo (ou o plano de intervenccedilatildeo) e os resultados esperados Algumas organizaccedilotildees tecircm a tendecircncia de focalizar a monitoria do processo entre os inqueacuteritos sobre conhecimentos atitudes e praacuteticas (CAP) Isso significa que monitoram os processos tais como a formaccedilatildeo Quem recebeu formaccedilatildeo Em que toacutepicos Quando Isto eacute importante mas natildeo o suficiente A monitoria do processo natildeo monitora o progresso para atingir os resultados simplesmente acompanha a conclusatildeo das actividades
Aleacutem da monitoria do processo os gestores tambeacutem precisam monitorar os indicadores substitutos que indicam o maacuteximo que vocecirc se aproximaraacute dos resultados reais durante a implementaccedilatildeo de um conjunto de actividades quando os resultados natildeo forem ainda facilmente mensuraacuteveis Os indicadores substitutos satildeo medidas indirectas que se aproximam de um alvo ou resultado ou representam esse alvo ou resultado quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis
Por exemplo no caso da prestaccedilatildeo de serviccedilos de planeamento familiar como determinados contraceptivos satildeo distribuiacutedos atraveacutes do centro de sauacutede os dados de monitoria deveriam vir do centro de sauacutede Apesar de natildeo se poder concluir que o resultado-alvo tenha sido atingido ndash que os produtos estejam efectivamente a ser utilizados pela populaccedilatildeo beneficiaacuteria ndash as informaccedilotildees sobre distribuiccedilatildeo fornecem pistas sobre a possibilidade de sucesso das actividades A maioria dos dados para monitorar os indicadores substitutos pode ser obtida a partir do SIS
As informaccedilotildees accionaacuteveis devem ser fornecidas em um formato utilizaacutevel Os gestores frequentemente recebem um excesso de informaccedilotildees em um formato muito complicado Eacute
Em acccedilatildeo o monitoramento para melhor gestatildeo de programas ndash Um exemplo do Peru
Uma organizaccedilatildeo de planeamento familiar local no Peru fez uma campanha de comunicaccedilatildeo para aumentar a prevalecircncia do uso de contraceptivos na aacuterea de captaccedilatildeo da organizaccedilatildeo Criaram os materiais e deram formaccedilatildeo aos trabalhadores de sauacutede comunitaacuterios para educar as mulheres nas suas aldeias A organizaccedilatildeo pretendia realizar apenas um inqueacuterito para obter dados baacutesicos preliminares para depois realizar inqueacuteritos sobre conhecimentos atitudes e praacuteticas (CAP) Esses eram os passos iniciais necessaacuterios e os meacutetodos adequados para avaliar a eficaacutecia da campanha mas a questatildeo eacute se forneceriam dados suficientes e accionaacuteveis para atender agraves necessidades do gestor Natildeo porque os resultados viriam apoacutes a campanha ser concluiacuteda O gestor precisava de informaccedilotildees para tomar medidas correctivas enquanto a campanha de comunicaccedilatildeo estava em andamento
Coloque-se no lugar do gestor nesse cenaacuterio O que precisaria monitorar Poderia comeccedilar com a distribuiccedilatildeo mensal de contraceptivos durante a campanha de comunicaccedilatildeo usando dados faacuteceis de obter do depoacutesito de suprimentos O movimento do stock dos produtos contraceptivos na cadeia de suprimentos indicaria que a campanha estava a criar uma demanda ao passo que nenhum movimento poderia indicar que a campanha ou o sistema de fornecimento natildeo estava a funcionar adequadamente Notam-se picos de distribuiccedilatildeo durante a campanha O movimento de contraceptivos eacute maior durante a campanha do que era antes
Se natildeo notar mudanccedilas apoacutes dois ou trecircs meses saberaacute que algo precisa ser modificado na campanha de comunicaccedilatildeo ou na cadeia de suprimentos ou em ambas Teraacute que fazer visitas ao local para descobrir os motivos O problema eacute a falta de stock Natildeo houve mudanccedila na distribuiccedilatildeo porque natildeo haacute produtos disponiacuteveis Ou natildeo houve mudanccedila porque a estaccedilatildeo de raacutedio natildeo transmitiu o anuacutencio informativo Ou talvez os agentes de distribuiccedilatildeo da comunidade nunca receberam os papeacuteis gigantes e os modelos de que precisavam para educar as mulheres nas suas comunidades
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 911
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
preciso ter uma ferramenta simples que lhe forneccedila apenas informaccedilotildees essenciais Poderaacute aprender mais sobre essas ferramentas na secccedilatildeo deste capiacutetulo intitulada ldquoCaracteriacutesticas de uma boa ferramenta de monitoriardquo
Por uacuteltimo os gestores precisam receber informaccedilotildees em tempo haacutebil para que possam agir imediatamente Os projectos implementados pelas organizaccedilotildees com fundos do governo ou de uma agecircncia doadora satildeo frequentemente conduzidos em dois periacuteodos de tempo
Por exemplo vocecirc poderaacute gerir um projecto que se estende por cinco anos desmembrado em ciclos anuais de apresentaccedilatildeo de relatoacuterios com base em planos de operaccedilatildeo anuais Mas para monitorar o plano anual e apresentar os relatoacuterios necessaacuterios vocecirc precisa de informaccedilotildees trimestrais Se os seus centros de sauacutede apresentarem os dados apoacutes o prazo estabelecido as informaccedilotildees natildeo chegaratildeo a tempo para os seus relatoacuterios
Informaccedilotildees em acccedilatildeo para melhorar os serviccedilos ndash experiecircncias da Boliacutevia e da Aacutefrica do Sul
Uso de informaccedilotildees para mobilizar a cadeia de suprimentos O programa de suplementaccedilatildeo de aacutecido foacutelico e ferro na Boliacutevia foi uma actividade de mobilizaccedilatildeo comunitaacuteria implementada por vaacuterias ONGs em aacutereas rurais do paiacutes
Surgiu um problema apoacutes apenas trecircs meses de implementaccedilatildeo Se a gestora tivesse confiado apenas na monitoria do processo teria visto que todas as actividades haviam sido executadas dentro do prazo e conforme planeadas Poreacutem os dados mensais dos centros de sauacutede das aacutereas de captaccedilatildeo atendidas pelo programa revelaram que em vaacuterias comunidades a distribuiccedilatildeo de ferro e aacutecido foacutelico para graacutevidas havia sido nula desde o primeiro mecircs de implementaccedilatildeo do programa
A gestora investigou imediatamente e descobriu que 16 centros de sauacutede estavam com faltas de stock Apesar de haver um protocolo escrito para a distribuiccedilatildeo de ferro e aacutecido foacutelico e de todos os centros de sauacutede possuiacuterem supostamente o produto nos seus stocks historicamente natildeo havia demanda para esse produto Os centros de sauacutede haviam decidido haacute muito tempo natildeo tecirc-lo mais em stock
A gestora levou o problema agrave atenccedilatildeo do vice-ministro de sauacutede e em poucos dias o Ministeacuterio da Sauacutede mobilizou toda a sua cadeia de suprimentos para garantir que havia um stock suficiente em toda a cadeia No final do ano a suplementaccedilatildeo de ferro e aacutecido foacutelico havia melhorado dramaticamente em todo o paiacutes Tudo isso aconteceu graccedilas a uma simples ferramenta de monitoria mensal que permitiu que a gestora tomasse medidas correctivas no iniacutecio da implementaccedilatildeo
Simplificaccedilatildeo da recolha de dados e estiacutemulo ao uso dos dados Sabe-se que se a recolha e o processamento dos dados forem muito complicados a qualidade e o uso dos mesmos tendem a diminuir Na Aacutefrica do Sul o pessoal de enfermagem dos centros de sauacutede eacute geralmente solicitado a executar duas funccedilotildees (1) cuidar dos utentes do sistema e (2) recolher e utilizar dados O problema eacute que esse pessoal se dedica principalmente a prestar cuidados e considera a recolha de dados uma sobrecarga de trabalho desnecessaacuteria aleacutem de suas actividades quotidianas
Um grupo de enfermeiras da Aacutefrica do Sul que reconheceu a importacircncia das informaccedilotildees para a prestaccedilatildeo dos serviccedilos decidiu tornar a recolha e uso de dados de rotina parte do seu trabalho diaacuterio Entenderam que era necessaacuterio reduzir a quantidade de dados necessaacuterios e simplificar o processo de recolha
Como resultado criaram uma lista itemizada ou lista de verificaccedilatildeo que lhes permitia ter ao final de cada dia um quadro raacutepido dos serviccedilos que haviam prestado No final do mecircs podiam tabular rapidamente e analisar os dados sobre seus serviccedilos Esse tipo de sumaacuterio diaacuterio e mensal das suas actividades foi extremamente satisfatoacuterio Ele motivou seu uso contiacutenuo para monitorar analisar e melhorar os serviccedilos
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 912
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Abordagens e ferramentas praacuteticas de MampA
QUADROS DE REFEREcircNCIA PARA A FORMULACcedilAtildeO MONITORIA E AVALIACcedilAtildeO DOS SERVICcedilOS DE SAUacuteDE
Os resultados de intervenccedilotildees programaacuteticas e nos serviccedilos de sauacutede podem ser medidos em niacuteveis variados Muitas directrizes de MampA se baseiam numa sequecircncia de cinco niacuteveis de resultados insumos actividades produtos resultados e impactos A Figura 4 resume os niacuteveis de resultados que podem ser monitorados e avaliados
Para compreender melhor a sequecircncia de resultados considere as definiccedilotildees abaixo
Insumos Os materiais e recursos necessaacuterios para executar o plano de implementaccedilatildeo da sua unidade ou equipa e obter o resultado esperado Os exemplos incluem os recursos financeiros teacutecnicos humanos suprimentos e produtos essenciais
Processo As actividades executadas por meio do seu plano de implementaccedilatildeo Os exemplos incluem a formaccedilatildeo dos profissionais de sauacutede a melhoria do sistema de gestatildeo de suprimentos e a distribuiccedilatildeo de meios de planeamento familiar
Produtos Eacute o resultado imediato de uma actividade Os exemplos incluem o nuacutemero de pessoas formadas o nuacutemero de novos utentes de contraceptivos e a quantidade de produtos distribuiacutedos
Resultados (a meacutedio e longo prazo) Eacute uma mudanccedila de curto prazo em um grupo da populaccedilatildeo como resultado de uma seacuterie de actividades Os exemplos incluem as mudanccedilas na cobertura do atendimento preacute-natal na proporccedilatildeo de partos seguros no conhecimento e atitudes sobre meacutetodos de planeamento familiar e sauacutede reprodutiva nas necessidades ainda natildeo atendidas de planeamento familiar e nas taxas de prevalecircncia do uso de contraceptivos
Impacto Mudanccedilas a longo prazo dentro de um grupo da populaccedilatildeo beneficiaacuteria Os exemplos incluem mudanccedilas na taxa total de fertilidade e nas taxas de mortalidade e morbidade maternas
Dois tipos de quadros de referecircncia satildeo comummente utilizados para planear e organizar a formulaccedilatildeo de uma intervenccedilatildeo ou serviccedilo e o seu plano de MampA quadros loacutegicos e quadros conceptuais
FIGURA 4 Niacuteveis da sequecircncia de resultados
InsumosProcessos
(actividades)Produtos Resultados Impacto
recursos humanos
recursos financeiros
equipa-mentos
centros de sauacutede
poliacuteticas
reuniotildees formaccedilatildeo supervisatildeo serviccedilos
nuacutemero de pessoal formado
nuacutemero de clientes
nuacutemero de produtos
melhor supervisatildeo
melhoria da cadeia de frio
mudanccedila no conheci-mento
mudanccedila no comporta-mento
mudanccedila nas praacuteticas
melhores serviccedilos
mudanccedila das taxas de doenccedila
mudanccedilas das taxas de oacutebitos
mudanccedila das taxas de nascimento
mudanccedilas das taxas de fertilidade
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 913
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
QUADROS LOacuteGICOS
Desde a elaboraccedilatildeo em 1969 de uma abordagem de quadro loacutegico para a USAID (Agecircncia dos EUA para o Desenvolvimento Internacional) os quadros loacutegicos (tambeacutem denominados Modelos Loacutegicos) foram adoptados depois de vaacuterias adaptaccedilotildees por vaacuterias organizaccedilotildees de desenvolvimento internacional e bilateral
A Figura 5 mostra os elementos de um Quadro Loacutegico
O Quadro Loacutegico ajuda os gestores e as equipas a responder a quatro perguntas principais
1 O que queremos realizar e por quecirc2 Como mediremos o sucesso 3 Que condiccedilotildees devem existir em cada fase da nossa intervenccedilatildeo4 Que recursos e processos seratildeo necessaacuterios para chegarmos laacute
Os Quadros Loacutegicos ajudam a identificar as conexotildees causais da sequecircncia de resultados insumos rarr processos (actividades) rarr produtos rarr resultados a meacutedio e longo prazo rarr impacto Essas conexotildees causais determinam a loacutegica da intervenccedilatildeo e orientam a selecccedilatildeo de indicadores para cada fase da sequecircncia de resultados
FIGURA 5 Elementos tiacutepicos de um quadro loacutegico
Objectivos IndicadoresFormas de verificaccedilatildeo Pressupostos
Meta O objectivo final ou impacto pretendido da intervenccedilatildeo
Medidas usadas para avaliar ateacute que ponto as metas foram atingidas
Meacutetodos e fontes de informaccedilatildeo para medir ou avaliar os indicadores de metas
Factores ou condiccedilotildees necessaacuterios para a sustentabilidade a longo prazo
PropoacutesitoResultado Mudanccedilas ou benefiacutecios esperados a serem conseguidos para utentes comunidades organizaccedilotildees ou sistemas
Medidas usadas para avaliar ateacute que ponto foi alcanccedilado o propoacutesito ou resultado
Meacutetodos e fontes de informaccedilatildeo para medir ou avaliar indicadores de propoacutesitoresultado
Factores ou condiccedilotildees necessaacuterios para o sucesso do programa nesse niacutevel e passagem para o seguinte niacutevel
Produtos Resultados directos e tangiacuteveis das actividades do programa que deveratildeo atingir o propoacutesito
Medidas usadas para avaliar ateacute que ponto os produtos foram apresentados
Meacutetodos e fontes de informaccedilatildeo para medir e avaliar os indicadores de produtos
Factores ou condiccedilotildees necessaacuterios para o sucesso do programa neste niacutevel e passagem para o seguinte niacutevel
ProcessosActividades Medidas tomadas por um programa para atingir os objectivos definidos
InsumosRecursos Pessoal tempo materiais e fundos necessaacuterios para executar as actividades
Meacutetodos e fontes de informaccedilatildeo utilizados para mostrar que as actividades foram concluiacutedas
Factores ou condiccedilotildees necessaacuterios para o sucesso do programa neste niacutevel e passagem para o seguinte niacutevel
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 914
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para entender como um Quadro Loacutegico explicita a loacutegica de uma intervenccedilatildeo examine novamente a Figura 5 Uma seacuterie de relacionamentos condicionais (ldquose entatildeordquo) conecta cada componente do Quadro Loacutegico
1 Se os recursos necessaacuterios estiverem disponiacuteveis e supondo-se que as condiccedilotildees sejam favoraacuteveis entatildeo as actividades do programa podem ser implementadas e
2 hellipse as actividades do programa forem implementadas com sucesso e supondo-se que existam condiccedilotildees favoraacuteveis especiacuteficas entatildeo os produtos e resultados esperados poderatildeo ser alcanccedilados e
3 hellipse os produtos e resultados esperados forem alcanccedilados e supondo-se que existam as condiccedilotildees favoraacuteveis especiacuteficas entatildeo a meta estrateacutegica poderaacute ser atingida
O Quadro Loacutegico pode ser uacutetil na conceptualizaccedilatildeo de um projecto durante o periacuteodo de planeamento e na avaliaccedilatildeo do progresso e aplicaccedilatildeo de medidas correctivas durante a implementaccedilatildeo Como qualquer outro quadro de referecircncia ele possui vantagens e desvantagens como mostra a Tabela 1
O Apecircndice A deste capiacutetulo fornece um exemplo de Quadro Loacutegico para um programa de visita domiciliar desenvolvido pelo Banco Interamericano de Desenvolvimento
QUADROS CONCEPTUAIS
Estes satildeo semelhantes aos Quadros Loacutegicos no sentido de que descrevem uma sequecircncia de resultados mas levam em consideraccedilatildeo as razotildees subjacentes de por que ocorrem as mudanccedilas ao longo da sequecircncia de resultados Enquanto os Quadros Loacutegicos simplesmente afirmam que as actividades traratildeo resultados ainda maiores os quadros conceptuais permitem mapear os factores que na sua opiniatildeo satildeo criacuteticos e explicam porque esses factores satildeo importantes para o sucesso
Este tipo de mapeamento ajuda a decidir que factores devem ser monitorados durante a implementaccedilatildeo das actividades Quando os dados mostram que esses elementos criacuteticos foram ou natildeo alcanccedilados pode-se compreender melhor por que uma intervenccedilatildeo teve ou natildeo sucesso e o que poderia ser modificado no futuro
Veja as vantagens e desvantagens dos quadros conceptuais na Tabela 2
TABELA 1 Visatildeo geral do quadro loacutegico
Vantagens Desvantagens
Melhora a qualidade dos planos de intervenccedilatildeo ao exigir a definiccedilatildeo de indicadores e objectivos claros e a anaacutelise de pressupostos e riscos
Quando usado regularmente durante uma intervenccedilatildeo eacute uma ferramenta de gestatildeo eficaz para orientar a implementaccedilatildeo e a MampA
Resume a elaboraccedilatildeo de planos complexos
Apoia a preparaccedilatildeo de planos de implementaccedilatildeo detalhados
Pressupotildee uma relaccedilatildeo linear entre insumos-produtos-resultados que natildeo leva em consideraccedilatildeo outros factores de influecircncia
Se usado rigidamente durante o processo de formulaccedilatildeo poderaacute restringir a criatividade e a inovaccedilatildeo
Se natildeo for actualizado durante a implementaccedilatildeo pode ser uma ferramenta estaacutetica que natildeo reflecte as condiccedilotildees em mudanccedila
Geralmente a formaccedilatildeo e o acompanhamento satildeo necessaacuterios para usar esse meacutetodo correctamente
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 915
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O modelo conhecido como Caminho de Mudanccedila (Pathway to Change) eacute um exemplo particularmente uacutetil de um quadro conceptual Esse modelo utiliza um formato de condicionalidade (ldquose entatildeordquo) para mostrar passo a passo como os resultados a meacutedio e longo prazo foram conceptualizados e como seratildeo alcanccedilados A Figura 6 eacute um exemplo de aplicaccedilatildeo do Caminho de Mudanccedila em um projecto de sauacutede de seis meses de duraccedilatildeo e acircmbito municipal na Nicaraacutegua
Caminho de Mudanccedila Tratamos deste modelo neste capiacutetulo devido agrave sua utilidade para os gestores e seus benefiacutecios como actividade de fortalecimento de uma equipa O estabelecimento de um Caminho de Mudanccedila eacute geralmente um processo participativo que permite que a sua equipa ou unidade e outros grupos de interesse formulem uma intervenccedilatildeo e determinem como ela vai funcionar O produto final eacute um mapa que mostra como uma acccedilatildeo estaacute relacionada com outras e como todas elas acrescentam algo ao resultado esperado Frequentemente o estabelecimento de um caminho expotildee as crenccedilas subjacentes que as pessoas de uma organizaccedilatildeo mantecircm sobre a forma em que suas acccedilotildees promovem mudanccedilas
A criaccedilatildeo de um Caminho de Mudanccedila tem vaacuterios benefiacutecios Em primeiro lugar exige que a sua equipa examine cada acccedilatildeo proposta e responda agraves seguintes perguntas
Todas as actividades contribuem para o resultado esperado Se a resposta for negativa algumas actividades deveriam ser modificadas acrescentadas ou eliminadas
As actividades satildeo sequenciais Elas estatildeo relacionadas de uma forma loacutegica Elas se somam umas agraves outras para formar um conjunto racional e coerente de acccedilotildees
Pensamos em todos os produtos e resultados necessaacuterios para atingir nosso resultado esperado
Temos os recursos necessaacuterios para implementar as actividades propostas Em quanto tempo atingiremos o resultado que desejamos Que outros factores podem contribuir ou entravar cada uma das actividades do
caminho
Em segundo lugar sua equipa deve tornar expliacutecita e chegar a um acordo sobre a loacutegica subjacente de um plano de intervenccedilatildeo Em outras palavras deve mostrar no papel como cada acccedilatildeo resultaraacute na mudanccedila desejada em cada niacutevel do mapa Por uacuteltimo o caminho define que resultados imediatos e resultados a meacutedio e longo prazo a equipa deve monitorar e que indicadores devem usar
TABELA 2 Visatildeo geral do quadro conceptual
Vantagens Desvantagens
Fornece um mapeamento visual e flexiacutevel de planos de intervenccedilatildeo complexos
Quando usado regularmente durante a implementaccedilatildeo permite uma retroinformaccedilatildeo antecipada do que estaacute ou natildeo a funcionar e por quecirc
Auxilia na identificaccedilatildeo de efeitos colaterais natildeo previstos
Ajuda a priorizar os problemas a serem investigados mais profundamente talvez ao usar meacutetodos mais focalizados de recolha de dados ou teacutecnicas mais sofisticadas de MampA
Pode se tornar extremamente complexo se a escala de actividades for muito grande ou se for reunida uma lista exaustiva de factores e pressupostos
Os grupos de interesse podem discordar sobre os factores determinantes que consideram ser os mais importantes
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 916
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Como se lecirc um mapa de Caminho de Mudanccedila O caminho pode ser lido como um fluxograma em que caixas e setas mostram a relaccedilatildeo entre as acccedilotildees e os efeitos como mostrado na Figura 6 O resultado esperado aparece no topo do caminho e os resultados imediatos que devem ser atingidos para se chegar laacute satildeo exibidos no proacuteximo niacutevel Os produtos que devem ser obtidos para conseguir os resultados a meacutedio e longo prazo aparecem no proacuteximo niacutevel inferior Finalmente as actividades aparecem no fundo ou base
Quando lido de baixo para cima o mapa mostra que actividades satildeo necessaacuterias para conseguir os produtos e que resultados a meacutedio e longo prazo satildeo necessaacuterios para se chegar ao topo Eacute preciso sempre poder traccedilar um caminho desde o comeccedilo de suas acccedilotildees ateacute o resultado esperado
Pode ser uacutetil imaginar o caminho como o organigrama de uma empresa vocecirc pode comeccedilar da base do organigrama como assistente administrativo passar a coordenador de escritoacuterio depois a uma funccedilatildeo de gestatildeo e finalmente ocupar o gabinete do director
A criaccedilatildeo de um Caminho de Mudanccedila Para desenvolver um Caminho da Mudanccedila sua equipa mapeia a mudanccedila de forma reversa Comeccedila no final do caminho (no topo da
FIGURA 6 Exemplo de um Caminho de Mudanccedila
Resultado 180 dos pacientes
estatildeo satisfeitos com os serviccedilos prestados no
centro de sauacutede
Resultado 260 das mulheres
entre 15 e 49 anos na aacuterea de captaccedilatildeo do centro de
sauacutede entendem a importacircncia do planeamento familiar
para o espaccedilamento dos nascimentos
Resultado 3Todos os meacutetodos
contraceptivos modernos estatildeo
disponiacuteveis no centro de sauacutede
Produto 1Os tempos de
espera no centro de sauacutede se
reduziram de 40 para 20 minutos
Produto 2Eacute oferecida
orientaccedilatildeo a todos os pacientes em
espaccedilo privado do centro de sauacutede
Produto 3Voluntaacuterias
realizam palestras semanais sobre temas
de sauacutede reprodutiva na comunidade
Produto 4Todos os stocks
de contraceptivos satildeo monitorados semanalmente
Actividade 1Realizar um
inqueacuterito sobre o uxo de
pacientes e cumprir
recomendaccedilotildees
Actividade 2Transformar um canto do
centro de sauacutede para a
orientaccedilatildeo dos pacientes
Actividade 3Mobilizar as
ONGs parceiras para imprimir panetos de informaccedilatildeo educaccedilatildeo e
comunicaccedilatildeo
Actividade 4Mobilizar as
ONGs parceiras para dar
formaccedilatildeo ou equipar as voluntaacuterias
Actividade 5Recrutar liacutederes
comunitaacuterios para prestar
apoio agraves palestras sobre
sauacutede reprodutiva
Actividade 6Desenvolver
um sistema de registo e
pedidos de suprimentos
contraceptivos
Resultado esperadoAumento na percentagem de utentes de planeamento familiar de 50 para 52
durante o periacuteodo de Junho a Dezembro de 2006
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 917
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
sequecircncia) e define a meta da organizaccedilatildeo a longo prazo ou o resultado esperado de uma intervenccedilatildeo Em seguida preenche o mapa ao trabalhar de cima para baixo onde identifica finalmente as actividades principais os primeiros elementos do seu plano de implementaccedilatildeo
Enquanto se desloca pelo caminho faccedila trecircs perguntas Que resultados precisam acontecer para contribuir agrave meta de longo prazo Que produtos precisam ser obtidos antes disso para alcanccedilar os resultados Que actividades precisam acontecer antes disso para conseguir os produtos
O desenho de uma intervenccedilatildeo dessa forma pode ajudar a revelar as condiccedilotildees necessaacuterias para atingir os resultados a meacutedio e longo prazo e a meta de longo prazo Talvez sejam necessaacuterias vaacuterias tentativas para criar um Caminho de Mudanccedila com o qual todos estejam de acordo Os resultados produtos e acccedilotildees podem ser acrescentados modificados e eliminados ateacute que eventualmente surja um mapa que conte a histoacuteria com a qual sua equipa pode concordar O debate eacute frequentemente a parte mais importante da experiecircncia porque a equipa junta define as expectativas pressupostos e caracteriacutesticas do processo de mudanccedila
Uso da sequecircncia ldquopara querdquo como forma de verificar as vias de um Caminho de Mudanccedila Uma boa forma de verificar a loacutegica do mapa do seu caminho eacute inverter o processo e criar uma sequecircncia de ldquopara querdquo para cada actividade O exemplo na Figura 7 mostra como fazer isso para a Actividade 5 da Figura 6 O movimento na sequecircncia ldquopara querdquo eacute o
FIGURA 7 Sequecircncia ldquopara querdquo para uma actividade de um Caminho de Mudanccedila
Dar formaccedilatildeo agraves voluntaacuterias da comunidade e equipaacute-las com os materiais de informaccedilatildeo educaccedilatildeo e comunicaccedilatildeo necessaacuterios
para que
As voluntaacuterias realizem sessotildees educativas sobre sauacutede sobre temas de planeamento familiar na aacuterea especiacutefica do centro de sauacutede
para que
As mulheres em idade reprodutiva na aacuterea especiacutefica se sintam agrave vontade para participar de sessotildees apresentadas pelas voluntaacuterias
para que
As mulheres participem das sessotildees e aprendam sobre a importacircncia do planeamento familiar para o espaccedilamento dos nascimentos
para que
Mais mulheres em idade reprodutiva busquem meacutetodos de planeamento familiar no centro de sauacutede e a percentagem de mulheres que recebem os meacutetodos aumentem 2 durante o periacuteodo do projecto (o resultado esperado)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 918
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
oposto exacto do Caminho de Mudanccedila Vocecirc coloca cada actividade no topo da sua proacutepria sequecircncia e desce pela sequecircncia ateacute a meta ou resultado esperado Essa sequecircncia ajuda a confirmar que cada rota individual no Caminho de Mudanccedila faz sentido em termos loacutegicos
Para usar essa teacutecnica eacute preciso criar uma sequecircncia ldquopara querdquo para cada actividade no seu Caminho de Mudanccedila Comece por descrever cada actividade e segui-la da frase ldquopara querdquo seguida de uma descriccedilatildeo do que aconteceraacute se essa actividade for realizada Continue a fazer isto ateacute atingir a sua meta de longo prazo ou resultado esperado
Etapas do desenvolvimento de um plano de MampA
Uma das suas tarefas essenciais de MampA como gestor que exerce lideranccedila eacute a de elaborar um plano que ajude vocecirc e sua equipa a determinar se atingiram ou natildeo os resultados esperados e a acompanhar o progresso no alcance desses resultados durante a implementaccedilatildeo Isso exige que vocecirc natildeo soacute escolha indicadores confiaacuteveis mas tambeacutem que meccedila esses indicadores de forma organizada Seu plano de MampA deve especificar que indicadores seratildeo medidos como e quando seratildeo medidos e por quem
Um plano de MampA bem formulado responde a cinco perguntas
1 Seu resultado esperado eacute mensuraacutevel2 Que indicadores utilizaraacute para monitorar seus produtos e para avaliar seus
resultados 3 Quais satildeo as suas fontes de dados e como recolheraacute os dados dessas fontes 4 Quais satildeo os periacuteodos cobertos de cada indicador 5 Quem recolheraacute os dados
Essas perguntas satildeo importantes porque sem um plano vaacutelido de MampA vocecirc poderaacute interpretar erroneamente os efeitos da sua intervenccedilatildeo Poderaacute concluir que ela natildeo teve efeito algum quando na verdade ela teve alguns resultados positivos ou poderaacute concluir que ela teve um efeito positivo quando na verdade natildeo obteve resultado algum o que eacute um erro comum e mais destrutivo
Elaborar e utilizar um plano de MampA garante que dados comparaacuteveis seratildeo recolhidos regularmente e em tempo haacutebil mesmo quando houver mudanccedilas de pessoal A Tabela 3 resume as etapas no desenvolvimento e implementaccedilatildeo de um plano de MampA O resto desta secccedilatildeo descreve cada etapa detalhadamente
ETAPA 1 DEFINA OS RESULTADOS ESPERADOS
A primeira etapa no desenvolvimento do plano de MampA eacute determinar um niacutevel apropriado de resultados Juntos o tipo e o acircmbito da intervenccedilatildeo os recursos disponiacuteveis e o prazo de implementaccedilatildeo determinam um resultado viaacutevel
Como jaacute vimos antes neste capiacutetulo as intervenccedilotildees dirigidas por organizaccedilotildees com fundos de agecircncias doadoras e por serviccedilos governamentais geralmente levam a produtos ou resultados a meacutedio e longo prazo Apesar de o impacto demorar a ser obtido e geralmente estar fora do acircmbito de um uacutenico conjunto de actividades eacute importante incluiacute-lo no seu plano de MampA para que fique clara qual seraacute a contribuiccedilatildeo da sua intervenccedilatildeo a longo prazo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 919
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 3 Etapas para elaborar e usar um Plano de MampA
Etapas Recomendaccedilotildees
1 Definir os resultados esperados
Os resultados devem ser identificados de acordo com o acircmbito e o periacuteodo de tempo da sua intervenccedilatildeo
Os resultados devem atender aos criteacuterios SMART (Especiacuteficos Mensuraacuteveis Apropriados Realistas de Prazo Definido)
2 Seleccionar os indicadores
Os indicadores devem possuir as qualidades de um bom indicador
Os indicadores devem ser acessiacuteveis faacuteceis de recolher e comparaacuteveis ao longo do tempo e em diferentes locais
Para os problemas de sauacutede prioritaacuterios e os serviccedilos essenciais use indicadores criacuteticos nacionais ou padratildeo
Seleccione um nuacutemero miacutenimo de indicadores essenciais e procure garantir que os indicadores seleccionados sejam realmente necessaacuterios para medir seus resultados esperados
3 Identificar as fontes de dados
Identifique de onde viratildeo os dados para cada indicador Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos organizacionais utentes ou a comunidade
4 Definir os meacutetodos de recolha dos dados
Seleccione o meacutetodo mais apropriado e confiaacutevel para a recolha de dados para cada indicador Estes meacutetodos podem incluir a anaacutelise de registos ou diaacuterios de estatiacutesticas de serviccedilo o uso de listas de verificaccedilatildeo para fins de observaccedilatildeo as entrevistas de utentes ao saiacuterem da cliacutenica ou um modelo de inqueacuterito de dados comunitaacuterios
Decida sobre a frequecircncia da recolha de dados Poderaacute recolher apenas os dados de base ou referecircncia e os dados apoacutes a intervenccedilatildeo ou talvez precise recolher dados diaacuterios mensais ou trimestrais dependendo do tipo de indicador
Para cada indicador designe a responsabilidade pela recolha a um escritoacuterio equipa ou pessoa especiacuteficos
5 Recolher os dados de base (ou referecircncia) e os dados apoacutes a intervenccedilatildeo
Entenda que os resultados de base seratildeo usados para definir os seus alvos
Defina claramente a duraccedilatildeo coberta pelos dados de base jaacute que precisa de um periacuteodo semelhante para a comparaccedilatildeo ao final do periacuteodo de implementaccedilatildeo
Use a mesma metodologia e ferramentas para a recolha de dados que as usadas para os dados de base e as medidas poacutes-intervenccedilatildeo
6 Compartilhar e utilizar os seus resultados
Marque reuniotildees workshops e apresentaccedilatildeo de relatoacuterios para mostrar os resultados ao pessoal do projecto agrave direcccedilatildeo da organizaccedilatildeo e a outros grupos de interesse importantes
Apresente as opccedilotildees de aprendizado e acccedilatildeo com base nos resultados de MampA
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 920
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para determinar em que niacutevel deve monitorar e avaliar seus resultados eacute uacutetil examinar novamente e expandir a cadeia de resultados a comeccedilar da direita pelo resultado final (impacto) e voltar ateacute os materiais e recursos (insumos) necessaacuterios
Insumos rarr Processos rarr Produtos rarr Resultados rarr Impacto
Impacto Esses resultados satildeo medidos ao niacutevel da populaccedilatildeo levam um tempo relativamente longo para serem alcanccedilados (geralmente 3 a 5 cinco anos) e exigem o esforccedilo conjunto de vaacuterias intervenccedilotildees e mesmo de vaacuterias organizaccedilotildees Como gestor vocecirc poderaacute ser responsaacutevel por medir o impacto mas deve incluiacute-lo na loacutegica do seu plano de MampA para saber o que a sua organizaccedilatildeo e os parceiros da organizaccedilatildeo pretendem alcanccedilar a longo prazo
Resultados a meacutedio e longo prazo Na maioria dos casos os gestores satildeo responsaacuteveis por medir os resultados nos niacuteveis de produtos eou resultados a meacutedio e longo prazo Os resultados a meacutedio e longo prazo satildeo obtidos pelas actividades criadas para produzir uma mudanccedila de comportamento nos profissionais de sauacutede ou nos utentes Satildeo geralmente medidos em termos de mudanccedilas na cobertura de serviccedilos e mudanccedilas nos conhecimentos atitudes e praacuteticas de uma populaccedilatildeo beneficiaacuteria Um resultado a meacutedio e longo prazo pode ser o iniacutecio de uma praacutetica comprovada de prestaccedilatildeo de serviccedilos a adopccedilatildeo de novas estrateacutegias de gestatildeo ou a elaboraccedilatildeo bem-sucedida de uma poliacutetica de promoccedilatildeo da sauacutede Pode tambeacutem ser um aumento no nuacutemero de mulheres que datildeo agrave luz em um centro de sauacutede ou no nuacutemero de crianccedilas totalmente imunizadas Na maioria dos casos eacute possiacutevel estabelecer uma relaccedilatildeo clara entre produtos e resultados a meacutedio e longo prazo
Produtos Os produtos ou resultados imediatos satildeo fruto directo das actividades Devem ser monitorados durante toda a implementaccedilatildeo como um elemento essencial da boa gestatildeo Os planos de MampA devem definir o produto esperado de cada actividade Para as unidades de prestaccedilatildeo de serviccedilos isso geralmente significa os resultados imediatos em termos dos serviccedilos (por exemplo nuacutemero de utentes atendidos ou tempo de espera dos clientes ou utentes) Para as organizaccedilotildees que natildeo prestam serviccedilos de sauacutede directamente isso pode significar a distribuiccedilatildeo de produtos de sauacutede ou serviccedilos de formaccedilatildeo (por exemplo quantidade de produtos para planeamento familiar distribuiacutedos ou nuacutemero de participantes formados)
Processos A monitoria de processos ou actividades eacute em grande parte uma medida da cultura de prestaccedilatildeo de contas (ou grau de responsabilizaccedilatildeo) ao garantir que as actividades sejam realizadas dentro do prazo e com recursos suficientes A monitoria nesse niacutevel acompanha o progresso da implementaccedilatildeo tendo como referecircncia os prazos propostos e o uso dos recursos tendo como referecircncia os orccedilamentos Eacute geralmente executada atraveacutes da apresentaccedilatildeo de relatoacuterios tradicionais trimestrais semestrais e anuais
Insumos Ao preparar uma intervenccedilatildeo deve identificar a quantidade e os tipos de recursos necessaacuterios para implementar as actividades O desempenho pode ser monitorado em termos da quantidade e dos tipos de insumos fornecidos e do nuacutemero e timing das actividades realizadas
A etapa seguinte na definiccedilatildeo dos resultados esperados eacute garantir que cumpram os criteacuterios SMART (consulte a Tabela 4) Eacute possiacutevel monitorar e avaliar o progresso no alcance de um resultado apenas se esse resultado tiver sido definido em termos mensuraacuteveis
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 921
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja a seguir um exemplo de um resultado mensuraacutevel para uma intervenccedilatildeo cujo propoacutesito eacute promover a cobertura de imunizaccedilatildeo em crianccedilas de 12 a 24 meses de idade A percentagem de crianccedilas de 12 a 24 meses totalmente vacinadas na aacuterea de captaccedilatildeo aumentaraacute para 70 dentro de um ano
ETAPA 2 IDENTIFIQUE OS INDICADORES E SUAS DEFINICcedilOtildeES
Os indicadores satildeo geralmente percentagens ou proporccedilotildees que representam o alcance de uma condiccedilatildeo especiacutefica de sauacutede na populaccedilatildeo de interesse Podem tambeacutem ser um valor absoluto tal como o nuacutemero de ocorrecircncias de um evento de sauacutede (por ex um oacutebito materno ou um caso de malaacuteria)
Todos os indicadores pedem uma definiccedilatildeo detalhada Trata-se de um indicador qualitativo ou quantitativo Se for uma percentagem qual eacute o numerador e qual eacute o denominador A definiccedilatildeo deve ser suficientemente detalhada para garantir que pessoas diferentes em momentos diferentes possam recolher tipos idecircnticos de dados para o indicador
Veja o que caracteriza um bom indicador no Quadro 2 Os indicadores podem ser classificados como indicadores do estado de sauacutede ou do desempenho de serviccedilos
Os indicadores do estado de sauacutede podem incluir o seguinte
nuacutemero de casos e mortes causados por doenccedilas especiacuteficas em um determinado periacuteodo
proporccedilatildeo da populaccedilatildeo com uma doenccedila ou condiccedilatildeo de sauacutede num momento particular ou ao longo de um periacuteodo de tempo
proporccedilatildeo da populaccedilatildeo com um factor ou condiccedilatildeo de sauacutede que os coloca em risco de contrair doenccedilas tal como a falta de conhecimento ou um comportamento de risco
Os indicadores de desempenho podem incluir o seguinte
proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que recebeu um serviccedilo especiacutefico proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que demonstra comportamentos e
conhecimentos especiacuteficos de sauacutede
TABELA 4 Criteacuterios de um resultado SMART
Criteacuterio Descriccedilatildeo
Especiacutefico (S ndash Smart)
Claramente escrito e compreendido O resultado esperado eacute suficientemente especiacutefico para ser medido por uma frequecircncia percentagem ou nuacutemero
Mensuraacutevel (M ndash Measurable)
Eacute possiacutevel monitorar o progresso e avaliar os resultados O resultado esperado eacute definido em termos que sejam mensuraacuteveis
Apropriado (A ndash Appropriate)
O resultado esperado eacute apropriado ao acircmbito do seu trabalho e agrave missatildeo da sua organizaccedilatildeo
Realista (R ndash Realistic)
O resultado esperado pode ser alcanccedilado e estaacute dentro do controlo da sua organizaccedilatildeo Pode ser realisticamente alcanccedilado ao usar os recursos disponiacuteveis e dentro do prazo do seu plano de implementaccedilatildeo
de Tiempo limitado (T ndash Time Bound)
Foi estabelecido um prazo especiacutefico para obter o resultado esperado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 922
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
proporccedilatildeo de centros e pessoal de sauacutede que demonstram adesatildeo a padrotildees especiacuteficos de serviccedilo ou que atingiram objectivo definido
proporccedilatildeo de centros de sauacutede que seguem padrotildees definidos de gestatildeo funcional (por ex em termos de pessoal disponibilidade de medicamentos registo e apresentaccedilatildeo de relatoacuterios)
Orientaccedilatildeo adicional sobre os indicadores pode ser obtida em ldquoCompecircndio de indicadores para avaliaccedilatildeo de programas de sauacutede reprodutivardquo e ldquoLista dos indicadores sobre desenvolvimento da capacidade de gestatildeo e lideranccedilardquo
ETAPA 3 IDENTIFIQUE AS FONTES DE DADOS
Agora precisa identificar uma fonte de dados para cada indicador incluiacutedo no plano de MampA ao seleccionar dados que estejam prontamente disponiacuteveis em uma fonte confiaacutevel e dentro das possibilidades financeiras de sua organizaccedilatildeo O ideal seria escolher os dados imediatamente disponiacuteveis atraveacutes da organizaccedilatildeo em vez de dar iniacutecio a uma nova estrateacutegia de recolha de dados o que poderia ser oneroso e demorado
Uma boa forma de comeccedilar eacute com a seguinte pergunta Que dados jaacute recolhemos de forma rotineira e sistemaacutetica Vocecirc deve sempre levar em consideraccedilatildeo as vantagens e desvantagens de cada fonte de dados Consulte a secccedilatildeo ldquoComo seleccionar suas fontes de dadosrdquo para obter mais informaccedilotildees sobre as vantagens e desvantagens de algumas fontes de dados mais comuns
Vocecirc deve ser o mais especiacutefico possiacutevel sobre as fontes de dados para que a mesma fonte possa ser utilizada de forma coerente durante toda a intervenccedilatildeo Mudar as fontes de dados para o mesmo indicador pode resultar em incoerecircncias e erros de interpretaccedilatildeo Por exemplo se estiver a medir as taxas de mortalidade infantil passar de estimativas baseadas num inqueacuterito de grande escala para estimativas baseadas em estatiacutesticas hospitalares pode resultar dar a falsa impressatildeo de que houve uma mudanccedila
QUADRO 2 Qualidades de um bom indicador
Vaacutelido O indicador mede o que se pretende medir
Confiaacutevel A medida do indicador deve ser igual natildeo importa quantas vezes a medida seja feita
Preciso O indicador eacute definido em termos claros e especiacuteficos para que possa ser medido O indicador pode ser qualitativo (descritivo) discreto (SimNatildeo) ou baseado em niacuteveis quantitativos ou proporccedilotildees desde que seja claramente mensuraacutevel
Faacutecil de entender Tanto especialistas como natildeo especialistas devem poder entender o significado do indicador
Discreto O indicador captura um uacutenico componente ou aspecto de um resultado mais complexo Mede apenas uma coisa natildeo um conjunto de coisas
Em tempo haacutebil O indicador pode ser medido em intervalos temporais apropriados de acordo com a disponibilidade dos dados
Comparaacutevel Quando possiacutevel o indicador evita definiccedilotildees limitadas ou singulares cujos valores seriam difiacuteceis de comparar com outros resultados
Viaacutevel para utilizar Os dados para o indicador satildeo faacuteceis de obter de uma fonte confiaacutevel e relativamente econoacutemica ndash acessiacutevel tendo em vista os recursos da sua organizaccedilatildeo Se esses dados natildeo estiverem disponiacuteveis existem meacutetodos para obtecirc-los no futuro
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 923
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 4 DEFINA OS MEacuteTODOS DE RECOLHA DE DADOS
A etapa seguinte eacute a de definir os meacutetodos ou ferramentas que utilizaraacute para cada indicador Para os indicadores baseados em dados primaacuterios (dados que vocecirc mesmo recolhe) deve descrever o tipo de instrumento necessaacuterio para recolher os dados Os exemplos podem incluir questionaacuterios estruturados listas de verificaccedilatildeo de observaccedilatildeo directa ou balanccedilas para pesar bebeacutes
Para os dados secundaacuterios (dados recolhidos por terceiros e que estatildeo disponiacuteveis para vocecirc usar) deve explicar o meacutetodo para calcular o indicador e a fonte dos dados e fornecer detalhes suficientes sobre o meacutetodo de caacutelculo para que outros possam replicaacute-lo Lembre-se de que eacute mais faacutecil e mais barato usar dados secundaacuterios mas sua qualidade eacute menos confiaacutevel do que a dos dados primaacuterios
Tambeacutem eacute importante observar a frequecircncia da recolha dos dados para cada indicador A depender do tipo de indicador vocecirc poderaacute recolher os dados mensalmente trimestralmente anualmente ou ateacute com menos frequecircncia Ao definir o programa de recolha de dados para cada indicador leve em consideraccedilatildeo a necessidade de fornecer informaccedilotildees em tempo haacutebil aos responsaacuteveis por tomar decisotildees na sua organizaccedilatildeo Atribuir responsabilidades pela recolha de dados a indiviacuteduos ou grupos do seu pessoal garantiraacute que os dados sejam recolhidos dentro do prazo necessaacuterio
As informaccedilotildees das Etapas 1 a 4 fornecem o conteuacutedo do seu plano de monitoria e avaliaccedilatildeo A Tabela 5 mostra os elementos de um plano de MampA para um programa de mentoria cliacutenica para centros de orientaccedilatildeo e testes voluntaacuterios
ETAPA 5 RECOLHA OS DADOS DE BASE E DE ACOMPANHAMENTO
Recolher dados de base precisos eacute uma das tarefas mais importantes de MampA Os dados de base ou referecircncia satildeo o ponto de partida para definir as metas que vocecirc e sua equipa pretendem atingir e para acompanhar as mudanccedilas dos indicadores durante todo o periacuteodo de sua intervenccedilatildeo Dessa forma os dados de base ajudam a definir melhor um resultado final esperado
Vocecirc precisaraacute recolher dados de base para cada indicador antes que suas actividades comecem Esses dados identificam o ponto de partida de onde poderaacute avaliar o progresso Depois em pontos variados durante a implementaccedilatildeo vocecirc recolheraacute dados de acompanhamento sobre cada indicador para comparaacute-los com os niacuteveis de base e os resultados previstos Isto permite que vocecirc e outros tomadores de decisotildees em sua organizaccedilatildeo avaliem o progresso de cada intervenccedilatildeo ou serviccedilo e faccedilam as mudanccedilas necessaacuterias ao longo do caminho Examine o exemplo no Quadro 3
Por que acompanhar as mudanccedilas dos indicadores durante a implementaccedilatildeo Os indicadores de um plano de MampA estatildeo relacionados aos resultados imediatos (produtos) e aos resultados de meacutedio e longo prazo que os gestores precisam monitorar As mudanccedilas nos valores do indicador ao longo do tempo mostram se esses resultados estatildeo a subir ou a baixar ou se permanecem iguais Isto mostra ao gestor se as intervenccedilotildees e estrateacutegias estatildeo a funcionar conforme planeado para atingir os resultados esperados
Ao final do periacuteodo de implementaccedilatildeo precisaraacute recolher dados sobre os seus indicadores para comparar os niacuteveis finais com os niacuteveis de base e com os seus resultados esperados A depender dos seus indicadores precisaraacute tambeacutem recolher dados de acompanhamento a uma altura acordada previamente para determinar se as mudanccedilas seratildeo mantidas apoacutes o teacutermino da sua intervenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 924
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 5 Exemplo de um Plano de Monitoria e Avaliaccedilatildeo
Objectivo Os profissionais de sauacutede que receberam formaccedilatildeo aumentam sua capacidade de fornecer tratamento anti-retroviral de acordo com as directrizes nacionais
ActividadeProduto Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
CronogramaPrazo final
Cliacutenicos experientes em VIH recrutados para servir como mentores cliacutenicos em cinco hospitais regionais
Nuacutemero de mentores recrutados e designados a hospitais regionais
Registos de emprego
Como concluiacutedo Director adjunto para programas cliacutenicos
Setembro de 2008
Pessoal meacutedico em cinco hospitais regionais que recebem mentoria individual sobre terapia anti-retroviral
Nuacutemero de locais que recebem mentoria cliacutenica
Nuacutemero de meacutedicos que recebem mentoria individual
Nuacutemero de dias de mentoria cliacutenica realizados
Relatoacuterios mensais do mentor
Mensalmente Mentores Marccedilo de 2009
Resultados a meacutedio e longo prazo Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
Trabalhadores de sauacutede aumentam seu conhecimento sobre terapia anti-retroviral
80 dos participantes obtecircm 85 ou mais de pontuaccedilatildeo correcta no teste posterior
Trabalhadores de sauacutede melhoram suas habilidades no fornecimento de terapia anti-retroviral
Percentagem de habilidades demonstradas na lista de verificaccedilatildeo de competecircncia
Estudo especial Datas a definir Director adjunto para programas cliacutenicos
Fonte Centro Internacional de Formaccedilatildeo e Ensino sobre VIH p 2
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 925
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Observaccedilatildeo sobre o uso de indicadores para uma avaliaccedilatildeo A maioria dos esforccedilos de MampA enfatizam a selecccedilatildeo de indicadores bem definidos para estabelecer metas e medir as mudanccedilas nas condiccedilotildees e nos serviccedilos de sauacutede
Mas eacute importante lembrar que os indicadores servem apenas como marcadores Os dados dos indicadores fornecem pistas para saber se uma intervenccedilatildeo ou um grupo de actividades estaacute dentro do cronograma e se os resultados esperados estatildeo a ser alcanccedilados Eles natildeo respondem agraves perguntas de por que os resultados estatildeo ou natildeo a ser alcanccedilados Natildeo explicam os resultados fortuitos as relaccedilotildees entre intervenccedilotildees e resultados ou as causas de resultados percebidos que podem ocorrer fora da intervenccedilatildeo Assim natildeo podem recomendar medidas a tomar para melhorar os resultados
Os dados de indicadores devem portanto ser interpretados com cuidado Eles simplesmente indicam resultados que precisam ser melhor explorados em vez de fornecer uma avaliaccedilatildeo definitiva do sucesso ou fracasso Um estudo de avaliaccedilatildeo eacute geralmente executado para determinar se uma intervenccedilatildeo pode ser considerada um sucesso e por quecirc
Em geral agrave medida que sobe na hierarquia e passa das actividades para os resultados a longo prazo a MampA se torna mais complicada Nos niacuteveis de processo e produtos pode-se facilmente rastrear que actividades foram concluiacutedas e seus resultados imediatos Essas informaccedilotildees satildeo operacionais ndash informaccedilotildees que vocecirc pode usar para decisotildees quotidianas de gestatildeo Poreacutem para identificar e medir os resultados da sinergia dos produtos provavelmente teraacute que integrar as informaccedilotildees qualitativas e quantitativas e confiar menos em indicadores quantitativos singulares
Lembre-se de que quando uma melhoria desejada ndash seja na eficiecircncia do serviccedilo no conhecimento e comportamento dos provedores de serviccedilos ou dos beneficiaacuterios ou na tendecircncia de um problema de sauacutede ndash eacute confirmada atraveacutes de MampA isto natildeo prova que foi a intervenccedilatildeo que provocou a mudanccedila Outras coisas podem estar a se passar no serviccedilo ou no ambiente geral que causam essa mudanccedila Eacute claro que o mesmo se aplica aos resultados negativos ou resultados que indicam natildeo haver nenhuma mudanccedila nos resultados a meacutedio e longo prazo
QUADRO 3 Como usar dados de base para ajustar os resultados
Uma equipa de sobrevivecircncia infantil estaacute a propor uma intervenccedilatildeo com o seguinte resultado mensuraacutevel e especiacutefico ldquoNos proacuteximos 12 meses 40 das crianccedilas entre 12 e 24 meses de idade na aacuterea de captaccedilatildeo seratildeo completamente imunizadasrdquo
Para determinar se seu programa pode realmente atingir esse resultado o pessoal precisa medir os niacuteveis actuais de vacinaccedilatildeo Ao examinar os dados vecircem que apenas 10 das crianccedilas na aacuterea de captaccedilatildeo estatildeo completamente imunizadas ao completarem 24 meses Estes satildeo portanto seus dados de base
A gestora entende que natildeo seraacute possiacutevel atingir o objectivo de 40 de cobertura de imunizaccedilatildeo em apenas 12 meses Por isso ela e sua equipa revisam o resultado esperado e o modificam para que seja mais razoaacutevel e realista mas continue sendo significativo ldquoNos proacuteximos 12 meses 20 das crianccedilas de 12 a 24 meses na aacuterea de de actuaccedilatildeo seratildeo completamente imunizadas
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 926
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 6 COMPARTILHE E USE SEUS DADOS
Na pressa para comeccedilar a recolher dados alguns gestores se esquecem de planear um processo para reflectir sobre as informaccedilotildees e fazer mudanccedilas para aumentar a eficiecircncia das actividades Para garantir que os dados sejam natildeo soacute recolhidos mas tambeacutem utilizados pense como vocecirc e sua equipa divulgaratildeo as informaccedilotildees sobre MampA e obteratildeo retroinformaccedilatildeo dos diversos grupos de interesse Algumas perguntas baacutesicas serviratildeo para lhe orientar
Quem precisa de que tipo de informaccedilotildees e quando precisam delas Que tipo de formato deve usar para comunicar os resultados ao pessoal
aos gestores de niacutevel superior e a outros grupos de interesse importantes Eacute suficiente fazer circular um relatoacuterio ou deveria organizar uma reuniatildeo ou workshop
Deveria tambeacutem organizar reuniotildees com a comunidade para solicitar retroinformaccedilatildeo dos seus beneficiaacuterios sobre os primeiros resultados da MampA
Como deve apresentar as informaccedilotildees para que sejam uacuteteis aos diferentes tomadores de decisotildees As informaccedilotildees devem ser apresentadas visualmente em diagramas graacuteficos ou mapas Para obter orientaccedilatildeo sobre dados e resultados consulte o Guiatildeo de MampA para Facilitadores de Programas de Desenvolvimento da Lideranccedila
Uso dos resultados para melhorar os dados de rotina em acccedilatildeo ndash Um exemplo do Paquistatildeo
No Paquistatildeo com o apoio do projecto PRIDE 10 equipas de subdistritos aplicaram o Processo de Avaliaccedilatildeo e Melhoria do Desempenho em Sauacutede Puacuteblica (PIP-PH) um conjunto de procedimentos e formatos para tratar dos problemas de sauacutede que identificaram como os mais graves para as suas populaccedilotildees Usaram o PIP-PH para priorizar os problemas e serviccedilos que mais precisavam de atenccedilatildeo a curto prazo para obter melhorias
Como parte do processo PIP-PH as equipas tambeacutem conceberam um formato de Estrutura de Vigilacircncia de Sauacutede (ldquoHealth Watch Frameworkrdquo) para os seus subdistritos como um todo e para os centros de sauacutede dentro deles Cada equipa seleccionou indicadores para medir a situaccedilatildeo de dois problemas de sauacutede puacuteblica os serviccedilos essenciais a eles relacionados e as limitaccedilotildees que afectavam esses serviccedilos
As equipas usaram os formulaacuterios Health Watch para estabelecer valores de base para os indicadores e depois para monitorar esses valores agrave medida que as intervenccedilotildees prosseguiam ao longo do tempo Os centros de sauacutede revisavam e actualizavam o formulaacuterio todo mecircs as equipas do subdistrito inclusive gestores de centros de sauacutede revisavam e discutiam os formulaacuterios trimestralmente os formulaacuterios revisados
As equipas de subdistrito usaram as informaccedilotildees para analisar os motivos do progresso ou falta de progresso para poderem prestar apoio aos gestores dos centros de sauacutede O processo estimulou os gestores dos centros de sauacutede a melhorarem a integridade e precisatildeo dos dados de rotina para poderem usar as informaccedilotildees e monitorarem mais eficazmente os eventos e os serviccedilos essenciais e introduzirem as melhorias necessaacuterias
Exemplos e informaccedilotildees detalhadas sobre o PIP-PH e o Health Watch Framework aparecem no Relatoacuterio Anual do Projecto PRIDE 2007
Para se informar mais sobre meacutetodos adicionais de utilizaccedilatildeo dos dados para melhorar o desempenho de uma organizaccedilatildeo equipa serviccedilo de sauacutede ou intervenccedilatildeo consulte o processo de Avaliaccedilatildeo e Melhoria de Desempenho (Performance Assessment and Improvement ndash PAI) no website de Programa de Lideranccedila Gestatildeo e Sustentabilidade (Leadership Management and Sustainability ndash LMS)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 927
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O processo de Monitoria e Avaliaccedilatildeo deve ser executado com o objectivo de usar imediatamente os resultados para identificar as falhas de desempenho e tomar medidas para reduzir ou eliminar essas falhas Vocecirc deve sempre planear formas de usar os resultados de MampA para o aprendizado e a acccedilatildeo Por exemplo o que deve fazer se as actividades do projecto natildeo trouxerem os resultados esperados O que precisa mudar se os serviccedilos essenciais natildeo estiverem a fornecer os niacuteveis de cobertura previstos ou a alcanccedilar grupos especiacuteficos de pessoas E como vocecirc pode levar esses fatos agrave atenccedilatildeo das pessoas certas para obter uma resposta raacutepida
Desenho de uma ferramenta de MampA
ARMADILHAS DA MONITORIA E AVALIACcedilAtildeO
Haacute vaacuterias armadilhas comuns que impedem que vocecirc como gestor aperfeiccediloe a funccedilatildeo de MampA na sua organizaccedilatildeo
Planeamento excessivo ou insuficienteAlguns gestores podem gastar tempo demais a preparar o plano de MampA do que resultam planos muito elaborados e complicados de usar Outros ficam muito ansiosos por implementar as intervenccedilotildees de MampA e comeccedilam antes de concluir o plano de MampA Isso significa que quando o plano fica pronto eacute geralmente tarde demais para obter dados de base viaacuteveis e a MampA tem que ser adiada Nesses casos o gestor talvez tenha que aceitar fazer a avaliaccedilatildeo mais tarde sem os dados de base que poderia usar para a comparaccedilatildeo
Descuidar-se da monitoria contiacutenua Outra armadilha frequente eacute a falha em incluir a monitoria contiacutenua na implementaccedilatildeo das actividades Isto ocorre frequentemente por falta de experiecircncia Muitos gestores natildeo tiveram acesso a ferramentas de monitoria uacuteteis (que satildeo raras) Talvez natildeo tenham recebido prontamente os resultados ou a retroinformaccedilatildeo do sistema de MampA no passado e por isso natildeo percebem como eacute importante realizar a monitoria de rotina Aleacutem disso gestores podem facilmente se emaranhar nos detalhes da implementaccedilatildeo e descuidar-se da monitoria de rotina
Exagerar Outra armadilha relacionada agrave monitoria eacute tentar rastrear os dados de todos os indicadores possiacuteveis Tentar obter os dados sobre um nuacutemero excessivo de factores torna o processo de monitoria tatildeo complicado que se torna impreciso Isso tambeacutem torna o processo mais lento de modo que no momento em que os dados satildeo recolhidos e analisados eles jaacute natildeo satildeo mais uacuteteis As ferramentas de monitoria muito demoradas e complicadas acabam por natildeo ser usadas O que acontece entatildeo O gestor deixa totalmente de fazer a monitoria e tem que recorrer agrave avaliaccedilatildeo
Se jaacute se deparou com esses problemas eacute hora de mudar a sua taacutectica Vocecirc pode criar um plano de MampA simples e usar ferramentas de monitoria simples Descubra o que tem que medir para obter os dados dentro de 3 a 6 meses o prazo vai depender dos ciclos de planeamento e apresentaccedilatildeo de relatoacuterios da sua organizaccedilatildeo Entenda tambeacutem qual eacute o miacutenimo que deve ser medido em uma avaliaccedilatildeo de longo prazo Busque a simplicidade mesmo se estiver diante de um conjunto complexo de actividades
Tente incluir apenas o que realmente precisa saber Pode testar todos os indicadores propostos antes de incluiacute-los no planeamento de MampA ao perguntar Quem precisa usar essas informaccedilotildees quando e com que finalidade Se um uacutenico indicador de produtos for suficiente perfeito Natildeo sobrecarregue a monitoria com indicadores desnecessaacuterios Muitas vezes menos dados fornecem mais informaccedilotildees
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 928
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
CARACTERIacuteSTICAS DE UMA BOA FERRAMENTA DE MONITORIA
Como gestor natildeo precisa saber tudo para gerir um serviccedilo ou dirigir uma intervenccedilatildeo mas precisa das informaccedilotildees imediatamente Portanto precisa de uma ferramenta de monitoria que possa fornecer informaccedilotildees suficientes e em tempo haacutebil para identificar e corrigir problemas assim que eles surgirem
Uma ferramenta de monitoria deve ser faacutecil de montar e utilizar As tabelas listas de verificaccedilatildeo e diagramas simples satildeo meacutetodos particularmente uacuteteis de recolher organizar e apresentar informaccedilotildees de monitoria
No miacutenimo sua ferramenta de monitoria deve permitir que vocecirc e sua equipa acompanhem
o progresso da implementaccedilatildeo da actividade a entrega de produtos ou resultados imediatos a situaccedilatildeo dos principais indicadores de resultados comparados aos resultados
esperados se for o caso as despesas orccedilamentais a disponibilidade de recursos humanos e financeiros os obstaacuteculos agrave implementaccedilatildeo e o que tem sido feito para superaacute-los
Vocecirc teraacute que responder agraves seguintes perguntas periodicamente
As actividades foram implementadas conforme planeado dentro do prazo e do orccedilamento
Que actividades adicionais natildeo planeadas foram realizadas Que serviccedilos ou produtos directos e tangiacuteveis foram oferecidos como resultado
das actividades que implementamos Estamos dentro do cronograma para atingir nossos resultados a meacutedio e longo
prazo Possuiacutemos os recursos necessaacuterios (pessoal dinheiro medicamentos e
suprimentos etc) para cumprirmos o cronograma
O Quadro 4 apresenta os componentes baacutesicos de uma ferramenta simples de monitoria
QUADRO 4 Uma ferramenta simples de monitoria
Data de exame Metas de resultados
Actividades (segundo o plano de implementaccedilatildeo)
Situaccedilatildeo ateacute o momento
Resultados esperados
Datas para conclusatildeo
Situaccedilatildeo ateacute o momento Comentaacuterios
Desafios e oportunidades
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 929
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quando usadas correctamente as novas tecnologias (por ex os PDAs ldquosmartphonesrdquo laptops e outros) podem facilitar a monitoria e aumentar os benefiacutecios da monitoria das actividades A monitoria automatizada ndash dados que podem ser obtidos e processados automaticamente ndash podem produzir um resumo dos principais indicadores em uma soacute paacutegina faacutecil de ler e num formato que utiliza cores para alertar ao gestor sobre as aacutereas que precisam de maior atenccedilatildeo As informaccedilotildees obtidas em tempo haacutebil sobre alguns indicadores essenciais permitem que o gestor monitore o progresso e tome medidas correctivas
Essa apresentaccedilatildeo visual das informaccedilotildees mais importantes e necessaacuterias para gerir um projecto eacute geralmente conhecida como Painel de Indicadores de Desempenho Os paineacuteis de indicadores de desempenho podem ser usados em qualquer organizaccedilatildeo departamento ou divisatildeo Nas organizaccedilotildees de sauacutede puacuteblica os paineacuteis satildeo usados frequentemente para monitorar os indicadores financeiros e programaacuteticos bem como a cobertura produccedilatildeo eficaacutecia e qualidade de serviccedilos de sauacutede especiacuteficos Um painel de recursos humanos por exemplo incluiria indicadores relevantes para gerir o seguinte
retenccedilatildeo de funcionaacuterios rotatividade de funcionaacuterios formaccedilatildeo de funcionaacuterios lacunas de habilidades satisfaccedilatildeo dos funcionaacuterios custos benefiacutecios e despesas gerais com funcionaacuterios
A Tabela 6 mostra um painel de indicadores de desempenho criado para monitorar serviccedilos de contracepccedilatildeo ciruacutergica voluntaacuteria (CCV)
TABELA 6 Ilustraccedilatildeo de Painel de Indicadores de Desempenho para Serviccedilos de Contracepccedilatildeo Ciruacutergica Voluntaacuteria (CCV)
Serviccedilo Contracepccedilatildeo Ciruacutergica Voluntaacuteria Periacuteodo do Relatoacuterio Janeiro de 2009
No Indicador de Prestaccedilatildeo de Serviccedilos Custo Qualidade
Meta financeira ou programaacutetica
LimiarNuacutemero
alcanccedilado
Percentagem concluiacuteda
Miacuten Maacutex 10 20 30 40 50 60 70 80 90 100
1 Nuacutemero de CCVs realizadas no mecircs 8 10 7
2 Custo meacutedio das CCVs (US$) 100 120 110
3 Orccedilamento mensal da receita com CCVs realizadas (US$) 800 1200 770
4Percentagem das CCVs realizadas por pessoal
qualificadomdash 100 60
5 Percentagem das CCVs realizadas sem complicaccedilotildees 95 100 100
6
Percentagem de utentes satisfeitas com o tratamento
recebido do pessoal que realizou as CCVs
90 100 90
Adaptado de Colindres 2008 p 6
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 930
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja uma descriccedilatildeo do uso de um painel de indicadores de desempenho para a monitoria de rotina num estudo de caso estudo de caso de uma ONG da Boliacutevia o Centro de Investigaccedilatildeo Educaccedilatildeo e Serviccedilos (CIES)
Para obter mais informaccedilotildees de como criar um painel de indicadores consulte ldquoComo usar os paineacuteis de indicadores de desempenho para monitorar as realizaccedilotildees de uma organizaccedilatildeordquo Esse documento ajuda a esclarecer conceitos e define as etapas essenciais para criar paineacuteis de indicadores de desempenho
Como criar uma avaliaccedilatildeo para fins de aprendizagem
Apesar da importacircncia da monitoria de rotina apenas a monitoria natildeo basta para responder agrave pergunta ldquoE entatildeordquo Ou seja suas actividades e produtos contribuiacuteram para melhorar a cobertura dos serviccedilos aumentar o conhecimento ou encorajar comportamentos mais saudaacuteveis
Talvez uma campanha de comunicaccedilatildeo sobre planeamento familiar criada para aumentar a prevalecircncia do uso de contraceptivos tenha levado o governo a abastecer os depoacutesitos distritais com contraceptivos Para que possam aprender com essa experiecircncia e criar campanhas mais eficazes no futuro os gestores do projecto ainda querem saber que produtos foram realmente dispensados aos centros de sauacutede e distribuiacutedos aos utentes Esta secccedilatildeo discute como criar uma avaliaccedilatildeo para fins de aprendizagem
Existem dois motivos para levar a cabo uma avaliaccedilatildeo
1 A avaliaccedilatildeo fornece informaccedilotildees sobre o sucesso da sua equipa unidade ou organizaccedilatildeo para atingir seus objectivos Essas informaccedilotildees ajudam a definir que actividades expandir modificar ou eliminar Ela pode tambeacutem revelar formas de melhorar a concepccedilatildeo e gestatildeo das actividades futuras
2 A avaliaccedilatildeo pode demonstrar uma cultura de prestaccedilatildeo de contas agrave sua agecircncia doadora e a outros grupos de interesse nomeadamente o governo e os beneficiaacuterios dos seus serviccedilos
AVALIACcedilOtildeES FORMATIVAS E SUMATIVAS
Os gestores podem realizar dois amplos tipos de avaliaccedilotildees formativas e sumativas
Avaliaccedilatildeo formativa Este tipo de avaliaccedilatildeo eacute realizada durante o desenvolvimento e implementaccedilatildeo de um programa Seu objectivo eacute orientar o desenho e a implementaccedilatildeo de actividades que incluam as melhores e mais promissoras praacuteticas que aumentaratildeo as chances de sucesso A avaliaccedilatildeo formativa eacute mais comummente utilizada por projectos de grande porte ou de longo prazo em vez de projectos menores e de curto prazo Poreacutem os projectos menores devem pelo menos realizar uma avaliaccedilatildeo raacutepida das melhores praacuteticas durante a fase de planeamento para apoiar a loacutegica e o conteuacutedo proposto para as actividades
A avaliaccedilatildeo formativa inclui uma avaliaccedilatildeo de necessidades para discernir os desejos e requisitos de um grupo da populaccedilatildeo e determinar a melhor forma de atendecirc-los Inclui tambeacutem uma avaliaccedilatildeo de processo para investigar o processo utilizado para executar uma intervenccedilatildeo Pode-se usar a avaliaccedilatildeo do processo para determinar se as actividades foram realizadas de acordo com o plano ndash em termos de sua concepccedilatildeo original estimativas de custos e nuacutemero de pessoas a serem atendidas ndash e se a qualidade dos processos usados estaacute de acordo com as melhores praacuteticas conhecidas
A avaliaccedilatildeo de processo geralmente inclui vaacuterias abordagens Pode incluir uma avaliaccedilatildeo dos dados referentes aos produtos (por ex nuacutemero de redes mosquiteiras fornecidas nuacutemero
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 931
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
de workshops de formaccedilatildeo realizados nuacutemero de participantes dos workshops) assim como entrevistas individuais ou grupos de enfoque entre os beneficiaacuterios Nas intervenccedilotildees de menor porte eacute uma boa praacutetica realizar uma avaliaccedilatildeo de processo mesmo se limitada agrave retroinformaccedilatildeo dos participantes
Avaliaccedilatildeo somativa Este tipo de avaliaccedilatildeo eacute realizada apoacutes a conclusatildeo de um grupo de actividades ou da intervenccedilatildeo para avaliar a qualidade da intervenccedilatildeo e os seus principais resultados A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo a avaliaccedilatildeo do impacto a anaacutelise de custo-benefiacutecio e custo-eficaacutecia e a investigaccedilatildeo operacional
A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo que avalia em que medida uma equipa unidade ou organizaccedilatildeo inteira atingiram seus resultados esperados A avaliaccedilatildeo dos resultados eacute usada para demonstrar que existe uma cultura de prestaccedilatildeo de contas para aperfeiccediloar o projecto de actividades organizacionais para melhorar a distribuiccedilatildeo dos recursos e para promover intervenccedilotildees futuras bem-sucedidas As principais perguntas satildeo Que modificaccedilotildees ocorreram na vida das pessoas das famiacutelias ou da comunidade como resultado do nosso trabalho Que diferenccedila fizemos
Como observamos anteriormente neste capiacutetulo os resultados a meacutedio e longo prazo satildeo geralmente mudanccedilas mensuraacuteveis eou observaacuteveis em duas dimensotildees A primeira dimensatildeo abrange a conscientizaccedilatildeo o conhecimento as atitudes os valores e as habilidades dos participantes de um programa ou dos beneficiaacuterios dos serviccedilos durante ou depois de seu envolvimento na intervenccedilatildeo A segunda dimensatildeo implica mudanccedilas no comportamento desses mesmos grupos
Idealmente as duas dimensotildees deveriam ser medidas em trecircs pontos no comeccedilo e no final do periacuteodo de implementaccedilatildeo e se possiacutevel apoacutes um periacuteodo de acompanhamento adequado Se a mediccedilatildeo do acompanhamento natildeo for viaacutevel pelo menos devem ser comparadas as mediccedilotildees de base e poacutes-intervenccedilatildeo Muitas vezes as mudanccedilas podem ser pequenas mas deve haver alguma melhoria em pelo menos um ou dois resultados para que a intervenccedilatildeo seja considerada um sucesso
A avaliaccedilatildeo dos resultados tenta distinguir entre a influecircncia da intervenccedilatildeo nessas mudanccedilas e a influecircncia de outros factores externos Mas geralmente os avaliadores teratildeo que optar pela atribuiccedilatildeo parcial de um resultado a uma intervenccedilatildeo ou serviccedilo especiacutefico devido agrave dificuldade em determinar uma relaccedilatildeo directa e causal entre o serviccedilo prestado e uma determinada mudanccedila
As avaliaccedilotildees de resultados utilizam geralmente um desenho natildeo experimental (geralmente denominado ldquopreacute e poacutes-avaliaccedilatildeordquo) que simplesmente mede as mudanccedilas antes e depois de uma intervenccedilatildeo ou seja diferente do desenho experimental (que compara os participantes com um grupo de controlo com designaccedilatildeo aleatoacuteria a ambos os grupos) ou do desenho semi-experimental (que compara os participantes com um grupo de controlo mas sem a designaccedilatildeo aleatoacuteria)
O desenho natildeo experimental eacute aceitaacutevel para as mediccedilotildees e relatoacuterios padratildeo dos resultados a meacutedio e longo prazo As ONGs raramente usam os desenhos experimentais Apesar de uma organizaccedilatildeo de grande porte e com muitos recursos poder ocasionalmente receber assistecircncia de especialistas para um desenho experimental a maioria delas acha que as consideraccedilotildees eacuteticas e logiacutesticas impedem a designaccedilatildeo aleatoacuteria dos participantes aos grupos de intervenccedilatildeo e de controlo Aleacutem disso o custo de recolher dados de um grupo de controlo seraacute provavelmente muito elevado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 932
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A avaliaccedilatildeo do impacto eacute outro componente da avaliaccedilatildeo somativa Eacute mais ampla do que a avaliaccedilatildeo de resultados e avalia os efeitos liacutequidos ou gerais ndash tanto intencionais como natildeo intencionais ndash de todo um programa grupo de programas ou grupo de organizaccedilotildees As avaliaccedilotildees de impacto geralmente se estendem por um periacuteodo de 3 a 5 anos
OUTROS TIPOS DE AVALIACcedilOtildeES
Anaacutelise de custo-benefiacutecio e custo-eficaacutecia Estes tipos de anaacutelise tratam da eficiecircncia da intervenccedilatildeo ao analisar os resultados em termos dos seus custos financeiros e do seu valor
Investigaccedilatildeo operacional Trata-se de um balanccedilo ou avaliaccedilatildeo de uma intervenccedilatildeo especiacutefica no contexto de um programa mais amplo que estaacute a fazer vaacuterias intervenccedilotildees A investigaccedilatildeo operacional eacute usada para testar e avaliar novas abordagens de prestaccedilatildeo de serviccedilos de sauacutede Eacute tambeacutem usada para identificar problemas na prestaccedilatildeo de serviccedilos e oferecer soluccedilotildees
A investigaccedilatildeo operacional eacute uma ferramenta poderosa que os gestores de programas e os tomadores de decisotildees podem usar para melhorar e expandir os serviccedilos Os estudos de investigaccedilatildeo operacional comparam intervenccedilotildees que estatildeo dentro da esfera de influecircncia do gestor Os exemplos incluem a avaliaccedilatildeo da eficaacutecia de uma nova estrateacutegia de prevenccedilatildeo de VIHSIDA um novo curso de formaccedilatildeo um novo conjunto de procedimentos para gerir medicamentos um novo meacutetodo contraceptivo ou um novo serviccedilo de sauacutede reprodutiva
O Toolkit de Investigaccedilatildeo Operacional do Programa Horizons sobre VIHSIDA do Population Council fornece informaccedilotildees detalhadas para criar um estudo de investigaccedilatildeo operacional
CONSIDERACcedilOtildeES PARA A FORMULACcedilAtildeO DE UMA AVALIACcedilAtildeO
O que avaliar para responder agrave pergunta ldquoE entatildeordquo Se quiser saber como gestor se as suas actividades tiveram realmente sucesso precisa preparar todas as intervenccedilotildees tendo em mente a avaliaccedilatildeo e incorporar a avaliaccedilatildeo ao seu planeamento organizacional geral Ao definir objectivos deve se perguntar Como saberemos se estamos a atingir esses objectivos Este eacute o ponto de partida para a avaliaccedilatildeo
Seja qual for o porte da sua intervenccedilatildeo ou serviccedilo e o alcance da avaliaccedilatildeo precisaraacute responder a trecircs perguntas durante a fase de desenho e planeamento
1 O que a sua intervenccedilatildeo ou serviccedilo conseguiraacute realizar a curto e longo prazo Se implementar um conjunto de actividades com sucesso ao longo do tempo o que seraacute diferente
2 Como conceptualiza as suas actividades ndash qual eacute a loacutegica subjacente Duas abordagens para identificar a loacutegica do programa satildeo discutidas neste capiacutetulo na secccedilatildeo intitulada Ferramentas e Abordagens Praacuteticas para MampA
3 Que indicadores pode usar para identificar o progresso no alcance dos resultados
Para responder agrave pergunta ldquoE entatildeordquo vocecirc precisa avaliar os factores sobre os quais tem um niacutevel razoaacutevel de controlo Por exemplo um novo serviccedilo criado para oferecer alojamento a pessoas que vivem com SIDA natildeo pode controlar ou afectar a expectativa de vida das pessoas agraves quais atende Mas ao fornecer um ambiente estaacutevel para elas viverem o serviccedilo pode diminuir o niacutevel de stresse e melhorar a qualidade de vida dessas pessoas que antes eram forccediladas a se mudar com frequecircncia
Depois de tratar da pergunta ldquoE entatildeordquo deve tambeacutem se certificar de que a avaliaccedilatildeo seja concebida de forma que quando o processo estiver concluiacutedo vocecirc possa abordar os cinco toacutepicos principais da avaliaccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 933
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
1 Relevacircncia Foi uma boa ideia fazer a intervenccedilatildeo considerando-se a situaccedilatildeo e a necessidade de melhorias Ela tratou das prioridades do grupo alvo ou beneficiaacuterio Por que sim ou por que natildeo
2 Eficaacutecia Os resultados produtos e actividades foram realizados Por que sim ou por que natildeo A loacutegica da intervenccedilatildeo eacute correcta
3 Eficiecircncia Os insumos (recursos e tempo) foram usados da melhor forma possiacutevel para atingir os resultados a meacutedio e longo prazo Por que sim ou por que natildeo O que vocecirc e sua equipa poderiam fazer de modo diferente no futuro para maximizar os resultados a um custo aceitaacutevel
4 Impacto Em que medida a sua intervenccedilatildeo contribuiu para as metas nacionais ou de longo prazo Que consequecircncias natildeo intencionais (positivas ou negativas) suas actividades tiveram Por que essas consequecircncias aconteceram
5 Sustentabilidade Eacute provaacutevel que os resultados positivos continuem depois que sua intervenccedilatildeo terminar Por que sim ou por que natildeo
Uma uacuteltima advertecircncia assim como a monitoria pode-se complicar demasiado a avaliaccedilatildeo Ao preparar um plano de avaliaccedilatildeo o melhor eacute seleccionar um grupo pequeno de indicadores e resistir agrave tentaccedilatildeo de avaliar todos os aspectos da sua intervenccedilatildeo
Assim como a monitoria a avaliaccedilatildeo soacute eacute uacutetil se as informaccedilotildees forem repassadas em tempo haacutebil para o gestor e outros tomadores de decisotildees e grupos de interesse Um problema comum com as avaliaccedilotildees intercalares eacute que os resultados geralmente soacute satildeo informados de 6 a 8 meses mais tarde o que deixa apenas 1 ou 2 anos para fazer mudanccedilas mais permanentes antes que se esgotem os fundos do governo ou da agecircncia doadora
COMO SELECCIONAR SUAS FONTES DE DADOS
Esta secccedilatildeo descreve trecircs tipos de fontes de dados que satildeo comummente usadas para uma avaliaccedilatildeo dados recolhidos rotineiramente inqueacuteritos de grande escala e teacutecnicas de avaliaccedilatildeo raacutepida inclusive a avaliaccedilatildeo participativa
Dados de rotina Os dados recolhidos e analisados rotineiramente por um SIS satildeo denominados ldquoestatiacutesticas de serviccedilordquo Pode-se utilizar vaacuterios sistemas de informaccedilatildeo de serviccedilos de rotina para monitorar os serviccedilos Alguns deles satildeo o sistema baacutesico de registo e relatoacuterio de SIS os sistemas especiais de relatoacuterios sobre programas (por ex tuberculose malaacuteria imunizaccedilatildeo VIH planeamento familiar etc) os sistemas de relatoacuterios sobre agentes comunitaacuterios especiais (por ex registos de agentes comunitaacuterios de sauacutede) o sistema de informaccedilotildees para a vigilacircncia de doenccedilas e o controlo notificaccedilatildeo e resposta a surtos e os relatoacuterios para os sistemas de suporte especiais (por ex medicamentos encaminhamentos e gestatildeo financeira e de recursos humanos)
Esses sistemas fornecem dados que estatildeo imediatamente disponiacuteveis e cujo objectivo eacute informar o que estaacute a acontecer no sector de sauacutede Os dados de rotina incluem por exemplo o nuacutemero de consultas de preacute-natal em uma cliacutenica o nuacutemero e tipo de vacinaccedilotildees fornecidas no local ou o nuacutemero e tipos de contraceptivos fornecidos mensalmente
Os dados sobre os serviccedilos satildeo geralmente recolhidos pelos centros de sauacutede ou postos de sauacutede e enviados para o proacuteximo niacutevel superior do sistema (geralmente o distrito) para serem agregados Esses dados podem entatildeo ser enviados ao proacuteximo niacutevel superior (regional ou provincial) para posterior agregaccedilatildeo antes que cheguem finalmente ao niacutevel central do Ministeacuterio da Sauacutede
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 934
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Idealmente os gestores de centros de sauacutede e ao niacutevel do distrito usam esses dados para orientar as operaccedilotildees diaacuterias acompanhar o desempenho e a prestaccedilatildeo de contas e tomar decisotildees que continuem a melhorar o desempenho Mas haacute vaacuterios obstaacuteculos a essa utilizaccedilatildeo
Muito frequentemente os dados de rotina satildeo imprecisos ou incompletos Apesar dos que utilizam o SIS tentarem produzir informaccedilotildees de alta qualidade e em tempo haacutebil haacute muitas oportunidades de introduzir erros Pode haver pouco apoio para que os gestores e seu pessoal se concentrem nos procedimentos correctos de recolha registo e agregaccedilatildeo dos dados
Os sistemas de sauacutede de vaacuterios paiacuteses enfatizam a importacircncia de apresentar relatoacuterios para os niacuteveis superiores mas natildeo estabeleceram procedimentos e incentivos para encorajar aqueles que fornecem informaccedilotildees a utilizaacute-las mesmo quando os dados satildeo de boa qualidade
Outra dificuldade eacute que as estatiacutesticas sobre serviccedilos fornecem informaccedilotildees apenas sobre os utentes que utilizam os serviccedilos de sauacutede Natildeo podem fornecer informaccedilotildees sobre as muitas pessoas que natildeo utilizam os serviccedilos
Por tudo isso natildeo se pode confiar apenas nas estatiacutesticas sobre serviccedilos para fazer uma avaliaccedilatildeo Elas satildeo melhor utilizadas para a monitoria de rotina dos problemas de sauacutede puacuteblica e dos serviccedilos essenciais relacionados
Inqueacuteritos em grande escala Os inqueacuteritos em grande escala satildeo outra fonte de informaccedilotildees imediatamente disponiacuteveis Incluem inqueacuteritos de base populacional tais como as Inqueacuterito Demograacutefico e de Sauacutede (IDS) dos EUA avaliaccedilotildees completas de centros de sauacutede como a Anaacutelise de Situaccedilatildeo do Population Council e os censos nacionais Em vaacuterios casos os gestores podem usar os dados de um inqueacuterito em grande escala existente para fornecer o contexto para a interpretaccedilatildeo dos dados capturados atraveacutes das suas proacuteprias avaliaccedilotildees
Por exemplo as IDS satildeo realizadas periodicamente para caracterizar a situaccedilatildeo de sauacutede em um paiacutes ou regiatildeo geograacutefica de grande extensatildeo para vaacuterios grupos populacionais homens mulheres crianccedilas bebeacutes e assim por diante Mas os dados das IDS natildeo podem normalmente ser desagregados para uso pelos gestores no niacutevel de distrito ou comunidade
Aleacutem disso como as IDS satildeo realizadas apenas a cada trecircs ou cinco anos as informaccedilotildees que fornecem podem natildeo estar suficientemente actualizadas para as necessidades de avaliaccedilatildeo dos gestores Apesar dessas dificuldades os dados das IDS satildeo uacuteteis para compreender tendecircncias regionais ou nacionais que podem ajudar a explicar dados recolhidos em uma avaliaccedilatildeo de foco especiacutefico
Avaliaccedilotildees raacutepidas Satildeo formas raacutepidas e econoacutemicas de obter informaccedilotildees para a tomada de decisotildees principalmente ao niacutevel da actividade Os exemplos incluem entrevistas quando os utentes saem de suas consultas as avaliaccedilotildees de pequena escala dos centros de sauacutede os inqueacuteritos raacutepidos por amostragem o exame analiacutetico de registos as entrevistas com grupos de enfoque e outros meacutetodos participativos
Poderaacute usar teacutecnicas de avaliaccedilatildeo raacutepida para complementar as informaccedilotildees obtidas com dados de rotina ou inqueacuteritos de grande escala As avaliaccedilotildees raacutepidas podem-lhe fornecer informaccedilotildees valiosas sobre sua aacuterea de captaccedilatildeo e sua aacuterea de responsabilidade mais ampla ndash ou seja as comunidades e as populaccedilotildees que deveriam ter acesso aos serviccedilos essenciais prestados por um centro de sauacutede determinado Elas podem tambeacutem fornecer contexto e uma compreensatildeo qualitativa dos dados quantitativos recolhidos pelos meacutetodos mais formais
Dentro da categoria de avaliaccedilotildees raacutepidas os meacutetodos participativos e os inqueacuteritos raacutepidos por amostragem merecem a sua atenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 935
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Meacutetodos participativos (tambeacutem chamados de aprendizagem e acccedilatildeo participativas) Essas teacutecnicas e meacutetodos visam incorporar o conhecimento e as opiniotildees dos membros da comunidade no planeamento e gestatildeo de projectos de desenvolvimento no esforccedilo para influenciar as poliacuteticas e na implementaccedilatildeo de programas Eles permitem incluir vozes da comunidade nas poliacuteticas no planeamento e nos inqueacuteritos e criam um senso de propriedade e participaccedilatildeo nos resultados de MampA e nas recomendaccedilotildees feitas pela organizaccedilatildeo e por seus beneficiaacuterios
Ao contraacuterio de outras teacutecnicas de avaliaccedilatildeo raacutepida os meacutetodos participativos natildeo se baseiam em amostragens Eles usam entrevistas individuais ou com informantes essenciais (inclusive entrevistas com utentes ao saiacuterem de suas consultas) entrevistas em grupo estudos de caso e outros meacutetodos qualitativos para identificar as condiccedilotildees locais e entender as perspectivas e prioridades locais
Em vaacuterios locais haacute membros da comunidade que natildeo podem ler nem escrever e por isso os meacutetodos participativos dependem frequentemente da comunicaccedilatildeo oral com apoio de imagens siacutembolos objectos fiacutesicos e memoacuteria colectiva
Os meacutetodos participativos podem ser usados antes durante e apoacutes a implementaccedilatildeo de uma intervenccedilatildeo ou um conjunto de actividades Eles fornecem informaccedilotildees para o projecto e a avaliaccedilatildeo e permitem a participaccedilatildeo activa das partes interessadas na tomada de decisotildees Durante a implementaccedilatildeo os meacutetodos participativos satildeo uacuteteis para identificar e solucionar problemas
Aproveite para examinar e utilizar uma lista de recursos online sobre inqueacuterito qualitativo e directrizes sobre discussotildees em grupos de enfoque no Community Tool Box da Universidade de Kansas
Inqueacuteritos raacutepidos por amostragem Estes inqueacuteritos podem ser utilizados para recolher informaccedilotildees padronizadas de uma amostra pequena e cuidadosamente seleccionada de pessoas ou domiciacutelios em uma aacuterea beneficiaacuteria Eles podem descrever as condiccedilotildees em uma comunidade particular ou grupo-alvo e permitem comparar grupos diferentes em um determinado momento ou mudanccedilas no mesmo grupo ao longo do tempo Permitem tambeacutem comparar condiccedilotildees actuais com os resultados planeados
Um dos inqueacuteritos mais comuns de pequena amostragem eacute o inqueacuterito CAP (Conhecimentos Atitudes e Praacuteticas) baseado em uma amostra de 30 agrupamentos
Amostragem para Garantia de Qualidade de Lotes (Lot Quality Sampling - LQAS) Essa eacute outra teacutecnica de avaliaccedilatildeo raacutepida que se usa cada vez mais na aacuterea de sauacutede puacuteblica A LQAS utiliza amostragens muito pequenas para obter informaccedilotildees confiaacuteveis em uma pequena aacuterea geograacutefica ou unidade administrativa Pode ser usada para detectar de forma precisa os extremos do desempenho ndash para determinar se uma intervenccedilatildeo foi mais aleacutem de um limiar superior de desempenho ou natildeo conseguiu atingir um limiar inferior de desempenho em termos de qualidade ou cobertura As amostras de lotes podem tambeacutem ser combinadas para fornecer estimativas de cobertura em uma aacuterea geograacutefica mais ampla
Uma busca na Web revelaraacute recursos uacuteteis aqui temos um sobre os inqueacuteritos CAP e outro sobre LQAS A aacuterea de MampA do website do CORE Group inclui ligaccedilotildees com ferramentas e recursos importantes para a avaliaccedilatildeo raacutepida criados pelo Grupo de Trabalho de MampA do CORE Group
Como gestor deve revisar todas as fontes de dados jaacute existentes antes de planear a sua avaliaccedilatildeo A Tabela 7 apresenta as vantagens e desvantagens das trecircs principais fontes de
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 936
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 7 Resumo das trecircs fontes de dados mais comuns para uma avaliaccedilatildeo
Fonte de dados Vantagens Limitaccedilotildees
Estatiacutesticas de serviccedilo Dados sobre a populaccedilatildeo de utentes e serviccedilos cliacutenicos que satildeo recolhidos rotineiramente nos registos dos utentes e nos registos cliacutenicos
Disponiacuteveis imediatamente
Cobrem todos os tipos de serviccedilos de sauacutede e todas as aacutereas do paiacutes
Podem ser desagregados para os niacuteveis local e de distrito
Uso econoacutemico
Soacute lhe informam sobre clientes actuais sem informaccedilotildees sobre as pessoas que natildeo usam os serviccedilos de sauacutede e podem ser utentes em potencial
Natildeo fornecem informaccedilotildees sobre valores percepccedilotildees ou comportamentos da comunidade
Natildeo reflectem as pessoas que optam por fontes privadas de serviccedilos
Podem ser inexactas se os locais de prestaccedilatildeo de serviccedilos natildeo registarem os dados correctamente de forma legiacutevel e em tempo haacutebil
Inqueacuteritos de grande escala Inqueacuteritos de base populacional e avaliaccedilotildees de grande escala dos centros de sauacutede
Dados relevantes precisos e confiaacuteveis
Podem medir as tendecircncias nacionais de sauacutede identificar aacutereas com problemas e ajudar a concentrar os recursos do paiacutes em aacutereas de maior carecircncia
Geram valores meacutedios para as aacutereas urbanas e rurais regiotildees e proviacutencias
Fornecem um contexto para interpretar os dados recolhidos localmente
Podem gerar informaccedilotildees adicionais a partir dos seus conjuntos de dados informatizados
Geralmente natildeo podem desagregar os dados para fornecer meacutedias para as aacutereas sub-regionais (distritos ou municipalidades)
Geralmente natildeo satildeo realizadas anualmente os dados se tornam desactualizados rapidamente se as populaccedilotildees ou condiccedilotildees de sauacutede se modificarem rapidamente
Avaliaccedilotildees raacutepidas Meacutetodos focados para avaliar as necessidades locais e tomar decisotildees em acircmbito local
Raacutepidas e econoacutemicas
Resultam em acccedilatildeo local
Haacute directrizes para ajudar os gestores em vaacuterias dessas teacutecnicas
Fornecem aos gestores a capacidade de recolher os dados necessaacuterios
Os inqueacuteritos domiciliares (por ex LQAS ou CAP) podem obter precisatildeo suficiente para fins de avaliaccedilatildeo
Equilibra a necessidade de resultados representativos e objectivos com a necessidade de usar projectos levemente menos rigorosos que satildeo mais viaacuteveis em aacutereas locais
Usam escala e acircmbito reduzidos para produzir resultados em tempo haacutebil e de baixo custo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 937
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
dados que foram discutidas acima estatiacutesticas rotineiras de serviccedilos inqueacuteritos em grande escala e teacutecnicas de avaliaccedilatildeo raacutepida
Que niacutevel de qualidade os dados do SIS precisam ter para serem uacuteteis ndash que niacutevel de abrangecircncia precisatildeo e apresentaccedilatildeo em tempo haacutebil Para as suas necessidades de gestatildeo mesmo que natildeo sejam perfeitos os dados podem ser suficientemente bons para ter um efeito poderoso como nos mostra o exemplo de Madagascar
Dados do SIS pontos fortes e limitaccedilotildees
Subestimar o valor e a utilidade do SIS eacute infelizmente uma tendecircncia Eacute verdade que o SIS tem problemas frequentemente mas tambeacutem eacute grande o seu potencial Como vimos em
Como usar e melhorar dados imperfeitos do SIS ndash Um exemplo de Madagascar
Um SIS de base comunitaacuteria mais preciso e mais oportuno Um projecto de Madagascar implementou um meacutetodo baseado na comunidade para aumentar o uso de meacutetodos de planeamento familiar denominado ldquoComunidades Campeatildesrdquo em 50 dos 110 distritos do paiacutes O meacutetodo utilizou exclusivamente os dados do SIS para monitorar e avaliar as realizaccedilotildees das comunidades participantes
Em primeiro lugar foi estabelecida uma base de referecircncia para cada comunidade ao usar os dados do seu centro de sauacutede Em seguida o pessoal do centro de sauacutede e os representantes da comunidade identificaram metas para 10 indicadores que determinariam se uma comunidade tinha alcanccedilado a posiccedilatildeo de campeatilde apoacutes 12 meses de implementaccedilatildeo Cada comunidade monitorava seu proacuteprio progresso em uma reuniatildeo trimestral de verificaccedilatildeo
Apoacutes 12 meses o pessoal do projecto voltou a cada comunidade para avaliar os resultados Examinaram os dados do relatoacuterio de monitoria de rotina de cada centro de sauacutede e para cada indicador Prepararam tambeacutem um relatoacuterio sobre os dados de cada comunidade e o enviaram para o supervisor de niacutevel distrital para a sua confirmaccedilatildeo com base nos registos informatizados do distrito As fontes de dados para os relatoacuterios do centro de sauacutede e registos de distrito foram as mesmas (registos dos centros de sauacutede) e por isso raramente ocorreu uma discrepacircncia Mas o que interessava era envolver o supervisor distrital no exame dos dados do centro de sauacutede para mostrar a utilidade de se usar ateacute mesmo dados simples nesse niacutevel
O projecto tambeacutem cooperou com o Ministeacuterio da Sauacutede a niacutevel distrital para melhorar a precisatildeo a abrangecircncia e a prontidatildeo do SIS A ecircnfase era obter dados mais completos dos centros de sauacutede e reduzir o tempo gasto pelo escritoacuterio distrital para receber o relatoacuterio do centro de sauacutede apreciaacute-lo devolvecirc-lo ao centro para qualquer correcccedilatildeo recebecirc-lo novamente dar entrada dos dados no sistema e finalmente enviaacute-los ao niacutevel central Os distritos satildeo responsaacuteveis por cooperar com os centros de sauacutede para melhorar o registo de dados e actualizar suas proacuteprias teacutecnicas de processamento de dados
Apoacutes dois anos de assistecircncia teacutecnica o SIS tinha realmente melhorado segundo os indicadores de precisatildeo abrangecircncia e prontidatildeo As melhorias mais notaacuteveis foram em prontidatildeo o tempo gasto pelo escritoacuterio distrital no processo descrito acima reduziu-se de 12 para 3 meses
Imperfeitas mais mesmo assim valiosos Deve-se lembrar que o projecto ldquoComunidades Campeatildesrdquo teve oacuteptimo resultado apesar dos dados imperfeitos Seu numerador (o nuacutemero de utentes regulares de planeamento familiar) era detalhado e preciso Mas suas estimativas das taxas de prevalecircncia do uso de contraceptivos natildeo eram muito precisas porque o denominador (nuacutemero de mulheres em idade reprodutiva) era apenas uma estimativa baseada num censo desactualizado e em estimativas anuais do governo sobre percentagens de crescimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 938
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Madagascar o projecto Comunidades Campeatildes melhorou o sistema substancialmente num periacuteodo de dois anos Nesse caso o sistema jaacute se encontrava relativamente funcional porque projectos anteriores haviam feito um grande esforccedilo para implantar o sistema e tornaacute-lo mais soacutelido Ao aprimorar a forma como o sistema era administrado e os dados eram usados o projecto posterior conseguiu fazer uma grande diferenccedila por meio de pequenas modificaccedilotildees
Os dados do SIS natildeo satildeo 100 exactos e nunca seratildeo Esta eacute a realidade com a qual todos os gestores tecircm que trabalhar Mas os dados natildeo precisam ser perfeitos para serem uacuteteis Eacute possiacutevel fazer a monitoria e a gestatildeo com dados imperfeitos Informaccedilotildees obtidas em tempo
(continuaccedilatildeo)
No entanto o projecto constatou que as taxas de prevalecircncia de uso de contraceptivos eram suficientemente boas para acompanhar o desempenho das comunidades que participavam do meacutetodo de Comunidades Campeatildes O pessoal do projecto tambeacutem complementou as comparaccedilotildees dessas taxas com as comparaccedilotildees dos valores do numerador nuacutemeros simples que faziam sentido para o pessoal do centro de sauacutede e tambeacutem para as comunidades
O niacutevel central comeccedilou a organizar workshops regionais trimestrais para divulgar os resultados ao niacutevel distrital Juntos os gestores dos niacuteveis distritais regionais e centrais analisaram o progresso e classificaram os distritos com base no seu desempenho Usaram a anaacutelise de causa-raiz ndash um processo que identifica as causas subjacentes de um problema ndash para entender os obstaacuteculos enfrentados pelos distritos que apresentavam baixo desempenho (Consulte o Apecircndice A no Capiacutetulo 2 deste guia para obter mais informaccedilotildees sobre a anaacutelise de causa-raiz) Finalmente o Ministeacuterio de Sauacutede mobilizou o apoio de agecircncias doadoras e de organizaccedilotildees parceiras para ajudaacute-los a melhorar
O ministeacuterio comeccedilou a usar as informaccedilotildees de sauacutede para administrar realmente o sistema de sauacutede Antes dessa intervenccedilatildeo poucas organizaccedilotildees confiavam ou utilizavam os dados do SIS Mas quando ficou claro que o sistema funcionava as agecircncias doadoras passaram a confiar as organizaccedilotildees parceiras passaram a utilizaacute-lo e o ministeacuterio se orgulhou do trabalho Pela primeira vez tinham uma visatildeo mais niacutetida do que acontecia em todo o paiacutes e podiam usar essas informaccedilotildees para buscar o apoio de agecircncias doadoras se necessaacuterio
Do mesmo modo os centros de sauacutede raramente usavam seus proacuteprios dados Eles simplesmente faziam os registos e os enviavam para o escritoacuterio distrital sem nem mesmo receber retroinformaccedilatildeo do mesmo Apoacutes a conclusatildeo do projecto perceberam como os dados mais precisos podiam ser usados em seu benefiacutecio e das comunidades
Os distritos tambeacutem actuavam antes de uma forma pouco informada Cada distrito dependia apenas dos seus proacuteprios dados e funcionava num vaacutecuo As mudanccedilas no SIS e o encorajamento do governo central forneceram aos distritos oportunidades para comparar seu trabalho e aprender uns com os outros
Aprendizagem com dados mais precisos completos e oportunos Os dados satildeo geralmente utilizados para fazer comparaccedilotildees mas satildeo menos frequentemente utilizados como ferramenta de aprendizagem Nesse caso depois que os relatoacuterios comeccedilaram a chegar dentro do prazo o Ministeacuterio da Sauacutede usou os dados ndash inclusive dados imperfeitos ndash para descobrir que distritos tinham um desempenho ruim e que distritos estavam melhor que os outros Assim aprenderam com os de melhor desempenho ao perguntar Por que seus resultados satildeo tatildeo bons O que estavam a fazer de diferente O que poderia ser replicado Finalmente aplicaram a aprendizagem ao usar esses distritos como modelos e ao oferecer mais apoio aos de pior desempenho
Todo o sistema de sauacutede se entusiasmou com as informaccedilotildees que podiam produzir e usar A comeccedilar do topo esse entusiasmo chegou aos niacuteveis inferiores e os motivou a melhorar sua recolha e processamento de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 939
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
haacutebil e com 75 de precisatildeo satildeo melhores que as informaccedilotildees com 95 de precisatildeo que chegam com vaacuterios meses de atraso
Apesar do seu grande valor por si soacutes os dados do SIS natildeo atenderatildeo a todas as necessidades de informaccedilatildeo de muitas organizaccedilotildees Algumas organizaccedilotildees e agecircncias doadoras precisam de dados que exigem avaliaccedilotildees ou sistemas especiais Aleacutem disso vaacuterias intervenccedilotildees foram projectadas para modificar o conhecimento as atitudes e as praacuteticas dos beneficiaacuterios factores que natildeo satildeo capturados nos dados de serviccedilo Eacute importante usar os dados do SIS sempre que possiacutevel e complementaacute-los com avaliaccedilotildees locais quando necessaacuterio
Como gestor de um programa de sauacutede ou de serviccedilos de sauacutede parte do seu trabalho deveria ser o de melhorar o SIS em seu paiacutes Ele eacute o uacutenico sistema de informaccedilotildees sustentaacutevel na maioria dos paiacuteses Os sistemas de informaccedilatildeo criados e mantidos por agecircncias doadoras ou organizaccedilotildees externas tecircm duraccedilatildeo limitada mas o SIS eacute parte permanente do seu legado
Se todos os parceiros e agecircncias doadoras trabalharem com o Ministeacuterio de Sauacutede para prestar assistecircncia teacutecnica e financeira ao SIS ele poderaacute render informaccedilotildees que trazem grandes melhorias para os serviccedilos de sauacutede e que justificam plenamente o investimento no mesmo
Praacuteticas comprovadas
Um sistema de MampA deveria proporcionar aos gestores o que eles precisam saber para agir Deve se basear em indicadores relevantes faacuteceis de usar e que possam ser fornecidos em tempo haacutebil para os ciclos de planeamento e apresentaccedilatildeo de relatoacuterios
Os resultados de MampA natildeo se destinam apenas ao pessoal de MampA da sua organizaccedilatildeo ou agrave agecircncia doadora As informaccedilotildees de MampA satildeo um recurso fundamental para as acccedilotildees e a aprendizagem Se o seu processo de MampA tiver mecanismos de retroinformaccedilatildeo que permitam aos tomadores de decisotildees reflectirem sobre os resultados e absorverem o que precisam para seus proacuteprios fins eles assumiratildeo o controlo do processo e utilizaratildeo o que ele oferecer
Se vocecirc define suas actividades de MampA no comeccedilo de uma intervenccedilatildeo ou projecto junto com o plano de acccedilatildeo para o projecto teraacute mais oportunidades de orientar e acompanhar a implementaccedilatildeo das actividades
Quando satildeo demasiado elaborados e complicados os planos de MampA natildeo satildeo usados Elabore um plano de MampA simples escolha ferramentas de monitoria faacuteceis de usar e seleccione a menor quantidade possiacutevel de indicadores para acompanhar o progresso e introduzir as mudanccedilas necessaacuterias ao longo do caminho
Para fortalecer um SIS eacute preciso trabalhar com as pessoas envolvidas os responsaacuteveis pelo sistema que registam transferem analisam comunicam e utilizam os dados e as informaccedilotildees para a gestatildeo dos serviccedilos
Ao fornecer os dados do SIS para os tomadores de decisotildees vocecirc deve reconhecer as diferenccedilas na frequecircncia dos relatoacuterios e nas quantidades de dados agregados e desagregados necessaacuterios aos niacuteveis diferentes de governo ou agraves organizaccedilotildees natildeo governamentais
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 97
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria dos indicadores operacionais tem menos importacircncia no niacutevel nacional Os que tomam decisotildees no niacutevel nacional precisam na verdade de indicadores que meccedilam o impacto dos programas e serviccedilos de sauacutede no estado de sauacutede a longo prazo Por isso deve-se projectar um SIS para atender a todos os seus utentes fornecendo informaccedilotildees confiaacuteveis a curto meacutedio e longo prazo
No niacutevel do centro de sauacutede por exemplo os gestores recolheriam e utilizariam informaccedilotildees sobre a distribuiccedilatildeo mensal de contraceptivos medicamentos fora de estoque e abandono de tratamento Nos niacuteveis distritais e provinciais ou na sede de uma ONG de grande porte as informaccedilotildees mais uacuteteis seriam taxas anuais de prevalecircncia do uso de contraceptivos ao passo que para o Ministeacuterio de Sauacutede poderiam ser as taxas de mortalidade e morbidade materna a intervalos de trecircs a cinco anos
Para uma discussatildeo mais detalhada sobre a hierarquia das necessidades de informaccedilotildees consulte um artigo no website da OMS
Princiacutepios para uma melhor gestatildeo das informaccedilotildees O Capiacutetulo 1 deste manual afirma que nenhum sistema de gestatildeo pode ser fortalecido se as pessoas natildeo forem incluiacutedas no processo O mesmo se aplica a um SIS Eacute preciso trabalhar com as pessoas envolvidas aquelas que controlam o sistema e registam transferem analisam comunicam e usam os dados e informaccedilotildees para gerir os serviccedilos
Como deveriacuteamos trabalhar com as pessoas no SIS O Quadro 1 apresenta os princiacutepios baacutesicos para criar um SIS eficiente ou melhorar a gestatildeo das informaccedilotildees O objectivo eacute aumentar a disponibilidade e a confiabilidade das informaccedilotildees para que possam ser usadas com mais eficaacutecia na gestatildeo das organizaccedilotildees de sauacutede e dos serviccedilos Esses princiacutepios enfatizam a necessidade da participaccedilatildeo integral de todo o pessoal do SIS e dos gestores e profissionais de sauacutede que utilizaratildeo as informaccedilotildees
FIGURA 3 Hierarquia das necessidades de informaccedilotildees
Informaccedilotildees utilizadas por gestores de programa nacional
Informaccedilotildees recolhidas pelo centro de sauacutede e aiacute utilizadas
Informaccedilotildees exigidas por autoridade nacional
Informaccedilotildees adicionais exigidas por distrito ou departamento municipal
Informaccedilotildees adicionais exigidas para direcccedilatildeo do centro de sauacutede
Fonte Reproduzido com autorizaccedilatildeo de ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo por Vincent Shaw 2005
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 98
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
QUADRO 1 Princiacutepios orientadores para melhorar a gestatildeo das informaccedilotildees
Entenda as funccedilotildees e responsabilidades dos serviccedilos de sauacutede Como o SIS estaacute vinculado ao ciclo de gestatildeo de sauacutede um preacute-requisito para melhorar o SIS eacute entender claramente as funccedilotildees e responsabilidades de cada serviccedilo de sauacutede programa niacutevel de operaccedilotildees e sector (puacuteblico privado comunitaacuterio OSC ONG) envolvido na prestaccedilatildeo de serviccedilos de sauacutede
Focalize na melhoria da sauacutede e dos serviccedilos de sauacutede Quaisquer mudanccedilas nos registos e relatoacuterios de sauacutede devem ser feitas com vistas a melhorar o desempenho dos serviccedilos de sauacutede Eacute importante buscar formas de atender agraves necessidades de informaccedilatildeo em niacuteveis superiores do sistema de sauacutede sem pedir aos gestores e profissionais de sauacutede que registem e reportem dados que natildeo sejam utilizados no niacutevel da prestaccedilatildeo de serviccedilos
Fortaleccedila os sistemas existentes Apesar de ser tentador reformular completamente os sistemas e integrar sistemas paralelos de registos que satildeo especiacuteficos a certos programas o tempo dinheiro interrupccedilatildeo e outros custos de fazer isso satildeo maiores que os possiacuteveis benefiacutecios Poucos esforccedilos para desenvolver SIS totalmente integrados tiveram sucesso Uma opccedilatildeo melhor eacute definir padrotildees de formatos e codificaccedilatildeo de dados que facilitem o intercacircmbio de dados entre sistemas separados
Procure garantir a aceitaccedilatildeo em niacutevel nacional Todas as actividades para desenvolver ou melhorar um sistema de informaccedilotildees devem ser realizadas por grupos de trabalho do proacuteprio paiacutes sob a gestatildeo de pessoal nacional Eacute essencial ter a participaccedilatildeo natildeo soacute do pessoal ligado aos sistemas de informaccedilatildeo mas tambeacutem de gestores e prestadores de serviccedilos esses uacuteltimos as principais pessoas para dar informaccedilotildees Se for necessaacuterio usar um consultor externo essa pessoa deve assumir um papel de facilitador que permita que o pessoal local desenvolva seu proacuteprio sistema Por meio da participaccedilatildeo activa eles entenderatildeo e assumiratildeo o controlo dos meacutetodos e instrumentos do sistema e ao fazer isso se tornaratildeo melhores para mantecirc-lo
Reforce as habilidades do pessoal de sauacutede Essas habilidades incluem registar relatar transmitir processar apresentar analisar e interpretar os dados e usaacute-los para a tomada de decisotildees Usar e manter sistemas de computaccedilatildeo eacute algo que tambeacutem pode ser ensinado O meacutetodo recomendado para desenvolver habilidades eacute ldquoaprender ao fazerrdquo atraveacutes do seguinte
workshops no local de serviccedilo em que pessoal do serviccedilo de sauacutede e os gestores de dados trabalham juntos para solucionar problemas reais usando dados reais
envolver o pessoal nacional nos estudos de planeamento e implementaccedilatildeo e no desenho das mudanccedilas do sistema
esclarecer os papeacuteis e responsabilidades atraveacutes da promoccedilatildeo do consenso
Use a tecnologia de forma apropriada Vocecirc pode usar computadores para a manutenccedilatildeo de banco de dados geraccedilatildeo de relatoacuterios anaacutelise de dados e comunicaccedilotildees se seus sistemas de computaccedilatildeo e software puderem ser mantidos localmente com pessoal jaacute existente Mas certifique-se de que a informatizaccedilatildeo natildeo prejudicaraacute o fluxo e acesso aos dados natildeo sobrecarregaraacute as pessoas de trabalho e natildeo estimularaacute a falsificaccedilatildeo dos dados o que reduziria a confiabilidade dos mesmos
Aceda ao Centro de Recursos Electroacutenicos da MSH para obter enlaces (links) para orientaccedilatildeo adicional sobre gestatildeo de informaccedilotildees
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 99
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria como um caminho para a acccedilatildeo
A IMPORTAcircNCIA DA MONITORIA DE ROTINA
Por que soacute a avaliaccedilatildeo natildeo basta Na comunidade envolvida com o desenvolvimento algumas organizaccedilotildees tendem a confiar mais nos estudos de avaliaccedilatildeo do que numa soacutelida monitoria dos programas Muitas pretendem executar tanto a monitoria quanto a avaliaccedilatildeo mas na praacutetica geralmente dedicam mais tempo e recursos agrave avaliaccedilatildeo
As agecircncias doadoras os governos e as organizaccedilotildees podem preferir as avaliaccedilotildees porque elas fornecem evidecircncias mais palpaacuteveis de progresso tais como a prevalecircncia do uso de contraceptivos (uma medida tiacutepica de resultado a meacutedio e longo prazo para planeamento familiarsauacutede reprodutiva) medida por meio de um inqueacuterito anual domiciliar
A monitoria natildeo pode produzir o indicador de resultado a meacutedio e longo prazo ndash a evidecircncia palpaacutevel de que esses contraceptivos estatildeo efectivamente a ser utilizados Ela pode apenas fornecer um indicador de progresso ou um marco de referecircncia ndash tal como a distribuiccedilatildeo mensal de contraceptivos ndash que lhe permite acompanhar o progresso em direcccedilatildeo agraves metas operacionais Vocecirc pode monitorar a distribuiccedilatildeo de produtos mas natildeo pode concluir que os produtos estejam a ser efectivamente utilizados
Mas para um gestor como vocecirc os dados sobre distribuiccedilatildeo satildeo exactamente o tipo de informaccedilatildeo de que precisa para demonstrar o progresso no alcance da meta e para fazer seu trabalho de forma eficaz
Veja por exemplo uma intervenccedilatildeo para a mudanccedila de comportamento no Peru a qual estaacute descrita e analisada no quadro abaixo
No contexto de serviccedilos de sauacutede do governo os gestores de distrito e de centros de sauacutede precisam monitorar tanto os indicadores de resultados a meacutedio e longo prazo como os indicadores de cobertura Os indicadores de cobertura informam ao gestor de sauacutede se os serviccedilos essenciais estatildeo a ser fornecidos a grupos-alvo especiacuteficos e permitem assim agir rapidamente para resolver falhas na prestaccedilatildeo de serviccedilos a subgrupos ou comunidades carentes
Um bom sistema de monitoria lhe fornece as informaccedilotildees criacuteticas para gerir a intervenccedilatildeo e tomar medidas correctivas imediatamente Uma avaliaccedilatildeo natildeo lhe daacute esse tipo de informaccedilatildeo Portanto quando se vecirc um bom sistema de monitoria eacute geralmente porque um gestor estaacute a impulsionaacute-lo porque precisa de informaccedilotildees de monitoria fornecidas pelo sistema de MampA para que o dito gestor possa comeccedilar a agir
COMO PRODUZIR INFORMACcedilOtildeES ACCIONAacuteVEIS
As informaccedilotildees accionaacuteveis satildeo dados que vocecirc pode usar para tomar uma decisatildeo e empreender uma acccedilatildeo Elas ajudam a identificar falhas de desempenho e encontrar maneiras de resolver essas falhas Para serem accionaacuteveis as informaccedilotildees obtidas com a monitoria devem se basear em indicadores uacuteteis produzidos em formato simples e em tempo haacutebil para o ciclo de planeamento ou apresentaccedilatildeo de relatoacuterios
ldquoAccionaacutevelrdquo significa coisas diferentes para diferentes utentes As informaccedilotildees de que o gestor precisa natildeo satildeo iguais agraves informaccedilotildees de que o director executivo de uma organizaccedilatildeo ou o ministeacuterio de sauacutede utilizariam para apresentar relatoacuterios para agecircncias doadoras poliacuteticos ou para a miacutedia
Como produzir informaccedilotildees accionaacuteveis para o gestor
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 910
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Em primeiro lugar os indicadores devem ser uacuteteis para o gestor Eles devem estar directamente relacionados com o plano operacional da organizaccedilatildeo (ou o plano de intervenccedilatildeo) e os resultados esperados Algumas organizaccedilotildees tecircm a tendecircncia de focalizar a monitoria do processo entre os inqueacuteritos sobre conhecimentos atitudes e praacuteticas (CAP) Isso significa que monitoram os processos tais como a formaccedilatildeo Quem recebeu formaccedilatildeo Em que toacutepicos Quando Isto eacute importante mas natildeo o suficiente A monitoria do processo natildeo monitora o progresso para atingir os resultados simplesmente acompanha a conclusatildeo das actividades
Aleacutem da monitoria do processo os gestores tambeacutem precisam monitorar os indicadores substitutos que indicam o maacuteximo que vocecirc se aproximaraacute dos resultados reais durante a implementaccedilatildeo de um conjunto de actividades quando os resultados natildeo forem ainda facilmente mensuraacuteveis Os indicadores substitutos satildeo medidas indirectas que se aproximam de um alvo ou resultado ou representam esse alvo ou resultado quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis
Por exemplo no caso da prestaccedilatildeo de serviccedilos de planeamento familiar como determinados contraceptivos satildeo distribuiacutedos atraveacutes do centro de sauacutede os dados de monitoria deveriam vir do centro de sauacutede Apesar de natildeo se poder concluir que o resultado-alvo tenha sido atingido ndash que os produtos estejam efectivamente a ser utilizados pela populaccedilatildeo beneficiaacuteria ndash as informaccedilotildees sobre distribuiccedilatildeo fornecem pistas sobre a possibilidade de sucesso das actividades A maioria dos dados para monitorar os indicadores substitutos pode ser obtida a partir do SIS
As informaccedilotildees accionaacuteveis devem ser fornecidas em um formato utilizaacutevel Os gestores frequentemente recebem um excesso de informaccedilotildees em um formato muito complicado Eacute
Em acccedilatildeo o monitoramento para melhor gestatildeo de programas ndash Um exemplo do Peru
Uma organizaccedilatildeo de planeamento familiar local no Peru fez uma campanha de comunicaccedilatildeo para aumentar a prevalecircncia do uso de contraceptivos na aacuterea de captaccedilatildeo da organizaccedilatildeo Criaram os materiais e deram formaccedilatildeo aos trabalhadores de sauacutede comunitaacuterios para educar as mulheres nas suas aldeias A organizaccedilatildeo pretendia realizar apenas um inqueacuterito para obter dados baacutesicos preliminares para depois realizar inqueacuteritos sobre conhecimentos atitudes e praacuteticas (CAP) Esses eram os passos iniciais necessaacuterios e os meacutetodos adequados para avaliar a eficaacutecia da campanha mas a questatildeo eacute se forneceriam dados suficientes e accionaacuteveis para atender agraves necessidades do gestor Natildeo porque os resultados viriam apoacutes a campanha ser concluiacuteda O gestor precisava de informaccedilotildees para tomar medidas correctivas enquanto a campanha de comunicaccedilatildeo estava em andamento
Coloque-se no lugar do gestor nesse cenaacuterio O que precisaria monitorar Poderia comeccedilar com a distribuiccedilatildeo mensal de contraceptivos durante a campanha de comunicaccedilatildeo usando dados faacuteceis de obter do depoacutesito de suprimentos O movimento do stock dos produtos contraceptivos na cadeia de suprimentos indicaria que a campanha estava a criar uma demanda ao passo que nenhum movimento poderia indicar que a campanha ou o sistema de fornecimento natildeo estava a funcionar adequadamente Notam-se picos de distribuiccedilatildeo durante a campanha O movimento de contraceptivos eacute maior durante a campanha do que era antes
Se natildeo notar mudanccedilas apoacutes dois ou trecircs meses saberaacute que algo precisa ser modificado na campanha de comunicaccedilatildeo ou na cadeia de suprimentos ou em ambas Teraacute que fazer visitas ao local para descobrir os motivos O problema eacute a falta de stock Natildeo houve mudanccedila na distribuiccedilatildeo porque natildeo haacute produtos disponiacuteveis Ou natildeo houve mudanccedila porque a estaccedilatildeo de raacutedio natildeo transmitiu o anuacutencio informativo Ou talvez os agentes de distribuiccedilatildeo da comunidade nunca receberam os papeacuteis gigantes e os modelos de que precisavam para educar as mulheres nas suas comunidades
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 911
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
preciso ter uma ferramenta simples que lhe forneccedila apenas informaccedilotildees essenciais Poderaacute aprender mais sobre essas ferramentas na secccedilatildeo deste capiacutetulo intitulada ldquoCaracteriacutesticas de uma boa ferramenta de monitoriardquo
Por uacuteltimo os gestores precisam receber informaccedilotildees em tempo haacutebil para que possam agir imediatamente Os projectos implementados pelas organizaccedilotildees com fundos do governo ou de uma agecircncia doadora satildeo frequentemente conduzidos em dois periacuteodos de tempo
Por exemplo vocecirc poderaacute gerir um projecto que se estende por cinco anos desmembrado em ciclos anuais de apresentaccedilatildeo de relatoacuterios com base em planos de operaccedilatildeo anuais Mas para monitorar o plano anual e apresentar os relatoacuterios necessaacuterios vocecirc precisa de informaccedilotildees trimestrais Se os seus centros de sauacutede apresentarem os dados apoacutes o prazo estabelecido as informaccedilotildees natildeo chegaratildeo a tempo para os seus relatoacuterios
Informaccedilotildees em acccedilatildeo para melhorar os serviccedilos ndash experiecircncias da Boliacutevia e da Aacutefrica do Sul
Uso de informaccedilotildees para mobilizar a cadeia de suprimentos O programa de suplementaccedilatildeo de aacutecido foacutelico e ferro na Boliacutevia foi uma actividade de mobilizaccedilatildeo comunitaacuteria implementada por vaacuterias ONGs em aacutereas rurais do paiacutes
Surgiu um problema apoacutes apenas trecircs meses de implementaccedilatildeo Se a gestora tivesse confiado apenas na monitoria do processo teria visto que todas as actividades haviam sido executadas dentro do prazo e conforme planeadas Poreacutem os dados mensais dos centros de sauacutede das aacutereas de captaccedilatildeo atendidas pelo programa revelaram que em vaacuterias comunidades a distribuiccedilatildeo de ferro e aacutecido foacutelico para graacutevidas havia sido nula desde o primeiro mecircs de implementaccedilatildeo do programa
A gestora investigou imediatamente e descobriu que 16 centros de sauacutede estavam com faltas de stock Apesar de haver um protocolo escrito para a distribuiccedilatildeo de ferro e aacutecido foacutelico e de todos os centros de sauacutede possuiacuterem supostamente o produto nos seus stocks historicamente natildeo havia demanda para esse produto Os centros de sauacutede haviam decidido haacute muito tempo natildeo tecirc-lo mais em stock
A gestora levou o problema agrave atenccedilatildeo do vice-ministro de sauacutede e em poucos dias o Ministeacuterio da Sauacutede mobilizou toda a sua cadeia de suprimentos para garantir que havia um stock suficiente em toda a cadeia No final do ano a suplementaccedilatildeo de ferro e aacutecido foacutelico havia melhorado dramaticamente em todo o paiacutes Tudo isso aconteceu graccedilas a uma simples ferramenta de monitoria mensal que permitiu que a gestora tomasse medidas correctivas no iniacutecio da implementaccedilatildeo
Simplificaccedilatildeo da recolha de dados e estiacutemulo ao uso dos dados Sabe-se que se a recolha e o processamento dos dados forem muito complicados a qualidade e o uso dos mesmos tendem a diminuir Na Aacutefrica do Sul o pessoal de enfermagem dos centros de sauacutede eacute geralmente solicitado a executar duas funccedilotildees (1) cuidar dos utentes do sistema e (2) recolher e utilizar dados O problema eacute que esse pessoal se dedica principalmente a prestar cuidados e considera a recolha de dados uma sobrecarga de trabalho desnecessaacuteria aleacutem de suas actividades quotidianas
Um grupo de enfermeiras da Aacutefrica do Sul que reconheceu a importacircncia das informaccedilotildees para a prestaccedilatildeo dos serviccedilos decidiu tornar a recolha e uso de dados de rotina parte do seu trabalho diaacuterio Entenderam que era necessaacuterio reduzir a quantidade de dados necessaacuterios e simplificar o processo de recolha
Como resultado criaram uma lista itemizada ou lista de verificaccedilatildeo que lhes permitia ter ao final de cada dia um quadro raacutepido dos serviccedilos que haviam prestado No final do mecircs podiam tabular rapidamente e analisar os dados sobre seus serviccedilos Esse tipo de sumaacuterio diaacuterio e mensal das suas actividades foi extremamente satisfatoacuterio Ele motivou seu uso contiacutenuo para monitorar analisar e melhorar os serviccedilos
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 912
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Abordagens e ferramentas praacuteticas de MampA
QUADROS DE REFEREcircNCIA PARA A FORMULACcedilAtildeO MONITORIA E AVALIACcedilAtildeO DOS SERVICcedilOS DE SAUacuteDE
Os resultados de intervenccedilotildees programaacuteticas e nos serviccedilos de sauacutede podem ser medidos em niacuteveis variados Muitas directrizes de MampA se baseiam numa sequecircncia de cinco niacuteveis de resultados insumos actividades produtos resultados e impactos A Figura 4 resume os niacuteveis de resultados que podem ser monitorados e avaliados
Para compreender melhor a sequecircncia de resultados considere as definiccedilotildees abaixo
Insumos Os materiais e recursos necessaacuterios para executar o plano de implementaccedilatildeo da sua unidade ou equipa e obter o resultado esperado Os exemplos incluem os recursos financeiros teacutecnicos humanos suprimentos e produtos essenciais
Processo As actividades executadas por meio do seu plano de implementaccedilatildeo Os exemplos incluem a formaccedilatildeo dos profissionais de sauacutede a melhoria do sistema de gestatildeo de suprimentos e a distribuiccedilatildeo de meios de planeamento familiar
Produtos Eacute o resultado imediato de uma actividade Os exemplos incluem o nuacutemero de pessoas formadas o nuacutemero de novos utentes de contraceptivos e a quantidade de produtos distribuiacutedos
Resultados (a meacutedio e longo prazo) Eacute uma mudanccedila de curto prazo em um grupo da populaccedilatildeo como resultado de uma seacuterie de actividades Os exemplos incluem as mudanccedilas na cobertura do atendimento preacute-natal na proporccedilatildeo de partos seguros no conhecimento e atitudes sobre meacutetodos de planeamento familiar e sauacutede reprodutiva nas necessidades ainda natildeo atendidas de planeamento familiar e nas taxas de prevalecircncia do uso de contraceptivos
Impacto Mudanccedilas a longo prazo dentro de um grupo da populaccedilatildeo beneficiaacuteria Os exemplos incluem mudanccedilas na taxa total de fertilidade e nas taxas de mortalidade e morbidade maternas
Dois tipos de quadros de referecircncia satildeo comummente utilizados para planear e organizar a formulaccedilatildeo de uma intervenccedilatildeo ou serviccedilo e o seu plano de MampA quadros loacutegicos e quadros conceptuais
FIGURA 4 Niacuteveis da sequecircncia de resultados
InsumosProcessos
(actividades)Produtos Resultados Impacto
recursos humanos
recursos financeiros
equipa-mentos
centros de sauacutede
poliacuteticas
reuniotildees formaccedilatildeo supervisatildeo serviccedilos
nuacutemero de pessoal formado
nuacutemero de clientes
nuacutemero de produtos
melhor supervisatildeo
melhoria da cadeia de frio
mudanccedila no conheci-mento
mudanccedila no comporta-mento
mudanccedila nas praacuteticas
melhores serviccedilos
mudanccedila das taxas de doenccedila
mudanccedilas das taxas de oacutebitos
mudanccedila das taxas de nascimento
mudanccedilas das taxas de fertilidade
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 913
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
QUADROS LOacuteGICOS
Desde a elaboraccedilatildeo em 1969 de uma abordagem de quadro loacutegico para a USAID (Agecircncia dos EUA para o Desenvolvimento Internacional) os quadros loacutegicos (tambeacutem denominados Modelos Loacutegicos) foram adoptados depois de vaacuterias adaptaccedilotildees por vaacuterias organizaccedilotildees de desenvolvimento internacional e bilateral
A Figura 5 mostra os elementos de um Quadro Loacutegico
O Quadro Loacutegico ajuda os gestores e as equipas a responder a quatro perguntas principais
1 O que queremos realizar e por quecirc2 Como mediremos o sucesso 3 Que condiccedilotildees devem existir em cada fase da nossa intervenccedilatildeo4 Que recursos e processos seratildeo necessaacuterios para chegarmos laacute
Os Quadros Loacutegicos ajudam a identificar as conexotildees causais da sequecircncia de resultados insumos rarr processos (actividades) rarr produtos rarr resultados a meacutedio e longo prazo rarr impacto Essas conexotildees causais determinam a loacutegica da intervenccedilatildeo e orientam a selecccedilatildeo de indicadores para cada fase da sequecircncia de resultados
FIGURA 5 Elementos tiacutepicos de um quadro loacutegico
Objectivos IndicadoresFormas de verificaccedilatildeo Pressupostos
Meta O objectivo final ou impacto pretendido da intervenccedilatildeo
Medidas usadas para avaliar ateacute que ponto as metas foram atingidas
Meacutetodos e fontes de informaccedilatildeo para medir ou avaliar os indicadores de metas
Factores ou condiccedilotildees necessaacuterios para a sustentabilidade a longo prazo
PropoacutesitoResultado Mudanccedilas ou benefiacutecios esperados a serem conseguidos para utentes comunidades organizaccedilotildees ou sistemas
Medidas usadas para avaliar ateacute que ponto foi alcanccedilado o propoacutesito ou resultado
Meacutetodos e fontes de informaccedilatildeo para medir ou avaliar indicadores de propoacutesitoresultado
Factores ou condiccedilotildees necessaacuterios para o sucesso do programa nesse niacutevel e passagem para o seguinte niacutevel
Produtos Resultados directos e tangiacuteveis das actividades do programa que deveratildeo atingir o propoacutesito
Medidas usadas para avaliar ateacute que ponto os produtos foram apresentados
Meacutetodos e fontes de informaccedilatildeo para medir e avaliar os indicadores de produtos
Factores ou condiccedilotildees necessaacuterios para o sucesso do programa neste niacutevel e passagem para o seguinte niacutevel
ProcessosActividades Medidas tomadas por um programa para atingir os objectivos definidos
InsumosRecursos Pessoal tempo materiais e fundos necessaacuterios para executar as actividades
Meacutetodos e fontes de informaccedilatildeo utilizados para mostrar que as actividades foram concluiacutedas
Factores ou condiccedilotildees necessaacuterios para o sucesso do programa neste niacutevel e passagem para o seguinte niacutevel
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 914
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para entender como um Quadro Loacutegico explicita a loacutegica de uma intervenccedilatildeo examine novamente a Figura 5 Uma seacuterie de relacionamentos condicionais (ldquose entatildeordquo) conecta cada componente do Quadro Loacutegico
1 Se os recursos necessaacuterios estiverem disponiacuteveis e supondo-se que as condiccedilotildees sejam favoraacuteveis entatildeo as actividades do programa podem ser implementadas e
2 hellipse as actividades do programa forem implementadas com sucesso e supondo-se que existam condiccedilotildees favoraacuteveis especiacuteficas entatildeo os produtos e resultados esperados poderatildeo ser alcanccedilados e
3 hellipse os produtos e resultados esperados forem alcanccedilados e supondo-se que existam as condiccedilotildees favoraacuteveis especiacuteficas entatildeo a meta estrateacutegica poderaacute ser atingida
O Quadro Loacutegico pode ser uacutetil na conceptualizaccedilatildeo de um projecto durante o periacuteodo de planeamento e na avaliaccedilatildeo do progresso e aplicaccedilatildeo de medidas correctivas durante a implementaccedilatildeo Como qualquer outro quadro de referecircncia ele possui vantagens e desvantagens como mostra a Tabela 1
O Apecircndice A deste capiacutetulo fornece um exemplo de Quadro Loacutegico para um programa de visita domiciliar desenvolvido pelo Banco Interamericano de Desenvolvimento
QUADROS CONCEPTUAIS
Estes satildeo semelhantes aos Quadros Loacutegicos no sentido de que descrevem uma sequecircncia de resultados mas levam em consideraccedilatildeo as razotildees subjacentes de por que ocorrem as mudanccedilas ao longo da sequecircncia de resultados Enquanto os Quadros Loacutegicos simplesmente afirmam que as actividades traratildeo resultados ainda maiores os quadros conceptuais permitem mapear os factores que na sua opiniatildeo satildeo criacuteticos e explicam porque esses factores satildeo importantes para o sucesso
Este tipo de mapeamento ajuda a decidir que factores devem ser monitorados durante a implementaccedilatildeo das actividades Quando os dados mostram que esses elementos criacuteticos foram ou natildeo alcanccedilados pode-se compreender melhor por que uma intervenccedilatildeo teve ou natildeo sucesso e o que poderia ser modificado no futuro
Veja as vantagens e desvantagens dos quadros conceptuais na Tabela 2
TABELA 1 Visatildeo geral do quadro loacutegico
Vantagens Desvantagens
Melhora a qualidade dos planos de intervenccedilatildeo ao exigir a definiccedilatildeo de indicadores e objectivos claros e a anaacutelise de pressupostos e riscos
Quando usado regularmente durante uma intervenccedilatildeo eacute uma ferramenta de gestatildeo eficaz para orientar a implementaccedilatildeo e a MampA
Resume a elaboraccedilatildeo de planos complexos
Apoia a preparaccedilatildeo de planos de implementaccedilatildeo detalhados
Pressupotildee uma relaccedilatildeo linear entre insumos-produtos-resultados que natildeo leva em consideraccedilatildeo outros factores de influecircncia
Se usado rigidamente durante o processo de formulaccedilatildeo poderaacute restringir a criatividade e a inovaccedilatildeo
Se natildeo for actualizado durante a implementaccedilatildeo pode ser uma ferramenta estaacutetica que natildeo reflecte as condiccedilotildees em mudanccedila
Geralmente a formaccedilatildeo e o acompanhamento satildeo necessaacuterios para usar esse meacutetodo correctamente
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 915
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O modelo conhecido como Caminho de Mudanccedila (Pathway to Change) eacute um exemplo particularmente uacutetil de um quadro conceptual Esse modelo utiliza um formato de condicionalidade (ldquose entatildeordquo) para mostrar passo a passo como os resultados a meacutedio e longo prazo foram conceptualizados e como seratildeo alcanccedilados A Figura 6 eacute um exemplo de aplicaccedilatildeo do Caminho de Mudanccedila em um projecto de sauacutede de seis meses de duraccedilatildeo e acircmbito municipal na Nicaraacutegua
Caminho de Mudanccedila Tratamos deste modelo neste capiacutetulo devido agrave sua utilidade para os gestores e seus benefiacutecios como actividade de fortalecimento de uma equipa O estabelecimento de um Caminho de Mudanccedila eacute geralmente um processo participativo que permite que a sua equipa ou unidade e outros grupos de interesse formulem uma intervenccedilatildeo e determinem como ela vai funcionar O produto final eacute um mapa que mostra como uma acccedilatildeo estaacute relacionada com outras e como todas elas acrescentam algo ao resultado esperado Frequentemente o estabelecimento de um caminho expotildee as crenccedilas subjacentes que as pessoas de uma organizaccedilatildeo mantecircm sobre a forma em que suas acccedilotildees promovem mudanccedilas
A criaccedilatildeo de um Caminho de Mudanccedila tem vaacuterios benefiacutecios Em primeiro lugar exige que a sua equipa examine cada acccedilatildeo proposta e responda agraves seguintes perguntas
Todas as actividades contribuem para o resultado esperado Se a resposta for negativa algumas actividades deveriam ser modificadas acrescentadas ou eliminadas
As actividades satildeo sequenciais Elas estatildeo relacionadas de uma forma loacutegica Elas se somam umas agraves outras para formar um conjunto racional e coerente de acccedilotildees
Pensamos em todos os produtos e resultados necessaacuterios para atingir nosso resultado esperado
Temos os recursos necessaacuterios para implementar as actividades propostas Em quanto tempo atingiremos o resultado que desejamos Que outros factores podem contribuir ou entravar cada uma das actividades do
caminho
Em segundo lugar sua equipa deve tornar expliacutecita e chegar a um acordo sobre a loacutegica subjacente de um plano de intervenccedilatildeo Em outras palavras deve mostrar no papel como cada acccedilatildeo resultaraacute na mudanccedila desejada em cada niacutevel do mapa Por uacuteltimo o caminho define que resultados imediatos e resultados a meacutedio e longo prazo a equipa deve monitorar e que indicadores devem usar
TABELA 2 Visatildeo geral do quadro conceptual
Vantagens Desvantagens
Fornece um mapeamento visual e flexiacutevel de planos de intervenccedilatildeo complexos
Quando usado regularmente durante a implementaccedilatildeo permite uma retroinformaccedilatildeo antecipada do que estaacute ou natildeo a funcionar e por quecirc
Auxilia na identificaccedilatildeo de efeitos colaterais natildeo previstos
Ajuda a priorizar os problemas a serem investigados mais profundamente talvez ao usar meacutetodos mais focalizados de recolha de dados ou teacutecnicas mais sofisticadas de MampA
Pode se tornar extremamente complexo se a escala de actividades for muito grande ou se for reunida uma lista exaustiva de factores e pressupostos
Os grupos de interesse podem discordar sobre os factores determinantes que consideram ser os mais importantes
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 916
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Como se lecirc um mapa de Caminho de Mudanccedila O caminho pode ser lido como um fluxograma em que caixas e setas mostram a relaccedilatildeo entre as acccedilotildees e os efeitos como mostrado na Figura 6 O resultado esperado aparece no topo do caminho e os resultados imediatos que devem ser atingidos para se chegar laacute satildeo exibidos no proacuteximo niacutevel Os produtos que devem ser obtidos para conseguir os resultados a meacutedio e longo prazo aparecem no proacuteximo niacutevel inferior Finalmente as actividades aparecem no fundo ou base
Quando lido de baixo para cima o mapa mostra que actividades satildeo necessaacuterias para conseguir os produtos e que resultados a meacutedio e longo prazo satildeo necessaacuterios para se chegar ao topo Eacute preciso sempre poder traccedilar um caminho desde o comeccedilo de suas acccedilotildees ateacute o resultado esperado
Pode ser uacutetil imaginar o caminho como o organigrama de uma empresa vocecirc pode comeccedilar da base do organigrama como assistente administrativo passar a coordenador de escritoacuterio depois a uma funccedilatildeo de gestatildeo e finalmente ocupar o gabinete do director
A criaccedilatildeo de um Caminho de Mudanccedila Para desenvolver um Caminho da Mudanccedila sua equipa mapeia a mudanccedila de forma reversa Comeccedila no final do caminho (no topo da
FIGURA 6 Exemplo de um Caminho de Mudanccedila
Resultado 180 dos pacientes
estatildeo satisfeitos com os serviccedilos prestados no
centro de sauacutede
Resultado 260 das mulheres
entre 15 e 49 anos na aacuterea de captaccedilatildeo do centro de
sauacutede entendem a importacircncia do planeamento familiar
para o espaccedilamento dos nascimentos
Resultado 3Todos os meacutetodos
contraceptivos modernos estatildeo
disponiacuteveis no centro de sauacutede
Produto 1Os tempos de
espera no centro de sauacutede se
reduziram de 40 para 20 minutos
Produto 2Eacute oferecida
orientaccedilatildeo a todos os pacientes em
espaccedilo privado do centro de sauacutede
Produto 3Voluntaacuterias
realizam palestras semanais sobre temas
de sauacutede reprodutiva na comunidade
Produto 4Todos os stocks
de contraceptivos satildeo monitorados semanalmente
Actividade 1Realizar um
inqueacuterito sobre o uxo de
pacientes e cumprir
recomendaccedilotildees
Actividade 2Transformar um canto do
centro de sauacutede para a
orientaccedilatildeo dos pacientes
Actividade 3Mobilizar as
ONGs parceiras para imprimir panetos de informaccedilatildeo educaccedilatildeo e
comunicaccedilatildeo
Actividade 4Mobilizar as
ONGs parceiras para dar
formaccedilatildeo ou equipar as voluntaacuterias
Actividade 5Recrutar liacutederes
comunitaacuterios para prestar
apoio agraves palestras sobre
sauacutede reprodutiva
Actividade 6Desenvolver
um sistema de registo e
pedidos de suprimentos
contraceptivos
Resultado esperadoAumento na percentagem de utentes de planeamento familiar de 50 para 52
durante o periacuteodo de Junho a Dezembro de 2006
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 917
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
sequecircncia) e define a meta da organizaccedilatildeo a longo prazo ou o resultado esperado de uma intervenccedilatildeo Em seguida preenche o mapa ao trabalhar de cima para baixo onde identifica finalmente as actividades principais os primeiros elementos do seu plano de implementaccedilatildeo
Enquanto se desloca pelo caminho faccedila trecircs perguntas Que resultados precisam acontecer para contribuir agrave meta de longo prazo Que produtos precisam ser obtidos antes disso para alcanccedilar os resultados Que actividades precisam acontecer antes disso para conseguir os produtos
O desenho de uma intervenccedilatildeo dessa forma pode ajudar a revelar as condiccedilotildees necessaacuterias para atingir os resultados a meacutedio e longo prazo e a meta de longo prazo Talvez sejam necessaacuterias vaacuterias tentativas para criar um Caminho de Mudanccedila com o qual todos estejam de acordo Os resultados produtos e acccedilotildees podem ser acrescentados modificados e eliminados ateacute que eventualmente surja um mapa que conte a histoacuteria com a qual sua equipa pode concordar O debate eacute frequentemente a parte mais importante da experiecircncia porque a equipa junta define as expectativas pressupostos e caracteriacutesticas do processo de mudanccedila
Uso da sequecircncia ldquopara querdquo como forma de verificar as vias de um Caminho de Mudanccedila Uma boa forma de verificar a loacutegica do mapa do seu caminho eacute inverter o processo e criar uma sequecircncia de ldquopara querdquo para cada actividade O exemplo na Figura 7 mostra como fazer isso para a Actividade 5 da Figura 6 O movimento na sequecircncia ldquopara querdquo eacute o
FIGURA 7 Sequecircncia ldquopara querdquo para uma actividade de um Caminho de Mudanccedila
Dar formaccedilatildeo agraves voluntaacuterias da comunidade e equipaacute-las com os materiais de informaccedilatildeo educaccedilatildeo e comunicaccedilatildeo necessaacuterios
para que
As voluntaacuterias realizem sessotildees educativas sobre sauacutede sobre temas de planeamento familiar na aacuterea especiacutefica do centro de sauacutede
para que
As mulheres em idade reprodutiva na aacuterea especiacutefica se sintam agrave vontade para participar de sessotildees apresentadas pelas voluntaacuterias
para que
As mulheres participem das sessotildees e aprendam sobre a importacircncia do planeamento familiar para o espaccedilamento dos nascimentos
para que
Mais mulheres em idade reprodutiva busquem meacutetodos de planeamento familiar no centro de sauacutede e a percentagem de mulheres que recebem os meacutetodos aumentem 2 durante o periacuteodo do projecto (o resultado esperado)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 918
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
oposto exacto do Caminho de Mudanccedila Vocecirc coloca cada actividade no topo da sua proacutepria sequecircncia e desce pela sequecircncia ateacute a meta ou resultado esperado Essa sequecircncia ajuda a confirmar que cada rota individual no Caminho de Mudanccedila faz sentido em termos loacutegicos
Para usar essa teacutecnica eacute preciso criar uma sequecircncia ldquopara querdquo para cada actividade no seu Caminho de Mudanccedila Comece por descrever cada actividade e segui-la da frase ldquopara querdquo seguida de uma descriccedilatildeo do que aconteceraacute se essa actividade for realizada Continue a fazer isto ateacute atingir a sua meta de longo prazo ou resultado esperado
Etapas do desenvolvimento de um plano de MampA
Uma das suas tarefas essenciais de MampA como gestor que exerce lideranccedila eacute a de elaborar um plano que ajude vocecirc e sua equipa a determinar se atingiram ou natildeo os resultados esperados e a acompanhar o progresso no alcance desses resultados durante a implementaccedilatildeo Isso exige que vocecirc natildeo soacute escolha indicadores confiaacuteveis mas tambeacutem que meccedila esses indicadores de forma organizada Seu plano de MampA deve especificar que indicadores seratildeo medidos como e quando seratildeo medidos e por quem
Um plano de MampA bem formulado responde a cinco perguntas
1 Seu resultado esperado eacute mensuraacutevel2 Que indicadores utilizaraacute para monitorar seus produtos e para avaliar seus
resultados 3 Quais satildeo as suas fontes de dados e como recolheraacute os dados dessas fontes 4 Quais satildeo os periacuteodos cobertos de cada indicador 5 Quem recolheraacute os dados
Essas perguntas satildeo importantes porque sem um plano vaacutelido de MampA vocecirc poderaacute interpretar erroneamente os efeitos da sua intervenccedilatildeo Poderaacute concluir que ela natildeo teve efeito algum quando na verdade ela teve alguns resultados positivos ou poderaacute concluir que ela teve um efeito positivo quando na verdade natildeo obteve resultado algum o que eacute um erro comum e mais destrutivo
Elaborar e utilizar um plano de MampA garante que dados comparaacuteveis seratildeo recolhidos regularmente e em tempo haacutebil mesmo quando houver mudanccedilas de pessoal A Tabela 3 resume as etapas no desenvolvimento e implementaccedilatildeo de um plano de MampA O resto desta secccedilatildeo descreve cada etapa detalhadamente
ETAPA 1 DEFINA OS RESULTADOS ESPERADOS
A primeira etapa no desenvolvimento do plano de MampA eacute determinar um niacutevel apropriado de resultados Juntos o tipo e o acircmbito da intervenccedilatildeo os recursos disponiacuteveis e o prazo de implementaccedilatildeo determinam um resultado viaacutevel
Como jaacute vimos antes neste capiacutetulo as intervenccedilotildees dirigidas por organizaccedilotildees com fundos de agecircncias doadoras e por serviccedilos governamentais geralmente levam a produtos ou resultados a meacutedio e longo prazo Apesar de o impacto demorar a ser obtido e geralmente estar fora do acircmbito de um uacutenico conjunto de actividades eacute importante incluiacute-lo no seu plano de MampA para que fique clara qual seraacute a contribuiccedilatildeo da sua intervenccedilatildeo a longo prazo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 919
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 3 Etapas para elaborar e usar um Plano de MampA
Etapas Recomendaccedilotildees
1 Definir os resultados esperados
Os resultados devem ser identificados de acordo com o acircmbito e o periacuteodo de tempo da sua intervenccedilatildeo
Os resultados devem atender aos criteacuterios SMART (Especiacuteficos Mensuraacuteveis Apropriados Realistas de Prazo Definido)
2 Seleccionar os indicadores
Os indicadores devem possuir as qualidades de um bom indicador
Os indicadores devem ser acessiacuteveis faacuteceis de recolher e comparaacuteveis ao longo do tempo e em diferentes locais
Para os problemas de sauacutede prioritaacuterios e os serviccedilos essenciais use indicadores criacuteticos nacionais ou padratildeo
Seleccione um nuacutemero miacutenimo de indicadores essenciais e procure garantir que os indicadores seleccionados sejam realmente necessaacuterios para medir seus resultados esperados
3 Identificar as fontes de dados
Identifique de onde viratildeo os dados para cada indicador Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos organizacionais utentes ou a comunidade
4 Definir os meacutetodos de recolha dos dados
Seleccione o meacutetodo mais apropriado e confiaacutevel para a recolha de dados para cada indicador Estes meacutetodos podem incluir a anaacutelise de registos ou diaacuterios de estatiacutesticas de serviccedilo o uso de listas de verificaccedilatildeo para fins de observaccedilatildeo as entrevistas de utentes ao saiacuterem da cliacutenica ou um modelo de inqueacuterito de dados comunitaacuterios
Decida sobre a frequecircncia da recolha de dados Poderaacute recolher apenas os dados de base ou referecircncia e os dados apoacutes a intervenccedilatildeo ou talvez precise recolher dados diaacuterios mensais ou trimestrais dependendo do tipo de indicador
Para cada indicador designe a responsabilidade pela recolha a um escritoacuterio equipa ou pessoa especiacuteficos
5 Recolher os dados de base (ou referecircncia) e os dados apoacutes a intervenccedilatildeo
Entenda que os resultados de base seratildeo usados para definir os seus alvos
Defina claramente a duraccedilatildeo coberta pelos dados de base jaacute que precisa de um periacuteodo semelhante para a comparaccedilatildeo ao final do periacuteodo de implementaccedilatildeo
Use a mesma metodologia e ferramentas para a recolha de dados que as usadas para os dados de base e as medidas poacutes-intervenccedilatildeo
6 Compartilhar e utilizar os seus resultados
Marque reuniotildees workshops e apresentaccedilatildeo de relatoacuterios para mostrar os resultados ao pessoal do projecto agrave direcccedilatildeo da organizaccedilatildeo e a outros grupos de interesse importantes
Apresente as opccedilotildees de aprendizado e acccedilatildeo com base nos resultados de MampA
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 920
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para determinar em que niacutevel deve monitorar e avaliar seus resultados eacute uacutetil examinar novamente e expandir a cadeia de resultados a comeccedilar da direita pelo resultado final (impacto) e voltar ateacute os materiais e recursos (insumos) necessaacuterios
Insumos rarr Processos rarr Produtos rarr Resultados rarr Impacto
Impacto Esses resultados satildeo medidos ao niacutevel da populaccedilatildeo levam um tempo relativamente longo para serem alcanccedilados (geralmente 3 a 5 cinco anos) e exigem o esforccedilo conjunto de vaacuterias intervenccedilotildees e mesmo de vaacuterias organizaccedilotildees Como gestor vocecirc poderaacute ser responsaacutevel por medir o impacto mas deve incluiacute-lo na loacutegica do seu plano de MampA para saber o que a sua organizaccedilatildeo e os parceiros da organizaccedilatildeo pretendem alcanccedilar a longo prazo
Resultados a meacutedio e longo prazo Na maioria dos casos os gestores satildeo responsaacuteveis por medir os resultados nos niacuteveis de produtos eou resultados a meacutedio e longo prazo Os resultados a meacutedio e longo prazo satildeo obtidos pelas actividades criadas para produzir uma mudanccedila de comportamento nos profissionais de sauacutede ou nos utentes Satildeo geralmente medidos em termos de mudanccedilas na cobertura de serviccedilos e mudanccedilas nos conhecimentos atitudes e praacuteticas de uma populaccedilatildeo beneficiaacuteria Um resultado a meacutedio e longo prazo pode ser o iniacutecio de uma praacutetica comprovada de prestaccedilatildeo de serviccedilos a adopccedilatildeo de novas estrateacutegias de gestatildeo ou a elaboraccedilatildeo bem-sucedida de uma poliacutetica de promoccedilatildeo da sauacutede Pode tambeacutem ser um aumento no nuacutemero de mulheres que datildeo agrave luz em um centro de sauacutede ou no nuacutemero de crianccedilas totalmente imunizadas Na maioria dos casos eacute possiacutevel estabelecer uma relaccedilatildeo clara entre produtos e resultados a meacutedio e longo prazo
Produtos Os produtos ou resultados imediatos satildeo fruto directo das actividades Devem ser monitorados durante toda a implementaccedilatildeo como um elemento essencial da boa gestatildeo Os planos de MampA devem definir o produto esperado de cada actividade Para as unidades de prestaccedilatildeo de serviccedilos isso geralmente significa os resultados imediatos em termos dos serviccedilos (por exemplo nuacutemero de utentes atendidos ou tempo de espera dos clientes ou utentes) Para as organizaccedilotildees que natildeo prestam serviccedilos de sauacutede directamente isso pode significar a distribuiccedilatildeo de produtos de sauacutede ou serviccedilos de formaccedilatildeo (por exemplo quantidade de produtos para planeamento familiar distribuiacutedos ou nuacutemero de participantes formados)
Processos A monitoria de processos ou actividades eacute em grande parte uma medida da cultura de prestaccedilatildeo de contas (ou grau de responsabilizaccedilatildeo) ao garantir que as actividades sejam realizadas dentro do prazo e com recursos suficientes A monitoria nesse niacutevel acompanha o progresso da implementaccedilatildeo tendo como referecircncia os prazos propostos e o uso dos recursos tendo como referecircncia os orccedilamentos Eacute geralmente executada atraveacutes da apresentaccedilatildeo de relatoacuterios tradicionais trimestrais semestrais e anuais
Insumos Ao preparar uma intervenccedilatildeo deve identificar a quantidade e os tipos de recursos necessaacuterios para implementar as actividades O desempenho pode ser monitorado em termos da quantidade e dos tipos de insumos fornecidos e do nuacutemero e timing das actividades realizadas
A etapa seguinte na definiccedilatildeo dos resultados esperados eacute garantir que cumpram os criteacuterios SMART (consulte a Tabela 4) Eacute possiacutevel monitorar e avaliar o progresso no alcance de um resultado apenas se esse resultado tiver sido definido em termos mensuraacuteveis
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 921
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja a seguir um exemplo de um resultado mensuraacutevel para uma intervenccedilatildeo cujo propoacutesito eacute promover a cobertura de imunizaccedilatildeo em crianccedilas de 12 a 24 meses de idade A percentagem de crianccedilas de 12 a 24 meses totalmente vacinadas na aacuterea de captaccedilatildeo aumentaraacute para 70 dentro de um ano
ETAPA 2 IDENTIFIQUE OS INDICADORES E SUAS DEFINICcedilOtildeES
Os indicadores satildeo geralmente percentagens ou proporccedilotildees que representam o alcance de uma condiccedilatildeo especiacutefica de sauacutede na populaccedilatildeo de interesse Podem tambeacutem ser um valor absoluto tal como o nuacutemero de ocorrecircncias de um evento de sauacutede (por ex um oacutebito materno ou um caso de malaacuteria)
Todos os indicadores pedem uma definiccedilatildeo detalhada Trata-se de um indicador qualitativo ou quantitativo Se for uma percentagem qual eacute o numerador e qual eacute o denominador A definiccedilatildeo deve ser suficientemente detalhada para garantir que pessoas diferentes em momentos diferentes possam recolher tipos idecircnticos de dados para o indicador
Veja o que caracteriza um bom indicador no Quadro 2 Os indicadores podem ser classificados como indicadores do estado de sauacutede ou do desempenho de serviccedilos
Os indicadores do estado de sauacutede podem incluir o seguinte
nuacutemero de casos e mortes causados por doenccedilas especiacuteficas em um determinado periacuteodo
proporccedilatildeo da populaccedilatildeo com uma doenccedila ou condiccedilatildeo de sauacutede num momento particular ou ao longo de um periacuteodo de tempo
proporccedilatildeo da populaccedilatildeo com um factor ou condiccedilatildeo de sauacutede que os coloca em risco de contrair doenccedilas tal como a falta de conhecimento ou um comportamento de risco
Os indicadores de desempenho podem incluir o seguinte
proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que recebeu um serviccedilo especiacutefico proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que demonstra comportamentos e
conhecimentos especiacuteficos de sauacutede
TABELA 4 Criteacuterios de um resultado SMART
Criteacuterio Descriccedilatildeo
Especiacutefico (S ndash Smart)
Claramente escrito e compreendido O resultado esperado eacute suficientemente especiacutefico para ser medido por uma frequecircncia percentagem ou nuacutemero
Mensuraacutevel (M ndash Measurable)
Eacute possiacutevel monitorar o progresso e avaliar os resultados O resultado esperado eacute definido em termos que sejam mensuraacuteveis
Apropriado (A ndash Appropriate)
O resultado esperado eacute apropriado ao acircmbito do seu trabalho e agrave missatildeo da sua organizaccedilatildeo
Realista (R ndash Realistic)
O resultado esperado pode ser alcanccedilado e estaacute dentro do controlo da sua organizaccedilatildeo Pode ser realisticamente alcanccedilado ao usar os recursos disponiacuteveis e dentro do prazo do seu plano de implementaccedilatildeo
de Tiempo limitado (T ndash Time Bound)
Foi estabelecido um prazo especiacutefico para obter o resultado esperado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 922
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
proporccedilatildeo de centros e pessoal de sauacutede que demonstram adesatildeo a padrotildees especiacuteficos de serviccedilo ou que atingiram objectivo definido
proporccedilatildeo de centros de sauacutede que seguem padrotildees definidos de gestatildeo funcional (por ex em termos de pessoal disponibilidade de medicamentos registo e apresentaccedilatildeo de relatoacuterios)
Orientaccedilatildeo adicional sobre os indicadores pode ser obtida em ldquoCompecircndio de indicadores para avaliaccedilatildeo de programas de sauacutede reprodutivardquo e ldquoLista dos indicadores sobre desenvolvimento da capacidade de gestatildeo e lideranccedilardquo
ETAPA 3 IDENTIFIQUE AS FONTES DE DADOS
Agora precisa identificar uma fonte de dados para cada indicador incluiacutedo no plano de MampA ao seleccionar dados que estejam prontamente disponiacuteveis em uma fonte confiaacutevel e dentro das possibilidades financeiras de sua organizaccedilatildeo O ideal seria escolher os dados imediatamente disponiacuteveis atraveacutes da organizaccedilatildeo em vez de dar iniacutecio a uma nova estrateacutegia de recolha de dados o que poderia ser oneroso e demorado
Uma boa forma de comeccedilar eacute com a seguinte pergunta Que dados jaacute recolhemos de forma rotineira e sistemaacutetica Vocecirc deve sempre levar em consideraccedilatildeo as vantagens e desvantagens de cada fonte de dados Consulte a secccedilatildeo ldquoComo seleccionar suas fontes de dadosrdquo para obter mais informaccedilotildees sobre as vantagens e desvantagens de algumas fontes de dados mais comuns
Vocecirc deve ser o mais especiacutefico possiacutevel sobre as fontes de dados para que a mesma fonte possa ser utilizada de forma coerente durante toda a intervenccedilatildeo Mudar as fontes de dados para o mesmo indicador pode resultar em incoerecircncias e erros de interpretaccedilatildeo Por exemplo se estiver a medir as taxas de mortalidade infantil passar de estimativas baseadas num inqueacuterito de grande escala para estimativas baseadas em estatiacutesticas hospitalares pode resultar dar a falsa impressatildeo de que houve uma mudanccedila
QUADRO 2 Qualidades de um bom indicador
Vaacutelido O indicador mede o que se pretende medir
Confiaacutevel A medida do indicador deve ser igual natildeo importa quantas vezes a medida seja feita
Preciso O indicador eacute definido em termos claros e especiacuteficos para que possa ser medido O indicador pode ser qualitativo (descritivo) discreto (SimNatildeo) ou baseado em niacuteveis quantitativos ou proporccedilotildees desde que seja claramente mensuraacutevel
Faacutecil de entender Tanto especialistas como natildeo especialistas devem poder entender o significado do indicador
Discreto O indicador captura um uacutenico componente ou aspecto de um resultado mais complexo Mede apenas uma coisa natildeo um conjunto de coisas
Em tempo haacutebil O indicador pode ser medido em intervalos temporais apropriados de acordo com a disponibilidade dos dados
Comparaacutevel Quando possiacutevel o indicador evita definiccedilotildees limitadas ou singulares cujos valores seriam difiacuteceis de comparar com outros resultados
Viaacutevel para utilizar Os dados para o indicador satildeo faacuteceis de obter de uma fonte confiaacutevel e relativamente econoacutemica ndash acessiacutevel tendo em vista os recursos da sua organizaccedilatildeo Se esses dados natildeo estiverem disponiacuteveis existem meacutetodos para obtecirc-los no futuro
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 923
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 4 DEFINA OS MEacuteTODOS DE RECOLHA DE DADOS
A etapa seguinte eacute a de definir os meacutetodos ou ferramentas que utilizaraacute para cada indicador Para os indicadores baseados em dados primaacuterios (dados que vocecirc mesmo recolhe) deve descrever o tipo de instrumento necessaacuterio para recolher os dados Os exemplos podem incluir questionaacuterios estruturados listas de verificaccedilatildeo de observaccedilatildeo directa ou balanccedilas para pesar bebeacutes
Para os dados secundaacuterios (dados recolhidos por terceiros e que estatildeo disponiacuteveis para vocecirc usar) deve explicar o meacutetodo para calcular o indicador e a fonte dos dados e fornecer detalhes suficientes sobre o meacutetodo de caacutelculo para que outros possam replicaacute-lo Lembre-se de que eacute mais faacutecil e mais barato usar dados secundaacuterios mas sua qualidade eacute menos confiaacutevel do que a dos dados primaacuterios
Tambeacutem eacute importante observar a frequecircncia da recolha dos dados para cada indicador A depender do tipo de indicador vocecirc poderaacute recolher os dados mensalmente trimestralmente anualmente ou ateacute com menos frequecircncia Ao definir o programa de recolha de dados para cada indicador leve em consideraccedilatildeo a necessidade de fornecer informaccedilotildees em tempo haacutebil aos responsaacuteveis por tomar decisotildees na sua organizaccedilatildeo Atribuir responsabilidades pela recolha de dados a indiviacuteduos ou grupos do seu pessoal garantiraacute que os dados sejam recolhidos dentro do prazo necessaacuterio
As informaccedilotildees das Etapas 1 a 4 fornecem o conteuacutedo do seu plano de monitoria e avaliaccedilatildeo A Tabela 5 mostra os elementos de um plano de MampA para um programa de mentoria cliacutenica para centros de orientaccedilatildeo e testes voluntaacuterios
ETAPA 5 RECOLHA OS DADOS DE BASE E DE ACOMPANHAMENTO
Recolher dados de base precisos eacute uma das tarefas mais importantes de MampA Os dados de base ou referecircncia satildeo o ponto de partida para definir as metas que vocecirc e sua equipa pretendem atingir e para acompanhar as mudanccedilas dos indicadores durante todo o periacuteodo de sua intervenccedilatildeo Dessa forma os dados de base ajudam a definir melhor um resultado final esperado
Vocecirc precisaraacute recolher dados de base para cada indicador antes que suas actividades comecem Esses dados identificam o ponto de partida de onde poderaacute avaliar o progresso Depois em pontos variados durante a implementaccedilatildeo vocecirc recolheraacute dados de acompanhamento sobre cada indicador para comparaacute-los com os niacuteveis de base e os resultados previstos Isto permite que vocecirc e outros tomadores de decisotildees em sua organizaccedilatildeo avaliem o progresso de cada intervenccedilatildeo ou serviccedilo e faccedilam as mudanccedilas necessaacuterias ao longo do caminho Examine o exemplo no Quadro 3
Por que acompanhar as mudanccedilas dos indicadores durante a implementaccedilatildeo Os indicadores de um plano de MampA estatildeo relacionados aos resultados imediatos (produtos) e aos resultados de meacutedio e longo prazo que os gestores precisam monitorar As mudanccedilas nos valores do indicador ao longo do tempo mostram se esses resultados estatildeo a subir ou a baixar ou se permanecem iguais Isto mostra ao gestor se as intervenccedilotildees e estrateacutegias estatildeo a funcionar conforme planeado para atingir os resultados esperados
Ao final do periacuteodo de implementaccedilatildeo precisaraacute recolher dados sobre os seus indicadores para comparar os niacuteveis finais com os niacuteveis de base e com os seus resultados esperados A depender dos seus indicadores precisaraacute tambeacutem recolher dados de acompanhamento a uma altura acordada previamente para determinar se as mudanccedilas seratildeo mantidas apoacutes o teacutermino da sua intervenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 924
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 5 Exemplo de um Plano de Monitoria e Avaliaccedilatildeo
Objectivo Os profissionais de sauacutede que receberam formaccedilatildeo aumentam sua capacidade de fornecer tratamento anti-retroviral de acordo com as directrizes nacionais
ActividadeProduto Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
CronogramaPrazo final
Cliacutenicos experientes em VIH recrutados para servir como mentores cliacutenicos em cinco hospitais regionais
Nuacutemero de mentores recrutados e designados a hospitais regionais
Registos de emprego
Como concluiacutedo Director adjunto para programas cliacutenicos
Setembro de 2008
Pessoal meacutedico em cinco hospitais regionais que recebem mentoria individual sobre terapia anti-retroviral
Nuacutemero de locais que recebem mentoria cliacutenica
Nuacutemero de meacutedicos que recebem mentoria individual
Nuacutemero de dias de mentoria cliacutenica realizados
Relatoacuterios mensais do mentor
Mensalmente Mentores Marccedilo de 2009
Resultados a meacutedio e longo prazo Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
Trabalhadores de sauacutede aumentam seu conhecimento sobre terapia anti-retroviral
80 dos participantes obtecircm 85 ou mais de pontuaccedilatildeo correcta no teste posterior
Trabalhadores de sauacutede melhoram suas habilidades no fornecimento de terapia anti-retroviral
Percentagem de habilidades demonstradas na lista de verificaccedilatildeo de competecircncia
Estudo especial Datas a definir Director adjunto para programas cliacutenicos
Fonte Centro Internacional de Formaccedilatildeo e Ensino sobre VIH p 2
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 925
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Observaccedilatildeo sobre o uso de indicadores para uma avaliaccedilatildeo A maioria dos esforccedilos de MampA enfatizam a selecccedilatildeo de indicadores bem definidos para estabelecer metas e medir as mudanccedilas nas condiccedilotildees e nos serviccedilos de sauacutede
Mas eacute importante lembrar que os indicadores servem apenas como marcadores Os dados dos indicadores fornecem pistas para saber se uma intervenccedilatildeo ou um grupo de actividades estaacute dentro do cronograma e se os resultados esperados estatildeo a ser alcanccedilados Eles natildeo respondem agraves perguntas de por que os resultados estatildeo ou natildeo a ser alcanccedilados Natildeo explicam os resultados fortuitos as relaccedilotildees entre intervenccedilotildees e resultados ou as causas de resultados percebidos que podem ocorrer fora da intervenccedilatildeo Assim natildeo podem recomendar medidas a tomar para melhorar os resultados
Os dados de indicadores devem portanto ser interpretados com cuidado Eles simplesmente indicam resultados que precisam ser melhor explorados em vez de fornecer uma avaliaccedilatildeo definitiva do sucesso ou fracasso Um estudo de avaliaccedilatildeo eacute geralmente executado para determinar se uma intervenccedilatildeo pode ser considerada um sucesso e por quecirc
Em geral agrave medida que sobe na hierarquia e passa das actividades para os resultados a longo prazo a MampA se torna mais complicada Nos niacuteveis de processo e produtos pode-se facilmente rastrear que actividades foram concluiacutedas e seus resultados imediatos Essas informaccedilotildees satildeo operacionais ndash informaccedilotildees que vocecirc pode usar para decisotildees quotidianas de gestatildeo Poreacutem para identificar e medir os resultados da sinergia dos produtos provavelmente teraacute que integrar as informaccedilotildees qualitativas e quantitativas e confiar menos em indicadores quantitativos singulares
Lembre-se de que quando uma melhoria desejada ndash seja na eficiecircncia do serviccedilo no conhecimento e comportamento dos provedores de serviccedilos ou dos beneficiaacuterios ou na tendecircncia de um problema de sauacutede ndash eacute confirmada atraveacutes de MampA isto natildeo prova que foi a intervenccedilatildeo que provocou a mudanccedila Outras coisas podem estar a se passar no serviccedilo ou no ambiente geral que causam essa mudanccedila Eacute claro que o mesmo se aplica aos resultados negativos ou resultados que indicam natildeo haver nenhuma mudanccedila nos resultados a meacutedio e longo prazo
QUADRO 3 Como usar dados de base para ajustar os resultados
Uma equipa de sobrevivecircncia infantil estaacute a propor uma intervenccedilatildeo com o seguinte resultado mensuraacutevel e especiacutefico ldquoNos proacuteximos 12 meses 40 das crianccedilas entre 12 e 24 meses de idade na aacuterea de captaccedilatildeo seratildeo completamente imunizadasrdquo
Para determinar se seu programa pode realmente atingir esse resultado o pessoal precisa medir os niacuteveis actuais de vacinaccedilatildeo Ao examinar os dados vecircem que apenas 10 das crianccedilas na aacuterea de captaccedilatildeo estatildeo completamente imunizadas ao completarem 24 meses Estes satildeo portanto seus dados de base
A gestora entende que natildeo seraacute possiacutevel atingir o objectivo de 40 de cobertura de imunizaccedilatildeo em apenas 12 meses Por isso ela e sua equipa revisam o resultado esperado e o modificam para que seja mais razoaacutevel e realista mas continue sendo significativo ldquoNos proacuteximos 12 meses 20 das crianccedilas de 12 a 24 meses na aacuterea de de actuaccedilatildeo seratildeo completamente imunizadas
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 926
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 6 COMPARTILHE E USE SEUS DADOS
Na pressa para comeccedilar a recolher dados alguns gestores se esquecem de planear um processo para reflectir sobre as informaccedilotildees e fazer mudanccedilas para aumentar a eficiecircncia das actividades Para garantir que os dados sejam natildeo soacute recolhidos mas tambeacutem utilizados pense como vocecirc e sua equipa divulgaratildeo as informaccedilotildees sobre MampA e obteratildeo retroinformaccedilatildeo dos diversos grupos de interesse Algumas perguntas baacutesicas serviratildeo para lhe orientar
Quem precisa de que tipo de informaccedilotildees e quando precisam delas Que tipo de formato deve usar para comunicar os resultados ao pessoal
aos gestores de niacutevel superior e a outros grupos de interesse importantes Eacute suficiente fazer circular um relatoacuterio ou deveria organizar uma reuniatildeo ou workshop
Deveria tambeacutem organizar reuniotildees com a comunidade para solicitar retroinformaccedilatildeo dos seus beneficiaacuterios sobre os primeiros resultados da MampA
Como deve apresentar as informaccedilotildees para que sejam uacuteteis aos diferentes tomadores de decisotildees As informaccedilotildees devem ser apresentadas visualmente em diagramas graacuteficos ou mapas Para obter orientaccedilatildeo sobre dados e resultados consulte o Guiatildeo de MampA para Facilitadores de Programas de Desenvolvimento da Lideranccedila
Uso dos resultados para melhorar os dados de rotina em acccedilatildeo ndash Um exemplo do Paquistatildeo
No Paquistatildeo com o apoio do projecto PRIDE 10 equipas de subdistritos aplicaram o Processo de Avaliaccedilatildeo e Melhoria do Desempenho em Sauacutede Puacuteblica (PIP-PH) um conjunto de procedimentos e formatos para tratar dos problemas de sauacutede que identificaram como os mais graves para as suas populaccedilotildees Usaram o PIP-PH para priorizar os problemas e serviccedilos que mais precisavam de atenccedilatildeo a curto prazo para obter melhorias
Como parte do processo PIP-PH as equipas tambeacutem conceberam um formato de Estrutura de Vigilacircncia de Sauacutede (ldquoHealth Watch Frameworkrdquo) para os seus subdistritos como um todo e para os centros de sauacutede dentro deles Cada equipa seleccionou indicadores para medir a situaccedilatildeo de dois problemas de sauacutede puacuteblica os serviccedilos essenciais a eles relacionados e as limitaccedilotildees que afectavam esses serviccedilos
As equipas usaram os formulaacuterios Health Watch para estabelecer valores de base para os indicadores e depois para monitorar esses valores agrave medida que as intervenccedilotildees prosseguiam ao longo do tempo Os centros de sauacutede revisavam e actualizavam o formulaacuterio todo mecircs as equipas do subdistrito inclusive gestores de centros de sauacutede revisavam e discutiam os formulaacuterios trimestralmente os formulaacuterios revisados
As equipas de subdistrito usaram as informaccedilotildees para analisar os motivos do progresso ou falta de progresso para poderem prestar apoio aos gestores dos centros de sauacutede O processo estimulou os gestores dos centros de sauacutede a melhorarem a integridade e precisatildeo dos dados de rotina para poderem usar as informaccedilotildees e monitorarem mais eficazmente os eventos e os serviccedilos essenciais e introduzirem as melhorias necessaacuterias
Exemplos e informaccedilotildees detalhadas sobre o PIP-PH e o Health Watch Framework aparecem no Relatoacuterio Anual do Projecto PRIDE 2007
Para se informar mais sobre meacutetodos adicionais de utilizaccedilatildeo dos dados para melhorar o desempenho de uma organizaccedilatildeo equipa serviccedilo de sauacutede ou intervenccedilatildeo consulte o processo de Avaliaccedilatildeo e Melhoria de Desempenho (Performance Assessment and Improvement ndash PAI) no website de Programa de Lideranccedila Gestatildeo e Sustentabilidade (Leadership Management and Sustainability ndash LMS)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 927
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O processo de Monitoria e Avaliaccedilatildeo deve ser executado com o objectivo de usar imediatamente os resultados para identificar as falhas de desempenho e tomar medidas para reduzir ou eliminar essas falhas Vocecirc deve sempre planear formas de usar os resultados de MampA para o aprendizado e a acccedilatildeo Por exemplo o que deve fazer se as actividades do projecto natildeo trouxerem os resultados esperados O que precisa mudar se os serviccedilos essenciais natildeo estiverem a fornecer os niacuteveis de cobertura previstos ou a alcanccedilar grupos especiacuteficos de pessoas E como vocecirc pode levar esses fatos agrave atenccedilatildeo das pessoas certas para obter uma resposta raacutepida
Desenho de uma ferramenta de MampA
ARMADILHAS DA MONITORIA E AVALIACcedilAtildeO
Haacute vaacuterias armadilhas comuns que impedem que vocecirc como gestor aperfeiccediloe a funccedilatildeo de MampA na sua organizaccedilatildeo
Planeamento excessivo ou insuficienteAlguns gestores podem gastar tempo demais a preparar o plano de MampA do que resultam planos muito elaborados e complicados de usar Outros ficam muito ansiosos por implementar as intervenccedilotildees de MampA e comeccedilam antes de concluir o plano de MampA Isso significa que quando o plano fica pronto eacute geralmente tarde demais para obter dados de base viaacuteveis e a MampA tem que ser adiada Nesses casos o gestor talvez tenha que aceitar fazer a avaliaccedilatildeo mais tarde sem os dados de base que poderia usar para a comparaccedilatildeo
Descuidar-se da monitoria contiacutenua Outra armadilha frequente eacute a falha em incluir a monitoria contiacutenua na implementaccedilatildeo das actividades Isto ocorre frequentemente por falta de experiecircncia Muitos gestores natildeo tiveram acesso a ferramentas de monitoria uacuteteis (que satildeo raras) Talvez natildeo tenham recebido prontamente os resultados ou a retroinformaccedilatildeo do sistema de MampA no passado e por isso natildeo percebem como eacute importante realizar a monitoria de rotina Aleacutem disso gestores podem facilmente se emaranhar nos detalhes da implementaccedilatildeo e descuidar-se da monitoria de rotina
Exagerar Outra armadilha relacionada agrave monitoria eacute tentar rastrear os dados de todos os indicadores possiacuteveis Tentar obter os dados sobre um nuacutemero excessivo de factores torna o processo de monitoria tatildeo complicado que se torna impreciso Isso tambeacutem torna o processo mais lento de modo que no momento em que os dados satildeo recolhidos e analisados eles jaacute natildeo satildeo mais uacuteteis As ferramentas de monitoria muito demoradas e complicadas acabam por natildeo ser usadas O que acontece entatildeo O gestor deixa totalmente de fazer a monitoria e tem que recorrer agrave avaliaccedilatildeo
Se jaacute se deparou com esses problemas eacute hora de mudar a sua taacutectica Vocecirc pode criar um plano de MampA simples e usar ferramentas de monitoria simples Descubra o que tem que medir para obter os dados dentro de 3 a 6 meses o prazo vai depender dos ciclos de planeamento e apresentaccedilatildeo de relatoacuterios da sua organizaccedilatildeo Entenda tambeacutem qual eacute o miacutenimo que deve ser medido em uma avaliaccedilatildeo de longo prazo Busque a simplicidade mesmo se estiver diante de um conjunto complexo de actividades
Tente incluir apenas o que realmente precisa saber Pode testar todos os indicadores propostos antes de incluiacute-los no planeamento de MampA ao perguntar Quem precisa usar essas informaccedilotildees quando e com que finalidade Se um uacutenico indicador de produtos for suficiente perfeito Natildeo sobrecarregue a monitoria com indicadores desnecessaacuterios Muitas vezes menos dados fornecem mais informaccedilotildees
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 928
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
CARACTERIacuteSTICAS DE UMA BOA FERRAMENTA DE MONITORIA
Como gestor natildeo precisa saber tudo para gerir um serviccedilo ou dirigir uma intervenccedilatildeo mas precisa das informaccedilotildees imediatamente Portanto precisa de uma ferramenta de monitoria que possa fornecer informaccedilotildees suficientes e em tempo haacutebil para identificar e corrigir problemas assim que eles surgirem
Uma ferramenta de monitoria deve ser faacutecil de montar e utilizar As tabelas listas de verificaccedilatildeo e diagramas simples satildeo meacutetodos particularmente uacuteteis de recolher organizar e apresentar informaccedilotildees de monitoria
No miacutenimo sua ferramenta de monitoria deve permitir que vocecirc e sua equipa acompanhem
o progresso da implementaccedilatildeo da actividade a entrega de produtos ou resultados imediatos a situaccedilatildeo dos principais indicadores de resultados comparados aos resultados
esperados se for o caso as despesas orccedilamentais a disponibilidade de recursos humanos e financeiros os obstaacuteculos agrave implementaccedilatildeo e o que tem sido feito para superaacute-los
Vocecirc teraacute que responder agraves seguintes perguntas periodicamente
As actividades foram implementadas conforme planeado dentro do prazo e do orccedilamento
Que actividades adicionais natildeo planeadas foram realizadas Que serviccedilos ou produtos directos e tangiacuteveis foram oferecidos como resultado
das actividades que implementamos Estamos dentro do cronograma para atingir nossos resultados a meacutedio e longo
prazo Possuiacutemos os recursos necessaacuterios (pessoal dinheiro medicamentos e
suprimentos etc) para cumprirmos o cronograma
O Quadro 4 apresenta os componentes baacutesicos de uma ferramenta simples de monitoria
QUADRO 4 Uma ferramenta simples de monitoria
Data de exame Metas de resultados
Actividades (segundo o plano de implementaccedilatildeo)
Situaccedilatildeo ateacute o momento
Resultados esperados
Datas para conclusatildeo
Situaccedilatildeo ateacute o momento Comentaacuterios
Desafios e oportunidades
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 929
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quando usadas correctamente as novas tecnologias (por ex os PDAs ldquosmartphonesrdquo laptops e outros) podem facilitar a monitoria e aumentar os benefiacutecios da monitoria das actividades A monitoria automatizada ndash dados que podem ser obtidos e processados automaticamente ndash podem produzir um resumo dos principais indicadores em uma soacute paacutegina faacutecil de ler e num formato que utiliza cores para alertar ao gestor sobre as aacutereas que precisam de maior atenccedilatildeo As informaccedilotildees obtidas em tempo haacutebil sobre alguns indicadores essenciais permitem que o gestor monitore o progresso e tome medidas correctivas
Essa apresentaccedilatildeo visual das informaccedilotildees mais importantes e necessaacuterias para gerir um projecto eacute geralmente conhecida como Painel de Indicadores de Desempenho Os paineacuteis de indicadores de desempenho podem ser usados em qualquer organizaccedilatildeo departamento ou divisatildeo Nas organizaccedilotildees de sauacutede puacuteblica os paineacuteis satildeo usados frequentemente para monitorar os indicadores financeiros e programaacuteticos bem como a cobertura produccedilatildeo eficaacutecia e qualidade de serviccedilos de sauacutede especiacuteficos Um painel de recursos humanos por exemplo incluiria indicadores relevantes para gerir o seguinte
retenccedilatildeo de funcionaacuterios rotatividade de funcionaacuterios formaccedilatildeo de funcionaacuterios lacunas de habilidades satisfaccedilatildeo dos funcionaacuterios custos benefiacutecios e despesas gerais com funcionaacuterios
A Tabela 6 mostra um painel de indicadores de desempenho criado para monitorar serviccedilos de contracepccedilatildeo ciruacutergica voluntaacuteria (CCV)
TABELA 6 Ilustraccedilatildeo de Painel de Indicadores de Desempenho para Serviccedilos de Contracepccedilatildeo Ciruacutergica Voluntaacuteria (CCV)
Serviccedilo Contracepccedilatildeo Ciruacutergica Voluntaacuteria Periacuteodo do Relatoacuterio Janeiro de 2009
No Indicador de Prestaccedilatildeo de Serviccedilos Custo Qualidade
Meta financeira ou programaacutetica
LimiarNuacutemero
alcanccedilado
Percentagem concluiacuteda
Miacuten Maacutex 10 20 30 40 50 60 70 80 90 100
1 Nuacutemero de CCVs realizadas no mecircs 8 10 7
2 Custo meacutedio das CCVs (US$) 100 120 110
3 Orccedilamento mensal da receita com CCVs realizadas (US$) 800 1200 770
4Percentagem das CCVs realizadas por pessoal
qualificadomdash 100 60
5 Percentagem das CCVs realizadas sem complicaccedilotildees 95 100 100
6
Percentagem de utentes satisfeitas com o tratamento
recebido do pessoal que realizou as CCVs
90 100 90
Adaptado de Colindres 2008 p 6
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 930
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja uma descriccedilatildeo do uso de um painel de indicadores de desempenho para a monitoria de rotina num estudo de caso estudo de caso de uma ONG da Boliacutevia o Centro de Investigaccedilatildeo Educaccedilatildeo e Serviccedilos (CIES)
Para obter mais informaccedilotildees de como criar um painel de indicadores consulte ldquoComo usar os paineacuteis de indicadores de desempenho para monitorar as realizaccedilotildees de uma organizaccedilatildeordquo Esse documento ajuda a esclarecer conceitos e define as etapas essenciais para criar paineacuteis de indicadores de desempenho
Como criar uma avaliaccedilatildeo para fins de aprendizagem
Apesar da importacircncia da monitoria de rotina apenas a monitoria natildeo basta para responder agrave pergunta ldquoE entatildeordquo Ou seja suas actividades e produtos contribuiacuteram para melhorar a cobertura dos serviccedilos aumentar o conhecimento ou encorajar comportamentos mais saudaacuteveis
Talvez uma campanha de comunicaccedilatildeo sobre planeamento familiar criada para aumentar a prevalecircncia do uso de contraceptivos tenha levado o governo a abastecer os depoacutesitos distritais com contraceptivos Para que possam aprender com essa experiecircncia e criar campanhas mais eficazes no futuro os gestores do projecto ainda querem saber que produtos foram realmente dispensados aos centros de sauacutede e distribuiacutedos aos utentes Esta secccedilatildeo discute como criar uma avaliaccedilatildeo para fins de aprendizagem
Existem dois motivos para levar a cabo uma avaliaccedilatildeo
1 A avaliaccedilatildeo fornece informaccedilotildees sobre o sucesso da sua equipa unidade ou organizaccedilatildeo para atingir seus objectivos Essas informaccedilotildees ajudam a definir que actividades expandir modificar ou eliminar Ela pode tambeacutem revelar formas de melhorar a concepccedilatildeo e gestatildeo das actividades futuras
2 A avaliaccedilatildeo pode demonstrar uma cultura de prestaccedilatildeo de contas agrave sua agecircncia doadora e a outros grupos de interesse nomeadamente o governo e os beneficiaacuterios dos seus serviccedilos
AVALIACcedilOtildeES FORMATIVAS E SUMATIVAS
Os gestores podem realizar dois amplos tipos de avaliaccedilotildees formativas e sumativas
Avaliaccedilatildeo formativa Este tipo de avaliaccedilatildeo eacute realizada durante o desenvolvimento e implementaccedilatildeo de um programa Seu objectivo eacute orientar o desenho e a implementaccedilatildeo de actividades que incluam as melhores e mais promissoras praacuteticas que aumentaratildeo as chances de sucesso A avaliaccedilatildeo formativa eacute mais comummente utilizada por projectos de grande porte ou de longo prazo em vez de projectos menores e de curto prazo Poreacutem os projectos menores devem pelo menos realizar uma avaliaccedilatildeo raacutepida das melhores praacuteticas durante a fase de planeamento para apoiar a loacutegica e o conteuacutedo proposto para as actividades
A avaliaccedilatildeo formativa inclui uma avaliaccedilatildeo de necessidades para discernir os desejos e requisitos de um grupo da populaccedilatildeo e determinar a melhor forma de atendecirc-los Inclui tambeacutem uma avaliaccedilatildeo de processo para investigar o processo utilizado para executar uma intervenccedilatildeo Pode-se usar a avaliaccedilatildeo do processo para determinar se as actividades foram realizadas de acordo com o plano ndash em termos de sua concepccedilatildeo original estimativas de custos e nuacutemero de pessoas a serem atendidas ndash e se a qualidade dos processos usados estaacute de acordo com as melhores praacuteticas conhecidas
A avaliaccedilatildeo de processo geralmente inclui vaacuterias abordagens Pode incluir uma avaliaccedilatildeo dos dados referentes aos produtos (por ex nuacutemero de redes mosquiteiras fornecidas nuacutemero
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 931
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
de workshops de formaccedilatildeo realizados nuacutemero de participantes dos workshops) assim como entrevistas individuais ou grupos de enfoque entre os beneficiaacuterios Nas intervenccedilotildees de menor porte eacute uma boa praacutetica realizar uma avaliaccedilatildeo de processo mesmo se limitada agrave retroinformaccedilatildeo dos participantes
Avaliaccedilatildeo somativa Este tipo de avaliaccedilatildeo eacute realizada apoacutes a conclusatildeo de um grupo de actividades ou da intervenccedilatildeo para avaliar a qualidade da intervenccedilatildeo e os seus principais resultados A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo a avaliaccedilatildeo do impacto a anaacutelise de custo-benefiacutecio e custo-eficaacutecia e a investigaccedilatildeo operacional
A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo que avalia em que medida uma equipa unidade ou organizaccedilatildeo inteira atingiram seus resultados esperados A avaliaccedilatildeo dos resultados eacute usada para demonstrar que existe uma cultura de prestaccedilatildeo de contas para aperfeiccediloar o projecto de actividades organizacionais para melhorar a distribuiccedilatildeo dos recursos e para promover intervenccedilotildees futuras bem-sucedidas As principais perguntas satildeo Que modificaccedilotildees ocorreram na vida das pessoas das famiacutelias ou da comunidade como resultado do nosso trabalho Que diferenccedila fizemos
Como observamos anteriormente neste capiacutetulo os resultados a meacutedio e longo prazo satildeo geralmente mudanccedilas mensuraacuteveis eou observaacuteveis em duas dimensotildees A primeira dimensatildeo abrange a conscientizaccedilatildeo o conhecimento as atitudes os valores e as habilidades dos participantes de um programa ou dos beneficiaacuterios dos serviccedilos durante ou depois de seu envolvimento na intervenccedilatildeo A segunda dimensatildeo implica mudanccedilas no comportamento desses mesmos grupos
Idealmente as duas dimensotildees deveriam ser medidas em trecircs pontos no comeccedilo e no final do periacuteodo de implementaccedilatildeo e se possiacutevel apoacutes um periacuteodo de acompanhamento adequado Se a mediccedilatildeo do acompanhamento natildeo for viaacutevel pelo menos devem ser comparadas as mediccedilotildees de base e poacutes-intervenccedilatildeo Muitas vezes as mudanccedilas podem ser pequenas mas deve haver alguma melhoria em pelo menos um ou dois resultados para que a intervenccedilatildeo seja considerada um sucesso
A avaliaccedilatildeo dos resultados tenta distinguir entre a influecircncia da intervenccedilatildeo nessas mudanccedilas e a influecircncia de outros factores externos Mas geralmente os avaliadores teratildeo que optar pela atribuiccedilatildeo parcial de um resultado a uma intervenccedilatildeo ou serviccedilo especiacutefico devido agrave dificuldade em determinar uma relaccedilatildeo directa e causal entre o serviccedilo prestado e uma determinada mudanccedila
As avaliaccedilotildees de resultados utilizam geralmente um desenho natildeo experimental (geralmente denominado ldquopreacute e poacutes-avaliaccedilatildeordquo) que simplesmente mede as mudanccedilas antes e depois de uma intervenccedilatildeo ou seja diferente do desenho experimental (que compara os participantes com um grupo de controlo com designaccedilatildeo aleatoacuteria a ambos os grupos) ou do desenho semi-experimental (que compara os participantes com um grupo de controlo mas sem a designaccedilatildeo aleatoacuteria)
O desenho natildeo experimental eacute aceitaacutevel para as mediccedilotildees e relatoacuterios padratildeo dos resultados a meacutedio e longo prazo As ONGs raramente usam os desenhos experimentais Apesar de uma organizaccedilatildeo de grande porte e com muitos recursos poder ocasionalmente receber assistecircncia de especialistas para um desenho experimental a maioria delas acha que as consideraccedilotildees eacuteticas e logiacutesticas impedem a designaccedilatildeo aleatoacuteria dos participantes aos grupos de intervenccedilatildeo e de controlo Aleacutem disso o custo de recolher dados de um grupo de controlo seraacute provavelmente muito elevado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 932
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A avaliaccedilatildeo do impacto eacute outro componente da avaliaccedilatildeo somativa Eacute mais ampla do que a avaliaccedilatildeo de resultados e avalia os efeitos liacutequidos ou gerais ndash tanto intencionais como natildeo intencionais ndash de todo um programa grupo de programas ou grupo de organizaccedilotildees As avaliaccedilotildees de impacto geralmente se estendem por um periacuteodo de 3 a 5 anos
OUTROS TIPOS DE AVALIACcedilOtildeES
Anaacutelise de custo-benefiacutecio e custo-eficaacutecia Estes tipos de anaacutelise tratam da eficiecircncia da intervenccedilatildeo ao analisar os resultados em termos dos seus custos financeiros e do seu valor
Investigaccedilatildeo operacional Trata-se de um balanccedilo ou avaliaccedilatildeo de uma intervenccedilatildeo especiacutefica no contexto de um programa mais amplo que estaacute a fazer vaacuterias intervenccedilotildees A investigaccedilatildeo operacional eacute usada para testar e avaliar novas abordagens de prestaccedilatildeo de serviccedilos de sauacutede Eacute tambeacutem usada para identificar problemas na prestaccedilatildeo de serviccedilos e oferecer soluccedilotildees
A investigaccedilatildeo operacional eacute uma ferramenta poderosa que os gestores de programas e os tomadores de decisotildees podem usar para melhorar e expandir os serviccedilos Os estudos de investigaccedilatildeo operacional comparam intervenccedilotildees que estatildeo dentro da esfera de influecircncia do gestor Os exemplos incluem a avaliaccedilatildeo da eficaacutecia de uma nova estrateacutegia de prevenccedilatildeo de VIHSIDA um novo curso de formaccedilatildeo um novo conjunto de procedimentos para gerir medicamentos um novo meacutetodo contraceptivo ou um novo serviccedilo de sauacutede reprodutiva
O Toolkit de Investigaccedilatildeo Operacional do Programa Horizons sobre VIHSIDA do Population Council fornece informaccedilotildees detalhadas para criar um estudo de investigaccedilatildeo operacional
CONSIDERACcedilOtildeES PARA A FORMULACcedilAtildeO DE UMA AVALIACcedilAtildeO
O que avaliar para responder agrave pergunta ldquoE entatildeordquo Se quiser saber como gestor se as suas actividades tiveram realmente sucesso precisa preparar todas as intervenccedilotildees tendo em mente a avaliaccedilatildeo e incorporar a avaliaccedilatildeo ao seu planeamento organizacional geral Ao definir objectivos deve se perguntar Como saberemos se estamos a atingir esses objectivos Este eacute o ponto de partida para a avaliaccedilatildeo
Seja qual for o porte da sua intervenccedilatildeo ou serviccedilo e o alcance da avaliaccedilatildeo precisaraacute responder a trecircs perguntas durante a fase de desenho e planeamento
1 O que a sua intervenccedilatildeo ou serviccedilo conseguiraacute realizar a curto e longo prazo Se implementar um conjunto de actividades com sucesso ao longo do tempo o que seraacute diferente
2 Como conceptualiza as suas actividades ndash qual eacute a loacutegica subjacente Duas abordagens para identificar a loacutegica do programa satildeo discutidas neste capiacutetulo na secccedilatildeo intitulada Ferramentas e Abordagens Praacuteticas para MampA
3 Que indicadores pode usar para identificar o progresso no alcance dos resultados
Para responder agrave pergunta ldquoE entatildeordquo vocecirc precisa avaliar os factores sobre os quais tem um niacutevel razoaacutevel de controlo Por exemplo um novo serviccedilo criado para oferecer alojamento a pessoas que vivem com SIDA natildeo pode controlar ou afectar a expectativa de vida das pessoas agraves quais atende Mas ao fornecer um ambiente estaacutevel para elas viverem o serviccedilo pode diminuir o niacutevel de stresse e melhorar a qualidade de vida dessas pessoas que antes eram forccediladas a se mudar com frequecircncia
Depois de tratar da pergunta ldquoE entatildeordquo deve tambeacutem se certificar de que a avaliaccedilatildeo seja concebida de forma que quando o processo estiver concluiacutedo vocecirc possa abordar os cinco toacutepicos principais da avaliaccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 933
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
1 Relevacircncia Foi uma boa ideia fazer a intervenccedilatildeo considerando-se a situaccedilatildeo e a necessidade de melhorias Ela tratou das prioridades do grupo alvo ou beneficiaacuterio Por que sim ou por que natildeo
2 Eficaacutecia Os resultados produtos e actividades foram realizados Por que sim ou por que natildeo A loacutegica da intervenccedilatildeo eacute correcta
3 Eficiecircncia Os insumos (recursos e tempo) foram usados da melhor forma possiacutevel para atingir os resultados a meacutedio e longo prazo Por que sim ou por que natildeo O que vocecirc e sua equipa poderiam fazer de modo diferente no futuro para maximizar os resultados a um custo aceitaacutevel
4 Impacto Em que medida a sua intervenccedilatildeo contribuiu para as metas nacionais ou de longo prazo Que consequecircncias natildeo intencionais (positivas ou negativas) suas actividades tiveram Por que essas consequecircncias aconteceram
5 Sustentabilidade Eacute provaacutevel que os resultados positivos continuem depois que sua intervenccedilatildeo terminar Por que sim ou por que natildeo
Uma uacuteltima advertecircncia assim como a monitoria pode-se complicar demasiado a avaliaccedilatildeo Ao preparar um plano de avaliaccedilatildeo o melhor eacute seleccionar um grupo pequeno de indicadores e resistir agrave tentaccedilatildeo de avaliar todos os aspectos da sua intervenccedilatildeo
Assim como a monitoria a avaliaccedilatildeo soacute eacute uacutetil se as informaccedilotildees forem repassadas em tempo haacutebil para o gestor e outros tomadores de decisotildees e grupos de interesse Um problema comum com as avaliaccedilotildees intercalares eacute que os resultados geralmente soacute satildeo informados de 6 a 8 meses mais tarde o que deixa apenas 1 ou 2 anos para fazer mudanccedilas mais permanentes antes que se esgotem os fundos do governo ou da agecircncia doadora
COMO SELECCIONAR SUAS FONTES DE DADOS
Esta secccedilatildeo descreve trecircs tipos de fontes de dados que satildeo comummente usadas para uma avaliaccedilatildeo dados recolhidos rotineiramente inqueacuteritos de grande escala e teacutecnicas de avaliaccedilatildeo raacutepida inclusive a avaliaccedilatildeo participativa
Dados de rotina Os dados recolhidos e analisados rotineiramente por um SIS satildeo denominados ldquoestatiacutesticas de serviccedilordquo Pode-se utilizar vaacuterios sistemas de informaccedilatildeo de serviccedilos de rotina para monitorar os serviccedilos Alguns deles satildeo o sistema baacutesico de registo e relatoacuterio de SIS os sistemas especiais de relatoacuterios sobre programas (por ex tuberculose malaacuteria imunizaccedilatildeo VIH planeamento familiar etc) os sistemas de relatoacuterios sobre agentes comunitaacuterios especiais (por ex registos de agentes comunitaacuterios de sauacutede) o sistema de informaccedilotildees para a vigilacircncia de doenccedilas e o controlo notificaccedilatildeo e resposta a surtos e os relatoacuterios para os sistemas de suporte especiais (por ex medicamentos encaminhamentos e gestatildeo financeira e de recursos humanos)
Esses sistemas fornecem dados que estatildeo imediatamente disponiacuteveis e cujo objectivo eacute informar o que estaacute a acontecer no sector de sauacutede Os dados de rotina incluem por exemplo o nuacutemero de consultas de preacute-natal em uma cliacutenica o nuacutemero e tipo de vacinaccedilotildees fornecidas no local ou o nuacutemero e tipos de contraceptivos fornecidos mensalmente
Os dados sobre os serviccedilos satildeo geralmente recolhidos pelos centros de sauacutede ou postos de sauacutede e enviados para o proacuteximo niacutevel superior do sistema (geralmente o distrito) para serem agregados Esses dados podem entatildeo ser enviados ao proacuteximo niacutevel superior (regional ou provincial) para posterior agregaccedilatildeo antes que cheguem finalmente ao niacutevel central do Ministeacuterio da Sauacutede
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 934
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Idealmente os gestores de centros de sauacutede e ao niacutevel do distrito usam esses dados para orientar as operaccedilotildees diaacuterias acompanhar o desempenho e a prestaccedilatildeo de contas e tomar decisotildees que continuem a melhorar o desempenho Mas haacute vaacuterios obstaacuteculos a essa utilizaccedilatildeo
Muito frequentemente os dados de rotina satildeo imprecisos ou incompletos Apesar dos que utilizam o SIS tentarem produzir informaccedilotildees de alta qualidade e em tempo haacutebil haacute muitas oportunidades de introduzir erros Pode haver pouco apoio para que os gestores e seu pessoal se concentrem nos procedimentos correctos de recolha registo e agregaccedilatildeo dos dados
Os sistemas de sauacutede de vaacuterios paiacuteses enfatizam a importacircncia de apresentar relatoacuterios para os niacuteveis superiores mas natildeo estabeleceram procedimentos e incentivos para encorajar aqueles que fornecem informaccedilotildees a utilizaacute-las mesmo quando os dados satildeo de boa qualidade
Outra dificuldade eacute que as estatiacutesticas sobre serviccedilos fornecem informaccedilotildees apenas sobre os utentes que utilizam os serviccedilos de sauacutede Natildeo podem fornecer informaccedilotildees sobre as muitas pessoas que natildeo utilizam os serviccedilos
Por tudo isso natildeo se pode confiar apenas nas estatiacutesticas sobre serviccedilos para fazer uma avaliaccedilatildeo Elas satildeo melhor utilizadas para a monitoria de rotina dos problemas de sauacutede puacuteblica e dos serviccedilos essenciais relacionados
Inqueacuteritos em grande escala Os inqueacuteritos em grande escala satildeo outra fonte de informaccedilotildees imediatamente disponiacuteveis Incluem inqueacuteritos de base populacional tais como as Inqueacuterito Demograacutefico e de Sauacutede (IDS) dos EUA avaliaccedilotildees completas de centros de sauacutede como a Anaacutelise de Situaccedilatildeo do Population Council e os censos nacionais Em vaacuterios casos os gestores podem usar os dados de um inqueacuterito em grande escala existente para fornecer o contexto para a interpretaccedilatildeo dos dados capturados atraveacutes das suas proacuteprias avaliaccedilotildees
Por exemplo as IDS satildeo realizadas periodicamente para caracterizar a situaccedilatildeo de sauacutede em um paiacutes ou regiatildeo geograacutefica de grande extensatildeo para vaacuterios grupos populacionais homens mulheres crianccedilas bebeacutes e assim por diante Mas os dados das IDS natildeo podem normalmente ser desagregados para uso pelos gestores no niacutevel de distrito ou comunidade
Aleacutem disso como as IDS satildeo realizadas apenas a cada trecircs ou cinco anos as informaccedilotildees que fornecem podem natildeo estar suficientemente actualizadas para as necessidades de avaliaccedilatildeo dos gestores Apesar dessas dificuldades os dados das IDS satildeo uacuteteis para compreender tendecircncias regionais ou nacionais que podem ajudar a explicar dados recolhidos em uma avaliaccedilatildeo de foco especiacutefico
Avaliaccedilotildees raacutepidas Satildeo formas raacutepidas e econoacutemicas de obter informaccedilotildees para a tomada de decisotildees principalmente ao niacutevel da actividade Os exemplos incluem entrevistas quando os utentes saem de suas consultas as avaliaccedilotildees de pequena escala dos centros de sauacutede os inqueacuteritos raacutepidos por amostragem o exame analiacutetico de registos as entrevistas com grupos de enfoque e outros meacutetodos participativos
Poderaacute usar teacutecnicas de avaliaccedilatildeo raacutepida para complementar as informaccedilotildees obtidas com dados de rotina ou inqueacuteritos de grande escala As avaliaccedilotildees raacutepidas podem-lhe fornecer informaccedilotildees valiosas sobre sua aacuterea de captaccedilatildeo e sua aacuterea de responsabilidade mais ampla ndash ou seja as comunidades e as populaccedilotildees que deveriam ter acesso aos serviccedilos essenciais prestados por um centro de sauacutede determinado Elas podem tambeacutem fornecer contexto e uma compreensatildeo qualitativa dos dados quantitativos recolhidos pelos meacutetodos mais formais
Dentro da categoria de avaliaccedilotildees raacutepidas os meacutetodos participativos e os inqueacuteritos raacutepidos por amostragem merecem a sua atenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 935
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Meacutetodos participativos (tambeacutem chamados de aprendizagem e acccedilatildeo participativas) Essas teacutecnicas e meacutetodos visam incorporar o conhecimento e as opiniotildees dos membros da comunidade no planeamento e gestatildeo de projectos de desenvolvimento no esforccedilo para influenciar as poliacuteticas e na implementaccedilatildeo de programas Eles permitem incluir vozes da comunidade nas poliacuteticas no planeamento e nos inqueacuteritos e criam um senso de propriedade e participaccedilatildeo nos resultados de MampA e nas recomendaccedilotildees feitas pela organizaccedilatildeo e por seus beneficiaacuterios
Ao contraacuterio de outras teacutecnicas de avaliaccedilatildeo raacutepida os meacutetodos participativos natildeo se baseiam em amostragens Eles usam entrevistas individuais ou com informantes essenciais (inclusive entrevistas com utentes ao saiacuterem de suas consultas) entrevistas em grupo estudos de caso e outros meacutetodos qualitativos para identificar as condiccedilotildees locais e entender as perspectivas e prioridades locais
Em vaacuterios locais haacute membros da comunidade que natildeo podem ler nem escrever e por isso os meacutetodos participativos dependem frequentemente da comunicaccedilatildeo oral com apoio de imagens siacutembolos objectos fiacutesicos e memoacuteria colectiva
Os meacutetodos participativos podem ser usados antes durante e apoacutes a implementaccedilatildeo de uma intervenccedilatildeo ou um conjunto de actividades Eles fornecem informaccedilotildees para o projecto e a avaliaccedilatildeo e permitem a participaccedilatildeo activa das partes interessadas na tomada de decisotildees Durante a implementaccedilatildeo os meacutetodos participativos satildeo uacuteteis para identificar e solucionar problemas
Aproveite para examinar e utilizar uma lista de recursos online sobre inqueacuterito qualitativo e directrizes sobre discussotildees em grupos de enfoque no Community Tool Box da Universidade de Kansas
Inqueacuteritos raacutepidos por amostragem Estes inqueacuteritos podem ser utilizados para recolher informaccedilotildees padronizadas de uma amostra pequena e cuidadosamente seleccionada de pessoas ou domiciacutelios em uma aacuterea beneficiaacuteria Eles podem descrever as condiccedilotildees em uma comunidade particular ou grupo-alvo e permitem comparar grupos diferentes em um determinado momento ou mudanccedilas no mesmo grupo ao longo do tempo Permitem tambeacutem comparar condiccedilotildees actuais com os resultados planeados
Um dos inqueacuteritos mais comuns de pequena amostragem eacute o inqueacuterito CAP (Conhecimentos Atitudes e Praacuteticas) baseado em uma amostra de 30 agrupamentos
Amostragem para Garantia de Qualidade de Lotes (Lot Quality Sampling - LQAS) Essa eacute outra teacutecnica de avaliaccedilatildeo raacutepida que se usa cada vez mais na aacuterea de sauacutede puacuteblica A LQAS utiliza amostragens muito pequenas para obter informaccedilotildees confiaacuteveis em uma pequena aacuterea geograacutefica ou unidade administrativa Pode ser usada para detectar de forma precisa os extremos do desempenho ndash para determinar se uma intervenccedilatildeo foi mais aleacutem de um limiar superior de desempenho ou natildeo conseguiu atingir um limiar inferior de desempenho em termos de qualidade ou cobertura As amostras de lotes podem tambeacutem ser combinadas para fornecer estimativas de cobertura em uma aacuterea geograacutefica mais ampla
Uma busca na Web revelaraacute recursos uacuteteis aqui temos um sobre os inqueacuteritos CAP e outro sobre LQAS A aacuterea de MampA do website do CORE Group inclui ligaccedilotildees com ferramentas e recursos importantes para a avaliaccedilatildeo raacutepida criados pelo Grupo de Trabalho de MampA do CORE Group
Como gestor deve revisar todas as fontes de dados jaacute existentes antes de planear a sua avaliaccedilatildeo A Tabela 7 apresenta as vantagens e desvantagens das trecircs principais fontes de
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 936
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 7 Resumo das trecircs fontes de dados mais comuns para uma avaliaccedilatildeo
Fonte de dados Vantagens Limitaccedilotildees
Estatiacutesticas de serviccedilo Dados sobre a populaccedilatildeo de utentes e serviccedilos cliacutenicos que satildeo recolhidos rotineiramente nos registos dos utentes e nos registos cliacutenicos
Disponiacuteveis imediatamente
Cobrem todos os tipos de serviccedilos de sauacutede e todas as aacutereas do paiacutes
Podem ser desagregados para os niacuteveis local e de distrito
Uso econoacutemico
Soacute lhe informam sobre clientes actuais sem informaccedilotildees sobre as pessoas que natildeo usam os serviccedilos de sauacutede e podem ser utentes em potencial
Natildeo fornecem informaccedilotildees sobre valores percepccedilotildees ou comportamentos da comunidade
Natildeo reflectem as pessoas que optam por fontes privadas de serviccedilos
Podem ser inexactas se os locais de prestaccedilatildeo de serviccedilos natildeo registarem os dados correctamente de forma legiacutevel e em tempo haacutebil
Inqueacuteritos de grande escala Inqueacuteritos de base populacional e avaliaccedilotildees de grande escala dos centros de sauacutede
Dados relevantes precisos e confiaacuteveis
Podem medir as tendecircncias nacionais de sauacutede identificar aacutereas com problemas e ajudar a concentrar os recursos do paiacutes em aacutereas de maior carecircncia
Geram valores meacutedios para as aacutereas urbanas e rurais regiotildees e proviacutencias
Fornecem um contexto para interpretar os dados recolhidos localmente
Podem gerar informaccedilotildees adicionais a partir dos seus conjuntos de dados informatizados
Geralmente natildeo podem desagregar os dados para fornecer meacutedias para as aacutereas sub-regionais (distritos ou municipalidades)
Geralmente natildeo satildeo realizadas anualmente os dados se tornam desactualizados rapidamente se as populaccedilotildees ou condiccedilotildees de sauacutede se modificarem rapidamente
Avaliaccedilotildees raacutepidas Meacutetodos focados para avaliar as necessidades locais e tomar decisotildees em acircmbito local
Raacutepidas e econoacutemicas
Resultam em acccedilatildeo local
Haacute directrizes para ajudar os gestores em vaacuterias dessas teacutecnicas
Fornecem aos gestores a capacidade de recolher os dados necessaacuterios
Os inqueacuteritos domiciliares (por ex LQAS ou CAP) podem obter precisatildeo suficiente para fins de avaliaccedilatildeo
Equilibra a necessidade de resultados representativos e objectivos com a necessidade de usar projectos levemente menos rigorosos que satildeo mais viaacuteveis em aacutereas locais
Usam escala e acircmbito reduzidos para produzir resultados em tempo haacutebil e de baixo custo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 937
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
dados que foram discutidas acima estatiacutesticas rotineiras de serviccedilos inqueacuteritos em grande escala e teacutecnicas de avaliaccedilatildeo raacutepida
Que niacutevel de qualidade os dados do SIS precisam ter para serem uacuteteis ndash que niacutevel de abrangecircncia precisatildeo e apresentaccedilatildeo em tempo haacutebil Para as suas necessidades de gestatildeo mesmo que natildeo sejam perfeitos os dados podem ser suficientemente bons para ter um efeito poderoso como nos mostra o exemplo de Madagascar
Dados do SIS pontos fortes e limitaccedilotildees
Subestimar o valor e a utilidade do SIS eacute infelizmente uma tendecircncia Eacute verdade que o SIS tem problemas frequentemente mas tambeacutem eacute grande o seu potencial Como vimos em
Como usar e melhorar dados imperfeitos do SIS ndash Um exemplo de Madagascar
Um SIS de base comunitaacuteria mais preciso e mais oportuno Um projecto de Madagascar implementou um meacutetodo baseado na comunidade para aumentar o uso de meacutetodos de planeamento familiar denominado ldquoComunidades Campeatildesrdquo em 50 dos 110 distritos do paiacutes O meacutetodo utilizou exclusivamente os dados do SIS para monitorar e avaliar as realizaccedilotildees das comunidades participantes
Em primeiro lugar foi estabelecida uma base de referecircncia para cada comunidade ao usar os dados do seu centro de sauacutede Em seguida o pessoal do centro de sauacutede e os representantes da comunidade identificaram metas para 10 indicadores que determinariam se uma comunidade tinha alcanccedilado a posiccedilatildeo de campeatilde apoacutes 12 meses de implementaccedilatildeo Cada comunidade monitorava seu proacuteprio progresso em uma reuniatildeo trimestral de verificaccedilatildeo
Apoacutes 12 meses o pessoal do projecto voltou a cada comunidade para avaliar os resultados Examinaram os dados do relatoacuterio de monitoria de rotina de cada centro de sauacutede e para cada indicador Prepararam tambeacutem um relatoacuterio sobre os dados de cada comunidade e o enviaram para o supervisor de niacutevel distrital para a sua confirmaccedilatildeo com base nos registos informatizados do distrito As fontes de dados para os relatoacuterios do centro de sauacutede e registos de distrito foram as mesmas (registos dos centros de sauacutede) e por isso raramente ocorreu uma discrepacircncia Mas o que interessava era envolver o supervisor distrital no exame dos dados do centro de sauacutede para mostrar a utilidade de se usar ateacute mesmo dados simples nesse niacutevel
O projecto tambeacutem cooperou com o Ministeacuterio da Sauacutede a niacutevel distrital para melhorar a precisatildeo a abrangecircncia e a prontidatildeo do SIS A ecircnfase era obter dados mais completos dos centros de sauacutede e reduzir o tempo gasto pelo escritoacuterio distrital para receber o relatoacuterio do centro de sauacutede apreciaacute-lo devolvecirc-lo ao centro para qualquer correcccedilatildeo recebecirc-lo novamente dar entrada dos dados no sistema e finalmente enviaacute-los ao niacutevel central Os distritos satildeo responsaacuteveis por cooperar com os centros de sauacutede para melhorar o registo de dados e actualizar suas proacuteprias teacutecnicas de processamento de dados
Apoacutes dois anos de assistecircncia teacutecnica o SIS tinha realmente melhorado segundo os indicadores de precisatildeo abrangecircncia e prontidatildeo As melhorias mais notaacuteveis foram em prontidatildeo o tempo gasto pelo escritoacuterio distrital no processo descrito acima reduziu-se de 12 para 3 meses
Imperfeitas mais mesmo assim valiosos Deve-se lembrar que o projecto ldquoComunidades Campeatildesrdquo teve oacuteptimo resultado apesar dos dados imperfeitos Seu numerador (o nuacutemero de utentes regulares de planeamento familiar) era detalhado e preciso Mas suas estimativas das taxas de prevalecircncia do uso de contraceptivos natildeo eram muito precisas porque o denominador (nuacutemero de mulheres em idade reprodutiva) era apenas uma estimativa baseada num censo desactualizado e em estimativas anuais do governo sobre percentagens de crescimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 938
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Madagascar o projecto Comunidades Campeatildes melhorou o sistema substancialmente num periacuteodo de dois anos Nesse caso o sistema jaacute se encontrava relativamente funcional porque projectos anteriores haviam feito um grande esforccedilo para implantar o sistema e tornaacute-lo mais soacutelido Ao aprimorar a forma como o sistema era administrado e os dados eram usados o projecto posterior conseguiu fazer uma grande diferenccedila por meio de pequenas modificaccedilotildees
Os dados do SIS natildeo satildeo 100 exactos e nunca seratildeo Esta eacute a realidade com a qual todos os gestores tecircm que trabalhar Mas os dados natildeo precisam ser perfeitos para serem uacuteteis Eacute possiacutevel fazer a monitoria e a gestatildeo com dados imperfeitos Informaccedilotildees obtidas em tempo
(continuaccedilatildeo)
No entanto o projecto constatou que as taxas de prevalecircncia de uso de contraceptivos eram suficientemente boas para acompanhar o desempenho das comunidades que participavam do meacutetodo de Comunidades Campeatildes O pessoal do projecto tambeacutem complementou as comparaccedilotildees dessas taxas com as comparaccedilotildees dos valores do numerador nuacutemeros simples que faziam sentido para o pessoal do centro de sauacutede e tambeacutem para as comunidades
O niacutevel central comeccedilou a organizar workshops regionais trimestrais para divulgar os resultados ao niacutevel distrital Juntos os gestores dos niacuteveis distritais regionais e centrais analisaram o progresso e classificaram os distritos com base no seu desempenho Usaram a anaacutelise de causa-raiz ndash um processo que identifica as causas subjacentes de um problema ndash para entender os obstaacuteculos enfrentados pelos distritos que apresentavam baixo desempenho (Consulte o Apecircndice A no Capiacutetulo 2 deste guia para obter mais informaccedilotildees sobre a anaacutelise de causa-raiz) Finalmente o Ministeacuterio de Sauacutede mobilizou o apoio de agecircncias doadoras e de organizaccedilotildees parceiras para ajudaacute-los a melhorar
O ministeacuterio comeccedilou a usar as informaccedilotildees de sauacutede para administrar realmente o sistema de sauacutede Antes dessa intervenccedilatildeo poucas organizaccedilotildees confiavam ou utilizavam os dados do SIS Mas quando ficou claro que o sistema funcionava as agecircncias doadoras passaram a confiar as organizaccedilotildees parceiras passaram a utilizaacute-lo e o ministeacuterio se orgulhou do trabalho Pela primeira vez tinham uma visatildeo mais niacutetida do que acontecia em todo o paiacutes e podiam usar essas informaccedilotildees para buscar o apoio de agecircncias doadoras se necessaacuterio
Do mesmo modo os centros de sauacutede raramente usavam seus proacuteprios dados Eles simplesmente faziam os registos e os enviavam para o escritoacuterio distrital sem nem mesmo receber retroinformaccedilatildeo do mesmo Apoacutes a conclusatildeo do projecto perceberam como os dados mais precisos podiam ser usados em seu benefiacutecio e das comunidades
Os distritos tambeacutem actuavam antes de uma forma pouco informada Cada distrito dependia apenas dos seus proacuteprios dados e funcionava num vaacutecuo As mudanccedilas no SIS e o encorajamento do governo central forneceram aos distritos oportunidades para comparar seu trabalho e aprender uns com os outros
Aprendizagem com dados mais precisos completos e oportunos Os dados satildeo geralmente utilizados para fazer comparaccedilotildees mas satildeo menos frequentemente utilizados como ferramenta de aprendizagem Nesse caso depois que os relatoacuterios comeccedilaram a chegar dentro do prazo o Ministeacuterio da Sauacutede usou os dados ndash inclusive dados imperfeitos ndash para descobrir que distritos tinham um desempenho ruim e que distritos estavam melhor que os outros Assim aprenderam com os de melhor desempenho ao perguntar Por que seus resultados satildeo tatildeo bons O que estavam a fazer de diferente O que poderia ser replicado Finalmente aplicaram a aprendizagem ao usar esses distritos como modelos e ao oferecer mais apoio aos de pior desempenho
Todo o sistema de sauacutede se entusiasmou com as informaccedilotildees que podiam produzir e usar A comeccedilar do topo esse entusiasmo chegou aos niacuteveis inferiores e os motivou a melhorar sua recolha e processamento de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 939
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
haacutebil e com 75 de precisatildeo satildeo melhores que as informaccedilotildees com 95 de precisatildeo que chegam com vaacuterios meses de atraso
Apesar do seu grande valor por si soacutes os dados do SIS natildeo atenderatildeo a todas as necessidades de informaccedilatildeo de muitas organizaccedilotildees Algumas organizaccedilotildees e agecircncias doadoras precisam de dados que exigem avaliaccedilotildees ou sistemas especiais Aleacutem disso vaacuterias intervenccedilotildees foram projectadas para modificar o conhecimento as atitudes e as praacuteticas dos beneficiaacuterios factores que natildeo satildeo capturados nos dados de serviccedilo Eacute importante usar os dados do SIS sempre que possiacutevel e complementaacute-los com avaliaccedilotildees locais quando necessaacuterio
Como gestor de um programa de sauacutede ou de serviccedilos de sauacutede parte do seu trabalho deveria ser o de melhorar o SIS em seu paiacutes Ele eacute o uacutenico sistema de informaccedilotildees sustentaacutevel na maioria dos paiacuteses Os sistemas de informaccedilatildeo criados e mantidos por agecircncias doadoras ou organizaccedilotildees externas tecircm duraccedilatildeo limitada mas o SIS eacute parte permanente do seu legado
Se todos os parceiros e agecircncias doadoras trabalharem com o Ministeacuterio de Sauacutede para prestar assistecircncia teacutecnica e financeira ao SIS ele poderaacute render informaccedilotildees que trazem grandes melhorias para os serviccedilos de sauacutede e que justificam plenamente o investimento no mesmo
Praacuteticas comprovadas
Um sistema de MampA deveria proporcionar aos gestores o que eles precisam saber para agir Deve se basear em indicadores relevantes faacuteceis de usar e que possam ser fornecidos em tempo haacutebil para os ciclos de planeamento e apresentaccedilatildeo de relatoacuterios
Os resultados de MampA natildeo se destinam apenas ao pessoal de MampA da sua organizaccedilatildeo ou agrave agecircncia doadora As informaccedilotildees de MampA satildeo um recurso fundamental para as acccedilotildees e a aprendizagem Se o seu processo de MampA tiver mecanismos de retroinformaccedilatildeo que permitam aos tomadores de decisotildees reflectirem sobre os resultados e absorverem o que precisam para seus proacuteprios fins eles assumiratildeo o controlo do processo e utilizaratildeo o que ele oferecer
Se vocecirc define suas actividades de MampA no comeccedilo de uma intervenccedilatildeo ou projecto junto com o plano de acccedilatildeo para o projecto teraacute mais oportunidades de orientar e acompanhar a implementaccedilatildeo das actividades
Quando satildeo demasiado elaborados e complicados os planos de MampA natildeo satildeo usados Elabore um plano de MampA simples escolha ferramentas de monitoria faacuteceis de usar e seleccione a menor quantidade possiacutevel de indicadores para acompanhar o progresso e introduzir as mudanccedilas necessaacuterias ao longo do caminho
Para fortalecer um SIS eacute preciso trabalhar com as pessoas envolvidas os responsaacuteveis pelo sistema que registam transferem analisam comunicam e utilizam os dados e as informaccedilotildees para a gestatildeo dos serviccedilos
Ao fornecer os dados do SIS para os tomadores de decisotildees vocecirc deve reconhecer as diferenccedilas na frequecircncia dos relatoacuterios e nas quantidades de dados agregados e desagregados necessaacuterios aos niacuteveis diferentes de governo ou agraves organizaccedilotildees natildeo governamentais
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 98
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
QUADRO 1 Princiacutepios orientadores para melhorar a gestatildeo das informaccedilotildees
Entenda as funccedilotildees e responsabilidades dos serviccedilos de sauacutede Como o SIS estaacute vinculado ao ciclo de gestatildeo de sauacutede um preacute-requisito para melhorar o SIS eacute entender claramente as funccedilotildees e responsabilidades de cada serviccedilo de sauacutede programa niacutevel de operaccedilotildees e sector (puacuteblico privado comunitaacuterio OSC ONG) envolvido na prestaccedilatildeo de serviccedilos de sauacutede
Focalize na melhoria da sauacutede e dos serviccedilos de sauacutede Quaisquer mudanccedilas nos registos e relatoacuterios de sauacutede devem ser feitas com vistas a melhorar o desempenho dos serviccedilos de sauacutede Eacute importante buscar formas de atender agraves necessidades de informaccedilatildeo em niacuteveis superiores do sistema de sauacutede sem pedir aos gestores e profissionais de sauacutede que registem e reportem dados que natildeo sejam utilizados no niacutevel da prestaccedilatildeo de serviccedilos
Fortaleccedila os sistemas existentes Apesar de ser tentador reformular completamente os sistemas e integrar sistemas paralelos de registos que satildeo especiacuteficos a certos programas o tempo dinheiro interrupccedilatildeo e outros custos de fazer isso satildeo maiores que os possiacuteveis benefiacutecios Poucos esforccedilos para desenvolver SIS totalmente integrados tiveram sucesso Uma opccedilatildeo melhor eacute definir padrotildees de formatos e codificaccedilatildeo de dados que facilitem o intercacircmbio de dados entre sistemas separados
Procure garantir a aceitaccedilatildeo em niacutevel nacional Todas as actividades para desenvolver ou melhorar um sistema de informaccedilotildees devem ser realizadas por grupos de trabalho do proacuteprio paiacutes sob a gestatildeo de pessoal nacional Eacute essencial ter a participaccedilatildeo natildeo soacute do pessoal ligado aos sistemas de informaccedilatildeo mas tambeacutem de gestores e prestadores de serviccedilos esses uacuteltimos as principais pessoas para dar informaccedilotildees Se for necessaacuterio usar um consultor externo essa pessoa deve assumir um papel de facilitador que permita que o pessoal local desenvolva seu proacuteprio sistema Por meio da participaccedilatildeo activa eles entenderatildeo e assumiratildeo o controlo dos meacutetodos e instrumentos do sistema e ao fazer isso se tornaratildeo melhores para mantecirc-lo
Reforce as habilidades do pessoal de sauacutede Essas habilidades incluem registar relatar transmitir processar apresentar analisar e interpretar os dados e usaacute-los para a tomada de decisotildees Usar e manter sistemas de computaccedilatildeo eacute algo que tambeacutem pode ser ensinado O meacutetodo recomendado para desenvolver habilidades eacute ldquoaprender ao fazerrdquo atraveacutes do seguinte
workshops no local de serviccedilo em que pessoal do serviccedilo de sauacutede e os gestores de dados trabalham juntos para solucionar problemas reais usando dados reais
envolver o pessoal nacional nos estudos de planeamento e implementaccedilatildeo e no desenho das mudanccedilas do sistema
esclarecer os papeacuteis e responsabilidades atraveacutes da promoccedilatildeo do consenso
Use a tecnologia de forma apropriada Vocecirc pode usar computadores para a manutenccedilatildeo de banco de dados geraccedilatildeo de relatoacuterios anaacutelise de dados e comunicaccedilotildees se seus sistemas de computaccedilatildeo e software puderem ser mantidos localmente com pessoal jaacute existente Mas certifique-se de que a informatizaccedilatildeo natildeo prejudicaraacute o fluxo e acesso aos dados natildeo sobrecarregaraacute as pessoas de trabalho e natildeo estimularaacute a falsificaccedilatildeo dos dados o que reduziria a confiabilidade dos mesmos
Aceda ao Centro de Recursos Electroacutenicos da MSH para obter enlaces (links) para orientaccedilatildeo adicional sobre gestatildeo de informaccedilotildees
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 99
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria como um caminho para a acccedilatildeo
A IMPORTAcircNCIA DA MONITORIA DE ROTINA
Por que soacute a avaliaccedilatildeo natildeo basta Na comunidade envolvida com o desenvolvimento algumas organizaccedilotildees tendem a confiar mais nos estudos de avaliaccedilatildeo do que numa soacutelida monitoria dos programas Muitas pretendem executar tanto a monitoria quanto a avaliaccedilatildeo mas na praacutetica geralmente dedicam mais tempo e recursos agrave avaliaccedilatildeo
As agecircncias doadoras os governos e as organizaccedilotildees podem preferir as avaliaccedilotildees porque elas fornecem evidecircncias mais palpaacuteveis de progresso tais como a prevalecircncia do uso de contraceptivos (uma medida tiacutepica de resultado a meacutedio e longo prazo para planeamento familiarsauacutede reprodutiva) medida por meio de um inqueacuterito anual domiciliar
A monitoria natildeo pode produzir o indicador de resultado a meacutedio e longo prazo ndash a evidecircncia palpaacutevel de que esses contraceptivos estatildeo efectivamente a ser utilizados Ela pode apenas fornecer um indicador de progresso ou um marco de referecircncia ndash tal como a distribuiccedilatildeo mensal de contraceptivos ndash que lhe permite acompanhar o progresso em direcccedilatildeo agraves metas operacionais Vocecirc pode monitorar a distribuiccedilatildeo de produtos mas natildeo pode concluir que os produtos estejam a ser efectivamente utilizados
Mas para um gestor como vocecirc os dados sobre distribuiccedilatildeo satildeo exactamente o tipo de informaccedilatildeo de que precisa para demonstrar o progresso no alcance da meta e para fazer seu trabalho de forma eficaz
Veja por exemplo uma intervenccedilatildeo para a mudanccedila de comportamento no Peru a qual estaacute descrita e analisada no quadro abaixo
No contexto de serviccedilos de sauacutede do governo os gestores de distrito e de centros de sauacutede precisam monitorar tanto os indicadores de resultados a meacutedio e longo prazo como os indicadores de cobertura Os indicadores de cobertura informam ao gestor de sauacutede se os serviccedilos essenciais estatildeo a ser fornecidos a grupos-alvo especiacuteficos e permitem assim agir rapidamente para resolver falhas na prestaccedilatildeo de serviccedilos a subgrupos ou comunidades carentes
Um bom sistema de monitoria lhe fornece as informaccedilotildees criacuteticas para gerir a intervenccedilatildeo e tomar medidas correctivas imediatamente Uma avaliaccedilatildeo natildeo lhe daacute esse tipo de informaccedilatildeo Portanto quando se vecirc um bom sistema de monitoria eacute geralmente porque um gestor estaacute a impulsionaacute-lo porque precisa de informaccedilotildees de monitoria fornecidas pelo sistema de MampA para que o dito gestor possa comeccedilar a agir
COMO PRODUZIR INFORMACcedilOtildeES ACCIONAacuteVEIS
As informaccedilotildees accionaacuteveis satildeo dados que vocecirc pode usar para tomar uma decisatildeo e empreender uma acccedilatildeo Elas ajudam a identificar falhas de desempenho e encontrar maneiras de resolver essas falhas Para serem accionaacuteveis as informaccedilotildees obtidas com a monitoria devem se basear em indicadores uacuteteis produzidos em formato simples e em tempo haacutebil para o ciclo de planeamento ou apresentaccedilatildeo de relatoacuterios
ldquoAccionaacutevelrdquo significa coisas diferentes para diferentes utentes As informaccedilotildees de que o gestor precisa natildeo satildeo iguais agraves informaccedilotildees de que o director executivo de uma organizaccedilatildeo ou o ministeacuterio de sauacutede utilizariam para apresentar relatoacuterios para agecircncias doadoras poliacuteticos ou para a miacutedia
Como produzir informaccedilotildees accionaacuteveis para o gestor
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 910
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Em primeiro lugar os indicadores devem ser uacuteteis para o gestor Eles devem estar directamente relacionados com o plano operacional da organizaccedilatildeo (ou o plano de intervenccedilatildeo) e os resultados esperados Algumas organizaccedilotildees tecircm a tendecircncia de focalizar a monitoria do processo entre os inqueacuteritos sobre conhecimentos atitudes e praacuteticas (CAP) Isso significa que monitoram os processos tais como a formaccedilatildeo Quem recebeu formaccedilatildeo Em que toacutepicos Quando Isto eacute importante mas natildeo o suficiente A monitoria do processo natildeo monitora o progresso para atingir os resultados simplesmente acompanha a conclusatildeo das actividades
Aleacutem da monitoria do processo os gestores tambeacutem precisam monitorar os indicadores substitutos que indicam o maacuteximo que vocecirc se aproximaraacute dos resultados reais durante a implementaccedilatildeo de um conjunto de actividades quando os resultados natildeo forem ainda facilmente mensuraacuteveis Os indicadores substitutos satildeo medidas indirectas que se aproximam de um alvo ou resultado ou representam esse alvo ou resultado quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis
Por exemplo no caso da prestaccedilatildeo de serviccedilos de planeamento familiar como determinados contraceptivos satildeo distribuiacutedos atraveacutes do centro de sauacutede os dados de monitoria deveriam vir do centro de sauacutede Apesar de natildeo se poder concluir que o resultado-alvo tenha sido atingido ndash que os produtos estejam efectivamente a ser utilizados pela populaccedilatildeo beneficiaacuteria ndash as informaccedilotildees sobre distribuiccedilatildeo fornecem pistas sobre a possibilidade de sucesso das actividades A maioria dos dados para monitorar os indicadores substitutos pode ser obtida a partir do SIS
As informaccedilotildees accionaacuteveis devem ser fornecidas em um formato utilizaacutevel Os gestores frequentemente recebem um excesso de informaccedilotildees em um formato muito complicado Eacute
Em acccedilatildeo o monitoramento para melhor gestatildeo de programas ndash Um exemplo do Peru
Uma organizaccedilatildeo de planeamento familiar local no Peru fez uma campanha de comunicaccedilatildeo para aumentar a prevalecircncia do uso de contraceptivos na aacuterea de captaccedilatildeo da organizaccedilatildeo Criaram os materiais e deram formaccedilatildeo aos trabalhadores de sauacutede comunitaacuterios para educar as mulheres nas suas aldeias A organizaccedilatildeo pretendia realizar apenas um inqueacuterito para obter dados baacutesicos preliminares para depois realizar inqueacuteritos sobre conhecimentos atitudes e praacuteticas (CAP) Esses eram os passos iniciais necessaacuterios e os meacutetodos adequados para avaliar a eficaacutecia da campanha mas a questatildeo eacute se forneceriam dados suficientes e accionaacuteveis para atender agraves necessidades do gestor Natildeo porque os resultados viriam apoacutes a campanha ser concluiacuteda O gestor precisava de informaccedilotildees para tomar medidas correctivas enquanto a campanha de comunicaccedilatildeo estava em andamento
Coloque-se no lugar do gestor nesse cenaacuterio O que precisaria monitorar Poderia comeccedilar com a distribuiccedilatildeo mensal de contraceptivos durante a campanha de comunicaccedilatildeo usando dados faacuteceis de obter do depoacutesito de suprimentos O movimento do stock dos produtos contraceptivos na cadeia de suprimentos indicaria que a campanha estava a criar uma demanda ao passo que nenhum movimento poderia indicar que a campanha ou o sistema de fornecimento natildeo estava a funcionar adequadamente Notam-se picos de distribuiccedilatildeo durante a campanha O movimento de contraceptivos eacute maior durante a campanha do que era antes
Se natildeo notar mudanccedilas apoacutes dois ou trecircs meses saberaacute que algo precisa ser modificado na campanha de comunicaccedilatildeo ou na cadeia de suprimentos ou em ambas Teraacute que fazer visitas ao local para descobrir os motivos O problema eacute a falta de stock Natildeo houve mudanccedila na distribuiccedilatildeo porque natildeo haacute produtos disponiacuteveis Ou natildeo houve mudanccedila porque a estaccedilatildeo de raacutedio natildeo transmitiu o anuacutencio informativo Ou talvez os agentes de distribuiccedilatildeo da comunidade nunca receberam os papeacuteis gigantes e os modelos de que precisavam para educar as mulheres nas suas comunidades
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 911
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
preciso ter uma ferramenta simples que lhe forneccedila apenas informaccedilotildees essenciais Poderaacute aprender mais sobre essas ferramentas na secccedilatildeo deste capiacutetulo intitulada ldquoCaracteriacutesticas de uma boa ferramenta de monitoriardquo
Por uacuteltimo os gestores precisam receber informaccedilotildees em tempo haacutebil para que possam agir imediatamente Os projectos implementados pelas organizaccedilotildees com fundos do governo ou de uma agecircncia doadora satildeo frequentemente conduzidos em dois periacuteodos de tempo
Por exemplo vocecirc poderaacute gerir um projecto que se estende por cinco anos desmembrado em ciclos anuais de apresentaccedilatildeo de relatoacuterios com base em planos de operaccedilatildeo anuais Mas para monitorar o plano anual e apresentar os relatoacuterios necessaacuterios vocecirc precisa de informaccedilotildees trimestrais Se os seus centros de sauacutede apresentarem os dados apoacutes o prazo estabelecido as informaccedilotildees natildeo chegaratildeo a tempo para os seus relatoacuterios
Informaccedilotildees em acccedilatildeo para melhorar os serviccedilos ndash experiecircncias da Boliacutevia e da Aacutefrica do Sul
Uso de informaccedilotildees para mobilizar a cadeia de suprimentos O programa de suplementaccedilatildeo de aacutecido foacutelico e ferro na Boliacutevia foi uma actividade de mobilizaccedilatildeo comunitaacuteria implementada por vaacuterias ONGs em aacutereas rurais do paiacutes
Surgiu um problema apoacutes apenas trecircs meses de implementaccedilatildeo Se a gestora tivesse confiado apenas na monitoria do processo teria visto que todas as actividades haviam sido executadas dentro do prazo e conforme planeadas Poreacutem os dados mensais dos centros de sauacutede das aacutereas de captaccedilatildeo atendidas pelo programa revelaram que em vaacuterias comunidades a distribuiccedilatildeo de ferro e aacutecido foacutelico para graacutevidas havia sido nula desde o primeiro mecircs de implementaccedilatildeo do programa
A gestora investigou imediatamente e descobriu que 16 centros de sauacutede estavam com faltas de stock Apesar de haver um protocolo escrito para a distribuiccedilatildeo de ferro e aacutecido foacutelico e de todos os centros de sauacutede possuiacuterem supostamente o produto nos seus stocks historicamente natildeo havia demanda para esse produto Os centros de sauacutede haviam decidido haacute muito tempo natildeo tecirc-lo mais em stock
A gestora levou o problema agrave atenccedilatildeo do vice-ministro de sauacutede e em poucos dias o Ministeacuterio da Sauacutede mobilizou toda a sua cadeia de suprimentos para garantir que havia um stock suficiente em toda a cadeia No final do ano a suplementaccedilatildeo de ferro e aacutecido foacutelico havia melhorado dramaticamente em todo o paiacutes Tudo isso aconteceu graccedilas a uma simples ferramenta de monitoria mensal que permitiu que a gestora tomasse medidas correctivas no iniacutecio da implementaccedilatildeo
Simplificaccedilatildeo da recolha de dados e estiacutemulo ao uso dos dados Sabe-se que se a recolha e o processamento dos dados forem muito complicados a qualidade e o uso dos mesmos tendem a diminuir Na Aacutefrica do Sul o pessoal de enfermagem dos centros de sauacutede eacute geralmente solicitado a executar duas funccedilotildees (1) cuidar dos utentes do sistema e (2) recolher e utilizar dados O problema eacute que esse pessoal se dedica principalmente a prestar cuidados e considera a recolha de dados uma sobrecarga de trabalho desnecessaacuteria aleacutem de suas actividades quotidianas
Um grupo de enfermeiras da Aacutefrica do Sul que reconheceu a importacircncia das informaccedilotildees para a prestaccedilatildeo dos serviccedilos decidiu tornar a recolha e uso de dados de rotina parte do seu trabalho diaacuterio Entenderam que era necessaacuterio reduzir a quantidade de dados necessaacuterios e simplificar o processo de recolha
Como resultado criaram uma lista itemizada ou lista de verificaccedilatildeo que lhes permitia ter ao final de cada dia um quadro raacutepido dos serviccedilos que haviam prestado No final do mecircs podiam tabular rapidamente e analisar os dados sobre seus serviccedilos Esse tipo de sumaacuterio diaacuterio e mensal das suas actividades foi extremamente satisfatoacuterio Ele motivou seu uso contiacutenuo para monitorar analisar e melhorar os serviccedilos
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 912
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Abordagens e ferramentas praacuteticas de MampA
QUADROS DE REFEREcircNCIA PARA A FORMULACcedilAtildeO MONITORIA E AVALIACcedilAtildeO DOS SERVICcedilOS DE SAUacuteDE
Os resultados de intervenccedilotildees programaacuteticas e nos serviccedilos de sauacutede podem ser medidos em niacuteveis variados Muitas directrizes de MampA se baseiam numa sequecircncia de cinco niacuteveis de resultados insumos actividades produtos resultados e impactos A Figura 4 resume os niacuteveis de resultados que podem ser monitorados e avaliados
Para compreender melhor a sequecircncia de resultados considere as definiccedilotildees abaixo
Insumos Os materiais e recursos necessaacuterios para executar o plano de implementaccedilatildeo da sua unidade ou equipa e obter o resultado esperado Os exemplos incluem os recursos financeiros teacutecnicos humanos suprimentos e produtos essenciais
Processo As actividades executadas por meio do seu plano de implementaccedilatildeo Os exemplos incluem a formaccedilatildeo dos profissionais de sauacutede a melhoria do sistema de gestatildeo de suprimentos e a distribuiccedilatildeo de meios de planeamento familiar
Produtos Eacute o resultado imediato de uma actividade Os exemplos incluem o nuacutemero de pessoas formadas o nuacutemero de novos utentes de contraceptivos e a quantidade de produtos distribuiacutedos
Resultados (a meacutedio e longo prazo) Eacute uma mudanccedila de curto prazo em um grupo da populaccedilatildeo como resultado de uma seacuterie de actividades Os exemplos incluem as mudanccedilas na cobertura do atendimento preacute-natal na proporccedilatildeo de partos seguros no conhecimento e atitudes sobre meacutetodos de planeamento familiar e sauacutede reprodutiva nas necessidades ainda natildeo atendidas de planeamento familiar e nas taxas de prevalecircncia do uso de contraceptivos
Impacto Mudanccedilas a longo prazo dentro de um grupo da populaccedilatildeo beneficiaacuteria Os exemplos incluem mudanccedilas na taxa total de fertilidade e nas taxas de mortalidade e morbidade maternas
Dois tipos de quadros de referecircncia satildeo comummente utilizados para planear e organizar a formulaccedilatildeo de uma intervenccedilatildeo ou serviccedilo e o seu plano de MampA quadros loacutegicos e quadros conceptuais
FIGURA 4 Niacuteveis da sequecircncia de resultados
InsumosProcessos
(actividades)Produtos Resultados Impacto
recursos humanos
recursos financeiros
equipa-mentos
centros de sauacutede
poliacuteticas
reuniotildees formaccedilatildeo supervisatildeo serviccedilos
nuacutemero de pessoal formado
nuacutemero de clientes
nuacutemero de produtos
melhor supervisatildeo
melhoria da cadeia de frio
mudanccedila no conheci-mento
mudanccedila no comporta-mento
mudanccedila nas praacuteticas
melhores serviccedilos
mudanccedila das taxas de doenccedila
mudanccedilas das taxas de oacutebitos
mudanccedila das taxas de nascimento
mudanccedilas das taxas de fertilidade
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 913
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
QUADROS LOacuteGICOS
Desde a elaboraccedilatildeo em 1969 de uma abordagem de quadro loacutegico para a USAID (Agecircncia dos EUA para o Desenvolvimento Internacional) os quadros loacutegicos (tambeacutem denominados Modelos Loacutegicos) foram adoptados depois de vaacuterias adaptaccedilotildees por vaacuterias organizaccedilotildees de desenvolvimento internacional e bilateral
A Figura 5 mostra os elementos de um Quadro Loacutegico
O Quadro Loacutegico ajuda os gestores e as equipas a responder a quatro perguntas principais
1 O que queremos realizar e por quecirc2 Como mediremos o sucesso 3 Que condiccedilotildees devem existir em cada fase da nossa intervenccedilatildeo4 Que recursos e processos seratildeo necessaacuterios para chegarmos laacute
Os Quadros Loacutegicos ajudam a identificar as conexotildees causais da sequecircncia de resultados insumos rarr processos (actividades) rarr produtos rarr resultados a meacutedio e longo prazo rarr impacto Essas conexotildees causais determinam a loacutegica da intervenccedilatildeo e orientam a selecccedilatildeo de indicadores para cada fase da sequecircncia de resultados
FIGURA 5 Elementos tiacutepicos de um quadro loacutegico
Objectivos IndicadoresFormas de verificaccedilatildeo Pressupostos
Meta O objectivo final ou impacto pretendido da intervenccedilatildeo
Medidas usadas para avaliar ateacute que ponto as metas foram atingidas
Meacutetodos e fontes de informaccedilatildeo para medir ou avaliar os indicadores de metas
Factores ou condiccedilotildees necessaacuterios para a sustentabilidade a longo prazo
PropoacutesitoResultado Mudanccedilas ou benefiacutecios esperados a serem conseguidos para utentes comunidades organizaccedilotildees ou sistemas
Medidas usadas para avaliar ateacute que ponto foi alcanccedilado o propoacutesito ou resultado
Meacutetodos e fontes de informaccedilatildeo para medir ou avaliar indicadores de propoacutesitoresultado
Factores ou condiccedilotildees necessaacuterios para o sucesso do programa nesse niacutevel e passagem para o seguinte niacutevel
Produtos Resultados directos e tangiacuteveis das actividades do programa que deveratildeo atingir o propoacutesito
Medidas usadas para avaliar ateacute que ponto os produtos foram apresentados
Meacutetodos e fontes de informaccedilatildeo para medir e avaliar os indicadores de produtos
Factores ou condiccedilotildees necessaacuterios para o sucesso do programa neste niacutevel e passagem para o seguinte niacutevel
ProcessosActividades Medidas tomadas por um programa para atingir os objectivos definidos
InsumosRecursos Pessoal tempo materiais e fundos necessaacuterios para executar as actividades
Meacutetodos e fontes de informaccedilatildeo utilizados para mostrar que as actividades foram concluiacutedas
Factores ou condiccedilotildees necessaacuterios para o sucesso do programa neste niacutevel e passagem para o seguinte niacutevel
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 914
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para entender como um Quadro Loacutegico explicita a loacutegica de uma intervenccedilatildeo examine novamente a Figura 5 Uma seacuterie de relacionamentos condicionais (ldquose entatildeordquo) conecta cada componente do Quadro Loacutegico
1 Se os recursos necessaacuterios estiverem disponiacuteveis e supondo-se que as condiccedilotildees sejam favoraacuteveis entatildeo as actividades do programa podem ser implementadas e
2 hellipse as actividades do programa forem implementadas com sucesso e supondo-se que existam condiccedilotildees favoraacuteveis especiacuteficas entatildeo os produtos e resultados esperados poderatildeo ser alcanccedilados e
3 hellipse os produtos e resultados esperados forem alcanccedilados e supondo-se que existam as condiccedilotildees favoraacuteveis especiacuteficas entatildeo a meta estrateacutegica poderaacute ser atingida
O Quadro Loacutegico pode ser uacutetil na conceptualizaccedilatildeo de um projecto durante o periacuteodo de planeamento e na avaliaccedilatildeo do progresso e aplicaccedilatildeo de medidas correctivas durante a implementaccedilatildeo Como qualquer outro quadro de referecircncia ele possui vantagens e desvantagens como mostra a Tabela 1
O Apecircndice A deste capiacutetulo fornece um exemplo de Quadro Loacutegico para um programa de visita domiciliar desenvolvido pelo Banco Interamericano de Desenvolvimento
QUADROS CONCEPTUAIS
Estes satildeo semelhantes aos Quadros Loacutegicos no sentido de que descrevem uma sequecircncia de resultados mas levam em consideraccedilatildeo as razotildees subjacentes de por que ocorrem as mudanccedilas ao longo da sequecircncia de resultados Enquanto os Quadros Loacutegicos simplesmente afirmam que as actividades traratildeo resultados ainda maiores os quadros conceptuais permitem mapear os factores que na sua opiniatildeo satildeo criacuteticos e explicam porque esses factores satildeo importantes para o sucesso
Este tipo de mapeamento ajuda a decidir que factores devem ser monitorados durante a implementaccedilatildeo das actividades Quando os dados mostram que esses elementos criacuteticos foram ou natildeo alcanccedilados pode-se compreender melhor por que uma intervenccedilatildeo teve ou natildeo sucesso e o que poderia ser modificado no futuro
Veja as vantagens e desvantagens dos quadros conceptuais na Tabela 2
TABELA 1 Visatildeo geral do quadro loacutegico
Vantagens Desvantagens
Melhora a qualidade dos planos de intervenccedilatildeo ao exigir a definiccedilatildeo de indicadores e objectivos claros e a anaacutelise de pressupostos e riscos
Quando usado regularmente durante uma intervenccedilatildeo eacute uma ferramenta de gestatildeo eficaz para orientar a implementaccedilatildeo e a MampA
Resume a elaboraccedilatildeo de planos complexos
Apoia a preparaccedilatildeo de planos de implementaccedilatildeo detalhados
Pressupotildee uma relaccedilatildeo linear entre insumos-produtos-resultados que natildeo leva em consideraccedilatildeo outros factores de influecircncia
Se usado rigidamente durante o processo de formulaccedilatildeo poderaacute restringir a criatividade e a inovaccedilatildeo
Se natildeo for actualizado durante a implementaccedilatildeo pode ser uma ferramenta estaacutetica que natildeo reflecte as condiccedilotildees em mudanccedila
Geralmente a formaccedilatildeo e o acompanhamento satildeo necessaacuterios para usar esse meacutetodo correctamente
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 915
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O modelo conhecido como Caminho de Mudanccedila (Pathway to Change) eacute um exemplo particularmente uacutetil de um quadro conceptual Esse modelo utiliza um formato de condicionalidade (ldquose entatildeordquo) para mostrar passo a passo como os resultados a meacutedio e longo prazo foram conceptualizados e como seratildeo alcanccedilados A Figura 6 eacute um exemplo de aplicaccedilatildeo do Caminho de Mudanccedila em um projecto de sauacutede de seis meses de duraccedilatildeo e acircmbito municipal na Nicaraacutegua
Caminho de Mudanccedila Tratamos deste modelo neste capiacutetulo devido agrave sua utilidade para os gestores e seus benefiacutecios como actividade de fortalecimento de uma equipa O estabelecimento de um Caminho de Mudanccedila eacute geralmente um processo participativo que permite que a sua equipa ou unidade e outros grupos de interesse formulem uma intervenccedilatildeo e determinem como ela vai funcionar O produto final eacute um mapa que mostra como uma acccedilatildeo estaacute relacionada com outras e como todas elas acrescentam algo ao resultado esperado Frequentemente o estabelecimento de um caminho expotildee as crenccedilas subjacentes que as pessoas de uma organizaccedilatildeo mantecircm sobre a forma em que suas acccedilotildees promovem mudanccedilas
A criaccedilatildeo de um Caminho de Mudanccedila tem vaacuterios benefiacutecios Em primeiro lugar exige que a sua equipa examine cada acccedilatildeo proposta e responda agraves seguintes perguntas
Todas as actividades contribuem para o resultado esperado Se a resposta for negativa algumas actividades deveriam ser modificadas acrescentadas ou eliminadas
As actividades satildeo sequenciais Elas estatildeo relacionadas de uma forma loacutegica Elas se somam umas agraves outras para formar um conjunto racional e coerente de acccedilotildees
Pensamos em todos os produtos e resultados necessaacuterios para atingir nosso resultado esperado
Temos os recursos necessaacuterios para implementar as actividades propostas Em quanto tempo atingiremos o resultado que desejamos Que outros factores podem contribuir ou entravar cada uma das actividades do
caminho
Em segundo lugar sua equipa deve tornar expliacutecita e chegar a um acordo sobre a loacutegica subjacente de um plano de intervenccedilatildeo Em outras palavras deve mostrar no papel como cada acccedilatildeo resultaraacute na mudanccedila desejada em cada niacutevel do mapa Por uacuteltimo o caminho define que resultados imediatos e resultados a meacutedio e longo prazo a equipa deve monitorar e que indicadores devem usar
TABELA 2 Visatildeo geral do quadro conceptual
Vantagens Desvantagens
Fornece um mapeamento visual e flexiacutevel de planos de intervenccedilatildeo complexos
Quando usado regularmente durante a implementaccedilatildeo permite uma retroinformaccedilatildeo antecipada do que estaacute ou natildeo a funcionar e por quecirc
Auxilia na identificaccedilatildeo de efeitos colaterais natildeo previstos
Ajuda a priorizar os problemas a serem investigados mais profundamente talvez ao usar meacutetodos mais focalizados de recolha de dados ou teacutecnicas mais sofisticadas de MampA
Pode se tornar extremamente complexo se a escala de actividades for muito grande ou se for reunida uma lista exaustiva de factores e pressupostos
Os grupos de interesse podem discordar sobre os factores determinantes que consideram ser os mais importantes
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 916
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Como se lecirc um mapa de Caminho de Mudanccedila O caminho pode ser lido como um fluxograma em que caixas e setas mostram a relaccedilatildeo entre as acccedilotildees e os efeitos como mostrado na Figura 6 O resultado esperado aparece no topo do caminho e os resultados imediatos que devem ser atingidos para se chegar laacute satildeo exibidos no proacuteximo niacutevel Os produtos que devem ser obtidos para conseguir os resultados a meacutedio e longo prazo aparecem no proacuteximo niacutevel inferior Finalmente as actividades aparecem no fundo ou base
Quando lido de baixo para cima o mapa mostra que actividades satildeo necessaacuterias para conseguir os produtos e que resultados a meacutedio e longo prazo satildeo necessaacuterios para se chegar ao topo Eacute preciso sempre poder traccedilar um caminho desde o comeccedilo de suas acccedilotildees ateacute o resultado esperado
Pode ser uacutetil imaginar o caminho como o organigrama de uma empresa vocecirc pode comeccedilar da base do organigrama como assistente administrativo passar a coordenador de escritoacuterio depois a uma funccedilatildeo de gestatildeo e finalmente ocupar o gabinete do director
A criaccedilatildeo de um Caminho de Mudanccedila Para desenvolver um Caminho da Mudanccedila sua equipa mapeia a mudanccedila de forma reversa Comeccedila no final do caminho (no topo da
FIGURA 6 Exemplo de um Caminho de Mudanccedila
Resultado 180 dos pacientes
estatildeo satisfeitos com os serviccedilos prestados no
centro de sauacutede
Resultado 260 das mulheres
entre 15 e 49 anos na aacuterea de captaccedilatildeo do centro de
sauacutede entendem a importacircncia do planeamento familiar
para o espaccedilamento dos nascimentos
Resultado 3Todos os meacutetodos
contraceptivos modernos estatildeo
disponiacuteveis no centro de sauacutede
Produto 1Os tempos de
espera no centro de sauacutede se
reduziram de 40 para 20 minutos
Produto 2Eacute oferecida
orientaccedilatildeo a todos os pacientes em
espaccedilo privado do centro de sauacutede
Produto 3Voluntaacuterias
realizam palestras semanais sobre temas
de sauacutede reprodutiva na comunidade
Produto 4Todos os stocks
de contraceptivos satildeo monitorados semanalmente
Actividade 1Realizar um
inqueacuterito sobre o uxo de
pacientes e cumprir
recomendaccedilotildees
Actividade 2Transformar um canto do
centro de sauacutede para a
orientaccedilatildeo dos pacientes
Actividade 3Mobilizar as
ONGs parceiras para imprimir panetos de informaccedilatildeo educaccedilatildeo e
comunicaccedilatildeo
Actividade 4Mobilizar as
ONGs parceiras para dar
formaccedilatildeo ou equipar as voluntaacuterias
Actividade 5Recrutar liacutederes
comunitaacuterios para prestar
apoio agraves palestras sobre
sauacutede reprodutiva
Actividade 6Desenvolver
um sistema de registo e
pedidos de suprimentos
contraceptivos
Resultado esperadoAumento na percentagem de utentes de planeamento familiar de 50 para 52
durante o periacuteodo de Junho a Dezembro de 2006
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 917
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
sequecircncia) e define a meta da organizaccedilatildeo a longo prazo ou o resultado esperado de uma intervenccedilatildeo Em seguida preenche o mapa ao trabalhar de cima para baixo onde identifica finalmente as actividades principais os primeiros elementos do seu plano de implementaccedilatildeo
Enquanto se desloca pelo caminho faccedila trecircs perguntas Que resultados precisam acontecer para contribuir agrave meta de longo prazo Que produtos precisam ser obtidos antes disso para alcanccedilar os resultados Que actividades precisam acontecer antes disso para conseguir os produtos
O desenho de uma intervenccedilatildeo dessa forma pode ajudar a revelar as condiccedilotildees necessaacuterias para atingir os resultados a meacutedio e longo prazo e a meta de longo prazo Talvez sejam necessaacuterias vaacuterias tentativas para criar um Caminho de Mudanccedila com o qual todos estejam de acordo Os resultados produtos e acccedilotildees podem ser acrescentados modificados e eliminados ateacute que eventualmente surja um mapa que conte a histoacuteria com a qual sua equipa pode concordar O debate eacute frequentemente a parte mais importante da experiecircncia porque a equipa junta define as expectativas pressupostos e caracteriacutesticas do processo de mudanccedila
Uso da sequecircncia ldquopara querdquo como forma de verificar as vias de um Caminho de Mudanccedila Uma boa forma de verificar a loacutegica do mapa do seu caminho eacute inverter o processo e criar uma sequecircncia de ldquopara querdquo para cada actividade O exemplo na Figura 7 mostra como fazer isso para a Actividade 5 da Figura 6 O movimento na sequecircncia ldquopara querdquo eacute o
FIGURA 7 Sequecircncia ldquopara querdquo para uma actividade de um Caminho de Mudanccedila
Dar formaccedilatildeo agraves voluntaacuterias da comunidade e equipaacute-las com os materiais de informaccedilatildeo educaccedilatildeo e comunicaccedilatildeo necessaacuterios
para que
As voluntaacuterias realizem sessotildees educativas sobre sauacutede sobre temas de planeamento familiar na aacuterea especiacutefica do centro de sauacutede
para que
As mulheres em idade reprodutiva na aacuterea especiacutefica se sintam agrave vontade para participar de sessotildees apresentadas pelas voluntaacuterias
para que
As mulheres participem das sessotildees e aprendam sobre a importacircncia do planeamento familiar para o espaccedilamento dos nascimentos
para que
Mais mulheres em idade reprodutiva busquem meacutetodos de planeamento familiar no centro de sauacutede e a percentagem de mulheres que recebem os meacutetodos aumentem 2 durante o periacuteodo do projecto (o resultado esperado)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 918
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
oposto exacto do Caminho de Mudanccedila Vocecirc coloca cada actividade no topo da sua proacutepria sequecircncia e desce pela sequecircncia ateacute a meta ou resultado esperado Essa sequecircncia ajuda a confirmar que cada rota individual no Caminho de Mudanccedila faz sentido em termos loacutegicos
Para usar essa teacutecnica eacute preciso criar uma sequecircncia ldquopara querdquo para cada actividade no seu Caminho de Mudanccedila Comece por descrever cada actividade e segui-la da frase ldquopara querdquo seguida de uma descriccedilatildeo do que aconteceraacute se essa actividade for realizada Continue a fazer isto ateacute atingir a sua meta de longo prazo ou resultado esperado
Etapas do desenvolvimento de um plano de MampA
Uma das suas tarefas essenciais de MampA como gestor que exerce lideranccedila eacute a de elaborar um plano que ajude vocecirc e sua equipa a determinar se atingiram ou natildeo os resultados esperados e a acompanhar o progresso no alcance desses resultados durante a implementaccedilatildeo Isso exige que vocecirc natildeo soacute escolha indicadores confiaacuteveis mas tambeacutem que meccedila esses indicadores de forma organizada Seu plano de MampA deve especificar que indicadores seratildeo medidos como e quando seratildeo medidos e por quem
Um plano de MampA bem formulado responde a cinco perguntas
1 Seu resultado esperado eacute mensuraacutevel2 Que indicadores utilizaraacute para monitorar seus produtos e para avaliar seus
resultados 3 Quais satildeo as suas fontes de dados e como recolheraacute os dados dessas fontes 4 Quais satildeo os periacuteodos cobertos de cada indicador 5 Quem recolheraacute os dados
Essas perguntas satildeo importantes porque sem um plano vaacutelido de MampA vocecirc poderaacute interpretar erroneamente os efeitos da sua intervenccedilatildeo Poderaacute concluir que ela natildeo teve efeito algum quando na verdade ela teve alguns resultados positivos ou poderaacute concluir que ela teve um efeito positivo quando na verdade natildeo obteve resultado algum o que eacute um erro comum e mais destrutivo
Elaborar e utilizar um plano de MampA garante que dados comparaacuteveis seratildeo recolhidos regularmente e em tempo haacutebil mesmo quando houver mudanccedilas de pessoal A Tabela 3 resume as etapas no desenvolvimento e implementaccedilatildeo de um plano de MampA O resto desta secccedilatildeo descreve cada etapa detalhadamente
ETAPA 1 DEFINA OS RESULTADOS ESPERADOS
A primeira etapa no desenvolvimento do plano de MampA eacute determinar um niacutevel apropriado de resultados Juntos o tipo e o acircmbito da intervenccedilatildeo os recursos disponiacuteveis e o prazo de implementaccedilatildeo determinam um resultado viaacutevel
Como jaacute vimos antes neste capiacutetulo as intervenccedilotildees dirigidas por organizaccedilotildees com fundos de agecircncias doadoras e por serviccedilos governamentais geralmente levam a produtos ou resultados a meacutedio e longo prazo Apesar de o impacto demorar a ser obtido e geralmente estar fora do acircmbito de um uacutenico conjunto de actividades eacute importante incluiacute-lo no seu plano de MampA para que fique clara qual seraacute a contribuiccedilatildeo da sua intervenccedilatildeo a longo prazo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 919
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 3 Etapas para elaborar e usar um Plano de MampA
Etapas Recomendaccedilotildees
1 Definir os resultados esperados
Os resultados devem ser identificados de acordo com o acircmbito e o periacuteodo de tempo da sua intervenccedilatildeo
Os resultados devem atender aos criteacuterios SMART (Especiacuteficos Mensuraacuteveis Apropriados Realistas de Prazo Definido)
2 Seleccionar os indicadores
Os indicadores devem possuir as qualidades de um bom indicador
Os indicadores devem ser acessiacuteveis faacuteceis de recolher e comparaacuteveis ao longo do tempo e em diferentes locais
Para os problemas de sauacutede prioritaacuterios e os serviccedilos essenciais use indicadores criacuteticos nacionais ou padratildeo
Seleccione um nuacutemero miacutenimo de indicadores essenciais e procure garantir que os indicadores seleccionados sejam realmente necessaacuterios para medir seus resultados esperados
3 Identificar as fontes de dados
Identifique de onde viratildeo os dados para cada indicador Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos organizacionais utentes ou a comunidade
4 Definir os meacutetodos de recolha dos dados
Seleccione o meacutetodo mais apropriado e confiaacutevel para a recolha de dados para cada indicador Estes meacutetodos podem incluir a anaacutelise de registos ou diaacuterios de estatiacutesticas de serviccedilo o uso de listas de verificaccedilatildeo para fins de observaccedilatildeo as entrevistas de utentes ao saiacuterem da cliacutenica ou um modelo de inqueacuterito de dados comunitaacuterios
Decida sobre a frequecircncia da recolha de dados Poderaacute recolher apenas os dados de base ou referecircncia e os dados apoacutes a intervenccedilatildeo ou talvez precise recolher dados diaacuterios mensais ou trimestrais dependendo do tipo de indicador
Para cada indicador designe a responsabilidade pela recolha a um escritoacuterio equipa ou pessoa especiacuteficos
5 Recolher os dados de base (ou referecircncia) e os dados apoacutes a intervenccedilatildeo
Entenda que os resultados de base seratildeo usados para definir os seus alvos
Defina claramente a duraccedilatildeo coberta pelos dados de base jaacute que precisa de um periacuteodo semelhante para a comparaccedilatildeo ao final do periacuteodo de implementaccedilatildeo
Use a mesma metodologia e ferramentas para a recolha de dados que as usadas para os dados de base e as medidas poacutes-intervenccedilatildeo
6 Compartilhar e utilizar os seus resultados
Marque reuniotildees workshops e apresentaccedilatildeo de relatoacuterios para mostrar os resultados ao pessoal do projecto agrave direcccedilatildeo da organizaccedilatildeo e a outros grupos de interesse importantes
Apresente as opccedilotildees de aprendizado e acccedilatildeo com base nos resultados de MampA
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 920
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para determinar em que niacutevel deve monitorar e avaliar seus resultados eacute uacutetil examinar novamente e expandir a cadeia de resultados a comeccedilar da direita pelo resultado final (impacto) e voltar ateacute os materiais e recursos (insumos) necessaacuterios
Insumos rarr Processos rarr Produtos rarr Resultados rarr Impacto
Impacto Esses resultados satildeo medidos ao niacutevel da populaccedilatildeo levam um tempo relativamente longo para serem alcanccedilados (geralmente 3 a 5 cinco anos) e exigem o esforccedilo conjunto de vaacuterias intervenccedilotildees e mesmo de vaacuterias organizaccedilotildees Como gestor vocecirc poderaacute ser responsaacutevel por medir o impacto mas deve incluiacute-lo na loacutegica do seu plano de MampA para saber o que a sua organizaccedilatildeo e os parceiros da organizaccedilatildeo pretendem alcanccedilar a longo prazo
Resultados a meacutedio e longo prazo Na maioria dos casos os gestores satildeo responsaacuteveis por medir os resultados nos niacuteveis de produtos eou resultados a meacutedio e longo prazo Os resultados a meacutedio e longo prazo satildeo obtidos pelas actividades criadas para produzir uma mudanccedila de comportamento nos profissionais de sauacutede ou nos utentes Satildeo geralmente medidos em termos de mudanccedilas na cobertura de serviccedilos e mudanccedilas nos conhecimentos atitudes e praacuteticas de uma populaccedilatildeo beneficiaacuteria Um resultado a meacutedio e longo prazo pode ser o iniacutecio de uma praacutetica comprovada de prestaccedilatildeo de serviccedilos a adopccedilatildeo de novas estrateacutegias de gestatildeo ou a elaboraccedilatildeo bem-sucedida de uma poliacutetica de promoccedilatildeo da sauacutede Pode tambeacutem ser um aumento no nuacutemero de mulheres que datildeo agrave luz em um centro de sauacutede ou no nuacutemero de crianccedilas totalmente imunizadas Na maioria dos casos eacute possiacutevel estabelecer uma relaccedilatildeo clara entre produtos e resultados a meacutedio e longo prazo
Produtos Os produtos ou resultados imediatos satildeo fruto directo das actividades Devem ser monitorados durante toda a implementaccedilatildeo como um elemento essencial da boa gestatildeo Os planos de MampA devem definir o produto esperado de cada actividade Para as unidades de prestaccedilatildeo de serviccedilos isso geralmente significa os resultados imediatos em termos dos serviccedilos (por exemplo nuacutemero de utentes atendidos ou tempo de espera dos clientes ou utentes) Para as organizaccedilotildees que natildeo prestam serviccedilos de sauacutede directamente isso pode significar a distribuiccedilatildeo de produtos de sauacutede ou serviccedilos de formaccedilatildeo (por exemplo quantidade de produtos para planeamento familiar distribuiacutedos ou nuacutemero de participantes formados)
Processos A monitoria de processos ou actividades eacute em grande parte uma medida da cultura de prestaccedilatildeo de contas (ou grau de responsabilizaccedilatildeo) ao garantir que as actividades sejam realizadas dentro do prazo e com recursos suficientes A monitoria nesse niacutevel acompanha o progresso da implementaccedilatildeo tendo como referecircncia os prazos propostos e o uso dos recursos tendo como referecircncia os orccedilamentos Eacute geralmente executada atraveacutes da apresentaccedilatildeo de relatoacuterios tradicionais trimestrais semestrais e anuais
Insumos Ao preparar uma intervenccedilatildeo deve identificar a quantidade e os tipos de recursos necessaacuterios para implementar as actividades O desempenho pode ser monitorado em termos da quantidade e dos tipos de insumos fornecidos e do nuacutemero e timing das actividades realizadas
A etapa seguinte na definiccedilatildeo dos resultados esperados eacute garantir que cumpram os criteacuterios SMART (consulte a Tabela 4) Eacute possiacutevel monitorar e avaliar o progresso no alcance de um resultado apenas se esse resultado tiver sido definido em termos mensuraacuteveis
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 921
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja a seguir um exemplo de um resultado mensuraacutevel para uma intervenccedilatildeo cujo propoacutesito eacute promover a cobertura de imunizaccedilatildeo em crianccedilas de 12 a 24 meses de idade A percentagem de crianccedilas de 12 a 24 meses totalmente vacinadas na aacuterea de captaccedilatildeo aumentaraacute para 70 dentro de um ano
ETAPA 2 IDENTIFIQUE OS INDICADORES E SUAS DEFINICcedilOtildeES
Os indicadores satildeo geralmente percentagens ou proporccedilotildees que representam o alcance de uma condiccedilatildeo especiacutefica de sauacutede na populaccedilatildeo de interesse Podem tambeacutem ser um valor absoluto tal como o nuacutemero de ocorrecircncias de um evento de sauacutede (por ex um oacutebito materno ou um caso de malaacuteria)
Todos os indicadores pedem uma definiccedilatildeo detalhada Trata-se de um indicador qualitativo ou quantitativo Se for uma percentagem qual eacute o numerador e qual eacute o denominador A definiccedilatildeo deve ser suficientemente detalhada para garantir que pessoas diferentes em momentos diferentes possam recolher tipos idecircnticos de dados para o indicador
Veja o que caracteriza um bom indicador no Quadro 2 Os indicadores podem ser classificados como indicadores do estado de sauacutede ou do desempenho de serviccedilos
Os indicadores do estado de sauacutede podem incluir o seguinte
nuacutemero de casos e mortes causados por doenccedilas especiacuteficas em um determinado periacuteodo
proporccedilatildeo da populaccedilatildeo com uma doenccedila ou condiccedilatildeo de sauacutede num momento particular ou ao longo de um periacuteodo de tempo
proporccedilatildeo da populaccedilatildeo com um factor ou condiccedilatildeo de sauacutede que os coloca em risco de contrair doenccedilas tal como a falta de conhecimento ou um comportamento de risco
Os indicadores de desempenho podem incluir o seguinte
proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que recebeu um serviccedilo especiacutefico proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que demonstra comportamentos e
conhecimentos especiacuteficos de sauacutede
TABELA 4 Criteacuterios de um resultado SMART
Criteacuterio Descriccedilatildeo
Especiacutefico (S ndash Smart)
Claramente escrito e compreendido O resultado esperado eacute suficientemente especiacutefico para ser medido por uma frequecircncia percentagem ou nuacutemero
Mensuraacutevel (M ndash Measurable)
Eacute possiacutevel monitorar o progresso e avaliar os resultados O resultado esperado eacute definido em termos que sejam mensuraacuteveis
Apropriado (A ndash Appropriate)
O resultado esperado eacute apropriado ao acircmbito do seu trabalho e agrave missatildeo da sua organizaccedilatildeo
Realista (R ndash Realistic)
O resultado esperado pode ser alcanccedilado e estaacute dentro do controlo da sua organizaccedilatildeo Pode ser realisticamente alcanccedilado ao usar os recursos disponiacuteveis e dentro do prazo do seu plano de implementaccedilatildeo
de Tiempo limitado (T ndash Time Bound)
Foi estabelecido um prazo especiacutefico para obter o resultado esperado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 922
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
proporccedilatildeo de centros e pessoal de sauacutede que demonstram adesatildeo a padrotildees especiacuteficos de serviccedilo ou que atingiram objectivo definido
proporccedilatildeo de centros de sauacutede que seguem padrotildees definidos de gestatildeo funcional (por ex em termos de pessoal disponibilidade de medicamentos registo e apresentaccedilatildeo de relatoacuterios)
Orientaccedilatildeo adicional sobre os indicadores pode ser obtida em ldquoCompecircndio de indicadores para avaliaccedilatildeo de programas de sauacutede reprodutivardquo e ldquoLista dos indicadores sobre desenvolvimento da capacidade de gestatildeo e lideranccedilardquo
ETAPA 3 IDENTIFIQUE AS FONTES DE DADOS
Agora precisa identificar uma fonte de dados para cada indicador incluiacutedo no plano de MampA ao seleccionar dados que estejam prontamente disponiacuteveis em uma fonte confiaacutevel e dentro das possibilidades financeiras de sua organizaccedilatildeo O ideal seria escolher os dados imediatamente disponiacuteveis atraveacutes da organizaccedilatildeo em vez de dar iniacutecio a uma nova estrateacutegia de recolha de dados o que poderia ser oneroso e demorado
Uma boa forma de comeccedilar eacute com a seguinte pergunta Que dados jaacute recolhemos de forma rotineira e sistemaacutetica Vocecirc deve sempre levar em consideraccedilatildeo as vantagens e desvantagens de cada fonte de dados Consulte a secccedilatildeo ldquoComo seleccionar suas fontes de dadosrdquo para obter mais informaccedilotildees sobre as vantagens e desvantagens de algumas fontes de dados mais comuns
Vocecirc deve ser o mais especiacutefico possiacutevel sobre as fontes de dados para que a mesma fonte possa ser utilizada de forma coerente durante toda a intervenccedilatildeo Mudar as fontes de dados para o mesmo indicador pode resultar em incoerecircncias e erros de interpretaccedilatildeo Por exemplo se estiver a medir as taxas de mortalidade infantil passar de estimativas baseadas num inqueacuterito de grande escala para estimativas baseadas em estatiacutesticas hospitalares pode resultar dar a falsa impressatildeo de que houve uma mudanccedila
QUADRO 2 Qualidades de um bom indicador
Vaacutelido O indicador mede o que se pretende medir
Confiaacutevel A medida do indicador deve ser igual natildeo importa quantas vezes a medida seja feita
Preciso O indicador eacute definido em termos claros e especiacuteficos para que possa ser medido O indicador pode ser qualitativo (descritivo) discreto (SimNatildeo) ou baseado em niacuteveis quantitativos ou proporccedilotildees desde que seja claramente mensuraacutevel
Faacutecil de entender Tanto especialistas como natildeo especialistas devem poder entender o significado do indicador
Discreto O indicador captura um uacutenico componente ou aspecto de um resultado mais complexo Mede apenas uma coisa natildeo um conjunto de coisas
Em tempo haacutebil O indicador pode ser medido em intervalos temporais apropriados de acordo com a disponibilidade dos dados
Comparaacutevel Quando possiacutevel o indicador evita definiccedilotildees limitadas ou singulares cujos valores seriam difiacuteceis de comparar com outros resultados
Viaacutevel para utilizar Os dados para o indicador satildeo faacuteceis de obter de uma fonte confiaacutevel e relativamente econoacutemica ndash acessiacutevel tendo em vista os recursos da sua organizaccedilatildeo Se esses dados natildeo estiverem disponiacuteveis existem meacutetodos para obtecirc-los no futuro
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 923
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 4 DEFINA OS MEacuteTODOS DE RECOLHA DE DADOS
A etapa seguinte eacute a de definir os meacutetodos ou ferramentas que utilizaraacute para cada indicador Para os indicadores baseados em dados primaacuterios (dados que vocecirc mesmo recolhe) deve descrever o tipo de instrumento necessaacuterio para recolher os dados Os exemplos podem incluir questionaacuterios estruturados listas de verificaccedilatildeo de observaccedilatildeo directa ou balanccedilas para pesar bebeacutes
Para os dados secundaacuterios (dados recolhidos por terceiros e que estatildeo disponiacuteveis para vocecirc usar) deve explicar o meacutetodo para calcular o indicador e a fonte dos dados e fornecer detalhes suficientes sobre o meacutetodo de caacutelculo para que outros possam replicaacute-lo Lembre-se de que eacute mais faacutecil e mais barato usar dados secundaacuterios mas sua qualidade eacute menos confiaacutevel do que a dos dados primaacuterios
Tambeacutem eacute importante observar a frequecircncia da recolha dos dados para cada indicador A depender do tipo de indicador vocecirc poderaacute recolher os dados mensalmente trimestralmente anualmente ou ateacute com menos frequecircncia Ao definir o programa de recolha de dados para cada indicador leve em consideraccedilatildeo a necessidade de fornecer informaccedilotildees em tempo haacutebil aos responsaacuteveis por tomar decisotildees na sua organizaccedilatildeo Atribuir responsabilidades pela recolha de dados a indiviacuteduos ou grupos do seu pessoal garantiraacute que os dados sejam recolhidos dentro do prazo necessaacuterio
As informaccedilotildees das Etapas 1 a 4 fornecem o conteuacutedo do seu plano de monitoria e avaliaccedilatildeo A Tabela 5 mostra os elementos de um plano de MampA para um programa de mentoria cliacutenica para centros de orientaccedilatildeo e testes voluntaacuterios
ETAPA 5 RECOLHA OS DADOS DE BASE E DE ACOMPANHAMENTO
Recolher dados de base precisos eacute uma das tarefas mais importantes de MampA Os dados de base ou referecircncia satildeo o ponto de partida para definir as metas que vocecirc e sua equipa pretendem atingir e para acompanhar as mudanccedilas dos indicadores durante todo o periacuteodo de sua intervenccedilatildeo Dessa forma os dados de base ajudam a definir melhor um resultado final esperado
Vocecirc precisaraacute recolher dados de base para cada indicador antes que suas actividades comecem Esses dados identificam o ponto de partida de onde poderaacute avaliar o progresso Depois em pontos variados durante a implementaccedilatildeo vocecirc recolheraacute dados de acompanhamento sobre cada indicador para comparaacute-los com os niacuteveis de base e os resultados previstos Isto permite que vocecirc e outros tomadores de decisotildees em sua organizaccedilatildeo avaliem o progresso de cada intervenccedilatildeo ou serviccedilo e faccedilam as mudanccedilas necessaacuterias ao longo do caminho Examine o exemplo no Quadro 3
Por que acompanhar as mudanccedilas dos indicadores durante a implementaccedilatildeo Os indicadores de um plano de MampA estatildeo relacionados aos resultados imediatos (produtos) e aos resultados de meacutedio e longo prazo que os gestores precisam monitorar As mudanccedilas nos valores do indicador ao longo do tempo mostram se esses resultados estatildeo a subir ou a baixar ou se permanecem iguais Isto mostra ao gestor se as intervenccedilotildees e estrateacutegias estatildeo a funcionar conforme planeado para atingir os resultados esperados
Ao final do periacuteodo de implementaccedilatildeo precisaraacute recolher dados sobre os seus indicadores para comparar os niacuteveis finais com os niacuteveis de base e com os seus resultados esperados A depender dos seus indicadores precisaraacute tambeacutem recolher dados de acompanhamento a uma altura acordada previamente para determinar se as mudanccedilas seratildeo mantidas apoacutes o teacutermino da sua intervenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 924
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 5 Exemplo de um Plano de Monitoria e Avaliaccedilatildeo
Objectivo Os profissionais de sauacutede que receberam formaccedilatildeo aumentam sua capacidade de fornecer tratamento anti-retroviral de acordo com as directrizes nacionais
ActividadeProduto Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
CronogramaPrazo final
Cliacutenicos experientes em VIH recrutados para servir como mentores cliacutenicos em cinco hospitais regionais
Nuacutemero de mentores recrutados e designados a hospitais regionais
Registos de emprego
Como concluiacutedo Director adjunto para programas cliacutenicos
Setembro de 2008
Pessoal meacutedico em cinco hospitais regionais que recebem mentoria individual sobre terapia anti-retroviral
Nuacutemero de locais que recebem mentoria cliacutenica
Nuacutemero de meacutedicos que recebem mentoria individual
Nuacutemero de dias de mentoria cliacutenica realizados
Relatoacuterios mensais do mentor
Mensalmente Mentores Marccedilo de 2009
Resultados a meacutedio e longo prazo Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
Trabalhadores de sauacutede aumentam seu conhecimento sobre terapia anti-retroviral
80 dos participantes obtecircm 85 ou mais de pontuaccedilatildeo correcta no teste posterior
Trabalhadores de sauacutede melhoram suas habilidades no fornecimento de terapia anti-retroviral
Percentagem de habilidades demonstradas na lista de verificaccedilatildeo de competecircncia
Estudo especial Datas a definir Director adjunto para programas cliacutenicos
Fonte Centro Internacional de Formaccedilatildeo e Ensino sobre VIH p 2
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 925
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Observaccedilatildeo sobre o uso de indicadores para uma avaliaccedilatildeo A maioria dos esforccedilos de MampA enfatizam a selecccedilatildeo de indicadores bem definidos para estabelecer metas e medir as mudanccedilas nas condiccedilotildees e nos serviccedilos de sauacutede
Mas eacute importante lembrar que os indicadores servem apenas como marcadores Os dados dos indicadores fornecem pistas para saber se uma intervenccedilatildeo ou um grupo de actividades estaacute dentro do cronograma e se os resultados esperados estatildeo a ser alcanccedilados Eles natildeo respondem agraves perguntas de por que os resultados estatildeo ou natildeo a ser alcanccedilados Natildeo explicam os resultados fortuitos as relaccedilotildees entre intervenccedilotildees e resultados ou as causas de resultados percebidos que podem ocorrer fora da intervenccedilatildeo Assim natildeo podem recomendar medidas a tomar para melhorar os resultados
Os dados de indicadores devem portanto ser interpretados com cuidado Eles simplesmente indicam resultados que precisam ser melhor explorados em vez de fornecer uma avaliaccedilatildeo definitiva do sucesso ou fracasso Um estudo de avaliaccedilatildeo eacute geralmente executado para determinar se uma intervenccedilatildeo pode ser considerada um sucesso e por quecirc
Em geral agrave medida que sobe na hierarquia e passa das actividades para os resultados a longo prazo a MampA se torna mais complicada Nos niacuteveis de processo e produtos pode-se facilmente rastrear que actividades foram concluiacutedas e seus resultados imediatos Essas informaccedilotildees satildeo operacionais ndash informaccedilotildees que vocecirc pode usar para decisotildees quotidianas de gestatildeo Poreacutem para identificar e medir os resultados da sinergia dos produtos provavelmente teraacute que integrar as informaccedilotildees qualitativas e quantitativas e confiar menos em indicadores quantitativos singulares
Lembre-se de que quando uma melhoria desejada ndash seja na eficiecircncia do serviccedilo no conhecimento e comportamento dos provedores de serviccedilos ou dos beneficiaacuterios ou na tendecircncia de um problema de sauacutede ndash eacute confirmada atraveacutes de MampA isto natildeo prova que foi a intervenccedilatildeo que provocou a mudanccedila Outras coisas podem estar a se passar no serviccedilo ou no ambiente geral que causam essa mudanccedila Eacute claro que o mesmo se aplica aos resultados negativos ou resultados que indicam natildeo haver nenhuma mudanccedila nos resultados a meacutedio e longo prazo
QUADRO 3 Como usar dados de base para ajustar os resultados
Uma equipa de sobrevivecircncia infantil estaacute a propor uma intervenccedilatildeo com o seguinte resultado mensuraacutevel e especiacutefico ldquoNos proacuteximos 12 meses 40 das crianccedilas entre 12 e 24 meses de idade na aacuterea de captaccedilatildeo seratildeo completamente imunizadasrdquo
Para determinar se seu programa pode realmente atingir esse resultado o pessoal precisa medir os niacuteveis actuais de vacinaccedilatildeo Ao examinar os dados vecircem que apenas 10 das crianccedilas na aacuterea de captaccedilatildeo estatildeo completamente imunizadas ao completarem 24 meses Estes satildeo portanto seus dados de base
A gestora entende que natildeo seraacute possiacutevel atingir o objectivo de 40 de cobertura de imunizaccedilatildeo em apenas 12 meses Por isso ela e sua equipa revisam o resultado esperado e o modificam para que seja mais razoaacutevel e realista mas continue sendo significativo ldquoNos proacuteximos 12 meses 20 das crianccedilas de 12 a 24 meses na aacuterea de de actuaccedilatildeo seratildeo completamente imunizadas
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 926
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 6 COMPARTILHE E USE SEUS DADOS
Na pressa para comeccedilar a recolher dados alguns gestores se esquecem de planear um processo para reflectir sobre as informaccedilotildees e fazer mudanccedilas para aumentar a eficiecircncia das actividades Para garantir que os dados sejam natildeo soacute recolhidos mas tambeacutem utilizados pense como vocecirc e sua equipa divulgaratildeo as informaccedilotildees sobre MampA e obteratildeo retroinformaccedilatildeo dos diversos grupos de interesse Algumas perguntas baacutesicas serviratildeo para lhe orientar
Quem precisa de que tipo de informaccedilotildees e quando precisam delas Que tipo de formato deve usar para comunicar os resultados ao pessoal
aos gestores de niacutevel superior e a outros grupos de interesse importantes Eacute suficiente fazer circular um relatoacuterio ou deveria organizar uma reuniatildeo ou workshop
Deveria tambeacutem organizar reuniotildees com a comunidade para solicitar retroinformaccedilatildeo dos seus beneficiaacuterios sobre os primeiros resultados da MampA
Como deve apresentar as informaccedilotildees para que sejam uacuteteis aos diferentes tomadores de decisotildees As informaccedilotildees devem ser apresentadas visualmente em diagramas graacuteficos ou mapas Para obter orientaccedilatildeo sobre dados e resultados consulte o Guiatildeo de MampA para Facilitadores de Programas de Desenvolvimento da Lideranccedila
Uso dos resultados para melhorar os dados de rotina em acccedilatildeo ndash Um exemplo do Paquistatildeo
No Paquistatildeo com o apoio do projecto PRIDE 10 equipas de subdistritos aplicaram o Processo de Avaliaccedilatildeo e Melhoria do Desempenho em Sauacutede Puacuteblica (PIP-PH) um conjunto de procedimentos e formatos para tratar dos problemas de sauacutede que identificaram como os mais graves para as suas populaccedilotildees Usaram o PIP-PH para priorizar os problemas e serviccedilos que mais precisavam de atenccedilatildeo a curto prazo para obter melhorias
Como parte do processo PIP-PH as equipas tambeacutem conceberam um formato de Estrutura de Vigilacircncia de Sauacutede (ldquoHealth Watch Frameworkrdquo) para os seus subdistritos como um todo e para os centros de sauacutede dentro deles Cada equipa seleccionou indicadores para medir a situaccedilatildeo de dois problemas de sauacutede puacuteblica os serviccedilos essenciais a eles relacionados e as limitaccedilotildees que afectavam esses serviccedilos
As equipas usaram os formulaacuterios Health Watch para estabelecer valores de base para os indicadores e depois para monitorar esses valores agrave medida que as intervenccedilotildees prosseguiam ao longo do tempo Os centros de sauacutede revisavam e actualizavam o formulaacuterio todo mecircs as equipas do subdistrito inclusive gestores de centros de sauacutede revisavam e discutiam os formulaacuterios trimestralmente os formulaacuterios revisados
As equipas de subdistrito usaram as informaccedilotildees para analisar os motivos do progresso ou falta de progresso para poderem prestar apoio aos gestores dos centros de sauacutede O processo estimulou os gestores dos centros de sauacutede a melhorarem a integridade e precisatildeo dos dados de rotina para poderem usar as informaccedilotildees e monitorarem mais eficazmente os eventos e os serviccedilos essenciais e introduzirem as melhorias necessaacuterias
Exemplos e informaccedilotildees detalhadas sobre o PIP-PH e o Health Watch Framework aparecem no Relatoacuterio Anual do Projecto PRIDE 2007
Para se informar mais sobre meacutetodos adicionais de utilizaccedilatildeo dos dados para melhorar o desempenho de uma organizaccedilatildeo equipa serviccedilo de sauacutede ou intervenccedilatildeo consulte o processo de Avaliaccedilatildeo e Melhoria de Desempenho (Performance Assessment and Improvement ndash PAI) no website de Programa de Lideranccedila Gestatildeo e Sustentabilidade (Leadership Management and Sustainability ndash LMS)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 927
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O processo de Monitoria e Avaliaccedilatildeo deve ser executado com o objectivo de usar imediatamente os resultados para identificar as falhas de desempenho e tomar medidas para reduzir ou eliminar essas falhas Vocecirc deve sempre planear formas de usar os resultados de MampA para o aprendizado e a acccedilatildeo Por exemplo o que deve fazer se as actividades do projecto natildeo trouxerem os resultados esperados O que precisa mudar se os serviccedilos essenciais natildeo estiverem a fornecer os niacuteveis de cobertura previstos ou a alcanccedilar grupos especiacuteficos de pessoas E como vocecirc pode levar esses fatos agrave atenccedilatildeo das pessoas certas para obter uma resposta raacutepida
Desenho de uma ferramenta de MampA
ARMADILHAS DA MONITORIA E AVALIACcedilAtildeO
Haacute vaacuterias armadilhas comuns que impedem que vocecirc como gestor aperfeiccediloe a funccedilatildeo de MampA na sua organizaccedilatildeo
Planeamento excessivo ou insuficienteAlguns gestores podem gastar tempo demais a preparar o plano de MampA do que resultam planos muito elaborados e complicados de usar Outros ficam muito ansiosos por implementar as intervenccedilotildees de MampA e comeccedilam antes de concluir o plano de MampA Isso significa que quando o plano fica pronto eacute geralmente tarde demais para obter dados de base viaacuteveis e a MampA tem que ser adiada Nesses casos o gestor talvez tenha que aceitar fazer a avaliaccedilatildeo mais tarde sem os dados de base que poderia usar para a comparaccedilatildeo
Descuidar-se da monitoria contiacutenua Outra armadilha frequente eacute a falha em incluir a monitoria contiacutenua na implementaccedilatildeo das actividades Isto ocorre frequentemente por falta de experiecircncia Muitos gestores natildeo tiveram acesso a ferramentas de monitoria uacuteteis (que satildeo raras) Talvez natildeo tenham recebido prontamente os resultados ou a retroinformaccedilatildeo do sistema de MampA no passado e por isso natildeo percebem como eacute importante realizar a monitoria de rotina Aleacutem disso gestores podem facilmente se emaranhar nos detalhes da implementaccedilatildeo e descuidar-se da monitoria de rotina
Exagerar Outra armadilha relacionada agrave monitoria eacute tentar rastrear os dados de todos os indicadores possiacuteveis Tentar obter os dados sobre um nuacutemero excessivo de factores torna o processo de monitoria tatildeo complicado que se torna impreciso Isso tambeacutem torna o processo mais lento de modo que no momento em que os dados satildeo recolhidos e analisados eles jaacute natildeo satildeo mais uacuteteis As ferramentas de monitoria muito demoradas e complicadas acabam por natildeo ser usadas O que acontece entatildeo O gestor deixa totalmente de fazer a monitoria e tem que recorrer agrave avaliaccedilatildeo
Se jaacute se deparou com esses problemas eacute hora de mudar a sua taacutectica Vocecirc pode criar um plano de MampA simples e usar ferramentas de monitoria simples Descubra o que tem que medir para obter os dados dentro de 3 a 6 meses o prazo vai depender dos ciclos de planeamento e apresentaccedilatildeo de relatoacuterios da sua organizaccedilatildeo Entenda tambeacutem qual eacute o miacutenimo que deve ser medido em uma avaliaccedilatildeo de longo prazo Busque a simplicidade mesmo se estiver diante de um conjunto complexo de actividades
Tente incluir apenas o que realmente precisa saber Pode testar todos os indicadores propostos antes de incluiacute-los no planeamento de MampA ao perguntar Quem precisa usar essas informaccedilotildees quando e com que finalidade Se um uacutenico indicador de produtos for suficiente perfeito Natildeo sobrecarregue a monitoria com indicadores desnecessaacuterios Muitas vezes menos dados fornecem mais informaccedilotildees
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 928
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
CARACTERIacuteSTICAS DE UMA BOA FERRAMENTA DE MONITORIA
Como gestor natildeo precisa saber tudo para gerir um serviccedilo ou dirigir uma intervenccedilatildeo mas precisa das informaccedilotildees imediatamente Portanto precisa de uma ferramenta de monitoria que possa fornecer informaccedilotildees suficientes e em tempo haacutebil para identificar e corrigir problemas assim que eles surgirem
Uma ferramenta de monitoria deve ser faacutecil de montar e utilizar As tabelas listas de verificaccedilatildeo e diagramas simples satildeo meacutetodos particularmente uacuteteis de recolher organizar e apresentar informaccedilotildees de monitoria
No miacutenimo sua ferramenta de monitoria deve permitir que vocecirc e sua equipa acompanhem
o progresso da implementaccedilatildeo da actividade a entrega de produtos ou resultados imediatos a situaccedilatildeo dos principais indicadores de resultados comparados aos resultados
esperados se for o caso as despesas orccedilamentais a disponibilidade de recursos humanos e financeiros os obstaacuteculos agrave implementaccedilatildeo e o que tem sido feito para superaacute-los
Vocecirc teraacute que responder agraves seguintes perguntas periodicamente
As actividades foram implementadas conforme planeado dentro do prazo e do orccedilamento
Que actividades adicionais natildeo planeadas foram realizadas Que serviccedilos ou produtos directos e tangiacuteveis foram oferecidos como resultado
das actividades que implementamos Estamos dentro do cronograma para atingir nossos resultados a meacutedio e longo
prazo Possuiacutemos os recursos necessaacuterios (pessoal dinheiro medicamentos e
suprimentos etc) para cumprirmos o cronograma
O Quadro 4 apresenta os componentes baacutesicos de uma ferramenta simples de monitoria
QUADRO 4 Uma ferramenta simples de monitoria
Data de exame Metas de resultados
Actividades (segundo o plano de implementaccedilatildeo)
Situaccedilatildeo ateacute o momento
Resultados esperados
Datas para conclusatildeo
Situaccedilatildeo ateacute o momento Comentaacuterios
Desafios e oportunidades
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 929
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quando usadas correctamente as novas tecnologias (por ex os PDAs ldquosmartphonesrdquo laptops e outros) podem facilitar a monitoria e aumentar os benefiacutecios da monitoria das actividades A monitoria automatizada ndash dados que podem ser obtidos e processados automaticamente ndash podem produzir um resumo dos principais indicadores em uma soacute paacutegina faacutecil de ler e num formato que utiliza cores para alertar ao gestor sobre as aacutereas que precisam de maior atenccedilatildeo As informaccedilotildees obtidas em tempo haacutebil sobre alguns indicadores essenciais permitem que o gestor monitore o progresso e tome medidas correctivas
Essa apresentaccedilatildeo visual das informaccedilotildees mais importantes e necessaacuterias para gerir um projecto eacute geralmente conhecida como Painel de Indicadores de Desempenho Os paineacuteis de indicadores de desempenho podem ser usados em qualquer organizaccedilatildeo departamento ou divisatildeo Nas organizaccedilotildees de sauacutede puacuteblica os paineacuteis satildeo usados frequentemente para monitorar os indicadores financeiros e programaacuteticos bem como a cobertura produccedilatildeo eficaacutecia e qualidade de serviccedilos de sauacutede especiacuteficos Um painel de recursos humanos por exemplo incluiria indicadores relevantes para gerir o seguinte
retenccedilatildeo de funcionaacuterios rotatividade de funcionaacuterios formaccedilatildeo de funcionaacuterios lacunas de habilidades satisfaccedilatildeo dos funcionaacuterios custos benefiacutecios e despesas gerais com funcionaacuterios
A Tabela 6 mostra um painel de indicadores de desempenho criado para monitorar serviccedilos de contracepccedilatildeo ciruacutergica voluntaacuteria (CCV)
TABELA 6 Ilustraccedilatildeo de Painel de Indicadores de Desempenho para Serviccedilos de Contracepccedilatildeo Ciruacutergica Voluntaacuteria (CCV)
Serviccedilo Contracepccedilatildeo Ciruacutergica Voluntaacuteria Periacuteodo do Relatoacuterio Janeiro de 2009
No Indicador de Prestaccedilatildeo de Serviccedilos Custo Qualidade
Meta financeira ou programaacutetica
LimiarNuacutemero
alcanccedilado
Percentagem concluiacuteda
Miacuten Maacutex 10 20 30 40 50 60 70 80 90 100
1 Nuacutemero de CCVs realizadas no mecircs 8 10 7
2 Custo meacutedio das CCVs (US$) 100 120 110
3 Orccedilamento mensal da receita com CCVs realizadas (US$) 800 1200 770
4Percentagem das CCVs realizadas por pessoal
qualificadomdash 100 60
5 Percentagem das CCVs realizadas sem complicaccedilotildees 95 100 100
6
Percentagem de utentes satisfeitas com o tratamento
recebido do pessoal que realizou as CCVs
90 100 90
Adaptado de Colindres 2008 p 6
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 930
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja uma descriccedilatildeo do uso de um painel de indicadores de desempenho para a monitoria de rotina num estudo de caso estudo de caso de uma ONG da Boliacutevia o Centro de Investigaccedilatildeo Educaccedilatildeo e Serviccedilos (CIES)
Para obter mais informaccedilotildees de como criar um painel de indicadores consulte ldquoComo usar os paineacuteis de indicadores de desempenho para monitorar as realizaccedilotildees de uma organizaccedilatildeordquo Esse documento ajuda a esclarecer conceitos e define as etapas essenciais para criar paineacuteis de indicadores de desempenho
Como criar uma avaliaccedilatildeo para fins de aprendizagem
Apesar da importacircncia da monitoria de rotina apenas a monitoria natildeo basta para responder agrave pergunta ldquoE entatildeordquo Ou seja suas actividades e produtos contribuiacuteram para melhorar a cobertura dos serviccedilos aumentar o conhecimento ou encorajar comportamentos mais saudaacuteveis
Talvez uma campanha de comunicaccedilatildeo sobre planeamento familiar criada para aumentar a prevalecircncia do uso de contraceptivos tenha levado o governo a abastecer os depoacutesitos distritais com contraceptivos Para que possam aprender com essa experiecircncia e criar campanhas mais eficazes no futuro os gestores do projecto ainda querem saber que produtos foram realmente dispensados aos centros de sauacutede e distribuiacutedos aos utentes Esta secccedilatildeo discute como criar uma avaliaccedilatildeo para fins de aprendizagem
Existem dois motivos para levar a cabo uma avaliaccedilatildeo
1 A avaliaccedilatildeo fornece informaccedilotildees sobre o sucesso da sua equipa unidade ou organizaccedilatildeo para atingir seus objectivos Essas informaccedilotildees ajudam a definir que actividades expandir modificar ou eliminar Ela pode tambeacutem revelar formas de melhorar a concepccedilatildeo e gestatildeo das actividades futuras
2 A avaliaccedilatildeo pode demonstrar uma cultura de prestaccedilatildeo de contas agrave sua agecircncia doadora e a outros grupos de interesse nomeadamente o governo e os beneficiaacuterios dos seus serviccedilos
AVALIACcedilOtildeES FORMATIVAS E SUMATIVAS
Os gestores podem realizar dois amplos tipos de avaliaccedilotildees formativas e sumativas
Avaliaccedilatildeo formativa Este tipo de avaliaccedilatildeo eacute realizada durante o desenvolvimento e implementaccedilatildeo de um programa Seu objectivo eacute orientar o desenho e a implementaccedilatildeo de actividades que incluam as melhores e mais promissoras praacuteticas que aumentaratildeo as chances de sucesso A avaliaccedilatildeo formativa eacute mais comummente utilizada por projectos de grande porte ou de longo prazo em vez de projectos menores e de curto prazo Poreacutem os projectos menores devem pelo menos realizar uma avaliaccedilatildeo raacutepida das melhores praacuteticas durante a fase de planeamento para apoiar a loacutegica e o conteuacutedo proposto para as actividades
A avaliaccedilatildeo formativa inclui uma avaliaccedilatildeo de necessidades para discernir os desejos e requisitos de um grupo da populaccedilatildeo e determinar a melhor forma de atendecirc-los Inclui tambeacutem uma avaliaccedilatildeo de processo para investigar o processo utilizado para executar uma intervenccedilatildeo Pode-se usar a avaliaccedilatildeo do processo para determinar se as actividades foram realizadas de acordo com o plano ndash em termos de sua concepccedilatildeo original estimativas de custos e nuacutemero de pessoas a serem atendidas ndash e se a qualidade dos processos usados estaacute de acordo com as melhores praacuteticas conhecidas
A avaliaccedilatildeo de processo geralmente inclui vaacuterias abordagens Pode incluir uma avaliaccedilatildeo dos dados referentes aos produtos (por ex nuacutemero de redes mosquiteiras fornecidas nuacutemero
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 931
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
de workshops de formaccedilatildeo realizados nuacutemero de participantes dos workshops) assim como entrevistas individuais ou grupos de enfoque entre os beneficiaacuterios Nas intervenccedilotildees de menor porte eacute uma boa praacutetica realizar uma avaliaccedilatildeo de processo mesmo se limitada agrave retroinformaccedilatildeo dos participantes
Avaliaccedilatildeo somativa Este tipo de avaliaccedilatildeo eacute realizada apoacutes a conclusatildeo de um grupo de actividades ou da intervenccedilatildeo para avaliar a qualidade da intervenccedilatildeo e os seus principais resultados A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo a avaliaccedilatildeo do impacto a anaacutelise de custo-benefiacutecio e custo-eficaacutecia e a investigaccedilatildeo operacional
A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo que avalia em que medida uma equipa unidade ou organizaccedilatildeo inteira atingiram seus resultados esperados A avaliaccedilatildeo dos resultados eacute usada para demonstrar que existe uma cultura de prestaccedilatildeo de contas para aperfeiccediloar o projecto de actividades organizacionais para melhorar a distribuiccedilatildeo dos recursos e para promover intervenccedilotildees futuras bem-sucedidas As principais perguntas satildeo Que modificaccedilotildees ocorreram na vida das pessoas das famiacutelias ou da comunidade como resultado do nosso trabalho Que diferenccedila fizemos
Como observamos anteriormente neste capiacutetulo os resultados a meacutedio e longo prazo satildeo geralmente mudanccedilas mensuraacuteveis eou observaacuteveis em duas dimensotildees A primeira dimensatildeo abrange a conscientizaccedilatildeo o conhecimento as atitudes os valores e as habilidades dos participantes de um programa ou dos beneficiaacuterios dos serviccedilos durante ou depois de seu envolvimento na intervenccedilatildeo A segunda dimensatildeo implica mudanccedilas no comportamento desses mesmos grupos
Idealmente as duas dimensotildees deveriam ser medidas em trecircs pontos no comeccedilo e no final do periacuteodo de implementaccedilatildeo e se possiacutevel apoacutes um periacuteodo de acompanhamento adequado Se a mediccedilatildeo do acompanhamento natildeo for viaacutevel pelo menos devem ser comparadas as mediccedilotildees de base e poacutes-intervenccedilatildeo Muitas vezes as mudanccedilas podem ser pequenas mas deve haver alguma melhoria em pelo menos um ou dois resultados para que a intervenccedilatildeo seja considerada um sucesso
A avaliaccedilatildeo dos resultados tenta distinguir entre a influecircncia da intervenccedilatildeo nessas mudanccedilas e a influecircncia de outros factores externos Mas geralmente os avaliadores teratildeo que optar pela atribuiccedilatildeo parcial de um resultado a uma intervenccedilatildeo ou serviccedilo especiacutefico devido agrave dificuldade em determinar uma relaccedilatildeo directa e causal entre o serviccedilo prestado e uma determinada mudanccedila
As avaliaccedilotildees de resultados utilizam geralmente um desenho natildeo experimental (geralmente denominado ldquopreacute e poacutes-avaliaccedilatildeordquo) que simplesmente mede as mudanccedilas antes e depois de uma intervenccedilatildeo ou seja diferente do desenho experimental (que compara os participantes com um grupo de controlo com designaccedilatildeo aleatoacuteria a ambos os grupos) ou do desenho semi-experimental (que compara os participantes com um grupo de controlo mas sem a designaccedilatildeo aleatoacuteria)
O desenho natildeo experimental eacute aceitaacutevel para as mediccedilotildees e relatoacuterios padratildeo dos resultados a meacutedio e longo prazo As ONGs raramente usam os desenhos experimentais Apesar de uma organizaccedilatildeo de grande porte e com muitos recursos poder ocasionalmente receber assistecircncia de especialistas para um desenho experimental a maioria delas acha que as consideraccedilotildees eacuteticas e logiacutesticas impedem a designaccedilatildeo aleatoacuteria dos participantes aos grupos de intervenccedilatildeo e de controlo Aleacutem disso o custo de recolher dados de um grupo de controlo seraacute provavelmente muito elevado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 932
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A avaliaccedilatildeo do impacto eacute outro componente da avaliaccedilatildeo somativa Eacute mais ampla do que a avaliaccedilatildeo de resultados e avalia os efeitos liacutequidos ou gerais ndash tanto intencionais como natildeo intencionais ndash de todo um programa grupo de programas ou grupo de organizaccedilotildees As avaliaccedilotildees de impacto geralmente se estendem por um periacuteodo de 3 a 5 anos
OUTROS TIPOS DE AVALIACcedilOtildeES
Anaacutelise de custo-benefiacutecio e custo-eficaacutecia Estes tipos de anaacutelise tratam da eficiecircncia da intervenccedilatildeo ao analisar os resultados em termos dos seus custos financeiros e do seu valor
Investigaccedilatildeo operacional Trata-se de um balanccedilo ou avaliaccedilatildeo de uma intervenccedilatildeo especiacutefica no contexto de um programa mais amplo que estaacute a fazer vaacuterias intervenccedilotildees A investigaccedilatildeo operacional eacute usada para testar e avaliar novas abordagens de prestaccedilatildeo de serviccedilos de sauacutede Eacute tambeacutem usada para identificar problemas na prestaccedilatildeo de serviccedilos e oferecer soluccedilotildees
A investigaccedilatildeo operacional eacute uma ferramenta poderosa que os gestores de programas e os tomadores de decisotildees podem usar para melhorar e expandir os serviccedilos Os estudos de investigaccedilatildeo operacional comparam intervenccedilotildees que estatildeo dentro da esfera de influecircncia do gestor Os exemplos incluem a avaliaccedilatildeo da eficaacutecia de uma nova estrateacutegia de prevenccedilatildeo de VIHSIDA um novo curso de formaccedilatildeo um novo conjunto de procedimentos para gerir medicamentos um novo meacutetodo contraceptivo ou um novo serviccedilo de sauacutede reprodutiva
O Toolkit de Investigaccedilatildeo Operacional do Programa Horizons sobre VIHSIDA do Population Council fornece informaccedilotildees detalhadas para criar um estudo de investigaccedilatildeo operacional
CONSIDERACcedilOtildeES PARA A FORMULACcedilAtildeO DE UMA AVALIACcedilAtildeO
O que avaliar para responder agrave pergunta ldquoE entatildeordquo Se quiser saber como gestor se as suas actividades tiveram realmente sucesso precisa preparar todas as intervenccedilotildees tendo em mente a avaliaccedilatildeo e incorporar a avaliaccedilatildeo ao seu planeamento organizacional geral Ao definir objectivos deve se perguntar Como saberemos se estamos a atingir esses objectivos Este eacute o ponto de partida para a avaliaccedilatildeo
Seja qual for o porte da sua intervenccedilatildeo ou serviccedilo e o alcance da avaliaccedilatildeo precisaraacute responder a trecircs perguntas durante a fase de desenho e planeamento
1 O que a sua intervenccedilatildeo ou serviccedilo conseguiraacute realizar a curto e longo prazo Se implementar um conjunto de actividades com sucesso ao longo do tempo o que seraacute diferente
2 Como conceptualiza as suas actividades ndash qual eacute a loacutegica subjacente Duas abordagens para identificar a loacutegica do programa satildeo discutidas neste capiacutetulo na secccedilatildeo intitulada Ferramentas e Abordagens Praacuteticas para MampA
3 Que indicadores pode usar para identificar o progresso no alcance dos resultados
Para responder agrave pergunta ldquoE entatildeordquo vocecirc precisa avaliar os factores sobre os quais tem um niacutevel razoaacutevel de controlo Por exemplo um novo serviccedilo criado para oferecer alojamento a pessoas que vivem com SIDA natildeo pode controlar ou afectar a expectativa de vida das pessoas agraves quais atende Mas ao fornecer um ambiente estaacutevel para elas viverem o serviccedilo pode diminuir o niacutevel de stresse e melhorar a qualidade de vida dessas pessoas que antes eram forccediladas a se mudar com frequecircncia
Depois de tratar da pergunta ldquoE entatildeordquo deve tambeacutem se certificar de que a avaliaccedilatildeo seja concebida de forma que quando o processo estiver concluiacutedo vocecirc possa abordar os cinco toacutepicos principais da avaliaccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 933
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
1 Relevacircncia Foi uma boa ideia fazer a intervenccedilatildeo considerando-se a situaccedilatildeo e a necessidade de melhorias Ela tratou das prioridades do grupo alvo ou beneficiaacuterio Por que sim ou por que natildeo
2 Eficaacutecia Os resultados produtos e actividades foram realizados Por que sim ou por que natildeo A loacutegica da intervenccedilatildeo eacute correcta
3 Eficiecircncia Os insumos (recursos e tempo) foram usados da melhor forma possiacutevel para atingir os resultados a meacutedio e longo prazo Por que sim ou por que natildeo O que vocecirc e sua equipa poderiam fazer de modo diferente no futuro para maximizar os resultados a um custo aceitaacutevel
4 Impacto Em que medida a sua intervenccedilatildeo contribuiu para as metas nacionais ou de longo prazo Que consequecircncias natildeo intencionais (positivas ou negativas) suas actividades tiveram Por que essas consequecircncias aconteceram
5 Sustentabilidade Eacute provaacutevel que os resultados positivos continuem depois que sua intervenccedilatildeo terminar Por que sim ou por que natildeo
Uma uacuteltima advertecircncia assim como a monitoria pode-se complicar demasiado a avaliaccedilatildeo Ao preparar um plano de avaliaccedilatildeo o melhor eacute seleccionar um grupo pequeno de indicadores e resistir agrave tentaccedilatildeo de avaliar todos os aspectos da sua intervenccedilatildeo
Assim como a monitoria a avaliaccedilatildeo soacute eacute uacutetil se as informaccedilotildees forem repassadas em tempo haacutebil para o gestor e outros tomadores de decisotildees e grupos de interesse Um problema comum com as avaliaccedilotildees intercalares eacute que os resultados geralmente soacute satildeo informados de 6 a 8 meses mais tarde o que deixa apenas 1 ou 2 anos para fazer mudanccedilas mais permanentes antes que se esgotem os fundos do governo ou da agecircncia doadora
COMO SELECCIONAR SUAS FONTES DE DADOS
Esta secccedilatildeo descreve trecircs tipos de fontes de dados que satildeo comummente usadas para uma avaliaccedilatildeo dados recolhidos rotineiramente inqueacuteritos de grande escala e teacutecnicas de avaliaccedilatildeo raacutepida inclusive a avaliaccedilatildeo participativa
Dados de rotina Os dados recolhidos e analisados rotineiramente por um SIS satildeo denominados ldquoestatiacutesticas de serviccedilordquo Pode-se utilizar vaacuterios sistemas de informaccedilatildeo de serviccedilos de rotina para monitorar os serviccedilos Alguns deles satildeo o sistema baacutesico de registo e relatoacuterio de SIS os sistemas especiais de relatoacuterios sobre programas (por ex tuberculose malaacuteria imunizaccedilatildeo VIH planeamento familiar etc) os sistemas de relatoacuterios sobre agentes comunitaacuterios especiais (por ex registos de agentes comunitaacuterios de sauacutede) o sistema de informaccedilotildees para a vigilacircncia de doenccedilas e o controlo notificaccedilatildeo e resposta a surtos e os relatoacuterios para os sistemas de suporte especiais (por ex medicamentos encaminhamentos e gestatildeo financeira e de recursos humanos)
Esses sistemas fornecem dados que estatildeo imediatamente disponiacuteveis e cujo objectivo eacute informar o que estaacute a acontecer no sector de sauacutede Os dados de rotina incluem por exemplo o nuacutemero de consultas de preacute-natal em uma cliacutenica o nuacutemero e tipo de vacinaccedilotildees fornecidas no local ou o nuacutemero e tipos de contraceptivos fornecidos mensalmente
Os dados sobre os serviccedilos satildeo geralmente recolhidos pelos centros de sauacutede ou postos de sauacutede e enviados para o proacuteximo niacutevel superior do sistema (geralmente o distrito) para serem agregados Esses dados podem entatildeo ser enviados ao proacuteximo niacutevel superior (regional ou provincial) para posterior agregaccedilatildeo antes que cheguem finalmente ao niacutevel central do Ministeacuterio da Sauacutede
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 934
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Idealmente os gestores de centros de sauacutede e ao niacutevel do distrito usam esses dados para orientar as operaccedilotildees diaacuterias acompanhar o desempenho e a prestaccedilatildeo de contas e tomar decisotildees que continuem a melhorar o desempenho Mas haacute vaacuterios obstaacuteculos a essa utilizaccedilatildeo
Muito frequentemente os dados de rotina satildeo imprecisos ou incompletos Apesar dos que utilizam o SIS tentarem produzir informaccedilotildees de alta qualidade e em tempo haacutebil haacute muitas oportunidades de introduzir erros Pode haver pouco apoio para que os gestores e seu pessoal se concentrem nos procedimentos correctos de recolha registo e agregaccedilatildeo dos dados
Os sistemas de sauacutede de vaacuterios paiacuteses enfatizam a importacircncia de apresentar relatoacuterios para os niacuteveis superiores mas natildeo estabeleceram procedimentos e incentivos para encorajar aqueles que fornecem informaccedilotildees a utilizaacute-las mesmo quando os dados satildeo de boa qualidade
Outra dificuldade eacute que as estatiacutesticas sobre serviccedilos fornecem informaccedilotildees apenas sobre os utentes que utilizam os serviccedilos de sauacutede Natildeo podem fornecer informaccedilotildees sobre as muitas pessoas que natildeo utilizam os serviccedilos
Por tudo isso natildeo se pode confiar apenas nas estatiacutesticas sobre serviccedilos para fazer uma avaliaccedilatildeo Elas satildeo melhor utilizadas para a monitoria de rotina dos problemas de sauacutede puacuteblica e dos serviccedilos essenciais relacionados
Inqueacuteritos em grande escala Os inqueacuteritos em grande escala satildeo outra fonte de informaccedilotildees imediatamente disponiacuteveis Incluem inqueacuteritos de base populacional tais como as Inqueacuterito Demograacutefico e de Sauacutede (IDS) dos EUA avaliaccedilotildees completas de centros de sauacutede como a Anaacutelise de Situaccedilatildeo do Population Council e os censos nacionais Em vaacuterios casos os gestores podem usar os dados de um inqueacuterito em grande escala existente para fornecer o contexto para a interpretaccedilatildeo dos dados capturados atraveacutes das suas proacuteprias avaliaccedilotildees
Por exemplo as IDS satildeo realizadas periodicamente para caracterizar a situaccedilatildeo de sauacutede em um paiacutes ou regiatildeo geograacutefica de grande extensatildeo para vaacuterios grupos populacionais homens mulheres crianccedilas bebeacutes e assim por diante Mas os dados das IDS natildeo podem normalmente ser desagregados para uso pelos gestores no niacutevel de distrito ou comunidade
Aleacutem disso como as IDS satildeo realizadas apenas a cada trecircs ou cinco anos as informaccedilotildees que fornecem podem natildeo estar suficientemente actualizadas para as necessidades de avaliaccedilatildeo dos gestores Apesar dessas dificuldades os dados das IDS satildeo uacuteteis para compreender tendecircncias regionais ou nacionais que podem ajudar a explicar dados recolhidos em uma avaliaccedilatildeo de foco especiacutefico
Avaliaccedilotildees raacutepidas Satildeo formas raacutepidas e econoacutemicas de obter informaccedilotildees para a tomada de decisotildees principalmente ao niacutevel da actividade Os exemplos incluem entrevistas quando os utentes saem de suas consultas as avaliaccedilotildees de pequena escala dos centros de sauacutede os inqueacuteritos raacutepidos por amostragem o exame analiacutetico de registos as entrevistas com grupos de enfoque e outros meacutetodos participativos
Poderaacute usar teacutecnicas de avaliaccedilatildeo raacutepida para complementar as informaccedilotildees obtidas com dados de rotina ou inqueacuteritos de grande escala As avaliaccedilotildees raacutepidas podem-lhe fornecer informaccedilotildees valiosas sobre sua aacuterea de captaccedilatildeo e sua aacuterea de responsabilidade mais ampla ndash ou seja as comunidades e as populaccedilotildees que deveriam ter acesso aos serviccedilos essenciais prestados por um centro de sauacutede determinado Elas podem tambeacutem fornecer contexto e uma compreensatildeo qualitativa dos dados quantitativos recolhidos pelos meacutetodos mais formais
Dentro da categoria de avaliaccedilotildees raacutepidas os meacutetodos participativos e os inqueacuteritos raacutepidos por amostragem merecem a sua atenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 935
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Meacutetodos participativos (tambeacutem chamados de aprendizagem e acccedilatildeo participativas) Essas teacutecnicas e meacutetodos visam incorporar o conhecimento e as opiniotildees dos membros da comunidade no planeamento e gestatildeo de projectos de desenvolvimento no esforccedilo para influenciar as poliacuteticas e na implementaccedilatildeo de programas Eles permitem incluir vozes da comunidade nas poliacuteticas no planeamento e nos inqueacuteritos e criam um senso de propriedade e participaccedilatildeo nos resultados de MampA e nas recomendaccedilotildees feitas pela organizaccedilatildeo e por seus beneficiaacuterios
Ao contraacuterio de outras teacutecnicas de avaliaccedilatildeo raacutepida os meacutetodos participativos natildeo se baseiam em amostragens Eles usam entrevistas individuais ou com informantes essenciais (inclusive entrevistas com utentes ao saiacuterem de suas consultas) entrevistas em grupo estudos de caso e outros meacutetodos qualitativos para identificar as condiccedilotildees locais e entender as perspectivas e prioridades locais
Em vaacuterios locais haacute membros da comunidade que natildeo podem ler nem escrever e por isso os meacutetodos participativos dependem frequentemente da comunicaccedilatildeo oral com apoio de imagens siacutembolos objectos fiacutesicos e memoacuteria colectiva
Os meacutetodos participativos podem ser usados antes durante e apoacutes a implementaccedilatildeo de uma intervenccedilatildeo ou um conjunto de actividades Eles fornecem informaccedilotildees para o projecto e a avaliaccedilatildeo e permitem a participaccedilatildeo activa das partes interessadas na tomada de decisotildees Durante a implementaccedilatildeo os meacutetodos participativos satildeo uacuteteis para identificar e solucionar problemas
Aproveite para examinar e utilizar uma lista de recursos online sobre inqueacuterito qualitativo e directrizes sobre discussotildees em grupos de enfoque no Community Tool Box da Universidade de Kansas
Inqueacuteritos raacutepidos por amostragem Estes inqueacuteritos podem ser utilizados para recolher informaccedilotildees padronizadas de uma amostra pequena e cuidadosamente seleccionada de pessoas ou domiciacutelios em uma aacuterea beneficiaacuteria Eles podem descrever as condiccedilotildees em uma comunidade particular ou grupo-alvo e permitem comparar grupos diferentes em um determinado momento ou mudanccedilas no mesmo grupo ao longo do tempo Permitem tambeacutem comparar condiccedilotildees actuais com os resultados planeados
Um dos inqueacuteritos mais comuns de pequena amostragem eacute o inqueacuterito CAP (Conhecimentos Atitudes e Praacuteticas) baseado em uma amostra de 30 agrupamentos
Amostragem para Garantia de Qualidade de Lotes (Lot Quality Sampling - LQAS) Essa eacute outra teacutecnica de avaliaccedilatildeo raacutepida que se usa cada vez mais na aacuterea de sauacutede puacuteblica A LQAS utiliza amostragens muito pequenas para obter informaccedilotildees confiaacuteveis em uma pequena aacuterea geograacutefica ou unidade administrativa Pode ser usada para detectar de forma precisa os extremos do desempenho ndash para determinar se uma intervenccedilatildeo foi mais aleacutem de um limiar superior de desempenho ou natildeo conseguiu atingir um limiar inferior de desempenho em termos de qualidade ou cobertura As amostras de lotes podem tambeacutem ser combinadas para fornecer estimativas de cobertura em uma aacuterea geograacutefica mais ampla
Uma busca na Web revelaraacute recursos uacuteteis aqui temos um sobre os inqueacuteritos CAP e outro sobre LQAS A aacuterea de MampA do website do CORE Group inclui ligaccedilotildees com ferramentas e recursos importantes para a avaliaccedilatildeo raacutepida criados pelo Grupo de Trabalho de MampA do CORE Group
Como gestor deve revisar todas as fontes de dados jaacute existentes antes de planear a sua avaliaccedilatildeo A Tabela 7 apresenta as vantagens e desvantagens das trecircs principais fontes de
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 936
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 7 Resumo das trecircs fontes de dados mais comuns para uma avaliaccedilatildeo
Fonte de dados Vantagens Limitaccedilotildees
Estatiacutesticas de serviccedilo Dados sobre a populaccedilatildeo de utentes e serviccedilos cliacutenicos que satildeo recolhidos rotineiramente nos registos dos utentes e nos registos cliacutenicos
Disponiacuteveis imediatamente
Cobrem todos os tipos de serviccedilos de sauacutede e todas as aacutereas do paiacutes
Podem ser desagregados para os niacuteveis local e de distrito
Uso econoacutemico
Soacute lhe informam sobre clientes actuais sem informaccedilotildees sobre as pessoas que natildeo usam os serviccedilos de sauacutede e podem ser utentes em potencial
Natildeo fornecem informaccedilotildees sobre valores percepccedilotildees ou comportamentos da comunidade
Natildeo reflectem as pessoas que optam por fontes privadas de serviccedilos
Podem ser inexactas se os locais de prestaccedilatildeo de serviccedilos natildeo registarem os dados correctamente de forma legiacutevel e em tempo haacutebil
Inqueacuteritos de grande escala Inqueacuteritos de base populacional e avaliaccedilotildees de grande escala dos centros de sauacutede
Dados relevantes precisos e confiaacuteveis
Podem medir as tendecircncias nacionais de sauacutede identificar aacutereas com problemas e ajudar a concentrar os recursos do paiacutes em aacutereas de maior carecircncia
Geram valores meacutedios para as aacutereas urbanas e rurais regiotildees e proviacutencias
Fornecem um contexto para interpretar os dados recolhidos localmente
Podem gerar informaccedilotildees adicionais a partir dos seus conjuntos de dados informatizados
Geralmente natildeo podem desagregar os dados para fornecer meacutedias para as aacutereas sub-regionais (distritos ou municipalidades)
Geralmente natildeo satildeo realizadas anualmente os dados se tornam desactualizados rapidamente se as populaccedilotildees ou condiccedilotildees de sauacutede se modificarem rapidamente
Avaliaccedilotildees raacutepidas Meacutetodos focados para avaliar as necessidades locais e tomar decisotildees em acircmbito local
Raacutepidas e econoacutemicas
Resultam em acccedilatildeo local
Haacute directrizes para ajudar os gestores em vaacuterias dessas teacutecnicas
Fornecem aos gestores a capacidade de recolher os dados necessaacuterios
Os inqueacuteritos domiciliares (por ex LQAS ou CAP) podem obter precisatildeo suficiente para fins de avaliaccedilatildeo
Equilibra a necessidade de resultados representativos e objectivos com a necessidade de usar projectos levemente menos rigorosos que satildeo mais viaacuteveis em aacutereas locais
Usam escala e acircmbito reduzidos para produzir resultados em tempo haacutebil e de baixo custo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 937
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
dados que foram discutidas acima estatiacutesticas rotineiras de serviccedilos inqueacuteritos em grande escala e teacutecnicas de avaliaccedilatildeo raacutepida
Que niacutevel de qualidade os dados do SIS precisam ter para serem uacuteteis ndash que niacutevel de abrangecircncia precisatildeo e apresentaccedilatildeo em tempo haacutebil Para as suas necessidades de gestatildeo mesmo que natildeo sejam perfeitos os dados podem ser suficientemente bons para ter um efeito poderoso como nos mostra o exemplo de Madagascar
Dados do SIS pontos fortes e limitaccedilotildees
Subestimar o valor e a utilidade do SIS eacute infelizmente uma tendecircncia Eacute verdade que o SIS tem problemas frequentemente mas tambeacutem eacute grande o seu potencial Como vimos em
Como usar e melhorar dados imperfeitos do SIS ndash Um exemplo de Madagascar
Um SIS de base comunitaacuteria mais preciso e mais oportuno Um projecto de Madagascar implementou um meacutetodo baseado na comunidade para aumentar o uso de meacutetodos de planeamento familiar denominado ldquoComunidades Campeatildesrdquo em 50 dos 110 distritos do paiacutes O meacutetodo utilizou exclusivamente os dados do SIS para monitorar e avaliar as realizaccedilotildees das comunidades participantes
Em primeiro lugar foi estabelecida uma base de referecircncia para cada comunidade ao usar os dados do seu centro de sauacutede Em seguida o pessoal do centro de sauacutede e os representantes da comunidade identificaram metas para 10 indicadores que determinariam se uma comunidade tinha alcanccedilado a posiccedilatildeo de campeatilde apoacutes 12 meses de implementaccedilatildeo Cada comunidade monitorava seu proacuteprio progresso em uma reuniatildeo trimestral de verificaccedilatildeo
Apoacutes 12 meses o pessoal do projecto voltou a cada comunidade para avaliar os resultados Examinaram os dados do relatoacuterio de monitoria de rotina de cada centro de sauacutede e para cada indicador Prepararam tambeacutem um relatoacuterio sobre os dados de cada comunidade e o enviaram para o supervisor de niacutevel distrital para a sua confirmaccedilatildeo com base nos registos informatizados do distrito As fontes de dados para os relatoacuterios do centro de sauacutede e registos de distrito foram as mesmas (registos dos centros de sauacutede) e por isso raramente ocorreu uma discrepacircncia Mas o que interessava era envolver o supervisor distrital no exame dos dados do centro de sauacutede para mostrar a utilidade de se usar ateacute mesmo dados simples nesse niacutevel
O projecto tambeacutem cooperou com o Ministeacuterio da Sauacutede a niacutevel distrital para melhorar a precisatildeo a abrangecircncia e a prontidatildeo do SIS A ecircnfase era obter dados mais completos dos centros de sauacutede e reduzir o tempo gasto pelo escritoacuterio distrital para receber o relatoacuterio do centro de sauacutede apreciaacute-lo devolvecirc-lo ao centro para qualquer correcccedilatildeo recebecirc-lo novamente dar entrada dos dados no sistema e finalmente enviaacute-los ao niacutevel central Os distritos satildeo responsaacuteveis por cooperar com os centros de sauacutede para melhorar o registo de dados e actualizar suas proacuteprias teacutecnicas de processamento de dados
Apoacutes dois anos de assistecircncia teacutecnica o SIS tinha realmente melhorado segundo os indicadores de precisatildeo abrangecircncia e prontidatildeo As melhorias mais notaacuteveis foram em prontidatildeo o tempo gasto pelo escritoacuterio distrital no processo descrito acima reduziu-se de 12 para 3 meses
Imperfeitas mais mesmo assim valiosos Deve-se lembrar que o projecto ldquoComunidades Campeatildesrdquo teve oacuteptimo resultado apesar dos dados imperfeitos Seu numerador (o nuacutemero de utentes regulares de planeamento familiar) era detalhado e preciso Mas suas estimativas das taxas de prevalecircncia do uso de contraceptivos natildeo eram muito precisas porque o denominador (nuacutemero de mulheres em idade reprodutiva) era apenas uma estimativa baseada num censo desactualizado e em estimativas anuais do governo sobre percentagens de crescimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 938
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Madagascar o projecto Comunidades Campeatildes melhorou o sistema substancialmente num periacuteodo de dois anos Nesse caso o sistema jaacute se encontrava relativamente funcional porque projectos anteriores haviam feito um grande esforccedilo para implantar o sistema e tornaacute-lo mais soacutelido Ao aprimorar a forma como o sistema era administrado e os dados eram usados o projecto posterior conseguiu fazer uma grande diferenccedila por meio de pequenas modificaccedilotildees
Os dados do SIS natildeo satildeo 100 exactos e nunca seratildeo Esta eacute a realidade com a qual todos os gestores tecircm que trabalhar Mas os dados natildeo precisam ser perfeitos para serem uacuteteis Eacute possiacutevel fazer a monitoria e a gestatildeo com dados imperfeitos Informaccedilotildees obtidas em tempo
(continuaccedilatildeo)
No entanto o projecto constatou que as taxas de prevalecircncia de uso de contraceptivos eram suficientemente boas para acompanhar o desempenho das comunidades que participavam do meacutetodo de Comunidades Campeatildes O pessoal do projecto tambeacutem complementou as comparaccedilotildees dessas taxas com as comparaccedilotildees dos valores do numerador nuacutemeros simples que faziam sentido para o pessoal do centro de sauacutede e tambeacutem para as comunidades
O niacutevel central comeccedilou a organizar workshops regionais trimestrais para divulgar os resultados ao niacutevel distrital Juntos os gestores dos niacuteveis distritais regionais e centrais analisaram o progresso e classificaram os distritos com base no seu desempenho Usaram a anaacutelise de causa-raiz ndash um processo que identifica as causas subjacentes de um problema ndash para entender os obstaacuteculos enfrentados pelos distritos que apresentavam baixo desempenho (Consulte o Apecircndice A no Capiacutetulo 2 deste guia para obter mais informaccedilotildees sobre a anaacutelise de causa-raiz) Finalmente o Ministeacuterio de Sauacutede mobilizou o apoio de agecircncias doadoras e de organizaccedilotildees parceiras para ajudaacute-los a melhorar
O ministeacuterio comeccedilou a usar as informaccedilotildees de sauacutede para administrar realmente o sistema de sauacutede Antes dessa intervenccedilatildeo poucas organizaccedilotildees confiavam ou utilizavam os dados do SIS Mas quando ficou claro que o sistema funcionava as agecircncias doadoras passaram a confiar as organizaccedilotildees parceiras passaram a utilizaacute-lo e o ministeacuterio se orgulhou do trabalho Pela primeira vez tinham uma visatildeo mais niacutetida do que acontecia em todo o paiacutes e podiam usar essas informaccedilotildees para buscar o apoio de agecircncias doadoras se necessaacuterio
Do mesmo modo os centros de sauacutede raramente usavam seus proacuteprios dados Eles simplesmente faziam os registos e os enviavam para o escritoacuterio distrital sem nem mesmo receber retroinformaccedilatildeo do mesmo Apoacutes a conclusatildeo do projecto perceberam como os dados mais precisos podiam ser usados em seu benefiacutecio e das comunidades
Os distritos tambeacutem actuavam antes de uma forma pouco informada Cada distrito dependia apenas dos seus proacuteprios dados e funcionava num vaacutecuo As mudanccedilas no SIS e o encorajamento do governo central forneceram aos distritos oportunidades para comparar seu trabalho e aprender uns com os outros
Aprendizagem com dados mais precisos completos e oportunos Os dados satildeo geralmente utilizados para fazer comparaccedilotildees mas satildeo menos frequentemente utilizados como ferramenta de aprendizagem Nesse caso depois que os relatoacuterios comeccedilaram a chegar dentro do prazo o Ministeacuterio da Sauacutede usou os dados ndash inclusive dados imperfeitos ndash para descobrir que distritos tinham um desempenho ruim e que distritos estavam melhor que os outros Assim aprenderam com os de melhor desempenho ao perguntar Por que seus resultados satildeo tatildeo bons O que estavam a fazer de diferente O que poderia ser replicado Finalmente aplicaram a aprendizagem ao usar esses distritos como modelos e ao oferecer mais apoio aos de pior desempenho
Todo o sistema de sauacutede se entusiasmou com as informaccedilotildees que podiam produzir e usar A comeccedilar do topo esse entusiasmo chegou aos niacuteveis inferiores e os motivou a melhorar sua recolha e processamento de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 939
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
haacutebil e com 75 de precisatildeo satildeo melhores que as informaccedilotildees com 95 de precisatildeo que chegam com vaacuterios meses de atraso
Apesar do seu grande valor por si soacutes os dados do SIS natildeo atenderatildeo a todas as necessidades de informaccedilatildeo de muitas organizaccedilotildees Algumas organizaccedilotildees e agecircncias doadoras precisam de dados que exigem avaliaccedilotildees ou sistemas especiais Aleacutem disso vaacuterias intervenccedilotildees foram projectadas para modificar o conhecimento as atitudes e as praacuteticas dos beneficiaacuterios factores que natildeo satildeo capturados nos dados de serviccedilo Eacute importante usar os dados do SIS sempre que possiacutevel e complementaacute-los com avaliaccedilotildees locais quando necessaacuterio
Como gestor de um programa de sauacutede ou de serviccedilos de sauacutede parte do seu trabalho deveria ser o de melhorar o SIS em seu paiacutes Ele eacute o uacutenico sistema de informaccedilotildees sustentaacutevel na maioria dos paiacuteses Os sistemas de informaccedilatildeo criados e mantidos por agecircncias doadoras ou organizaccedilotildees externas tecircm duraccedilatildeo limitada mas o SIS eacute parte permanente do seu legado
Se todos os parceiros e agecircncias doadoras trabalharem com o Ministeacuterio de Sauacutede para prestar assistecircncia teacutecnica e financeira ao SIS ele poderaacute render informaccedilotildees que trazem grandes melhorias para os serviccedilos de sauacutede e que justificam plenamente o investimento no mesmo
Praacuteticas comprovadas
Um sistema de MampA deveria proporcionar aos gestores o que eles precisam saber para agir Deve se basear em indicadores relevantes faacuteceis de usar e que possam ser fornecidos em tempo haacutebil para os ciclos de planeamento e apresentaccedilatildeo de relatoacuterios
Os resultados de MampA natildeo se destinam apenas ao pessoal de MampA da sua organizaccedilatildeo ou agrave agecircncia doadora As informaccedilotildees de MampA satildeo um recurso fundamental para as acccedilotildees e a aprendizagem Se o seu processo de MampA tiver mecanismos de retroinformaccedilatildeo que permitam aos tomadores de decisotildees reflectirem sobre os resultados e absorverem o que precisam para seus proacuteprios fins eles assumiratildeo o controlo do processo e utilizaratildeo o que ele oferecer
Se vocecirc define suas actividades de MampA no comeccedilo de uma intervenccedilatildeo ou projecto junto com o plano de acccedilatildeo para o projecto teraacute mais oportunidades de orientar e acompanhar a implementaccedilatildeo das actividades
Quando satildeo demasiado elaborados e complicados os planos de MampA natildeo satildeo usados Elabore um plano de MampA simples escolha ferramentas de monitoria faacuteceis de usar e seleccione a menor quantidade possiacutevel de indicadores para acompanhar o progresso e introduzir as mudanccedilas necessaacuterias ao longo do caminho
Para fortalecer um SIS eacute preciso trabalhar com as pessoas envolvidas os responsaacuteveis pelo sistema que registam transferem analisam comunicam e utilizam os dados e as informaccedilotildees para a gestatildeo dos serviccedilos
Ao fornecer os dados do SIS para os tomadores de decisotildees vocecirc deve reconhecer as diferenccedilas na frequecircncia dos relatoacuterios e nas quantidades de dados agregados e desagregados necessaacuterios aos niacuteveis diferentes de governo ou agraves organizaccedilotildees natildeo governamentais
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 99
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria como um caminho para a acccedilatildeo
A IMPORTAcircNCIA DA MONITORIA DE ROTINA
Por que soacute a avaliaccedilatildeo natildeo basta Na comunidade envolvida com o desenvolvimento algumas organizaccedilotildees tendem a confiar mais nos estudos de avaliaccedilatildeo do que numa soacutelida monitoria dos programas Muitas pretendem executar tanto a monitoria quanto a avaliaccedilatildeo mas na praacutetica geralmente dedicam mais tempo e recursos agrave avaliaccedilatildeo
As agecircncias doadoras os governos e as organizaccedilotildees podem preferir as avaliaccedilotildees porque elas fornecem evidecircncias mais palpaacuteveis de progresso tais como a prevalecircncia do uso de contraceptivos (uma medida tiacutepica de resultado a meacutedio e longo prazo para planeamento familiarsauacutede reprodutiva) medida por meio de um inqueacuterito anual domiciliar
A monitoria natildeo pode produzir o indicador de resultado a meacutedio e longo prazo ndash a evidecircncia palpaacutevel de que esses contraceptivos estatildeo efectivamente a ser utilizados Ela pode apenas fornecer um indicador de progresso ou um marco de referecircncia ndash tal como a distribuiccedilatildeo mensal de contraceptivos ndash que lhe permite acompanhar o progresso em direcccedilatildeo agraves metas operacionais Vocecirc pode monitorar a distribuiccedilatildeo de produtos mas natildeo pode concluir que os produtos estejam a ser efectivamente utilizados
Mas para um gestor como vocecirc os dados sobre distribuiccedilatildeo satildeo exactamente o tipo de informaccedilatildeo de que precisa para demonstrar o progresso no alcance da meta e para fazer seu trabalho de forma eficaz
Veja por exemplo uma intervenccedilatildeo para a mudanccedila de comportamento no Peru a qual estaacute descrita e analisada no quadro abaixo
No contexto de serviccedilos de sauacutede do governo os gestores de distrito e de centros de sauacutede precisam monitorar tanto os indicadores de resultados a meacutedio e longo prazo como os indicadores de cobertura Os indicadores de cobertura informam ao gestor de sauacutede se os serviccedilos essenciais estatildeo a ser fornecidos a grupos-alvo especiacuteficos e permitem assim agir rapidamente para resolver falhas na prestaccedilatildeo de serviccedilos a subgrupos ou comunidades carentes
Um bom sistema de monitoria lhe fornece as informaccedilotildees criacuteticas para gerir a intervenccedilatildeo e tomar medidas correctivas imediatamente Uma avaliaccedilatildeo natildeo lhe daacute esse tipo de informaccedilatildeo Portanto quando se vecirc um bom sistema de monitoria eacute geralmente porque um gestor estaacute a impulsionaacute-lo porque precisa de informaccedilotildees de monitoria fornecidas pelo sistema de MampA para que o dito gestor possa comeccedilar a agir
COMO PRODUZIR INFORMACcedilOtildeES ACCIONAacuteVEIS
As informaccedilotildees accionaacuteveis satildeo dados que vocecirc pode usar para tomar uma decisatildeo e empreender uma acccedilatildeo Elas ajudam a identificar falhas de desempenho e encontrar maneiras de resolver essas falhas Para serem accionaacuteveis as informaccedilotildees obtidas com a monitoria devem se basear em indicadores uacuteteis produzidos em formato simples e em tempo haacutebil para o ciclo de planeamento ou apresentaccedilatildeo de relatoacuterios
ldquoAccionaacutevelrdquo significa coisas diferentes para diferentes utentes As informaccedilotildees de que o gestor precisa natildeo satildeo iguais agraves informaccedilotildees de que o director executivo de uma organizaccedilatildeo ou o ministeacuterio de sauacutede utilizariam para apresentar relatoacuterios para agecircncias doadoras poliacuteticos ou para a miacutedia
Como produzir informaccedilotildees accionaacuteveis para o gestor
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 910
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Em primeiro lugar os indicadores devem ser uacuteteis para o gestor Eles devem estar directamente relacionados com o plano operacional da organizaccedilatildeo (ou o plano de intervenccedilatildeo) e os resultados esperados Algumas organizaccedilotildees tecircm a tendecircncia de focalizar a monitoria do processo entre os inqueacuteritos sobre conhecimentos atitudes e praacuteticas (CAP) Isso significa que monitoram os processos tais como a formaccedilatildeo Quem recebeu formaccedilatildeo Em que toacutepicos Quando Isto eacute importante mas natildeo o suficiente A monitoria do processo natildeo monitora o progresso para atingir os resultados simplesmente acompanha a conclusatildeo das actividades
Aleacutem da monitoria do processo os gestores tambeacutem precisam monitorar os indicadores substitutos que indicam o maacuteximo que vocecirc se aproximaraacute dos resultados reais durante a implementaccedilatildeo de um conjunto de actividades quando os resultados natildeo forem ainda facilmente mensuraacuteveis Os indicadores substitutos satildeo medidas indirectas que se aproximam de um alvo ou resultado ou representam esse alvo ou resultado quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis
Por exemplo no caso da prestaccedilatildeo de serviccedilos de planeamento familiar como determinados contraceptivos satildeo distribuiacutedos atraveacutes do centro de sauacutede os dados de monitoria deveriam vir do centro de sauacutede Apesar de natildeo se poder concluir que o resultado-alvo tenha sido atingido ndash que os produtos estejam efectivamente a ser utilizados pela populaccedilatildeo beneficiaacuteria ndash as informaccedilotildees sobre distribuiccedilatildeo fornecem pistas sobre a possibilidade de sucesso das actividades A maioria dos dados para monitorar os indicadores substitutos pode ser obtida a partir do SIS
As informaccedilotildees accionaacuteveis devem ser fornecidas em um formato utilizaacutevel Os gestores frequentemente recebem um excesso de informaccedilotildees em um formato muito complicado Eacute
Em acccedilatildeo o monitoramento para melhor gestatildeo de programas ndash Um exemplo do Peru
Uma organizaccedilatildeo de planeamento familiar local no Peru fez uma campanha de comunicaccedilatildeo para aumentar a prevalecircncia do uso de contraceptivos na aacuterea de captaccedilatildeo da organizaccedilatildeo Criaram os materiais e deram formaccedilatildeo aos trabalhadores de sauacutede comunitaacuterios para educar as mulheres nas suas aldeias A organizaccedilatildeo pretendia realizar apenas um inqueacuterito para obter dados baacutesicos preliminares para depois realizar inqueacuteritos sobre conhecimentos atitudes e praacuteticas (CAP) Esses eram os passos iniciais necessaacuterios e os meacutetodos adequados para avaliar a eficaacutecia da campanha mas a questatildeo eacute se forneceriam dados suficientes e accionaacuteveis para atender agraves necessidades do gestor Natildeo porque os resultados viriam apoacutes a campanha ser concluiacuteda O gestor precisava de informaccedilotildees para tomar medidas correctivas enquanto a campanha de comunicaccedilatildeo estava em andamento
Coloque-se no lugar do gestor nesse cenaacuterio O que precisaria monitorar Poderia comeccedilar com a distribuiccedilatildeo mensal de contraceptivos durante a campanha de comunicaccedilatildeo usando dados faacuteceis de obter do depoacutesito de suprimentos O movimento do stock dos produtos contraceptivos na cadeia de suprimentos indicaria que a campanha estava a criar uma demanda ao passo que nenhum movimento poderia indicar que a campanha ou o sistema de fornecimento natildeo estava a funcionar adequadamente Notam-se picos de distribuiccedilatildeo durante a campanha O movimento de contraceptivos eacute maior durante a campanha do que era antes
Se natildeo notar mudanccedilas apoacutes dois ou trecircs meses saberaacute que algo precisa ser modificado na campanha de comunicaccedilatildeo ou na cadeia de suprimentos ou em ambas Teraacute que fazer visitas ao local para descobrir os motivos O problema eacute a falta de stock Natildeo houve mudanccedila na distribuiccedilatildeo porque natildeo haacute produtos disponiacuteveis Ou natildeo houve mudanccedila porque a estaccedilatildeo de raacutedio natildeo transmitiu o anuacutencio informativo Ou talvez os agentes de distribuiccedilatildeo da comunidade nunca receberam os papeacuteis gigantes e os modelos de que precisavam para educar as mulheres nas suas comunidades
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 911
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
preciso ter uma ferramenta simples que lhe forneccedila apenas informaccedilotildees essenciais Poderaacute aprender mais sobre essas ferramentas na secccedilatildeo deste capiacutetulo intitulada ldquoCaracteriacutesticas de uma boa ferramenta de monitoriardquo
Por uacuteltimo os gestores precisam receber informaccedilotildees em tempo haacutebil para que possam agir imediatamente Os projectos implementados pelas organizaccedilotildees com fundos do governo ou de uma agecircncia doadora satildeo frequentemente conduzidos em dois periacuteodos de tempo
Por exemplo vocecirc poderaacute gerir um projecto que se estende por cinco anos desmembrado em ciclos anuais de apresentaccedilatildeo de relatoacuterios com base em planos de operaccedilatildeo anuais Mas para monitorar o plano anual e apresentar os relatoacuterios necessaacuterios vocecirc precisa de informaccedilotildees trimestrais Se os seus centros de sauacutede apresentarem os dados apoacutes o prazo estabelecido as informaccedilotildees natildeo chegaratildeo a tempo para os seus relatoacuterios
Informaccedilotildees em acccedilatildeo para melhorar os serviccedilos ndash experiecircncias da Boliacutevia e da Aacutefrica do Sul
Uso de informaccedilotildees para mobilizar a cadeia de suprimentos O programa de suplementaccedilatildeo de aacutecido foacutelico e ferro na Boliacutevia foi uma actividade de mobilizaccedilatildeo comunitaacuteria implementada por vaacuterias ONGs em aacutereas rurais do paiacutes
Surgiu um problema apoacutes apenas trecircs meses de implementaccedilatildeo Se a gestora tivesse confiado apenas na monitoria do processo teria visto que todas as actividades haviam sido executadas dentro do prazo e conforme planeadas Poreacutem os dados mensais dos centros de sauacutede das aacutereas de captaccedilatildeo atendidas pelo programa revelaram que em vaacuterias comunidades a distribuiccedilatildeo de ferro e aacutecido foacutelico para graacutevidas havia sido nula desde o primeiro mecircs de implementaccedilatildeo do programa
A gestora investigou imediatamente e descobriu que 16 centros de sauacutede estavam com faltas de stock Apesar de haver um protocolo escrito para a distribuiccedilatildeo de ferro e aacutecido foacutelico e de todos os centros de sauacutede possuiacuterem supostamente o produto nos seus stocks historicamente natildeo havia demanda para esse produto Os centros de sauacutede haviam decidido haacute muito tempo natildeo tecirc-lo mais em stock
A gestora levou o problema agrave atenccedilatildeo do vice-ministro de sauacutede e em poucos dias o Ministeacuterio da Sauacutede mobilizou toda a sua cadeia de suprimentos para garantir que havia um stock suficiente em toda a cadeia No final do ano a suplementaccedilatildeo de ferro e aacutecido foacutelico havia melhorado dramaticamente em todo o paiacutes Tudo isso aconteceu graccedilas a uma simples ferramenta de monitoria mensal que permitiu que a gestora tomasse medidas correctivas no iniacutecio da implementaccedilatildeo
Simplificaccedilatildeo da recolha de dados e estiacutemulo ao uso dos dados Sabe-se que se a recolha e o processamento dos dados forem muito complicados a qualidade e o uso dos mesmos tendem a diminuir Na Aacutefrica do Sul o pessoal de enfermagem dos centros de sauacutede eacute geralmente solicitado a executar duas funccedilotildees (1) cuidar dos utentes do sistema e (2) recolher e utilizar dados O problema eacute que esse pessoal se dedica principalmente a prestar cuidados e considera a recolha de dados uma sobrecarga de trabalho desnecessaacuteria aleacutem de suas actividades quotidianas
Um grupo de enfermeiras da Aacutefrica do Sul que reconheceu a importacircncia das informaccedilotildees para a prestaccedilatildeo dos serviccedilos decidiu tornar a recolha e uso de dados de rotina parte do seu trabalho diaacuterio Entenderam que era necessaacuterio reduzir a quantidade de dados necessaacuterios e simplificar o processo de recolha
Como resultado criaram uma lista itemizada ou lista de verificaccedilatildeo que lhes permitia ter ao final de cada dia um quadro raacutepido dos serviccedilos que haviam prestado No final do mecircs podiam tabular rapidamente e analisar os dados sobre seus serviccedilos Esse tipo de sumaacuterio diaacuterio e mensal das suas actividades foi extremamente satisfatoacuterio Ele motivou seu uso contiacutenuo para monitorar analisar e melhorar os serviccedilos
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 912
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Abordagens e ferramentas praacuteticas de MampA
QUADROS DE REFEREcircNCIA PARA A FORMULACcedilAtildeO MONITORIA E AVALIACcedilAtildeO DOS SERVICcedilOS DE SAUacuteDE
Os resultados de intervenccedilotildees programaacuteticas e nos serviccedilos de sauacutede podem ser medidos em niacuteveis variados Muitas directrizes de MampA se baseiam numa sequecircncia de cinco niacuteveis de resultados insumos actividades produtos resultados e impactos A Figura 4 resume os niacuteveis de resultados que podem ser monitorados e avaliados
Para compreender melhor a sequecircncia de resultados considere as definiccedilotildees abaixo
Insumos Os materiais e recursos necessaacuterios para executar o plano de implementaccedilatildeo da sua unidade ou equipa e obter o resultado esperado Os exemplos incluem os recursos financeiros teacutecnicos humanos suprimentos e produtos essenciais
Processo As actividades executadas por meio do seu plano de implementaccedilatildeo Os exemplos incluem a formaccedilatildeo dos profissionais de sauacutede a melhoria do sistema de gestatildeo de suprimentos e a distribuiccedilatildeo de meios de planeamento familiar
Produtos Eacute o resultado imediato de uma actividade Os exemplos incluem o nuacutemero de pessoas formadas o nuacutemero de novos utentes de contraceptivos e a quantidade de produtos distribuiacutedos
Resultados (a meacutedio e longo prazo) Eacute uma mudanccedila de curto prazo em um grupo da populaccedilatildeo como resultado de uma seacuterie de actividades Os exemplos incluem as mudanccedilas na cobertura do atendimento preacute-natal na proporccedilatildeo de partos seguros no conhecimento e atitudes sobre meacutetodos de planeamento familiar e sauacutede reprodutiva nas necessidades ainda natildeo atendidas de planeamento familiar e nas taxas de prevalecircncia do uso de contraceptivos
Impacto Mudanccedilas a longo prazo dentro de um grupo da populaccedilatildeo beneficiaacuteria Os exemplos incluem mudanccedilas na taxa total de fertilidade e nas taxas de mortalidade e morbidade maternas
Dois tipos de quadros de referecircncia satildeo comummente utilizados para planear e organizar a formulaccedilatildeo de uma intervenccedilatildeo ou serviccedilo e o seu plano de MampA quadros loacutegicos e quadros conceptuais
FIGURA 4 Niacuteveis da sequecircncia de resultados
InsumosProcessos
(actividades)Produtos Resultados Impacto
recursos humanos
recursos financeiros
equipa-mentos
centros de sauacutede
poliacuteticas
reuniotildees formaccedilatildeo supervisatildeo serviccedilos
nuacutemero de pessoal formado
nuacutemero de clientes
nuacutemero de produtos
melhor supervisatildeo
melhoria da cadeia de frio
mudanccedila no conheci-mento
mudanccedila no comporta-mento
mudanccedila nas praacuteticas
melhores serviccedilos
mudanccedila das taxas de doenccedila
mudanccedilas das taxas de oacutebitos
mudanccedila das taxas de nascimento
mudanccedilas das taxas de fertilidade
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 913
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
QUADROS LOacuteGICOS
Desde a elaboraccedilatildeo em 1969 de uma abordagem de quadro loacutegico para a USAID (Agecircncia dos EUA para o Desenvolvimento Internacional) os quadros loacutegicos (tambeacutem denominados Modelos Loacutegicos) foram adoptados depois de vaacuterias adaptaccedilotildees por vaacuterias organizaccedilotildees de desenvolvimento internacional e bilateral
A Figura 5 mostra os elementos de um Quadro Loacutegico
O Quadro Loacutegico ajuda os gestores e as equipas a responder a quatro perguntas principais
1 O que queremos realizar e por quecirc2 Como mediremos o sucesso 3 Que condiccedilotildees devem existir em cada fase da nossa intervenccedilatildeo4 Que recursos e processos seratildeo necessaacuterios para chegarmos laacute
Os Quadros Loacutegicos ajudam a identificar as conexotildees causais da sequecircncia de resultados insumos rarr processos (actividades) rarr produtos rarr resultados a meacutedio e longo prazo rarr impacto Essas conexotildees causais determinam a loacutegica da intervenccedilatildeo e orientam a selecccedilatildeo de indicadores para cada fase da sequecircncia de resultados
FIGURA 5 Elementos tiacutepicos de um quadro loacutegico
Objectivos IndicadoresFormas de verificaccedilatildeo Pressupostos
Meta O objectivo final ou impacto pretendido da intervenccedilatildeo
Medidas usadas para avaliar ateacute que ponto as metas foram atingidas
Meacutetodos e fontes de informaccedilatildeo para medir ou avaliar os indicadores de metas
Factores ou condiccedilotildees necessaacuterios para a sustentabilidade a longo prazo
PropoacutesitoResultado Mudanccedilas ou benefiacutecios esperados a serem conseguidos para utentes comunidades organizaccedilotildees ou sistemas
Medidas usadas para avaliar ateacute que ponto foi alcanccedilado o propoacutesito ou resultado
Meacutetodos e fontes de informaccedilatildeo para medir ou avaliar indicadores de propoacutesitoresultado
Factores ou condiccedilotildees necessaacuterios para o sucesso do programa nesse niacutevel e passagem para o seguinte niacutevel
Produtos Resultados directos e tangiacuteveis das actividades do programa que deveratildeo atingir o propoacutesito
Medidas usadas para avaliar ateacute que ponto os produtos foram apresentados
Meacutetodos e fontes de informaccedilatildeo para medir e avaliar os indicadores de produtos
Factores ou condiccedilotildees necessaacuterios para o sucesso do programa neste niacutevel e passagem para o seguinte niacutevel
ProcessosActividades Medidas tomadas por um programa para atingir os objectivos definidos
InsumosRecursos Pessoal tempo materiais e fundos necessaacuterios para executar as actividades
Meacutetodos e fontes de informaccedilatildeo utilizados para mostrar que as actividades foram concluiacutedas
Factores ou condiccedilotildees necessaacuterios para o sucesso do programa neste niacutevel e passagem para o seguinte niacutevel
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 914
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para entender como um Quadro Loacutegico explicita a loacutegica de uma intervenccedilatildeo examine novamente a Figura 5 Uma seacuterie de relacionamentos condicionais (ldquose entatildeordquo) conecta cada componente do Quadro Loacutegico
1 Se os recursos necessaacuterios estiverem disponiacuteveis e supondo-se que as condiccedilotildees sejam favoraacuteveis entatildeo as actividades do programa podem ser implementadas e
2 hellipse as actividades do programa forem implementadas com sucesso e supondo-se que existam condiccedilotildees favoraacuteveis especiacuteficas entatildeo os produtos e resultados esperados poderatildeo ser alcanccedilados e
3 hellipse os produtos e resultados esperados forem alcanccedilados e supondo-se que existam as condiccedilotildees favoraacuteveis especiacuteficas entatildeo a meta estrateacutegica poderaacute ser atingida
O Quadro Loacutegico pode ser uacutetil na conceptualizaccedilatildeo de um projecto durante o periacuteodo de planeamento e na avaliaccedilatildeo do progresso e aplicaccedilatildeo de medidas correctivas durante a implementaccedilatildeo Como qualquer outro quadro de referecircncia ele possui vantagens e desvantagens como mostra a Tabela 1
O Apecircndice A deste capiacutetulo fornece um exemplo de Quadro Loacutegico para um programa de visita domiciliar desenvolvido pelo Banco Interamericano de Desenvolvimento
QUADROS CONCEPTUAIS
Estes satildeo semelhantes aos Quadros Loacutegicos no sentido de que descrevem uma sequecircncia de resultados mas levam em consideraccedilatildeo as razotildees subjacentes de por que ocorrem as mudanccedilas ao longo da sequecircncia de resultados Enquanto os Quadros Loacutegicos simplesmente afirmam que as actividades traratildeo resultados ainda maiores os quadros conceptuais permitem mapear os factores que na sua opiniatildeo satildeo criacuteticos e explicam porque esses factores satildeo importantes para o sucesso
Este tipo de mapeamento ajuda a decidir que factores devem ser monitorados durante a implementaccedilatildeo das actividades Quando os dados mostram que esses elementos criacuteticos foram ou natildeo alcanccedilados pode-se compreender melhor por que uma intervenccedilatildeo teve ou natildeo sucesso e o que poderia ser modificado no futuro
Veja as vantagens e desvantagens dos quadros conceptuais na Tabela 2
TABELA 1 Visatildeo geral do quadro loacutegico
Vantagens Desvantagens
Melhora a qualidade dos planos de intervenccedilatildeo ao exigir a definiccedilatildeo de indicadores e objectivos claros e a anaacutelise de pressupostos e riscos
Quando usado regularmente durante uma intervenccedilatildeo eacute uma ferramenta de gestatildeo eficaz para orientar a implementaccedilatildeo e a MampA
Resume a elaboraccedilatildeo de planos complexos
Apoia a preparaccedilatildeo de planos de implementaccedilatildeo detalhados
Pressupotildee uma relaccedilatildeo linear entre insumos-produtos-resultados que natildeo leva em consideraccedilatildeo outros factores de influecircncia
Se usado rigidamente durante o processo de formulaccedilatildeo poderaacute restringir a criatividade e a inovaccedilatildeo
Se natildeo for actualizado durante a implementaccedilatildeo pode ser uma ferramenta estaacutetica que natildeo reflecte as condiccedilotildees em mudanccedila
Geralmente a formaccedilatildeo e o acompanhamento satildeo necessaacuterios para usar esse meacutetodo correctamente
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 915
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O modelo conhecido como Caminho de Mudanccedila (Pathway to Change) eacute um exemplo particularmente uacutetil de um quadro conceptual Esse modelo utiliza um formato de condicionalidade (ldquose entatildeordquo) para mostrar passo a passo como os resultados a meacutedio e longo prazo foram conceptualizados e como seratildeo alcanccedilados A Figura 6 eacute um exemplo de aplicaccedilatildeo do Caminho de Mudanccedila em um projecto de sauacutede de seis meses de duraccedilatildeo e acircmbito municipal na Nicaraacutegua
Caminho de Mudanccedila Tratamos deste modelo neste capiacutetulo devido agrave sua utilidade para os gestores e seus benefiacutecios como actividade de fortalecimento de uma equipa O estabelecimento de um Caminho de Mudanccedila eacute geralmente um processo participativo que permite que a sua equipa ou unidade e outros grupos de interesse formulem uma intervenccedilatildeo e determinem como ela vai funcionar O produto final eacute um mapa que mostra como uma acccedilatildeo estaacute relacionada com outras e como todas elas acrescentam algo ao resultado esperado Frequentemente o estabelecimento de um caminho expotildee as crenccedilas subjacentes que as pessoas de uma organizaccedilatildeo mantecircm sobre a forma em que suas acccedilotildees promovem mudanccedilas
A criaccedilatildeo de um Caminho de Mudanccedila tem vaacuterios benefiacutecios Em primeiro lugar exige que a sua equipa examine cada acccedilatildeo proposta e responda agraves seguintes perguntas
Todas as actividades contribuem para o resultado esperado Se a resposta for negativa algumas actividades deveriam ser modificadas acrescentadas ou eliminadas
As actividades satildeo sequenciais Elas estatildeo relacionadas de uma forma loacutegica Elas se somam umas agraves outras para formar um conjunto racional e coerente de acccedilotildees
Pensamos em todos os produtos e resultados necessaacuterios para atingir nosso resultado esperado
Temos os recursos necessaacuterios para implementar as actividades propostas Em quanto tempo atingiremos o resultado que desejamos Que outros factores podem contribuir ou entravar cada uma das actividades do
caminho
Em segundo lugar sua equipa deve tornar expliacutecita e chegar a um acordo sobre a loacutegica subjacente de um plano de intervenccedilatildeo Em outras palavras deve mostrar no papel como cada acccedilatildeo resultaraacute na mudanccedila desejada em cada niacutevel do mapa Por uacuteltimo o caminho define que resultados imediatos e resultados a meacutedio e longo prazo a equipa deve monitorar e que indicadores devem usar
TABELA 2 Visatildeo geral do quadro conceptual
Vantagens Desvantagens
Fornece um mapeamento visual e flexiacutevel de planos de intervenccedilatildeo complexos
Quando usado regularmente durante a implementaccedilatildeo permite uma retroinformaccedilatildeo antecipada do que estaacute ou natildeo a funcionar e por quecirc
Auxilia na identificaccedilatildeo de efeitos colaterais natildeo previstos
Ajuda a priorizar os problemas a serem investigados mais profundamente talvez ao usar meacutetodos mais focalizados de recolha de dados ou teacutecnicas mais sofisticadas de MampA
Pode se tornar extremamente complexo se a escala de actividades for muito grande ou se for reunida uma lista exaustiva de factores e pressupostos
Os grupos de interesse podem discordar sobre os factores determinantes que consideram ser os mais importantes
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 916
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Como se lecirc um mapa de Caminho de Mudanccedila O caminho pode ser lido como um fluxograma em que caixas e setas mostram a relaccedilatildeo entre as acccedilotildees e os efeitos como mostrado na Figura 6 O resultado esperado aparece no topo do caminho e os resultados imediatos que devem ser atingidos para se chegar laacute satildeo exibidos no proacuteximo niacutevel Os produtos que devem ser obtidos para conseguir os resultados a meacutedio e longo prazo aparecem no proacuteximo niacutevel inferior Finalmente as actividades aparecem no fundo ou base
Quando lido de baixo para cima o mapa mostra que actividades satildeo necessaacuterias para conseguir os produtos e que resultados a meacutedio e longo prazo satildeo necessaacuterios para se chegar ao topo Eacute preciso sempre poder traccedilar um caminho desde o comeccedilo de suas acccedilotildees ateacute o resultado esperado
Pode ser uacutetil imaginar o caminho como o organigrama de uma empresa vocecirc pode comeccedilar da base do organigrama como assistente administrativo passar a coordenador de escritoacuterio depois a uma funccedilatildeo de gestatildeo e finalmente ocupar o gabinete do director
A criaccedilatildeo de um Caminho de Mudanccedila Para desenvolver um Caminho da Mudanccedila sua equipa mapeia a mudanccedila de forma reversa Comeccedila no final do caminho (no topo da
FIGURA 6 Exemplo de um Caminho de Mudanccedila
Resultado 180 dos pacientes
estatildeo satisfeitos com os serviccedilos prestados no
centro de sauacutede
Resultado 260 das mulheres
entre 15 e 49 anos na aacuterea de captaccedilatildeo do centro de
sauacutede entendem a importacircncia do planeamento familiar
para o espaccedilamento dos nascimentos
Resultado 3Todos os meacutetodos
contraceptivos modernos estatildeo
disponiacuteveis no centro de sauacutede
Produto 1Os tempos de
espera no centro de sauacutede se
reduziram de 40 para 20 minutos
Produto 2Eacute oferecida
orientaccedilatildeo a todos os pacientes em
espaccedilo privado do centro de sauacutede
Produto 3Voluntaacuterias
realizam palestras semanais sobre temas
de sauacutede reprodutiva na comunidade
Produto 4Todos os stocks
de contraceptivos satildeo monitorados semanalmente
Actividade 1Realizar um
inqueacuterito sobre o uxo de
pacientes e cumprir
recomendaccedilotildees
Actividade 2Transformar um canto do
centro de sauacutede para a
orientaccedilatildeo dos pacientes
Actividade 3Mobilizar as
ONGs parceiras para imprimir panetos de informaccedilatildeo educaccedilatildeo e
comunicaccedilatildeo
Actividade 4Mobilizar as
ONGs parceiras para dar
formaccedilatildeo ou equipar as voluntaacuterias
Actividade 5Recrutar liacutederes
comunitaacuterios para prestar
apoio agraves palestras sobre
sauacutede reprodutiva
Actividade 6Desenvolver
um sistema de registo e
pedidos de suprimentos
contraceptivos
Resultado esperadoAumento na percentagem de utentes de planeamento familiar de 50 para 52
durante o periacuteodo de Junho a Dezembro de 2006
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 917
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
sequecircncia) e define a meta da organizaccedilatildeo a longo prazo ou o resultado esperado de uma intervenccedilatildeo Em seguida preenche o mapa ao trabalhar de cima para baixo onde identifica finalmente as actividades principais os primeiros elementos do seu plano de implementaccedilatildeo
Enquanto se desloca pelo caminho faccedila trecircs perguntas Que resultados precisam acontecer para contribuir agrave meta de longo prazo Que produtos precisam ser obtidos antes disso para alcanccedilar os resultados Que actividades precisam acontecer antes disso para conseguir os produtos
O desenho de uma intervenccedilatildeo dessa forma pode ajudar a revelar as condiccedilotildees necessaacuterias para atingir os resultados a meacutedio e longo prazo e a meta de longo prazo Talvez sejam necessaacuterias vaacuterias tentativas para criar um Caminho de Mudanccedila com o qual todos estejam de acordo Os resultados produtos e acccedilotildees podem ser acrescentados modificados e eliminados ateacute que eventualmente surja um mapa que conte a histoacuteria com a qual sua equipa pode concordar O debate eacute frequentemente a parte mais importante da experiecircncia porque a equipa junta define as expectativas pressupostos e caracteriacutesticas do processo de mudanccedila
Uso da sequecircncia ldquopara querdquo como forma de verificar as vias de um Caminho de Mudanccedila Uma boa forma de verificar a loacutegica do mapa do seu caminho eacute inverter o processo e criar uma sequecircncia de ldquopara querdquo para cada actividade O exemplo na Figura 7 mostra como fazer isso para a Actividade 5 da Figura 6 O movimento na sequecircncia ldquopara querdquo eacute o
FIGURA 7 Sequecircncia ldquopara querdquo para uma actividade de um Caminho de Mudanccedila
Dar formaccedilatildeo agraves voluntaacuterias da comunidade e equipaacute-las com os materiais de informaccedilatildeo educaccedilatildeo e comunicaccedilatildeo necessaacuterios
para que
As voluntaacuterias realizem sessotildees educativas sobre sauacutede sobre temas de planeamento familiar na aacuterea especiacutefica do centro de sauacutede
para que
As mulheres em idade reprodutiva na aacuterea especiacutefica se sintam agrave vontade para participar de sessotildees apresentadas pelas voluntaacuterias
para que
As mulheres participem das sessotildees e aprendam sobre a importacircncia do planeamento familiar para o espaccedilamento dos nascimentos
para que
Mais mulheres em idade reprodutiva busquem meacutetodos de planeamento familiar no centro de sauacutede e a percentagem de mulheres que recebem os meacutetodos aumentem 2 durante o periacuteodo do projecto (o resultado esperado)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 918
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
oposto exacto do Caminho de Mudanccedila Vocecirc coloca cada actividade no topo da sua proacutepria sequecircncia e desce pela sequecircncia ateacute a meta ou resultado esperado Essa sequecircncia ajuda a confirmar que cada rota individual no Caminho de Mudanccedila faz sentido em termos loacutegicos
Para usar essa teacutecnica eacute preciso criar uma sequecircncia ldquopara querdquo para cada actividade no seu Caminho de Mudanccedila Comece por descrever cada actividade e segui-la da frase ldquopara querdquo seguida de uma descriccedilatildeo do que aconteceraacute se essa actividade for realizada Continue a fazer isto ateacute atingir a sua meta de longo prazo ou resultado esperado
Etapas do desenvolvimento de um plano de MampA
Uma das suas tarefas essenciais de MampA como gestor que exerce lideranccedila eacute a de elaborar um plano que ajude vocecirc e sua equipa a determinar se atingiram ou natildeo os resultados esperados e a acompanhar o progresso no alcance desses resultados durante a implementaccedilatildeo Isso exige que vocecirc natildeo soacute escolha indicadores confiaacuteveis mas tambeacutem que meccedila esses indicadores de forma organizada Seu plano de MampA deve especificar que indicadores seratildeo medidos como e quando seratildeo medidos e por quem
Um plano de MampA bem formulado responde a cinco perguntas
1 Seu resultado esperado eacute mensuraacutevel2 Que indicadores utilizaraacute para monitorar seus produtos e para avaliar seus
resultados 3 Quais satildeo as suas fontes de dados e como recolheraacute os dados dessas fontes 4 Quais satildeo os periacuteodos cobertos de cada indicador 5 Quem recolheraacute os dados
Essas perguntas satildeo importantes porque sem um plano vaacutelido de MampA vocecirc poderaacute interpretar erroneamente os efeitos da sua intervenccedilatildeo Poderaacute concluir que ela natildeo teve efeito algum quando na verdade ela teve alguns resultados positivos ou poderaacute concluir que ela teve um efeito positivo quando na verdade natildeo obteve resultado algum o que eacute um erro comum e mais destrutivo
Elaborar e utilizar um plano de MampA garante que dados comparaacuteveis seratildeo recolhidos regularmente e em tempo haacutebil mesmo quando houver mudanccedilas de pessoal A Tabela 3 resume as etapas no desenvolvimento e implementaccedilatildeo de um plano de MampA O resto desta secccedilatildeo descreve cada etapa detalhadamente
ETAPA 1 DEFINA OS RESULTADOS ESPERADOS
A primeira etapa no desenvolvimento do plano de MampA eacute determinar um niacutevel apropriado de resultados Juntos o tipo e o acircmbito da intervenccedilatildeo os recursos disponiacuteveis e o prazo de implementaccedilatildeo determinam um resultado viaacutevel
Como jaacute vimos antes neste capiacutetulo as intervenccedilotildees dirigidas por organizaccedilotildees com fundos de agecircncias doadoras e por serviccedilos governamentais geralmente levam a produtos ou resultados a meacutedio e longo prazo Apesar de o impacto demorar a ser obtido e geralmente estar fora do acircmbito de um uacutenico conjunto de actividades eacute importante incluiacute-lo no seu plano de MampA para que fique clara qual seraacute a contribuiccedilatildeo da sua intervenccedilatildeo a longo prazo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 919
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 3 Etapas para elaborar e usar um Plano de MampA
Etapas Recomendaccedilotildees
1 Definir os resultados esperados
Os resultados devem ser identificados de acordo com o acircmbito e o periacuteodo de tempo da sua intervenccedilatildeo
Os resultados devem atender aos criteacuterios SMART (Especiacuteficos Mensuraacuteveis Apropriados Realistas de Prazo Definido)
2 Seleccionar os indicadores
Os indicadores devem possuir as qualidades de um bom indicador
Os indicadores devem ser acessiacuteveis faacuteceis de recolher e comparaacuteveis ao longo do tempo e em diferentes locais
Para os problemas de sauacutede prioritaacuterios e os serviccedilos essenciais use indicadores criacuteticos nacionais ou padratildeo
Seleccione um nuacutemero miacutenimo de indicadores essenciais e procure garantir que os indicadores seleccionados sejam realmente necessaacuterios para medir seus resultados esperados
3 Identificar as fontes de dados
Identifique de onde viratildeo os dados para cada indicador Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos organizacionais utentes ou a comunidade
4 Definir os meacutetodos de recolha dos dados
Seleccione o meacutetodo mais apropriado e confiaacutevel para a recolha de dados para cada indicador Estes meacutetodos podem incluir a anaacutelise de registos ou diaacuterios de estatiacutesticas de serviccedilo o uso de listas de verificaccedilatildeo para fins de observaccedilatildeo as entrevistas de utentes ao saiacuterem da cliacutenica ou um modelo de inqueacuterito de dados comunitaacuterios
Decida sobre a frequecircncia da recolha de dados Poderaacute recolher apenas os dados de base ou referecircncia e os dados apoacutes a intervenccedilatildeo ou talvez precise recolher dados diaacuterios mensais ou trimestrais dependendo do tipo de indicador
Para cada indicador designe a responsabilidade pela recolha a um escritoacuterio equipa ou pessoa especiacuteficos
5 Recolher os dados de base (ou referecircncia) e os dados apoacutes a intervenccedilatildeo
Entenda que os resultados de base seratildeo usados para definir os seus alvos
Defina claramente a duraccedilatildeo coberta pelos dados de base jaacute que precisa de um periacuteodo semelhante para a comparaccedilatildeo ao final do periacuteodo de implementaccedilatildeo
Use a mesma metodologia e ferramentas para a recolha de dados que as usadas para os dados de base e as medidas poacutes-intervenccedilatildeo
6 Compartilhar e utilizar os seus resultados
Marque reuniotildees workshops e apresentaccedilatildeo de relatoacuterios para mostrar os resultados ao pessoal do projecto agrave direcccedilatildeo da organizaccedilatildeo e a outros grupos de interesse importantes
Apresente as opccedilotildees de aprendizado e acccedilatildeo com base nos resultados de MampA
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 920
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para determinar em que niacutevel deve monitorar e avaliar seus resultados eacute uacutetil examinar novamente e expandir a cadeia de resultados a comeccedilar da direita pelo resultado final (impacto) e voltar ateacute os materiais e recursos (insumos) necessaacuterios
Insumos rarr Processos rarr Produtos rarr Resultados rarr Impacto
Impacto Esses resultados satildeo medidos ao niacutevel da populaccedilatildeo levam um tempo relativamente longo para serem alcanccedilados (geralmente 3 a 5 cinco anos) e exigem o esforccedilo conjunto de vaacuterias intervenccedilotildees e mesmo de vaacuterias organizaccedilotildees Como gestor vocecirc poderaacute ser responsaacutevel por medir o impacto mas deve incluiacute-lo na loacutegica do seu plano de MampA para saber o que a sua organizaccedilatildeo e os parceiros da organizaccedilatildeo pretendem alcanccedilar a longo prazo
Resultados a meacutedio e longo prazo Na maioria dos casos os gestores satildeo responsaacuteveis por medir os resultados nos niacuteveis de produtos eou resultados a meacutedio e longo prazo Os resultados a meacutedio e longo prazo satildeo obtidos pelas actividades criadas para produzir uma mudanccedila de comportamento nos profissionais de sauacutede ou nos utentes Satildeo geralmente medidos em termos de mudanccedilas na cobertura de serviccedilos e mudanccedilas nos conhecimentos atitudes e praacuteticas de uma populaccedilatildeo beneficiaacuteria Um resultado a meacutedio e longo prazo pode ser o iniacutecio de uma praacutetica comprovada de prestaccedilatildeo de serviccedilos a adopccedilatildeo de novas estrateacutegias de gestatildeo ou a elaboraccedilatildeo bem-sucedida de uma poliacutetica de promoccedilatildeo da sauacutede Pode tambeacutem ser um aumento no nuacutemero de mulheres que datildeo agrave luz em um centro de sauacutede ou no nuacutemero de crianccedilas totalmente imunizadas Na maioria dos casos eacute possiacutevel estabelecer uma relaccedilatildeo clara entre produtos e resultados a meacutedio e longo prazo
Produtos Os produtos ou resultados imediatos satildeo fruto directo das actividades Devem ser monitorados durante toda a implementaccedilatildeo como um elemento essencial da boa gestatildeo Os planos de MampA devem definir o produto esperado de cada actividade Para as unidades de prestaccedilatildeo de serviccedilos isso geralmente significa os resultados imediatos em termos dos serviccedilos (por exemplo nuacutemero de utentes atendidos ou tempo de espera dos clientes ou utentes) Para as organizaccedilotildees que natildeo prestam serviccedilos de sauacutede directamente isso pode significar a distribuiccedilatildeo de produtos de sauacutede ou serviccedilos de formaccedilatildeo (por exemplo quantidade de produtos para planeamento familiar distribuiacutedos ou nuacutemero de participantes formados)
Processos A monitoria de processos ou actividades eacute em grande parte uma medida da cultura de prestaccedilatildeo de contas (ou grau de responsabilizaccedilatildeo) ao garantir que as actividades sejam realizadas dentro do prazo e com recursos suficientes A monitoria nesse niacutevel acompanha o progresso da implementaccedilatildeo tendo como referecircncia os prazos propostos e o uso dos recursos tendo como referecircncia os orccedilamentos Eacute geralmente executada atraveacutes da apresentaccedilatildeo de relatoacuterios tradicionais trimestrais semestrais e anuais
Insumos Ao preparar uma intervenccedilatildeo deve identificar a quantidade e os tipos de recursos necessaacuterios para implementar as actividades O desempenho pode ser monitorado em termos da quantidade e dos tipos de insumos fornecidos e do nuacutemero e timing das actividades realizadas
A etapa seguinte na definiccedilatildeo dos resultados esperados eacute garantir que cumpram os criteacuterios SMART (consulte a Tabela 4) Eacute possiacutevel monitorar e avaliar o progresso no alcance de um resultado apenas se esse resultado tiver sido definido em termos mensuraacuteveis
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 921
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja a seguir um exemplo de um resultado mensuraacutevel para uma intervenccedilatildeo cujo propoacutesito eacute promover a cobertura de imunizaccedilatildeo em crianccedilas de 12 a 24 meses de idade A percentagem de crianccedilas de 12 a 24 meses totalmente vacinadas na aacuterea de captaccedilatildeo aumentaraacute para 70 dentro de um ano
ETAPA 2 IDENTIFIQUE OS INDICADORES E SUAS DEFINICcedilOtildeES
Os indicadores satildeo geralmente percentagens ou proporccedilotildees que representam o alcance de uma condiccedilatildeo especiacutefica de sauacutede na populaccedilatildeo de interesse Podem tambeacutem ser um valor absoluto tal como o nuacutemero de ocorrecircncias de um evento de sauacutede (por ex um oacutebito materno ou um caso de malaacuteria)
Todos os indicadores pedem uma definiccedilatildeo detalhada Trata-se de um indicador qualitativo ou quantitativo Se for uma percentagem qual eacute o numerador e qual eacute o denominador A definiccedilatildeo deve ser suficientemente detalhada para garantir que pessoas diferentes em momentos diferentes possam recolher tipos idecircnticos de dados para o indicador
Veja o que caracteriza um bom indicador no Quadro 2 Os indicadores podem ser classificados como indicadores do estado de sauacutede ou do desempenho de serviccedilos
Os indicadores do estado de sauacutede podem incluir o seguinte
nuacutemero de casos e mortes causados por doenccedilas especiacuteficas em um determinado periacuteodo
proporccedilatildeo da populaccedilatildeo com uma doenccedila ou condiccedilatildeo de sauacutede num momento particular ou ao longo de um periacuteodo de tempo
proporccedilatildeo da populaccedilatildeo com um factor ou condiccedilatildeo de sauacutede que os coloca em risco de contrair doenccedilas tal como a falta de conhecimento ou um comportamento de risco
Os indicadores de desempenho podem incluir o seguinte
proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que recebeu um serviccedilo especiacutefico proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que demonstra comportamentos e
conhecimentos especiacuteficos de sauacutede
TABELA 4 Criteacuterios de um resultado SMART
Criteacuterio Descriccedilatildeo
Especiacutefico (S ndash Smart)
Claramente escrito e compreendido O resultado esperado eacute suficientemente especiacutefico para ser medido por uma frequecircncia percentagem ou nuacutemero
Mensuraacutevel (M ndash Measurable)
Eacute possiacutevel monitorar o progresso e avaliar os resultados O resultado esperado eacute definido em termos que sejam mensuraacuteveis
Apropriado (A ndash Appropriate)
O resultado esperado eacute apropriado ao acircmbito do seu trabalho e agrave missatildeo da sua organizaccedilatildeo
Realista (R ndash Realistic)
O resultado esperado pode ser alcanccedilado e estaacute dentro do controlo da sua organizaccedilatildeo Pode ser realisticamente alcanccedilado ao usar os recursos disponiacuteveis e dentro do prazo do seu plano de implementaccedilatildeo
de Tiempo limitado (T ndash Time Bound)
Foi estabelecido um prazo especiacutefico para obter o resultado esperado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 922
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
proporccedilatildeo de centros e pessoal de sauacutede que demonstram adesatildeo a padrotildees especiacuteficos de serviccedilo ou que atingiram objectivo definido
proporccedilatildeo de centros de sauacutede que seguem padrotildees definidos de gestatildeo funcional (por ex em termos de pessoal disponibilidade de medicamentos registo e apresentaccedilatildeo de relatoacuterios)
Orientaccedilatildeo adicional sobre os indicadores pode ser obtida em ldquoCompecircndio de indicadores para avaliaccedilatildeo de programas de sauacutede reprodutivardquo e ldquoLista dos indicadores sobre desenvolvimento da capacidade de gestatildeo e lideranccedilardquo
ETAPA 3 IDENTIFIQUE AS FONTES DE DADOS
Agora precisa identificar uma fonte de dados para cada indicador incluiacutedo no plano de MampA ao seleccionar dados que estejam prontamente disponiacuteveis em uma fonte confiaacutevel e dentro das possibilidades financeiras de sua organizaccedilatildeo O ideal seria escolher os dados imediatamente disponiacuteveis atraveacutes da organizaccedilatildeo em vez de dar iniacutecio a uma nova estrateacutegia de recolha de dados o que poderia ser oneroso e demorado
Uma boa forma de comeccedilar eacute com a seguinte pergunta Que dados jaacute recolhemos de forma rotineira e sistemaacutetica Vocecirc deve sempre levar em consideraccedilatildeo as vantagens e desvantagens de cada fonte de dados Consulte a secccedilatildeo ldquoComo seleccionar suas fontes de dadosrdquo para obter mais informaccedilotildees sobre as vantagens e desvantagens de algumas fontes de dados mais comuns
Vocecirc deve ser o mais especiacutefico possiacutevel sobre as fontes de dados para que a mesma fonte possa ser utilizada de forma coerente durante toda a intervenccedilatildeo Mudar as fontes de dados para o mesmo indicador pode resultar em incoerecircncias e erros de interpretaccedilatildeo Por exemplo se estiver a medir as taxas de mortalidade infantil passar de estimativas baseadas num inqueacuterito de grande escala para estimativas baseadas em estatiacutesticas hospitalares pode resultar dar a falsa impressatildeo de que houve uma mudanccedila
QUADRO 2 Qualidades de um bom indicador
Vaacutelido O indicador mede o que se pretende medir
Confiaacutevel A medida do indicador deve ser igual natildeo importa quantas vezes a medida seja feita
Preciso O indicador eacute definido em termos claros e especiacuteficos para que possa ser medido O indicador pode ser qualitativo (descritivo) discreto (SimNatildeo) ou baseado em niacuteveis quantitativos ou proporccedilotildees desde que seja claramente mensuraacutevel
Faacutecil de entender Tanto especialistas como natildeo especialistas devem poder entender o significado do indicador
Discreto O indicador captura um uacutenico componente ou aspecto de um resultado mais complexo Mede apenas uma coisa natildeo um conjunto de coisas
Em tempo haacutebil O indicador pode ser medido em intervalos temporais apropriados de acordo com a disponibilidade dos dados
Comparaacutevel Quando possiacutevel o indicador evita definiccedilotildees limitadas ou singulares cujos valores seriam difiacuteceis de comparar com outros resultados
Viaacutevel para utilizar Os dados para o indicador satildeo faacuteceis de obter de uma fonte confiaacutevel e relativamente econoacutemica ndash acessiacutevel tendo em vista os recursos da sua organizaccedilatildeo Se esses dados natildeo estiverem disponiacuteveis existem meacutetodos para obtecirc-los no futuro
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 923
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 4 DEFINA OS MEacuteTODOS DE RECOLHA DE DADOS
A etapa seguinte eacute a de definir os meacutetodos ou ferramentas que utilizaraacute para cada indicador Para os indicadores baseados em dados primaacuterios (dados que vocecirc mesmo recolhe) deve descrever o tipo de instrumento necessaacuterio para recolher os dados Os exemplos podem incluir questionaacuterios estruturados listas de verificaccedilatildeo de observaccedilatildeo directa ou balanccedilas para pesar bebeacutes
Para os dados secundaacuterios (dados recolhidos por terceiros e que estatildeo disponiacuteveis para vocecirc usar) deve explicar o meacutetodo para calcular o indicador e a fonte dos dados e fornecer detalhes suficientes sobre o meacutetodo de caacutelculo para que outros possam replicaacute-lo Lembre-se de que eacute mais faacutecil e mais barato usar dados secundaacuterios mas sua qualidade eacute menos confiaacutevel do que a dos dados primaacuterios
Tambeacutem eacute importante observar a frequecircncia da recolha dos dados para cada indicador A depender do tipo de indicador vocecirc poderaacute recolher os dados mensalmente trimestralmente anualmente ou ateacute com menos frequecircncia Ao definir o programa de recolha de dados para cada indicador leve em consideraccedilatildeo a necessidade de fornecer informaccedilotildees em tempo haacutebil aos responsaacuteveis por tomar decisotildees na sua organizaccedilatildeo Atribuir responsabilidades pela recolha de dados a indiviacuteduos ou grupos do seu pessoal garantiraacute que os dados sejam recolhidos dentro do prazo necessaacuterio
As informaccedilotildees das Etapas 1 a 4 fornecem o conteuacutedo do seu plano de monitoria e avaliaccedilatildeo A Tabela 5 mostra os elementos de um plano de MampA para um programa de mentoria cliacutenica para centros de orientaccedilatildeo e testes voluntaacuterios
ETAPA 5 RECOLHA OS DADOS DE BASE E DE ACOMPANHAMENTO
Recolher dados de base precisos eacute uma das tarefas mais importantes de MampA Os dados de base ou referecircncia satildeo o ponto de partida para definir as metas que vocecirc e sua equipa pretendem atingir e para acompanhar as mudanccedilas dos indicadores durante todo o periacuteodo de sua intervenccedilatildeo Dessa forma os dados de base ajudam a definir melhor um resultado final esperado
Vocecirc precisaraacute recolher dados de base para cada indicador antes que suas actividades comecem Esses dados identificam o ponto de partida de onde poderaacute avaliar o progresso Depois em pontos variados durante a implementaccedilatildeo vocecirc recolheraacute dados de acompanhamento sobre cada indicador para comparaacute-los com os niacuteveis de base e os resultados previstos Isto permite que vocecirc e outros tomadores de decisotildees em sua organizaccedilatildeo avaliem o progresso de cada intervenccedilatildeo ou serviccedilo e faccedilam as mudanccedilas necessaacuterias ao longo do caminho Examine o exemplo no Quadro 3
Por que acompanhar as mudanccedilas dos indicadores durante a implementaccedilatildeo Os indicadores de um plano de MampA estatildeo relacionados aos resultados imediatos (produtos) e aos resultados de meacutedio e longo prazo que os gestores precisam monitorar As mudanccedilas nos valores do indicador ao longo do tempo mostram se esses resultados estatildeo a subir ou a baixar ou se permanecem iguais Isto mostra ao gestor se as intervenccedilotildees e estrateacutegias estatildeo a funcionar conforme planeado para atingir os resultados esperados
Ao final do periacuteodo de implementaccedilatildeo precisaraacute recolher dados sobre os seus indicadores para comparar os niacuteveis finais com os niacuteveis de base e com os seus resultados esperados A depender dos seus indicadores precisaraacute tambeacutem recolher dados de acompanhamento a uma altura acordada previamente para determinar se as mudanccedilas seratildeo mantidas apoacutes o teacutermino da sua intervenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 924
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 5 Exemplo de um Plano de Monitoria e Avaliaccedilatildeo
Objectivo Os profissionais de sauacutede que receberam formaccedilatildeo aumentam sua capacidade de fornecer tratamento anti-retroviral de acordo com as directrizes nacionais
ActividadeProduto Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
CronogramaPrazo final
Cliacutenicos experientes em VIH recrutados para servir como mentores cliacutenicos em cinco hospitais regionais
Nuacutemero de mentores recrutados e designados a hospitais regionais
Registos de emprego
Como concluiacutedo Director adjunto para programas cliacutenicos
Setembro de 2008
Pessoal meacutedico em cinco hospitais regionais que recebem mentoria individual sobre terapia anti-retroviral
Nuacutemero de locais que recebem mentoria cliacutenica
Nuacutemero de meacutedicos que recebem mentoria individual
Nuacutemero de dias de mentoria cliacutenica realizados
Relatoacuterios mensais do mentor
Mensalmente Mentores Marccedilo de 2009
Resultados a meacutedio e longo prazo Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
Trabalhadores de sauacutede aumentam seu conhecimento sobre terapia anti-retroviral
80 dos participantes obtecircm 85 ou mais de pontuaccedilatildeo correcta no teste posterior
Trabalhadores de sauacutede melhoram suas habilidades no fornecimento de terapia anti-retroviral
Percentagem de habilidades demonstradas na lista de verificaccedilatildeo de competecircncia
Estudo especial Datas a definir Director adjunto para programas cliacutenicos
Fonte Centro Internacional de Formaccedilatildeo e Ensino sobre VIH p 2
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 925
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Observaccedilatildeo sobre o uso de indicadores para uma avaliaccedilatildeo A maioria dos esforccedilos de MampA enfatizam a selecccedilatildeo de indicadores bem definidos para estabelecer metas e medir as mudanccedilas nas condiccedilotildees e nos serviccedilos de sauacutede
Mas eacute importante lembrar que os indicadores servem apenas como marcadores Os dados dos indicadores fornecem pistas para saber se uma intervenccedilatildeo ou um grupo de actividades estaacute dentro do cronograma e se os resultados esperados estatildeo a ser alcanccedilados Eles natildeo respondem agraves perguntas de por que os resultados estatildeo ou natildeo a ser alcanccedilados Natildeo explicam os resultados fortuitos as relaccedilotildees entre intervenccedilotildees e resultados ou as causas de resultados percebidos que podem ocorrer fora da intervenccedilatildeo Assim natildeo podem recomendar medidas a tomar para melhorar os resultados
Os dados de indicadores devem portanto ser interpretados com cuidado Eles simplesmente indicam resultados que precisam ser melhor explorados em vez de fornecer uma avaliaccedilatildeo definitiva do sucesso ou fracasso Um estudo de avaliaccedilatildeo eacute geralmente executado para determinar se uma intervenccedilatildeo pode ser considerada um sucesso e por quecirc
Em geral agrave medida que sobe na hierarquia e passa das actividades para os resultados a longo prazo a MampA se torna mais complicada Nos niacuteveis de processo e produtos pode-se facilmente rastrear que actividades foram concluiacutedas e seus resultados imediatos Essas informaccedilotildees satildeo operacionais ndash informaccedilotildees que vocecirc pode usar para decisotildees quotidianas de gestatildeo Poreacutem para identificar e medir os resultados da sinergia dos produtos provavelmente teraacute que integrar as informaccedilotildees qualitativas e quantitativas e confiar menos em indicadores quantitativos singulares
Lembre-se de que quando uma melhoria desejada ndash seja na eficiecircncia do serviccedilo no conhecimento e comportamento dos provedores de serviccedilos ou dos beneficiaacuterios ou na tendecircncia de um problema de sauacutede ndash eacute confirmada atraveacutes de MampA isto natildeo prova que foi a intervenccedilatildeo que provocou a mudanccedila Outras coisas podem estar a se passar no serviccedilo ou no ambiente geral que causam essa mudanccedila Eacute claro que o mesmo se aplica aos resultados negativos ou resultados que indicam natildeo haver nenhuma mudanccedila nos resultados a meacutedio e longo prazo
QUADRO 3 Como usar dados de base para ajustar os resultados
Uma equipa de sobrevivecircncia infantil estaacute a propor uma intervenccedilatildeo com o seguinte resultado mensuraacutevel e especiacutefico ldquoNos proacuteximos 12 meses 40 das crianccedilas entre 12 e 24 meses de idade na aacuterea de captaccedilatildeo seratildeo completamente imunizadasrdquo
Para determinar se seu programa pode realmente atingir esse resultado o pessoal precisa medir os niacuteveis actuais de vacinaccedilatildeo Ao examinar os dados vecircem que apenas 10 das crianccedilas na aacuterea de captaccedilatildeo estatildeo completamente imunizadas ao completarem 24 meses Estes satildeo portanto seus dados de base
A gestora entende que natildeo seraacute possiacutevel atingir o objectivo de 40 de cobertura de imunizaccedilatildeo em apenas 12 meses Por isso ela e sua equipa revisam o resultado esperado e o modificam para que seja mais razoaacutevel e realista mas continue sendo significativo ldquoNos proacuteximos 12 meses 20 das crianccedilas de 12 a 24 meses na aacuterea de de actuaccedilatildeo seratildeo completamente imunizadas
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 926
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 6 COMPARTILHE E USE SEUS DADOS
Na pressa para comeccedilar a recolher dados alguns gestores se esquecem de planear um processo para reflectir sobre as informaccedilotildees e fazer mudanccedilas para aumentar a eficiecircncia das actividades Para garantir que os dados sejam natildeo soacute recolhidos mas tambeacutem utilizados pense como vocecirc e sua equipa divulgaratildeo as informaccedilotildees sobre MampA e obteratildeo retroinformaccedilatildeo dos diversos grupos de interesse Algumas perguntas baacutesicas serviratildeo para lhe orientar
Quem precisa de que tipo de informaccedilotildees e quando precisam delas Que tipo de formato deve usar para comunicar os resultados ao pessoal
aos gestores de niacutevel superior e a outros grupos de interesse importantes Eacute suficiente fazer circular um relatoacuterio ou deveria organizar uma reuniatildeo ou workshop
Deveria tambeacutem organizar reuniotildees com a comunidade para solicitar retroinformaccedilatildeo dos seus beneficiaacuterios sobre os primeiros resultados da MampA
Como deve apresentar as informaccedilotildees para que sejam uacuteteis aos diferentes tomadores de decisotildees As informaccedilotildees devem ser apresentadas visualmente em diagramas graacuteficos ou mapas Para obter orientaccedilatildeo sobre dados e resultados consulte o Guiatildeo de MampA para Facilitadores de Programas de Desenvolvimento da Lideranccedila
Uso dos resultados para melhorar os dados de rotina em acccedilatildeo ndash Um exemplo do Paquistatildeo
No Paquistatildeo com o apoio do projecto PRIDE 10 equipas de subdistritos aplicaram o Processo de Avaliaccedilatildeo e Melhoria do Desempenho em Sauacutede Puacuteblica (PIP-PH) um conjunto de procedimentos e formatos para tratar dos problemas de sauacutede que identificaram como os mais graves para as suas populaccedilotildees Usaram o PIP-PH para priorizar os problemas e serviccedilos que mais precisavam de atenccedilatildeo a curto prazo para obter melhorias
Como parte do processo PIP-PH as equipas tambeacutem conceberam um formato de Estrutura de Vigilacircncia de Sauacutede (ldquoHealth Watch Frameworkrdquo) para os seus subdistritos como um todo e para os centros de sauacutede dentro deles Cada equipa seleccionou indicadores para medir a situaccedilatildeo de dois problemas de sauacutede puacuteblica os serviccedilos essenciais a eles relacionados e as limitaccedilotildees que afectavam esses serviccedilos
As equipas usaram os formulaacuterios Health Watch para estabelecer valores de base para os indicadores e depois para monitorar esses valores agrave medida que as intervenccedilotildees prosseguiam ao longo do tempo Os centros de sauacutede revisavam e actualizavam o formulaacuterio todo mecircs as equipas do subdistrito inclusive gestores de centros de sauacutede revisavam e discutiam os formulaacuterios trimestralmente os formulaacuterios revisados
As equipas de subdistrito usaram as informaccedilotildees para analisar os motivos do progresso ou falta de progresso para poderem prestar apoio aos gestores dos centros de sauacutede O processo estimulou os gestores dos centros de sauacutede a melhorarem a integridade e precisatildeo dos dados de rotina para poderem usar as informaccedilotildees e monitorarem mais eficazmente os eventos e os serviccedilos essenciais e introduzirem as melhorias necessaacuterias
Exemplos e informaccedilotildees detalhadas sobre o PIP-PH e o Health Watch Framework aparecem no Relatoacuterio Anual do Projecto PRIDE 2007
Para se informar mais sobre meacutetodos adicionais de utilizaccedilatildeo dos dados para melhorar o desempenho de uma organizaccedilatildeo equipa serviccedilo de sauacutede ou intervenccedilatildeo consulte o processo de Avaliaccedilatildeo e Melhoria de Desempenho (Performance Assessment and Improvement ndash PAI) no website de Programa de Lideranccedila Gestatildeo e Sustentabilidade (Leadership Management and Sustainability ndash LMS)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 927
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O processo de Monitoria e Avaliaccedilatildeo deve ser executado com o objectivo de usar imediatamente os resultados para identificar as falhas de desempenho e tomar medidas para reduzir ou eliminar essas falhas Vocecirc deve sempre planear formas de usar os resultados de MampA para o aprendizado e a acccedilatildeo Por exemplo o que deve fazer se as actividades do projecto natildeo trouxerem os resultados esperados O que precisa mudar se os serviccedilos essenciais natildeo estiverem a fornecer os niacuteveis de cobertura previstos ou a alcanccedilar grupos especiacuteficos de pessoas E como vocecirc pode levar esses fatos agrave atenccedilatildeo das pessoas certas para obter uma resposta raacutepida
Desenho de uma ferramenta de MampA
ARMADILHAS DA MONITORIA E AVALIACcedilAtildeO
Haacute vaacuterias armadilhas comuns que impedem que vocecirc como gestor aperfeiccediloe a funccedilatildeo de MampA na sua organizaccedilatildeo
Planeamento excessivo ou insuficienteAlguns gestores podem gastar tempo demais a preparar o plano de MampA do que resultam planos muito elaborados e complicados de usar Outros ficam muito ansiosos por implementar as intervenccedilotildees de MampA e comeccedilam antes de concluir o plano de MampA Isso significa que quando o plano fica pronto eacute geralmente tarde demais para obter dados de base viaacuteveis e a MampA tem que ser adiada Nesses casos o gestor talvez tenha que aceitar fazer a avaliaccedilatildeo mais tarde sem os dados de base que poderia usar para a comparaccedilatildeo
Descuidar-se da monitoria contiacutenua Outra armadilha frequente eacute a falha em incluir a monitoria contiacutenua na implementaccedilatildeo das actividades Isto ocorre frequentemente por falta de experiecircncia Muitos gestores natildeo tiveram acesso a ferramentas de monitoria uacuteteis (que satildeo raras) Talvez natildeo tenham recebido prontamente os resultados ou a retroinformaccedilatildeo do sistema de MampA no passado e por isso natildeo percebem como eacute importante realizar a monitoria de rotina Aleacutem disso gestores podem facilmente se emaranhar nos detalhes da implementaccedilatildeo e descuidar-se da monitoria de rotina
Exagerar Outra armadilha relacionada agrave monitoria eacute tentar rastrear os dados de todos os indicadores possiacuteveis Tentar obter os dados sobre um nuacutemero excessivo de factores torna o processo de monitoria tatildeo complicado que se torna impreciso Isso tambeacutem torna o processo mais lento de modo que no momento em que os dados satildeo recolhidos e analisados eles jaacute natildeo satildeo mais uacuteteis As ferramentas de monitoria muito demoradas e complicadas acabam por natildeo ser usadas O que acontece entatildeo O gestor deixa totalmente de fazer a monitoria e tem que recorrer agrave avaliaccedilatildeo
Se jaacute se deparou com esses problemas eacute hora de mudar a sua taacutectica Vocecirc pode criar um plano de MampA simples e usar ferramentas de monitoria simples Descubra o que tem que medir para obter os dados dentro de 3 a 6 meses o prazo vai depender dos ciclos de planeamento e apresentaccedilatildeo de relatoacuterios da sua organizaccedilatildeo Entenda tambeacutem qual eacute o miacutenimo que deve ser medido em uma avaliaccedilatildeo de longo prazo Busque a simplicidade mesmo se estiver diante de um conjunto complexo de actividades
Tente incluir apenas o que realmente precisa saber Pode testar todos os indicadores propostos antes de incluiacute-los no planeamento de MampA ao perguntar Quem precisa usar essas informaccedilotildees quando e com que finalidade Se um uacutenico indicador de produtos for suficiente perfeito Natildeo sobrecarregue a monitoria com indicadores desnecessaacuterios Muitas vezes menos dados fornecem mais informaccedilotildees
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 928
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
CARACTERIacuteSTICAS DE UMA BOA FERRAMENTA DE MONITORIA
Como gestor natildeo precisa saber tudo para gerir um serviccedilo ou dirigir uma intervenccedilatildeo mas precisa das informaccedilotildees imediatamente Portanto precisa de uma ferramenta de monitoria que possa fornecer informaccedilotildees suficientes e em tempo haacutebil para identificar e corrigir problemas assim que eles surgirem
Uma ferramenta de monitoria deve ser faacutecil de montar e utilizar As tabelas listas de verificaccedilatildeo e diagramas simples satildeo meacutetodos particularmente uacuteteis de recolher organizar e apresentar informaccedilotildees de monitoria
No miacutenimo sua ferramenta de monitoria deve permitir que vocecirc e sua equipa acompanhem
o progresso da implementaccedilatildeo da actividade a entrega de produtos ou resultados imediatos a situaccedilatildeo dos principais indicadores de resultados comparados aos resultados
esperados se for o caso as despesas orccedilamentais a disponibilidade de recursos humanos e financeiros os obstaacuteculos agrave implementaccedilatildeo e o que tem sido feito para superaacute-los
Vocecirc teraacute que responder agraves seguintes perguntas periodicamente
As actividades foram implementadas conforme planeado dentro do prazo e do orccedilamento
Que actividades adicionais natildeo planeadas foram realizadas Que serviccedilos ou produtos directos e tangiacuteveis foram oferecidos como resultado
das actividades que implementamos Estamos dentro do cronograma para atingir nossos resultados a meacutedio e longo
prazo Possuiacutemos os recursos necessaacuterios (pessoal dinheiro medicamentos e
suprimentos etc) para cumprirmos o cronograma
O Quadro 4 apresenta os componentes baacutesicos de uma ferramenta simples de monitoria
QUADRO 4 Uma ferramenta simples de monitoria
Data de exame Metas de resultados
Actividades (segundo o plano de implementaccedilatildeo)
Situaccedilatildeo ateacute o momento
Resultados esperados
Datas para conclusatildeo
Situaccedilatildeo ateacute o momento Comentaacuterios
Desafios e oportunidades
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 929
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quando usadas correctamente as novas tecnologias (por ex os PDAs ldquosmartphonesrdquo laptops e outros) podem facilitar a monitoria e aumentar os benefiacutecios da monitoria das actividades A monitoria automatizada ndash dados que podem ser obtidos e processados automaticamente ndash podem produzir um resumo dos principais indicadores em uma soacute paacutegina faacutecil de ler e num formato que utiliza cores para alertar ao gestor sobre as aacutereas que precisam de maior atenccedilatildeo As informaccedilotildees obtidas em tempo haacutebil sobre alguns indicadores essenciais permitem que o gestor monitore o progresso e tome medidas correctivas
Essa apresentaccedilatildeo visual das informaccedilotildees mais importantes e necessaacuterias para gerir um projecto eacute geralmente conhecida como Painel de Indicadores de Desempenho Os paineacuteis de indicadores de desempenho podem ser usados em qualquer organizaccedilatildeo departamento ou divisatildeo Nas organizaccedilotildees de sauacutede puacuteblica os paineacuteis satildeo usados frequentemente para monitorar os indicadores financeiros e programaacuteticos bem como a cobertura produccedilatildeo eficaacutecia e qualidade de serviccedilos de sauacutede especiacuteficos Um painel de recursos humanos por exemplo incluiria indicadores relevantes para gerir o seguinte
retenccedilatildeo de funcionaacuterios rotatividade de funcionaacuterios formaccedilatildeo de funcionaacuterios lacunas de habilidades satisfaccedilatildeo dos funcionaacuterios custos benefiacutecios e despesas gerais com funcionaacuterios
A Tabela 6 mostra um painel de indicadores de desempenho criado para monitorar serviccedilos de contracepccedilatildeo ciruacutergica voluntaacuteria (CCV)
TABELA 6 Ilustraccedilatildeo de Painel de Indicadores de Desempenho para Serviccedilos de Contracepccedilatildeo Ciruacutergica Voluntaacuteria (CCV)
Serviccedilo Contracepccedilatildeo Ciruacutergica Voluntaacuteria Periacuteodo do Relatoacuterio Janeiro de 2009
No Indicador de Prestaccedilatildeo de Serviccedilos Custo Qualidade
Meta financeira ou programaacutetica
LimiarNuacutemero
alcanccedilado
Percentagem concluiacuteda
Miacuten Maacutex 10 20 30 40 50 60 70 80 90 100
1 Nuacutemero de CCVs realizadas no mecircs 8 10 7
2 Custo meacutedio das CCVs (US$) 100 120 110
3 Orccedilamento mensal da receita com CCVs realizadas (US$) 800 1200 770
4Percentagem das CCVs realizadas por pessoal
qualificadomdash 100 60
5 Percentagem das CCVs realizadas sem complicaccedilotildees 95 100 100
6
Percentagem de utentes satisfeitas com o tratamento
recebido do pessoal que realizou as CCVs
90 100 90
Adaptado de Colindres 2008 p 6
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 930
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja uma descriccedilatildeo do uso de um painel de indicadores de desempenho para a monitoria de rotina num estudo de caso estudo de caso de uma ONG da Boliacutevia o Centro de Investigaccedilatildeo Educaccedilatildeo e Serviccedilos (CIES)
Para obter mais informaccedilotildees de como criar um painel de indicadores consulte ldquoComo usar os paineacuteis de indicadores de desempenho para monitorar as realizaccedilotildees de uma organizaccedilatildeordquo Esse documento ajuda a esclarecer conceitos e define as etapas essenciais para criar paineacuteis de indicadores de desempenho
Como criar uma avaliaccedilatildeo para fins de aprendizagem
Apesar da importacircncia da monitoria de rotina apenas a monitoria natildeo basta para responder agrave pergunta ldquoE entatildeordquo Ou seja suas actividades e produtos contribuiacuteram para melhorar a cobertura dos serviccedilos aumentar o conhecimento ou encorajar comportamentos mais saudaacuteveis
Talvez uma campanha de comunicaccedilatildeo sobre planeamento familiar criada para aumentar a prevalecircncia do uso de contraceptivos tenha levado o governo a abastecer os depoacutesitos distritais com contraceptivos Para que possam aprender com essa experiecircncia e criar campanhas mais eficazes no futuro os gestores do projecto ainda querem saber que produtos foram realmente dispensados aos centros de sauacutede e distribuiacutedos aos utentes Esta secccedilatildeo discute como criar uma avaliaccedilatildeo para fins de aprendizagem
Existem dois motivos para levar a cabo uma avaliaccedilatildeo
1 A avaliaccedilatildeo fornece informaccedilotildees sobre o sucesso da sua equipa unidade ou organizaccedilatildeo para atingir seus objectivos Essas informaccedilotildees ajudam a definir que actividades expandir modificar ou eliminar Ela pode tambeacutem revelar formas de melhorar a concepccedilatildeo e gestatildeo das actividades futuras
2 A avaliaccedilatildeo pode demonstrar uma cultura de prestaccedilatildeo de contas agrave sua agecircncia doadora e a outros grupos de interesse nomeadamente o governo e os beneficiaacuterios dos seus serviccedilos
AVALIACcedilOtildeES FORMATIVAS E SUMATIVAS
Os gestores podem realizar dois amplos tipos de avaliaccedilotildees formativas e sumativas
Avaliaccedilatildeo formativa Este tipo de avaliaccedilatildeo eacute realizada durante o desenvolvimento e implementaccedilatildeo de um programa Seu objectivo eacute orientar o desenho e a implementaccedilatildeo de actividades que incluam as melhores e mais promissoras praacuteticas que aumentaratildeo as chances de sucesso A avaliaccedilatildeo formativa eacute mais comummente utilizada por projectos de grande porte ou de longo prazo em vez de projectos menores e de curto prazo Poreacutem os projectos menores devem pelo menos realizar uma avaliaccedilatildeo raacutepida das melhores praacuteticas durante a fase de planeamento para apoiar a loacutegica e o conteuacutedo proposto para as actividades
A avaliaccedilatildeo formativa inclui uma avaliaccedilatildeo de necessidades para discernir os desejos e requisitos de um grupo da populaccedilatildeo e determinar a melhor forma de atendecirc-los Inclui tambeacutem uma avaliaccedilatildeo de processo para investigar o processo utilizado para executar uma intervenccedilatildeo Pode-se usar a avaliaccedilatildeo do processo para determinar se as actividades foram realizadas de acordo com o plano ndash em termos de sua concepccedilatildeo original estimativas de custos e nuacutemero de pessoas a serem atendidas ndash e se a qualidade dos processos usados estaacute de acordo com as melhores praacuteticas conhecidas
A avaliaccedilatildeo de processo geralmente inclui vaacuterias abordagens Pode incluir uma avaliaccedilatildeo dos dados referentes aos produtos (por ex nuacutemero de redes mosquiteiras fornecidas nuacutemero
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 931
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
de workshops de formaccedilatildeo realizados nuacutemero de participantes dos workshops) assim como entrevistas individuais ou grupos de enfoque entre os beneficiaacuterios Nas intervenccedilotildees de menor porte eacute uma boa praacutetica realizar uma avaliaccedilatildeo de processo mesmo se limitada agrave retroinformaccedilatildeo dos participantes
Avaliaccedilatildeo somativa Este tipo de avaliaccedilatildeo eacute realizada apoacutes a conclusatildeo de um grupo de actividades ou da intervenccedilatildeo para avaliar a qualidade da intervenccedilatildeo e os seus principais resultados A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo a avaliaccedilatildeo do impacto a anaacutelise de custo-benefiacutecio e custo-eficaacutecia e a investigaccedilatildeo operacional
A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo que avalia em que medida uma equipa unidade ou organizaccedilatildeo inteira atingiram seus resultados esperados A avaliaccedilatildeo dos resultados eacute usada para demonstrar que existe uma cultura de prestaccedilatildeo de contas para aperfeiccediloar o projecto de actividades organizacionais para melhorar a distribuiccedilatildeo dos recursos e para promover intervenccedilotildees futuras bem-sucedidas As principais perguntas satildeo Que modificaccedilotildees ocorreram na vida das pessoas das famiacutelias ou da comunidade como resultado do nosso trabalho Que diferenccedila fizemos
Como observamos anteriormente neste capiacutetulo os resultados a meacutedio e longo prazo satildeo geralmente mudanccedilas mensuraacuteveis eou observaacuteveis em duas dimensotildees A primeira dimensatildeo abrange a conscientizaccedilatildeo o conhecimento as atitudes os valores e as habilidades dos participantes de um programa ou dos beneficiaacuterios dos serviccedilos durante ou depois de seu envolvimento na intervenccedilatildeo A segunda dimensatildeo implica mudanccedilas no comportamento desses mesmos grupos
Idealmente as duas dimensotildees deveriam ser medidas em trecircs pontos no comeccedilo e no final do periacuteodo de implementaccedilatildeo e se possiacutevel apoacutes um periacuteodo de acompanhamento adequado Se a mediccedilatildeo do acompanhamento natildeo for viaacutevel pelo menos devem ser comparadas as mediccedilotildees de base e poacutes-intervenccedilatildeo Muitas vezes as mudanccedilas podem ser pequenas mas deve haver alguma melhoria em pelo menos um ou dois resultados para que a intervenccedilatildeo seja considerada um sucesso
A avaliaccedilatildeo dos resultados tenta distinguir entre a influecircncia da intervenccedilatildeo nessas mudanccedilas e a influecircncia de outros factores externos Mas geralmente os avaliadores teratildeo que optar pela atribuiccedilatildeo parcial de um resultado a uma intervenccedilatildeo ou serviccedilo especiacutefico devido agrave dificuldade em determinar uma relaccedilatildeo directa e causal entre o serviccedilo prestado e uma determinada mudanccedila
As avaliaccedilotildees de resultados utilizam geralmente um desenho natildeo experimental (geralmente denominado ldquopreacute e poacutes-avaliaccedilatildeordquo) que simplesmente mede as mudanccedilas antes e depois de uma intervenccedilatildeo ou seja diferente do desenho experimental (que compara os participantes com um grupo de controlo com designaccedilatildeo aleatoacuteria a ambos os grupos) ou do desenho semi-experimental (que compara os participantes com um grupo de controlo mas sem a designaccedilatildeo aleatoacuteria)
O desenho natildeo experimental eacute aceitaacutevel para as mediccedilotildees e relatoacuterios padratildeo dos resultados a meacutedio e longo prazo As ONGs raramente usam os desenhos experimentais Apesar de uma organizaccedilatildeo de grande porte e com muitos recursos poder ocasionalmente receber assistecircncia de especialistas para um desenho experimental a maioria delas acha que as consideraccedilotildees eacuteticas e logiacutesticas impedem a designaccedilatildeo aleatoacuteria dos participantes aos grupos de intervenccedilatildeo e de controlo Aleacutem disso o custo de recolher dados de um grupo de controlo seraacute provavelmente muito elevado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 932
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A avaliaccedilatildeo do impacto eacute outro componente da avaliaccedilatildeo somativa Eacute mais ampla do que a avaliaccedilatildeo de resultados e avalia os efeitos liacutequidos ou gerais ndash tanto intencionais como natildeo intencionais ndash de todo um programa grupo de programas ou grupo de organizaccedilotildees As avaliaccedilotildees de impacto geralmente se estendem por um periacuteodo de 3 a 5 anos
OUTROS TIPOS DE AVALIACcedilOtildeES
Anaacutelise de custo-benefiacutecio e custo-eficaacutecia Estes tipos de anaacutelise tratam da eficiecircncia da intervenccedilatildeo ao analisar os resultados em termos dos seus custos financeiros e do seu valor
Investigaccedilatildeo operacional Trata-se de um balanccedilo ou avaliaccedilatildeo de uma intervenccedilatildeo especiacutefica no contexto de um programa mais amplo que estaacute a fazer vaacuterias intervenccedilotildees A investigaccedilatildeo operacional eacute usada para testar e avaliar novas abordagens de prestaccedilatildeo de serviccedilos de sauacutede Eacute tambeacutem usada para identificar problemas na prestaccedilatildeo de serviccedilos e oferecer soluccedilotildees
A investigaccedilatildeo operacional eacute uma ferramenta poderosa que os gestores de programas e os tomadores de decisotildees podem usar para melhorar e expandir os serviccedilos Os estudos de investigaccedilatildeo operacional comparam intervenccedilotildees que estatildeo dentro da esfera de influecircncia do gestor Os exemplos incluem a avaliaccedilatildeo da eficaacutecia de uma nova estrateacutegia de prevenccedilatildeo de VIHSIDA um novo curso de formaccedilatildeo um novo conjunto de procedimentos para gerir medicamentos um novo meacutetodo contraceptivo ou um novo serviccedilo de sauacutede reprodutiva
O Toolkit de Investigaccedilatildeo Operacional do Programa Horizons sobre VIHSIDA do Population Council fornece informaccedilotildees detalhadas para criar um estudo de investigaccedilatildeo operacional
CONSIDERACcedilOtildeES PARA A FORMULACcedilAtildeO DE UMA AVALIACcedilAtildeO
O que avaliar para responder agrave pergunta ldquoE entatildeordquo Se quiser saber como gestor se as suas actividades tiveram realmente sucesso precisa preparar todas as intervenccedilotildees tendo em mente a avaliaccedilatildeo e incorporar a avaliaccedilatildeo ao seu planeamento organizacional geral Ao definir objectivos deve se perguntar Como saberemos se estamos a atingir esses objectivos Este eacute o ponto de partida para a avaliaccedilatildeo
Seja qual for o porte da sua intervenccedilatildeo ou serviccedilo e o alcance da avaliaccedilatildeo precisaraacute responder a trecircs perguntas durante a fase de desenho e planeamento
1 O que a sua intervenccedilatildeo ou serviccedilo conseguiraacute realizar a curto e longo prazo Se implementar um conjunto de actividades com sucesso ao longo do tempo o que seraacute diferente
2 Como conceptualiza as suas actividades ndash qual eacute a loacutegica subjacente Duas abordagens para identificar a loacutegica do programa satildeo discutidas neste capiacutetulo na secccedilatildeo intitulada Ferramentas e Abordagens Praacuteticas para MampA
3 Que indicadores pode usar para identificar o progresso no alcance dos resultados
Para responder agrave pergunta ldquoE entatildeordquo vocecirc precisa avaliar os factores sobre os quais tem um niacutevel razoaacutevel de controlo Por exemplo um novo serviccedilo criado para oferecer alojamento a pessoas que vivem com SIDA natildeo pode controlar ou afectar a expectativa de vida das pessoas agraves quais atende Mas ao fornecer um ambiente estaacutevel para elas viverem o serviccedilo pode diminuir o niacutevel de stresse e melhorar a qualidade de vida dessas pessoas que antes eram forccediladas a se mudar com frequecircncia
Depois de tratar da pergunta ldquoE entatildeordquo deve tambeacutem se certificar de que a avaliaccedilatildeo seja concebida de forma que quando o processo estiver concluiacutedo vocecirc possa abordar os cinco toacutepicos principais da avaliaccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 933
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
1 Relevacircncia Foi uma boa ideia fazer a intervenccedilatildeo considerando-se a situaccedilatildeo e a necessidade de melhorias Ela tratou das prioridades do grupo alvo ou beneficiaacuterio Por que sim ou por que natildeo
2 Eficaacutecia Os resultados produtos e actividades foram realizados Por que sim ou por que natildeo A loacutegica da intervenccedilatildeo eacute correcta
3 Eficiecircncia Os insumos (recursos e tempo) foram usados da melhor forma possiacutevel para atingir os resultados a meacutedio e longo prazo Por que sim ou por que natildeo O que vocecirc e sua equipa poderiam fazer de modo diferente no futuro para maximizar os resultados a um custo aceitaacutevel
4 Impacto Em que medida a sua intervenccedilatildeo contribuiu para as metas nacionais ou de longo prazo Que consequecircncias natildeo intencionais (positivas ou negativas) suas actividades tiveram Por que essas consequecircncias aconteceram
5 Sustentabilidade Eacute provaacutevel que os resultados positivos continuem depois que sua intervenccedilatildeo terminar Por que sim ou por que natildeo
Uma uacuteltima advertecircncia assim como a monitoria pode-se complicar demasiado a avaliaccedilatildeo Ao preparar um plano de avaliaccedilatildeo o melhor eacute seleccionar um grupo pequeno de indicadores e resistir agrave tentaccedilatildeo de avaliar todos os aspectos da sua intervenccedilatildeo
Assim como a monitoria a avaliaccedilatildeo soacute eacute uacutetil se as informaccedilotildees forem repassadas em tempo haacutebil para o gestor e outros tomadores de decisotildees e grupos de interesse Um problema comum com as avaliaccedilotildees intercalares eacute que os resultados geralmente soacute satildeo informados de 6 a 8 meses mais tarde o que deixa apenas 1 ou 2 anos para fazer mudanccedilas mais permanentes antes que se esgotem os fundos do governo ou da agecircncia doadora
COMO SELECCIONAR SUAS FONTES DE DADOS
Esta secccedilatildeo descreve trecircs tipos de fontes de dados que satildeo comummente usadas para uma avaliaccedilatildeo dados recolhidos rotineiramente inqueacuteritos de grande escala e teacutecnicas de avaliaccedilatildeo raacutepida inclusive a avaliaccedilatildeo participativa
Dados de rotina Os dados recolhidos e analisados rotineiramente por um SIS satildeo denominados ldquoestatiacutesticas de serviccedilordquo Pode-se utilizar vaacuterios sistemas de informaccedilatildeo de serviccedilos de rotina para monitorar os serviccedilos Alguns deles satildeo o sistema baacutesico de registo e relatoacuterio de SIS os sistemas especiais de relatoacuterios sobre programas (por ex tuberculose malaacuteria imunizaccedilatildeo VIH planeamento familiar etc) os sistemas de relatoacuterios sobre agentes comunitaacuterios especiais (por ex registos de agentes comunitaacuterios de sauacutede) o sistema de informaccedilotildees para a vigilacircncia de doenccedilas e o controlo notificaccedilatildeo e resposta a surtos e os relatoacuterios para os sistemas de suporte especiais (por ex medicamentos encaminhamentos e gestatildeo financeira e de recursos humanos)
Esses sistemas fornecem dados que estatildeo imediatamente disponiacuteveis e cujo objectivo eacute informar o que estaacute a acontecer no sector de sauacutede Os dados de rotina incluem por exemplo o nuacutemero de consultas de preacute-natal em uma cliacutenica o nuacutemero e tipo de vacinaccedilotildees fornecidas no local ou o nuacutemero e tipos de contraceptivos fornecidos mensalmente
Os dados sobre os serviccedilos satildeo geralmente recolhidos pelos centros de sauacutede ou postos de sauacutede e enviados para o proacuteximo niacutevel superior do sistema (geralmente o distrito) para serem agregados Esses dados podem entatildeo ser enviados ao proacuteximo niacutevel superior (regional ou provincial) para posterior agregaccedilatildeo antes que cheguem finalmente ao niacutevel central do Ministeacuterio da Sauacutede
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 934
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Idealmente os gestores de centros de sauacutede e ao niacutevel do distrito usam esses dados para orientar as operaccedilotildees diaacuterias acompanhar o desempenho e a prestaccedilatildeo de contas e tomar decisotildees que continuem a melhorar o desempenho Mas haacute vaacuterios obstaacuteculos a essa utilizaccedilatildeo
Muito frequentemente os dados de rotina satildeo imprecisos ou incompletos Apesar dos que utilizam o SIS tentarem produzir informaccedilotildees de alta qualidade e em tempo haacutebil haacute muitas oportunidades de introduzir erros Pode haver pouco apoio para que os gestores e seu pessoal se concentrem nos procedimentos correctos de recolha registo e agregaccedilatildeo dos dados
Os sistemas de sauacutede de vaacuterios paiacuteses enfatizam a importacircncia de apresentar relatoacuterios para os niacuteveis superiores mas natildeo estabeleceram procedimentos e incentivos para encorajar aqueles que fornecem informaccedilotildees a utilizaacute-las mesmo quando os dados satildeo de boa qualidade
Outra dificuldade eacute que as estatiacutesticas sobre serviccedilos fornecem informaccedilotildees apenas sobre os utentes que utilizam os serviccedilos de sauacutede Natildeo podem fornecer informaccedilotildees sobre as muitas pessoas que natildeo utilizam os serviccedilos
Por tudo isso natildeo se pode confiar apenas nas estatiacutesticas sobre serviccedilos para fazer uma avaliaccedilatildeo Elas satildeo melhor utilizadas para a monitoria de rotina dos problemas de sauacutede puacuteblica e dos serviccedilos essenciais relacionados
Inqueacuteritos em grande escala Os inqueacuteritos em grande escala satildeo outra fonte de informaccedilotildees imediatamente disponiacuteveis Incluem inqueacuteritos de base populacional tais como as Inqueacuterito Demograacutefico e de Sauacutede (IDS) dos EUA avaliaccedilotildees completas de centros de sauacutede como a Anaacutelise de Situaccedilatildeo do Population Council e os censos nacionais Em vaacuterios casos os gestores podem usar os dados de um inqueacuterito em grande escala existente para fornecer o contexto para a interpretaccedilatildeo dos dados capturados atraveacutes das suas proacuteprias avaliaccedilotildees
Por exemplo as IDS satildeo realizadas periodicamente para caracterizar a situaccedilatildeo de sauacutede em um paiacutes ou regiatildeo geograacutefica de grande extensatildeo para vaacuterios grupos populacionais homens mulheres crianccedilas bebeacutes e assim por diante Mas os dados das IDS natildeo podem normalmente ser desagregados para uso pelos gestores no niacutevel de distrito ou comunidade
Aleacutem disso como as IDS satildeo realizadas apenas a cada trecircs ou cinco anos as informaccedilotildees que fornecem podem natildeo estar suficientemente actualizadas para as necessidades de avaliaccedilatildeo dos gestores Apesar dessas dificuldades os dados das IDS satildeo uacuteteis para compreender tendecircncias regionais ou nacionais que podem ajudar a explicar dados recolhidos em uma avaliaccedilatildeo de foco especiacutefico
Avaliaccedilotildees raacutepidas Satildeo formas raacutepidas e econoacutemicas de obter informaccedilotildees para a tomada de decisotildees principalmente ao niacutevel da actividade Os exemplos incluem entrevistas quando os utentes saem de suas consultas as avaliaccedilotildees de pequena escala dos centros de sauacutede os inqueacuteritos raacutepidos por amostragem o exame analiacutetico de registos as entrevistas com grupos de enfoque e outros meacutetodos participativos
Poderaacute usar teacutecnicas de avaliaccedilatildeo raacutepida para complementar as informaccedilotildees obtidas com dados de rotina ou inqueacuteritos de grande escala As avaliaccedilotildees raacutepidas podem-lhe fornecer informaccedilotildees valiosas sobre sua aacuterea de captaccedilatildeo e sua aacuterea de responsabilidade mais ampla ndash ou seja as comunidades e as populaccedilotildees que deveriam ter acesso aos serviccedilos essenciais prestados por um centro de sauacutede determinado Elas podem tambeacutem fornecer contexto e uma compreensatildeo qualitativa dos dados quantitativos recolhidos pelos meacutetodos mais formais
Dentro da categoria de avaliaccedilotildees raacutepidas os meacutetodos participativos e os inqueacuteritos raacutepidos por amostragem merecem a sua atenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 935
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Meacutetodos participativos (tambeacutem chamados de aprendizagem e acccedilatildeo participativas) Essas teacutecnicas e meacutetodos visam incorporar o conhecimento e as opiniotildees dos membros da comunidade no planeamento e gestatildeo de projectos de desenvolvimento no esforccedilo para influenciar as poliacuteticas e na implementaccedilatildeo de programas Eles permitem incluir vozes da comunidade nas poliacuteticas no planeamento e nos inqueacuteritos e criam um senso de propriedade e participaccedilatildeo nos resultados de MampA e nas recomendaccedilotildees feitas pela organizaccedilatildeo e por seus beneficiaacuterios
Ao contraacuterio de outras teacutecnicas de avaliaccedilatildeo raacutepida os meacutetodos participativos natildeo se baseiam em amostragens Eles usam entrevistas individuais ou com informantes essenciais (inclusive entrevistas com utentes ao saiacuterem de suas consultas) entrevistas em grupo estudos de caso e outros meacutetodos qualitativos para identificar as condiccedilotildees locais e entender as perspectivas e prioridades locais
Em vaacuterios locais haacute membros da comunidade que natildeo podem ler nem escrever e por isso os meacutetodos participativos dependem frequentemente da comunicaccedilatildeo oral com apoio de imagens siacutembolos objectos fiacutesicos e memoacuteria colectiva
Os meacutetodos participativos podem ser usados antes durante e apoacutes a implementaccedilatildeo de uma intervenccedilatildeo ou um conjunto de actividades Eles fornecem informaccedilotildees para o projecto e a avaliaccedilatildeo e permitem a participaccedilatildeo activa das partes interessadas na tomada de decisotildees Durante a implementaccedilatildeo os meacutetodos participativos satildeo uacuteteis para identificar e solucionar problemas
Aproveite para examinar e utilizar uma lista de recursos online sobre inqueacuterito qualitativo e directrizes sobre discussotildees em grupos de enfoque no Community Tool Box da Universidade de Kansas
Inqueacuteritos raacutepidos por amostragem Estes inqueacuteritos podem ser utilizados para recolher informaccedilotildees padronizadas de uma amostra pequena e cuidadosamente seleccionada de pessoas ou domiciacutelios em uma aacuterea beneficiaacuteria Eles podem descrever as condiccedilotildees em uma comunidade particular ou grupo-alvo e permitem comparar grupos diferentes em um determinado momento ou mudanccedilas no mesmo grupo ao longo do tempo Permitem tambeacutem comparar condiccedilotildees actuais com os resultados planeados
Um dos inqueacuteritos mais comuns de pequena amostragem eacute o inqueacuterito CAP (Conhecimentos Atitudes e Praacuteticas) baseado em uma amostra de 30 agrupamentos
Amostragem para Garantia de Qualidade de Lotes (Lot Quality Sampling - LQAS) Essa eacute outra teacutecnica de avaliaccedilatildeo raacutepida que se usa cada vez mais na aacuterea de sauacutede puacuteblica A LQAS utiliza amostragens muito pequenas para obter informaccedilotildees confiaacuteveis em uma pequena aacuterea geograacutefica ou unidade administrativa Pode ser usada para detectar de forma precisa os extremos do desempenho ndash para determinar se uma intervenccedilatildeo foi mais aleacutem de um limiar superior de desempenho ou natildeo conseguiu atingir um limiar inferior de desempenho em termos de qualidade ou cobertura As amostras de lotes podem tambeacutem ser combinadas para fornecer estimativas de cobertura em uma aacuterea geograacutefica mais ampla
Uma busca na Web revelaraacute recursos uacuteteis aqui temos um sobre os inqueacuteritos CAP e outro sobre LQAS A aacuterea de MampA do website do CORE Group inclui ligaccedilotildees com ferramentas e recursos importantes para a avaliaccedilatildeo raacutepida criados pelo Grupo de Trabalho de MampA do CORE Group
Como gestor deve revisar todas as fontes de dados jaacute existentes antes de planear a sua avaliaccedilatildeo A Tabela 7 apresenta as vantagens e desvantagens das trecircs principais fontes de
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 936
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 7 Resumo das trecircs fontes de dados mais comuns para uma avaliaccedilatildeo
Fonte de dados Vantagens Limitaccedilotildees
Estatiacutesticas de serviccedilo Dados sobre a populaccedilatildeo de utentes e serviccedilos cliacutenicos que satildeo recolhidos rotineiramente nos registos dos utentes e nos registos cliacutenicos
Disponiacuteveis imediatamente
Cobrem todos os tipos de serviccedilos de sauacutede e todas as aacutereas do paiacutes
Podem ser desagregados para os niacuteveis local e de distrito
Uso econoacutemico
Soacute lhe informam sobre clientes actuais sem informaccedilotildees sobre as pessoas que natildeo usam os serviccedilos de sauacutede e podem ser utentes em potencial
Natildeo fornecem informaccedilotildees sobre valores percepccedilotildees ou comportamentos da comunidade
Natildeo reflectem as pessoas que optam por fontes privadas de serviccedilos
Podem ser inexactas se os locais de prestaccedilatildeo de serviccedilos natildeo registarem os dados correctamente de forma legiacutevel e em tempo haacutebil
Inqueacuteritos de grande escala Inqueacuteritos de base populacional e avaliaccedilotildees de grande escala dos centros de sauacutede
Dados relevantes precisos e confiaacuteveis
Podem medir as tendecircncias nacionais de sauacutede identificar aacutereas com problemas e ajudar a concentrar os recursos do paiacutes em aacutereas de maior carecircncia
Geram valores meacutedios para as aacutereas urbanas e rurais regiotildees e proviacutencias
Fornecem um contexto para interpretar os dados recolhidos localmente
Podem gerar informaccedilotildees adicionais a partir dos seus conjuntos de dados informatizados
Geralmente natildeo podem desagregar os dados para fornecer meacutedias para as aacutereas sub-regionais (distritos ou municipalidades)
Geralmente natildeo satildeo realizadas anualmente os dados se tornam desactualizados rapidamente se as populaccedilotildees ou condiccedilotildees de sauacutede se modificarem rapidamente
Avaliaccedilotildees raacutepidas Meacutetodos focados para avaliar as necessidades locais e tomar decisotildees em acircmbito local
Raacutepidas e econoacutemicas
Resultam em acccedilatildeo local
Haacute directrizes para ajudar os gestores em vaacuterias dessas teacutecnicas
Fornecem aos gestores a capacidade de recolher os dados necessaacuterios
Os inqueacuteritos domiciliares (por ex LQAS ou CAP) podem obter precisatildeo suficiente para fins de avaliaccedilatildeo
Equilibra a necessidade de resultados representativos e objectivos com a necessidade de usar projectos levemente menos rigorosos que satildeo mais viaacuteveis em aacutereas locais
Usam escala e acircmbito reduzidos para produzir resultados em tempo haacutebil e de baixo custo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 937
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
dados que foram discutidas acima estatiacutesticas rotineiras de serviccedilos inqueacuteritos em grande escala e teacutecnicas de avaliaccedilatildeo raacutepida
Que niacutevel de qualidade os dados do SIS precisam ter para serem uacuteteis ndash que niacutevel de abrangecircncia precisatildeo e apresentaccedilatildeo em tempo haacutebil Para as suas necessidades de gestatildeo mesmo que natildeo sejam perfeitos os dados podem ser suficientemente bons para ter um efeito poderoso como nos mostra o exemplo de Madagascar
Dados do SIS pontos fortes e limitaccedilotildees
Subestimar o valor e a utilidade do SIS eacute infelizmente uma tendecircncia Eacute verdade que o SIS tem problemas frequentemente mas tambeacutem eacute grande o seu potencial Como vimos em
Como usar e melhorar dados imperfeitos do SIS ndash Um exemplo de Madagascar
Um SIS de base comunitaacuteria mais preciso e mais oportuno Um projecto de Madagascar implementou um meacutetodo baseado na comunidade para aumentar o uso de meacutetodos de planeamento familiar denominado ldquoComunidades Campeatildesrdquo em 50 dos 110 distritos do paiacutes O meacutetodo utilizou exclusivamente os dados do SIS para monitorar e avaliar as realizaccedilotildees das comunidades participantes
Em primeiro lugar foi estabelecida uma base de referecircncia para cada comunidade ao usar os dados do seu centro de sauacutede Em seguida o pessoal do centro de sauacutede e os representantes da comunidade identificaram metas para 10 indicadores que determinariam se uma comunidade tinha alcanccedilado a posiccedilatildeo de campeatilde apoacutes 12 meses de implementaccedilatildeo Cada comunidade monitorava seu proacuteprio progresso em uma reuniatildeo trimestral de verificaccedilatildeo
Apoacutes 12 meses o pessoal do projecto voltou a cada comunidade para avaliar os resultados Examinaram os dados do relatoacuterio de monitoria de rotina de cada centro de sauacutede e para cada indicador Prepararam tambeacutem um relatoacuterio sobre os dados de cada comunidade e o enviaram para o supervisor de niacutevel distrital para a sua confirmaccedilatildeo com base nos registos informatizados do distrito As fontes de dados para os relatoacuterios do centro de sauacutede e registos de distrito foram as mesmas (registos dos centros de sauacutede) e por isso raramente ocorreu uma discrepacircncia Mas o que interessava era envolver o supervisor distrital no exame dos dados do centro de sauacutede para mostrar a utilidade de se usar ateacute mesmo dados simples nesse niacutevel
O projecto tambeacutem cooperou com o Ministeacuterio da Sauacutede a niacutevel distrital para melhorar a precisatildeo a abrangecircncia e a prontidatildeo do SIS A ecircnfase era obter dados mais completos dos centros de sauacutede e reduzir o tempo gasto pelo escritoacuterio distrital para receber o relatoacuterio do centro de sauacutede apreciaacute-lo devolvecirc-lo ao centro para qualquer correcccedilatildeo recebecirc-lo novamente dar entrada dos dados no sistema e finalmente enviaacute-los ao niacutevel central Os distritos satildeo responsaacuteveis por cooperar com os centros de sauacutede para melhorar o registo de dados e actualizar suas proacuteprias teacutecnicas de processamento de dados
Apoacutes dois anos de assistecircncia teacutecnica o SIS tinha realmente melhorado segundo os indicadores de precisatildeo abrangecircncia e prontidatildeo As melhorias mais notaacuteveis foram em prontidatildeo o tempo gasto pelo escritoacuterio distrital no processo descrito acima reduziu-se de 12 para 3 meses
Imperfeitas mais mesmo assim valiosos Deve-se lembrar que o projecto ldquoComunidades Campeatildesrdquo teve oacuteptimo resultado apesar dos dados imperfeitos Seu numerador (o nuacutemero de utentes regulares de planeamento familiar) era detalhado e preciso Mas suas estimativas das taxas de prevalecircncia do uso de contraceptivos natildeo eram muito precisas porque o denominador (nuacutemero de mulheres em idade reprodutiva) era apenas uma estimativa baseada num censo desactualizado e em estimativas anuais do governo sobre percentagens de crescimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 938
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Madagascar o projecto Comunidades Campeatildes melhorou o sistema substancialmente num periacuteodo de dois anos Nesse caso o sistema jaacute se encontrava relativamente funcional porque projectos anteriores haviam feito um grande esforccedilo para implantar o sistema e tornaacute-lo mais soacutelido Ao aprimorar a forma como o sistema era administrado e os dados eram usados o projecto posterior conseguiu fazer uma grande diferenccedila por meio de pequenas modificaccedilotildees
Os dados do SIS natildeo satildeo 100 exactos e nunca seratildeo Esta eacute a realidade com a qual todos os gestores tecircm que trabalhar Mas os dados natildeo precisam ser perfeitos para serem uacuteteis Eacute possiacutevel fazer a monitoria e a gestatildeo com dados imperfeitos Informaccedilotildees obtidas em tempo
(continuaccedilatildeo)
No entanto o projecto constatou que as taxas de prevalecircncia de uso de contraceptivos eram suficientemente boas para acompanhar o desempenho das comunidades que participavam do meacutetodo de Comunidades Campeatildes O pessoal do projecto tambeacutem complementou as comparaccedilotildees dessas taxas com as comparaccedilotildees dos valores do numerador nuacutemeros simples que faziam sentido para o pessoal do centro de sauacutede e tambeacutem para as comunidades
O niacutevel central comeccedilou a organizar workshops regionais trimestrais para divulgar os resultados ao niacutevel distrital Juntos os gestores dos niacuteveis distritais regionais e centrais analisaram o progresso e classificaram os distritos com base no seu desempenho Usaram a anaacutelise de causa-raiz ndash um processo que identifica as causas subjacentes de um problema ndash para entender os obstaacuteculos enfrentados pelos distritos que apresentavam baixo desempenho (Consulte o Apecircndice A no Capiacutetulo 2 deste guia para obter mais informaccedilotildees sobre a anaacutelise de causa-raiz) Finalmente o Ministeacuterio de Sauacutede mobilizou o apoio de agecircncias doadoras e de organizaccedilotildees parceiras para ajudaacute-los a melhorar
O ministeacuterio comeccedilou a usar as informaccedilotildees de sauacutede para administrar realmente o sistema de sauacutede Antes dessa intervenccedilatildeo poucas organizaccedilotildees confiavam ou utilizavam os dados do SIS Mas quando ficou claro que o sistema funcionava as agecircncias doadoras passaram a confiar as organizaccedilotildees parceiras passaram a utilizaacute-lo e o ministeacuterio se orgulhou do trabalho Pela primeira vez tinham uma visatildeo mais niacutetida do que acontecia em todo o paiacutes e podiam usar essas informaccedilotildees para buscar o apoio de agecircncias doadoras se necessaacuterio
Do mesmo modo os centros de sauacutede raramente usavam seus proacuteprios dados Eles simplesmente faziam os registos e os enviavam para o escritoacuterio distrital sem nem mesmo receber retroinformaccedilatildeo do mesmo Apoacutes a conclusatildeo do projecto perceberam como os dados mais precisos podiam ser usados em seu benefiacutecio e das comunidades
Os distritos tambeacutem actuavam antes de uma forma pouco informada Cada distrito dependia apenas dos seus proacuteprios dados e funcionava num vaacutecuo As mudanccedilas no SIS e o encorajamento do governo central forneceram aos distritos oportunidades para comparar seu trabalho e aprender uns com os outros
Aprendizagem com dados mais precisos completos e oportunos Os dados satildeo geralmente utilizados para fazer comparaccedilotildees mas satildeo menos frequentemente utilizados como ferramenta de aprendizagem Nesse caso depois que os relatoacuterios comeccedilaram a chegar dentro do prazo o Ministeacuterio da Sauacutede usou os dados ndash inclusive dados imperfeitos ndash para descobrir que distritos tinham um desempenho ruim e que distritos estavam melhor que os outros Assim aprenderam com os de melhor desempenho ao perguntar Por que seus resultados satildeo tatildeo bons O que estavam a fazer de diferente O que poderia ser replicado Finalmente aplicaram a aprendizagem ao usar esses distritos como modelos e ao oferecer mais apoio aos de pior desempenho
Todo o sistema de sauacutede se entusiasmou com as informaccedilotildees que podiam produzir e usar A comeccedilar do topo esse entusiasmo chegou aos niacuteveis inferiores e os motivou a melhorar sua recolha e processamento de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 939
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
haacutebil e com 75 de precisatildeo satildeo melhores que as informaccedilotildees com 95 de precisatildeo que chegam com vaacuterios meses de atraso
Apesar do seu grande valor por si soacutes os dados do SIS natildeo atenderatildeo a todas as necessidades de informaccedilatildeo de muitas organizaccedilotildees Algumas organizaccedilotildees e agecircncias doadoras precisam de dados que exigem avaliaccedilotildees ou sistemas especiais Aleacutem disso vaacuterias intervenccedilotildees foram projectadas para modificar o conhecimento as atitudes e as praacuteticas dos beneficiaacuterios factores que natildeo satildeo capturados nos dados de serviccedilo Eacute importante usar os dados do SIS sempre que possiacutevel e complementaacute-los com avaliaccedilotildees locais quando necessaacuterio
Como gestor de um programa de sauacutede ou de serviccedilos de sauacutede parte do seu trabalho deveria ser o de melhorar o SIS em seu paiacutes Ele eacute o uacutenico sistema de informaccedilotildees sustentaacutevel na maioria dos paiacuteses Os sistemas de informaccedilatildeo criados e mantidos por agecircncias doadoras ou organizaccedilotildees externas tecircm duraccedilatildeo limitada mas o SIS eacute parte permanente do seu legado
Se todos os parceiros e agecircncias doadoras trabalharem com o Ministeacuterio de Sauacutede para prestar assistecircncia teacutecnica e financeira ao SIS ele poderaacute render informaccedilotildees que trazem grandes melhorias para os serviccedilos de sauacutede e que justificam plenamente o investimento no mesmo
Praacuteticas comprovadas
Um sistema de MampA deveria proporcionar aos gestores o que eles precisam saber para agir Deve se basear em indicadores relevantes faacuteceis de usar e que possam ser fornecidos em tempo haacutebil para os ciclos de planeamento e apresentaccedilatildeo de relatoacuterios
Os resultados de MampA natildeo se destinam apenas ao pessoal de MampA da sua organizaccedilatildeo ou agrave agecircncia doadora As informaccedilotildees de MampA satildeo um recurso fundamental para as acccedilotildees e a aprendizagem Se o seu processo de MampA tiver mecanismos de retroinformaccedilatildeo que permitam aos tomadores de decisotildees reflectirem sobre os resultados e absorverem o que precisam para seus proacuteprios fins eles assumiratildeo o controlo do processo e utilizaratildeo o que ele oferecer
Se vocecirc define suas actividades de MampA no comeccedilo de uma intervenccedilatildeo ou projecto junto com o plano de acccedilatildeo para o projecto teraacute mais oportunidades de orientar e acompanhar a implementaccedilatildeo das actividades
Quando satildeo demasiado elaborados e complicados os planos de MampA natildeo satildeo usados Elabore um plano de MampA simples escolha ferramentas de monitoria faacuteceis de usar e seleccione a menor quantidade possiacutevel de indicadores para acompanhar o progresso e introduzir as mudanccedilas necessaacuterias ao longo do caminho
Para fortalecer um SIS eacute preciso trabalhar com as pessoas envolvidas os responsaacuteveis pelo sistema que registam transferem analisam comunicam e utilizam os dados e as informaccedilotildees para a gestatildeo dos serviccedilos
Ao fornecer os dados do SIS para os tomadores de decisotildees vocecirc deve reconhecer as diferenccedilas na frequecircncia dos relatoacuterios e nas quantidades de dados agregados e desagregados necessaacuterios aos niacuteveis diferentes de governo ou agraves organizaccedilotildees natildeo governamentais
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 910
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Em primeiro lugar os indicadores devem ser uacuteteis para o gestor Eles devem estar directamente relacionados com o plano operacional da organizaccedilatildeo (ou o plano de intervenccedilatildeo) e os resultados esperados Algumas organizaccedilotildees tecircm a tendecircncia de focalizar a monitoria do processo entre os inqueacuteritos sobre conhecimentos atitudes e praacuteticas (CAP) Isso significa que monitoram os processos tais como a formaccedilatildeo Quem recebeu formaccedilatildeo Em que toacutepicos Quando Isto eacute importante mas natildeo o suficiente A monitoria do processo natildeo monitora o progresso para atingir os resultados simplesmente acompanha a conclusatildeo das actividades
Aleacutem da monitoria do processo os gestores tambeacutem precisam monitorar os indicadores substitutos que indicam o maacuteximo que vocecirc se aproximaraacute dos resultados reais durante a implementaccedilatildeo de um conjunto de actividades quando os resultados natildeo forem ainda facilmente mensuraacuteveis Os indicadores substitutos satildeo medidas indirectas que se aproximam de um alvo ou resultado ou representam esse alvo ou resultado quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis
Por exemplo no caso da prestaccedilatildeo de serviccedilos de planeamento familiar como determinados contraceptivos satildeo distribuiacutedos atraveacutes do centro de sauacutede os dados de monitoria deveriam vir do centro de sauacutede Apesar de natildeo se poder concluir que o resultado-alvo tenha sido atingido ndash que os produtos estejam efectivamente a ser utilizados pela populaccedilatildeo beneficiaacuteria ndash as informaccedilotildees sobre distribuiccedilatildeo fornecem pistas sobre a possibilidade de sucesso das actividades A maioria dos dados para monitorar os indicadores substitutos pode ser obtida a partir do SIS
As informaccedilotildees accionaacuteveis devem ser fornecidas em um formato utilizaacutevel Os gestores frequentemente recebem um excesso de informaccedilotildees em um formato muito complicado Eacute
Em acccedilatildeo o monitoramento para melhor gestatildeo de programas ndash Um exemplo do Peru
Uma organizaccedilatildeo de planeamento familiar local no Peru fez uma campanha de comunicaccedilatildeo para aumentar a prevalecircncia do uso de contraceptivos na aacuterea de captaccedilatildeo da organizaccedilatildeo Criaram os materiais e deram formaccedilatildeo aos trabalhadores de sauacutede comunitaacuterios para educar as mulheres nas suas aldeias A organizaccedilatildeo pretendia realizar apenas um inqueacuterito para obter dados baacutesicos preliminares para depois realizar inqueacuteritos sobre conhecimentos atitudes e praacuteticas (CAP) Esses eram os passos iniciais necessaacuterios e os meacutetodos adequados para avaliar a eficaacutecia da campanha mas a questatildeo eacute se forneceriam dados suficientes e accionaacuteveis para atender agraves necessidades do gestor Natildeo porque os resultados viriam apoacutes a campanha ser concluiacuteda O gestor precisava de informaccedilotildees para tomar medidas correctivas enquanto a campanha de comunicaccedilatildeo estava em andamento
Coloque-se no lugar do gestor nesse cenaacuterio O que precisaria monitorar Poderia comeccedilar com a distribuiccedilatildeo mensal de contraceptivos durante a campanha de comunicaccedilatildeo usando dados faacuteceis de obter do depoacutesito de suprimentos O movimento do stock dos produtos contraceptivos na cadeia de suprimentos indicaria que a campanha estava a criar uma demanda ao passo que nenhum movimento poderia indicar que a campanha ou o sistema de fornecimento natildeo estava a funcionar adequadamente Notam-se picos de distribuiccedilatildeo durante a campanha O movimento de contraceptivos eacute maior durante a campanha do que era antes
Se natildeo notar mudanccedilas apoacutes dois ou trecircs meses saberaacute que algo precisa ser modificado na campanha de comunicaccedilatildeo ou na cadeia de suprimentos ou em ambas Teraacute que fazer visitas ao local para descobrir os motivos O problema eacute a falta de stock Natildeo houve mudanccedila na distribuiccedilatildeo porque natildeo haacute produtos disponiacuteveis Ou natildeo houve mudanccedila porque a estaccedilatildeo de raacutedio natildeo transmitiu o anuacutencio informativo Ou talvez os agentes de distribuiccedilatildeo da comunidade nunca receberam os papeacuteis gigantes e os modelos de que precisavam para educar as mulheres nas suas comunidades
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 911
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
preciso ter uma ferramenta simples que lhe forneccedila apenas informaccedilotildees essenciais Poderaacute aprender mais sobre essas ferramentas na secccedilatildeo deste capiacutetulo intitulada ldquoCaracteriacutesticas de uma boa ferramenta de monitoriardquo
Por uacuteltimo os gestores precisam receber informaccedilotildees em tempo haacutebil para que possam agir imediatamente Os projectos implementados pelas organizaccedilotildees com fundos do governo ou de uma agecircncia doadora satildeo frequentemente conduzidos em dois periacuteodos de tempo
Por exemplo vocecirc poderaacute gerir um projecto que se estende por cinco anos desmembrado em ciclos anuais de apresentaccedilatildeo de relatoacuterios com base em planos de operaccedilatildeo anuais Mas para monitorar o plano anual e apresentar os relatoacuterios necessaacuterios vocecirc precisa de informaccedilotildees trimestrais Se os seus centros de sauacutede apresentarem os dados apoacutes o prazo estabelecido as informaccedilotildees natildeo chegaratildeo a tempo para os seus relatoacuterios
Informaccedilotildees em acccedilatildeo para melhorar os serviccedilos ndash experiecircncias da Boliacutevia e da Aacutefrica do Sul
Uso de informaccedilotildees para mobilizar a cadeia de suprimentos O programa de suplementaccedilatildeo de aacutecido foacutelico e ferro na Boliacutevia foi uma actividade de mobilizaccedilatildeo comunitaacuteria implementada por vaacuterias ONGs em aacutereas rurais do paiacutes
Surgiu um problema apoacutes apenas trecircs meses de implementaccedilatildeo Se a gestora tivesse confiado apenas na monitoria do processo teria visto que todas as actividades haviam sido executadas dentro do prazo e conforme planeadas Poreacutem os dados mensais dos centros de sauacutede das aacutereas de captaccedilatildeo atendidas pelo programa revelaram que em vaacuterias comunidades a distribuiccedilatildeo de ferro e aacutecido foacutelico para graacutevidas havia sido nula desde o primeiro mecircs de implementaccedilatildeo do programa
A gestora investigou imediatamente e descobriu que 16 centros de sauacutede estavam com faltas de stock Apesar de haver um protocolo escrito para a distribuiccedilatildeo de ferro e aacutecido foacutelico e de todos os centros de sauacutede possuiacuterem supostamente o produto nos seus stocks historicamente natildeo havia demanda para esse produto Os centros de sauacutede haviam decidido haacute muito tempo natildeo tecirc-lo mais em stock
A gestora levou o problema agrave atenccedilatildeo do vice-ministro de sauacutede e em poucos dias o Ministeacuterio da Sauacutede mobilizou toda a sua cadeia de suprimentos para garantir que havia um stock suficiente em toda a cadeia No final do ano a suplementaccedilatildeo de ferro e aacutecido foacutelico havia melhorado dramaticamente em todo o paiacutes Tudo isso aconteceu graccedilas a uma simples ferramenta de monitoria mensal que permitiu que a gestora tomasse medidas correctivas no iniacutecio da implementaccedilatildeo
Simplificaccedilatildeo da recolha de dados e estiacutemulo ao uso dos dados Sabe-se que se a recolha e o processamento dos dados forem muito complicados a qualidade e o uso dos mesmos tendem a diminuir Na Aacutefrica do Sul o pessoal de enfermagem dos centros de sauacutede eacute geralmente solicitado a executar duas funccedilotildees (1) cuidar dos utentes do sistema e (2) recolher e utilizar dados O problema eacute que esse pessoal se dedica principalmente a prestar cuidados e considera a recolha de dados uma sobrecarga de trabalho desnecessaacuteria aleacutem de suas actividades quotidianas
Um grupo de enfermeiras da Aacutefrica do Sul que reconheceu a importacircncia das informaccedilotildees para a prestaccedilatildeo dos serviccedilos decidiu tornar a recolha e uso de dados de rotina parte do seu trabalho diaacuterio Entenderam que era necessaacuterio reduzir a quantidade de dados necessaacuterios e simplificar o processo de recolha
Como resultado criaram uma lista itemizada ou lista de verificaccedilatildeo que lhes permitia ter ao final de cada dia um quadro raacutepido dos serviccedilos que haviam prestado No final do mecircs podiam tabular rapidamente e analisar os dados sobre seus serviccedilos Esse tipo de sumaacuterio diaacuterio e mensal das suas actividades foi extremamente satisfatoacuterio Ele motivou seu uso contiacutenuo para monitorar analisar e melhorar os serviccedilos
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 912
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Abordagens e ferramentas praacuteticas de MampA
QUADROS DE REFEREcircNCIA PARA A FORMULACcedilAtildeO MONITORIA E AVALIACcedilAtildeO DOS SERVICcedilOS DE SAUacuteDE
Os resultados de intervenccedilotildees programaacuteticas e nos serviccedilos de sauacutede podem ser medidos em niacuteveis variados Muitas directrizes de MampA se baseiam numa sequecircncia de cinco niacuteveis de resultados insumos actividades produtos resultados e impactos A Figura 4 resume os niacuteveis de resultados que podem ser monitorados e avaliados
Para compreender melhor a sequecircncia de resultados considere as definiccedilotildees abaixo
Insumos Os materiais e recursos necessaacuterios para executar o plano de implementaccedilatildeo da sua unidade ou equipa e obter o resultado esperado Os exemplos incluem os recursos financeiros teacutecnicos humanos suprimentos e produtos essenciais
Processo As actividades executadas por meio do seu plano de implementaccedilatildeo Os exemplos incluem a formaccedilatildeo dos profissionais de sauacutede a melhoria do sistema de gestatildeo de suprimentos e a distribuiccedilatildeo de meios de planeamento familiar
Produtos Eacute o resultado imediato de uma actividade Os exemplos incluem o nuacutemero de pessoas formadas o nuacutemero de novos utentes de contraceptivos e a quantidade de produtos distribuiacutedos
Resultados (a meacutedio e longo prazo) Eacute uma mudanccedila de curto prazo em um grupo da populaccedilatildeo como resultado de uma seacuterie de actividades Os exemplos incluem as mudanccedilas na cobertura do atendimento preacute-natal na proporccedilatildeo de partos seguros no conhecimento e atitudes sobre meacutetodos de planeamento familiar e sauacutede reprodutiva nas necessidades ainda natildeo atendidas de planeamento familiar e nas taxas de prevalecircncia do uso de contraceptivos
Impacto Mudanccedilas a longo prazo dentro de um grupo da populaccedilatildeo beneficiaacuteria Os exemplos incluem mudanccedilas na taxa total de fertilidade e nas taxas de mortalidade e morbidade maternas
Dois tipos de quadros de referecircncia satildeo comummente utilizados para planear e organizar a formulaccedilatildeo de uma intervenccedilatildeo ou serviccedilo e o seu plano de MampA quadros loacutegicos e quadros conceptuais
FIGURA 4 Niacuteveis da sequecircncia de resultados
InsumosProcessos
(actividades)Produtos Resultados Impacto
recursos humanos
recursos financeiros
equipa-mentos
centros de sauacutede
poliacuteticas
reuniotildees formaccedilatildeo supervisatildeo serviccedilos
nuacutemero de pessoal formado
nuacutemero de clientes
nuacutemero de produtos
melhor supervisatildeo
melhoria da cadeia de frio
mudanccedila no conheci-mento
mudanccedila no comporta-mento
mudanccedila nas praacuteticas
melhores serviccedilos
mudanccedila das taxas de doenccedila
mudanccedilas das taxas de oacutebitos
mudanccedila das taxas de nascimento
mudanccedilas das taxas de fertilidade
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 913
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
QUADROS LOacuteGICOS
Desde a elaboraccedilatildeo em 1969 de uma abordagem de quadro loacutegico para a USAID (Agecircncia dos EUA para o Desenvolvimento Internacional) os quadros loacutegicos (tambeacutem denominados Modelos Loacutegicos) foram adoptados depois de vaacuterias adaptaccedilotildees por vaacuterias organizaccedilotildees de desenvolvimento internacional e bilateral
A Figura 5 mostra os elementos de um Quadro Loacutegico
O Quadro Loacutegico ajuda os gestores e as equipas a responder a quatro perguntas principais
1 O que queremos realizar e por quecirc2 Como mediremos o sucesso 3 Que condiccedilotildees devem existir em cada fase da nossa intervenccedilatildeo4 Que recursos e processos seratildeo necessaacuterios para chegarmos laacute
Os Quadros Loacutegicos ajudam a identificar as conexotildees causais da sequecircncia de resultados insumos rarr processos (actividades) rarr produtos rarr resultados a meacutedio e longo prazo rarr impacto Essas conexotildees causais determinam a loacutegica da intervenccedilatildeo e orientam a selecccedilatildeo de indicadores para cada fase da sequecircncia de resultados
FIGURA 5 Elementos tiacutepicos de um quadro loacutegico
Objectivos IndicadoresFormas de verificaccedilatildeo Pressupostos
Meta O objectivo final ou impacto pretendido da intervenccedilatildeo
Medidas usadas para avaliar ateacute que ponto as metas foram atingidas
Meacutetodos e fontes de informaccedilatildeo para medir ou avaliar os indicadores de metas
Factores ou condiccedilotildees necessaacuterios para a sustentabilidade a longo prazo
PropoacutesitoResultado Mudanccedilas ou benefiacutecios esperados a serem conseguidos para utentes comunidades organizaccedilotildees ou sistemas
Medidas usadas para avaliar ateacute que ponto foi alcanccedilado o propoacutesito ou resultado
Meacutetodos e fontes de informaccedilatildeo para medir ou avaliar indicadores de propoacutesitoresultado
Factores ou condiccedilotildees necessaacuterios para o sucesso do programa nesse niacutevel e passagem para o seguinte niacutevel
Produtos Resultados directos e tangiacuteveis das actividades do programa que deveratildeo atingir o propoacutesito
Medidas usadas para avaliar ateacute que ponto os produtos foram apresentados
Meacutetodos e fontes de informaccedilatildeo para medir e avaliar os indicadores de produtos
Factores ou condiccedilotildees necessaacuterios para o sucesso do programa neste niacutevel e passagem para o seguinte niacutevel
ProcessosActividades Medidas tomadas por um programa para atingir os objectivos definidos
InsumosRecursos Pessoal tempo materiais e fundos necessaacuterios para executar as actividades
Meacutetodos e fontes de informaccedilatildeo utilizados para mostrar que as actividades foram concluiacutedas
Factores ou condiccedilotildees necessaacuterios para o sucesso do programa neste niacutevel e passagem para o seguinte niacutevel
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 914
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para entender como um Quadro Loacutegico explicita a loacutegica de uma intervenccedilatildeo examine novamente a Figura 5 Uma seacuterie de relacionamentos condicionais (ldquose entatildeordquo) conecta cada componente do Quadro Loacutegico
1 Se os recursos necessaacuterios estiverem disponiacuteveis e supondo-se que as condiccedilotildees sejam favoraacuteveis entatildeo as actividades do programa podem ser implementadas e
2 hellipse as actividades do programa forem implementadas com sucesso e supondo-se que existam condiccedilotildees favoraacuteveis especiacuteficas entatildeo os produtos e resultados esperados poderatildeo ser alcanccedilados e
3 hellipse os produtos e resultados esperados forem alcanccedilados e supondo-se que existam as condiccedilotildees favoraacuteveis especiacuteficas entatildeo a meta estrateacutegica poderaacute ser atingida
O Quadro Loacutegico pode ser uacutetil na conceptualizaccedilatildeo de um projecto durante o periacuteodo de planeamento e na avaliaccedilatildeo do progresso e aplicaccedilatildeo de medidas correctivas durante a implementaccedilatildeo Como qualquer outro quadro de referecircncia ele possui vantagens e desvantagens como mostra a Tabela 1
O Apecircndice A deste capiacutetulo fornece um exemplo de Quadro Loacutegico para um programa de visita domiciliar desenvolvido pelo Banco Interamericano de Desenvolvimento
QUADROS CONCEPTUAIS
Estes satildeo semelhantes aos Quadros Loacutegicos no sentido de que descrevem uma sequecircncia de resultados mas levam em consideraccedilatildeo as razotildees subjacentes de por que ocorrem as mudanccedilas ao longo da sequecircncia de resultados Enquanto os Quadros Loacutegicos simplesmente afirmam que as actividades traratildeo resultados ainda maiores os quadros conceptuais permitem mapear os factores que na sua opiniatildeo satildeo criacuteticos e explicam porque esses factores satildeo importantes para o sucesso
Este tipo de mapeamento ajuda a decidir que factores devem ser monitorados durante a implementaccedilatildeo das actividades Quando os dados mostram que esses elementos criacuteticos foram ou natildeo alcanccedilados pode-se compreender melhor por que uma intervenccedilatildeo teve ou natildeo sucesso e o que poderia ser modificado no futuro
Veja as vantagens e desvantagens dos quadros conceptuais na Tabela 2
TABELA 1 Visatildeo geral do quadro loacutegico
Vantagens Desvantagens
Melhora a qualidade dos planos de intervenccedilatildeo ao exigir a definiccedilatildeo de indicadores e objectivos claros e a anaacutelise de pressupostos e riscos
Quando usado regularmente durante uma intervenccedilatildeo eacute uma ferramenta de gestatildeo eficaz para orientar a implementaccedilatildeo e a MampA
Resume a elaboraccedilatildeo de planos complexos
Apoia a preparaccedilatildeo de planos de implementaccedilatildeo detalhados
Pressupotildee uma relaccedilatildeo linear entre insumos-produtos-resultados que natildeo leva em consideraccedilatildeo outros factores de influecircncia
Se usado rigidamente durante o processo de formulaccedilatildeo poderaacute restringir a criatividade e a inovaccedilatildeo
Se natildeo for actualizado durante a implementaccedilatildeo pode ser uma ferramenta estaacutetica que natildeo reflecte as condiccedilotildees em mudanccedila
Geralmente a formaccedilatildeo e o acompanhamento satildeo necessaacuterios para usar esse meacutetodo correctamente
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 915
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O modelo conhecido como Caminho de Mudanccedila (Pathway to Change) eacute um exemplo particularmente uacutetil de um quadro conceptual Esse modelo utiliza um formato de condicionalidade (ldquose entatildeordquo) para mostrar passo a passo como os resultados a meacutedio e longo prazo foram conceptualizados e como seratildeo alcanccedilados A Figura 6 eacute um exemplo de aplicaccedilatildeo do Caminho de Mudanccedila em um projecto de sauacutede de seis meses de duraccedilatildeo e acircmbito municipal na Nicaraacutegua
Caminho de Mudanccedila Tratamos deste modelo neste capiacutetulo devido agrave sua utilidade para os gestores e seus benefiacutecios como actividade de fortalecimento de uma equipa O estabelecimento de um Caminho de Mudanccedila eacute geralmente um processo participativo que permite que a sua equipa ou unidade e outros grupos de interesse formulem uma intervenccedilatildeo e determinem como ela vai funcionar O produto final eacute um mapa que mostra como uma acccedilatildeo estaacute relacionada com outras e como todas elas acrescentam algo ao resultado esperado Frequentemente o estabelecimento de um caminho expotildee as crenccedilas subjacentes que as pessoas de uma organizaccedilatildeo mantecircm sobre a forma em que suas acccedilotildees promovem mudanccedilas
A criaccedilatildeo de um Caminho de Mudanccedila tem vaacuterios benefiacutecios Em primeiro lugar exige que a sua equipa examine cada acccedilatildeo proposta e responda agraves seguintes perguntas
Todas as actividades contribuem para o resultado esperado Se a resposta for negativa algumas actividades deveriam ser modificadas acrescentadas ou eliminadas
As actividades satildeo sequenciais Elas estatildeo relacionadas de uma forma loacutegica Elas se somam umas agraves outras para formar um conjunto racional e coerente de acccedilotildees
Pensamos em todos os produtos e resultados necessaacuterios para atingir nosso resultado esperado
Temos os recursos necessaacuterios para implementar as actividades propostas Em quanto tempo atingiremos o resultado que desejamos Que outros factores podem contribuir ou entravar cada uma das actividades do
caminho
Em segundo lugar sua equipa deve tornar expliacutecita e chegar a um acordo sobre a loacutegica subjacente de um plano de intervenccedilatildeo Em outras palavras deve mostrar no papel como cada acccedilatildeo resultaraacute na mudanccedila desejada em cada niacutevel do mapa Por uacuteltimo o caminho define que resultados imediatos e resultados a meacutedio e longo prazo a equipa deve monitorar e que indicadores devem usar
TABELA 2 Visatildeo geral do quadro conceptual
Vantagens Desvantagens
Fornece um mapeamento visual e flexiacutevel de planos de intervenccedilatildeo complexos
Quando usado regularmente durante a implementaccedilatildeo permite uma retroinformaccedilatildeo antecipada do que estaacute ou natildeo a funcionar e por quecirc
Auxilia na identificaccedilatildeo de efeitos colaterais natildeo previstos
Ajuda a priorizar os problemas a serem investigados mais profundamente talvez ao usar meacutetodos mais focalizados de recolha de dados ou teacutecnicas mais sofisticadas de MampA
Pode se tornar extremamente complexo se a escala de actividades for muito grande ou se for reunida uma lista exaustiva de factores e pressupostos
Os grupos de interesse podem discordar sobre os factores determinantes que consideram ser os mais importantes
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 916
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Como se lecirc um mapa de Caminho de Mudanccedila O caminho pode ser lido como um fluxograma em que caixas e setas mostram a relaccedilatildeo entre as acccedilotildees e os efeitos como mostrado na Figura 6 O resultado esperado aparece no topo do caminho e os resultados imediatos que devem ser atingidos para se chegar laacute satildeo exibidos no proacuteximo niacutevel Os produtos que devem ser obtidos para conseguir os resultados a meacutedio e longo prazo aparecem no proacuteximo niacutevel inferior Finalmente as actividades aparecem no fundo ou base
Quando lido de baixo para cima o mapa mostra que actividades satildeo necessaacuterias para conseguir os produtos e que resultados a meacutedio e longo prazo satildeo necessaacuterios para se chegar ao topo Eacute preciso sempre poder traccedilar um caminho desde o comeccedilo de suas acccedilotildees ateacute o resultado esperado
Pode ser uacutetil imaginar o caminho como o organigrama de uma empresa vocecirc pode comeccedilar da base do organigrama como assistente administrativo passar a coordenador de escritoacuterio depois a uma funccedilatildeo de gestatildeo e finalmente ocupar o gabinete do director
A criaccedilatildeo de um Caminho de Mudanccedila Para desenvolver um Caminho da Mudanccedila sua equipa mapeia a mudanccedila de forma reversa Comeccedila no final do caminho (no topo da
FIGURA 6 Exemplo de um Caminho de Mudanccedila
Resultado 180 dos pacientes
estatildeo satisfeitos com os serviccedilos prestados no
centro de sauacutede
Resultado 260 das mulheres
entre 15 e 49 anos na aacuterea de captaccedilatildeo do centro de
sauacutede entendem a importacircncia do planeamento familiar
para o espaccedilamento dos nascimentos
Resultado 3Todos os meacutetodos
contraceptivos modernos estatildeo
disponiacuteveis no centro de sauacutede
Produto 1Os tempos de
espera no centro de sauacutede se
reduziram de 40 para 20 minutos
Produto 2Eacute oferecida
orientaccedilatildeo a todos os pacientes em
espaccedilo privado do centro de sauacutede
Produto 3Voluntaacuterias
realizam palestras semanais sobre temas
de sauacutede reprodutiva na comunidade
Produto 4Todos os stocks
de contraceptivos satildeo monitorados semanalmente
Actividade 1Realizar um
inqueacuterito sobre o uxo de
pacientes e cumprir
recomendaccedilotildees
Actividade 2Transformar um canto do
centro de sauacutede para a
orientaccedilatildeo dos pacientes
Actividade 3Mobilizar as
ONGs parceiras para imprimir panetos de informaccedilatildeo educaccedilatildeo e
comunicaccedilatildeo
Actividade 4Mobilizar as
ONGs parceiras para dar
formaccedilatildeo ou equipar as voluntaacuterias
Actividade 5Recrutar liacutederes
comunitaacuterios para prestar
apoio agraves palestras sobre
sauacutede reprodutiva
Actividade 6Desenvolver
um sistema de registo e
pedidos de suprimentos
contraceptivos
Resultado esperadoAumento na percentagem de utentes de planeamento familiar de 50 para 52
durante o periacuteodo de Junho a Dezembro de 2006
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 917
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
sequecircncia) e define a meta da organizaccedilatildeo a longo prazo ou o resultado esperado de uma intervenccedilatildeo Em seguida preenche o mapa ao trabalhar de cima para baixo onde identifica finalmente as actividades principais os primeiros elementos do seu plano de implementaccedilatildeo
Enquanto se desloca pelo caminho faccedila trecircs perguntas Que resultados precisam acontecer para contribuir agrave meta de longo prazo Que produtos precisam ser obtidos antes disso para alcanccedilar os resultados Que actividades precisam acontecer antes disso para conseguir os produtos
O desenho de uma intervenccedilatildeo dessa forma pode ajudar a revelar as condiccedilotildees necessaacuterias para atingir os resultados a meacutedio e longo prazo e a meta de longo prazo Talvez sejam necessaacuterias vaacuterias tentativas para criar um Caminho de Mudanccedila com o qual todos estejam de acordo Os resultados produtos e acccedilotildees podem ser acrescentados modificados e eliminados ateacute que eventualmente surja um mapa que conte a histoacuteria com a qual sua equipa pode concordar O debate eacute frequentemente a parte mais importante da experiecircncia porque a equipa junta define as expectativas pressupostos e caracteriacutesticas do processo de mudanccedila
Uso da sequecircncia ldquopara querdquo como forma de verificar as vias de um Caminho de Mudanccedila Uma boa forma de verificar a loacutegica do mapa do seu caminho eacute inverter o processo e criar uma sequecircncia de ldquopara querdquo para cada actividade O exemplo na Figura 7 mostra como fazer isso para a Actividade 5 da Figura 6 O movimento na sequecircncia ldquopara querdquo eacute o
FIGURA 7 Sequecircncia ldquopara querdquo para uma actividade de um Caminho de Mudanccedila
Dar formaccedilatildeo agraves voluntaacuterias da comunidade e equipaacute-las com os materiais de informaccedilatildeo educaccedilatildeo e comunicaccedilatildeo necessaacuterios
para que
As voluntaacuterias realizem sessotildees educativas sobre sauacutede sobre temas de planeamento familiar na aacuterea especiacutefica do centro de sauacutede
para que
As mulheres em idade reprodutiva na aacuterea especiacutefica se sintam agrave vontade para participar de sessotildees apresentadas pelas voluntaacuterias
para que
As mulheres participem das sessotildees e aprendam sobre a importacircncia do planeamento familiar para o espaccedilamento dos nascimentos
para que
Mais mulheres em idade reprodutiva busquem meacutetodos de planeamento familiar no centro de sauacutede e a percentagem de mulheres que recebem os meacutetodos aumentem 2 durante o periacuteodo do projecto (o resultado esperado)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 918
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
oposto exacto do Caminho de Mudanccedila Vocecirc coloca cada actividade no topo da sua proacutepria sequecircncia e desce pela sequecircncia ateacute a meta ou resultado esperado Essa sequecircncia ajuda a confirmar que cada rota individual no Caminho de Mudanccedila faz sentido em termos loacutegicos
Para usar essa teacutecnica eacute preciso criar uma sequecircncia ldquopara querdquo para cada actividade no seu Caminho de Mudanccedila Comece por descrever cada actividade e segui-la da frase ldquopara querdquo seguida de uma descriccedilatildeo do que aconteceraacute se essa actividade for realizada Continue a fazer isto ateacute atingir a sua meta de longo prazo ou resultado esperado
Etapas do desenvolvimento de um plano de MampA
Uma das suas tarefas essenciais de MampA como gestor que exerce lideranccedila eacute a de elaborar um plano que ajude vocecirc e sua equipa a determinar se atingiram ou natildeo os resultados esperados e a acompanhar o progresso no alcance desses resultados durante a implementaccedilatildeo Isso exige que vocecirc natildeo soacute escolha indicadores confiaacuteveis mas tambeacutem que meccedila esses indicadores de forma organizada Seu plano de MampA deve especificar que indicadores seratildeo medidos como e quando seratildeo medidos e por quem
Um plano de MampA bem formulado responde a cinco perguntas
1 Seu resultado esperado eacute mensuraacutevel2 Que indicadores utilizaraacute para monitorar seus produtos e para avaliar seus
resultados 3 Quais satildeo as suas fontes de dados e como recolheraacute os dados dessas fontes 4 Quais satildeo os periacuteodos cobertos de cada indicador 5 Quem recolheraacute os dados
Essas perguntas satildeo importantes porque sem um plano vaacutelido de MampA vocecirc poderaacute interpretar erroneamente os efeitos da sua intervenccedilatildeo Poderaacute concluir que ela natildeo teve efeito algum quando na verdade ela teve alguns resultados positivos ou poderaacute concluir que ela teve um efeito positivo quando na verdade natildeo obteve resultado algum o que eacute um erro comum e mais destrutivo
Elaborar e utilizar um plano de MampA garante que dados comparaacuteveis seratildeo recolhidos regularmente e em tempo haacutebil mesmo quando houver mudanccedilas de pessoal A Tabela 3 resume as etapas no desenvolvimento e implementaccedilatildeo de um plano de MampA O resto desta secccedilatildeo descreve cada etapa detalhadamente
ETAPA 1 DEFINA OS RESULTADOS ESPERADOS
A primeira etapa no desenvolvimento do plano de MampA eacute determinar um niacutevel apropriado de resultados Juntos o tipo e o acircmbito da intervenccedilatildeo os recursos disponiacuteveis e o prazo de implementaccedilatildeo determinam um resultado viaacutevel
Como jaacute vimos antes neste capiacutetulo as intervenccedilotildees dirigidas por organizaccedilotildees com fundos de agecircncias doadoras e por serviccedilos governamentais geralmente levam a produtos ou resultados a meacutedio e longo prazo Apesar de o impacto demorar a ser obtido e geralmente estar fora do acircmbito de um uacutenico conjunto de actividades eacute importante incluiacute-lo no seu plano de MampA para que fique clara qual seraacute a contribuiccedilatildeo da sua intervenccedilatildeo a longo prazo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 919
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 3 Etapas para elaborar e usar um Plano de MampA
Etapas Recomendaccedilotildees
1 Definir os resultados esperados
Os resultados devem ser identificados de acordo com o acircmbito e o periacuteodo de tempo da sua intervenccedilatildeo
Os resultados devem atender aos criteacuterios SMART (Especiacuteficos Mensuraacuteveis Apropriados Realistas de Prazo Definido)
2 Seleccionar os indicadores
Os indicadores devem possuir as qualidades de um bom indicador
Os indicadores devem ser acessiacuteveis faacuteceis de recolher e comparaacuteveis ao longo do tempo e em diferentes locais
Para os problemas de sauacutede prioritaacuterios e os serviccedilos essenciais use indicadores criacuteticos nacionais ou padratildeo
Seleccione um nuacutemero miacutenimo de indicadores essenciais e procure garantir que os indicadores seleccionados sejam realmente necessaacuterios para medir seus resultados esperados
3 Identificar as fontes de dados
Identifique de onde viratildeo os dados para cada indicador Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos organizacionais utentes ou a comunidade
4 Definir os meacutetodos de recolha dos dados
Seleccione o meacutetodo mais apropriado e confiaacutevel para a recolha de dados para cada indicador Estes meacutetodos podem incluir a anaacutelise de registos ou diaacuterios de estatiacutesticas de serviccedilo o uso de listas de verificaccedilatildeo para fins de observaccedilatildeo as entrevistas de utentes ao saiacuterem da cliacutenica ou um modelo de inqueacuterito de dados comunitaacuterios
Decida sobre a frequecircncia da recolha de dados Poderaacute recolher apenas os dados de base ou referecircncia e os dados apoacutes a intervenccedilatildeo ou talvez precise recolher dados diaacuterios mensais ou trimestrais dependendo do tipo de indicador
Para cada indicador designe a responsabilidade pela recolha a um escritoacuterio equipa ou pessoa especiacuteficos
5 Recolher os dados de base (ou referecircncia) e os dados apoacutes a intervenccedilatildeo
Entenda que os resultados de base seratildeo usados para definir os seus alvos
Defina claramente a duraccedilatildeo coberta pelos dados de base jaacute que precisa de um periacuteodo semelhante para a comparaccedilatildeo ao final do periacuteodo de implementaccedilatildeo
Use a mesma metodologia e ferramentas para a recolha de dados que as usadas para os dados de base e as medidas poacutes-intervenccedilatildeo
6 Compartilhar e utilizar os seus resultados
Marque reuniotildees workshops e apresentaccedilatildeo de relatoacuterios para mostrar os resultados ao pessoal do projecto agrave direcccedilatildeo da organizaccedilatildeo e a outros grupos de interesse importantes
Apresente as opccedilotildees de aprendizado e acccedilatildeo com base nos resultados de MampA
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 920
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para determinar em que niacutevel deve monitorar e avaliar seus resultados eacute uacutetil examinar novamente e expandir a cadeia de resultados a comeccedilar da direita pelo resultado final (impacto) e voltar ateacute os materiais e recursos (insumos) necessaacuterios
Insumos rarr Processos rarr Produtos rarr Resultados rarr Impacto
Impacto Esses resultados satildeo medidos ao niacutevel da populaccedilatildeo levam um tempo relativamente longo para serem alcanccedilados (geralmente 3 a 5 cinco anos) e exigem o esforccedilo conjunto de vaacuterias intervenccedilotildees e mesmo de vaacuterias organizaccedilotildees Como gestor vocecirc poderaacute ser responsaacutevel por medir o impacto mas deve incluiacute-lo na loacutegica do seu plano de MampA para saber o que a sua organizaccedilatildeo e os parceiros da organizaccedilatildeo pretendem alcanccedilar a longo prazo
Resultados a meacutedio e longo prazo Na maioria dos casos os gestores satildeo responsaacuteveis por medir os resultados nos niacuteveis de produtos eou resultados a meacutedio e longo prazo Os resultados a meacutedio e longo prazo satildeo obtidos pelas actividades criadas para produzir uma mudanccedila de comportamento nos profissionais de sauacutede ou nos utentes Satildeo geralmente medidos em termos de mudanccedilas na cobertura de serviccedilos e mudanccedilas nos conhecimentos atitudes e praacuteticas de uma populaccedilatildeo beneficiaacuteria Um resultado a meacutedio e longo prazo pode ser o iniacutecio de uma praacutetica comprovada de prestaccedilatildeo de serviccedilos a adopccedilatildeo de novas estrateacutegias de gestatildeo ou a elaboraccedilatildeo bem-sucedida de uma poliacutetica de promoccedilatildeo da sauacutede Pode tambeacutem ser um aumento no nuacutemero de mulheres que datildeo agrave luz em um centro de sauacutede ou no nuacutemero de crianccedilas totalmente imunizadas Na maioria dos casos eacute possiacutevel estabelecer uma relaccedilatildeo clara entre produtos e resultados a meacutedio e longo prazo
Produtos Os produtos ou resultados imediatos satildeo fruto directo das actividades Devem ser monitorados durante toda a implementaccedilatildeo como um elemento essencial da boa gestatildeo Os planos de MampA devem definir o produto esperado de cada actividade Para as unidades de prestaccedilatildeo de serviccedilos isso geralmente significa os resultados imediatos em termos dos serviccedilos (por exemplo nuacutemero de utentes atendidos ou tempo de espera dos clientes ou utentes) Para as organizaccedilotildees que natildeo prestam serviccedilos de sauacutede directamente isso pode significar a distribuiccedilatildeo de produtos de sauacutede ou serviccedilos de formaccedilatildeo (por exemplo quantidade de produtos para planeamento familiar distribuiacutedos ou nuacutemero de participantes formados)
Processos A monitoria de processos ou actividades eacute em grande parte uma medida da cultura de prestaccedilatildeo de contas (ou grau de responsabilizaccedilatildeo) ao garantir que as actividades sejam realizadas dentro do prazo e com recursos suficientes A monitoria nesse niacutevel acompanha o progresso da implementaccedilatildeo tendo como referecircncia os prazos propostos e o uso dos recursos tendo como referecircncia os orccedilamentos Eacute geralmente executada atraveacutes da apresentaccedilatildeo de relatoacuterios tradicionais trimestrais semestrais e anuais
Insumos Ao preparar uma intervenccedilatildeo deve identificar a quantidade e os tipos de recursos necessaacuterios para implementar as actividades O desempenho pode ser monitorado em termos da quantidade e dos tipos de insumos fornecidos e do nuacutemero e timing das actividades realizadas
A etapa seguinte na definiccedilatildeo dos resultados esperados eacute garantir que cumpram os criteacuterios SMART (consulte a Tabela 4) Eacute possiacutevel monitorar e avaliar o progresso no alcance de um resultado apenas se esse resultado tiver sido definido em termos mensuraacuteveis
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 921
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja a seguir um exemplo de um resultado mensuraacutevel para uma intervenccedilatildeo cujo propoacutesito eacute promover a cobertura de imunizaccedilatildeo em crianccedilas de 12 a 24 meses de idade A percentagem de crianccedilas de 12 a 24 meses totalmente vacinadas na aacuterea de captaccedilatildeo aumentaraacute para 70 dentro de um ano
ETAPA 2 IDENTIFIQUE OS INDICADORES E SUAS DEFINICcedilOtildeES
Os indicadores satildeo geralmente percentagens ou proporccedilotildees que representam o alcance de uma condiccedilatildeo especiacutefica de sauacutede na populaccedilatildeo de interesse Podem tambeacutem ser um valor absoluto tal como o nuacutemero de ocorrecircncias de um evento de sauacutede (por ex um oacutebito materno ou um caso de malaacuteria)
Todos os indicadores pedem uma definiccedilatildeo detalhada Trata-se de um indicador qualitativo ou quantitativo Se for uma percentagem qual eacute o numerador e qual eacute o denominador A definiccedilatildeo deve ser suficientemente detalhada para garantir que pessoas diferentes em momentos diferentes possam recolher tipos idecircnticos de dados para o indicador
Veja o que caracteriza um bom indicador no Quadro 2 Os indicadores podem ser classificados como indicadores do estado de sauacutede ou do desempenho de serviccedilos
Os indicadores do estado de sauacutede podem incluir o seguinte
nuacutemero de casos e mortes causados por doenccedilas especiacuteficas em um determinado periacuteodo
proporccedilatildeo da populaccedilatildeo com uma doenccedila ou condiccedilatildeo de sauacutede num momento particular ou ao longo de um periacuteodo de tempo
proporccedilatildeo da populaccedilatildeo com um factor ou condiccedilatildeo de sauacutede que os coloca em risco de contrair doenccedilas tal como a falta de conhecimento ou um comportamento de risco
Os indicadores de desempenho podem incluir o seguinte
proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que recebeu um serviccedilo especiacutefico proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que demonstra comportamentos e
conhecimentos especiacuteficos de sauacutede
TABELA 4 Criteacuterios de um resultado SMART
Criteacuterio Descriccedilatildeo
Especiacutefico (S ndash Smart)
Claramente escrito e compreendido O resultado esperado eacute suficientemente especiacutefico para ser medido por uma frequecircncia percentagem ou nuacutemero
Mensuraacutevel (M ndash Measurable)
Eacute possiacutevel monitorar o progresso e avaliar os resultados O resultado esperado eacute definido em termos que sejam mensuraacuteveis
Apropriado (A ndash Appropriate)
O resultado esperado eacute apropriado ao acircmbito do seu trabalho e agrave missatildeo da sua organizaccedilatildeo
Realista (R ndash Realistic)
O resultado esperado pode ser alcanccedilado e estaacute dentro do controlo da sua organizaccedilatildeo Pode ser realisticamente alcanccedilado ao usar os recursos disponiacuteveis e dentro do prazo do seu plano de implementaccedilatildeo
de Tiempo limitado (T ndash Time Bound)
Foi estabelecido um prazo especiacutefico para obter o resultado esperado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 922
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
proporccedilatildeo de centros e pessoal de sauacutede que demonstram adesatildeo a padrotildees especiacuteficos de serviccedilo ou que atingiram objectivo definido
proporccedilatildeo de centros de sauacutede que seguem padrotildees definidos de gestatildeo funcional (por ex em termos de pessoal disponibilidade de medicamentos registo e apresentaccedilatildeo de relatoacuterios)
Orientaccedilatildeo adicional sobre os indicadores pode ser obtida em ldquoCompecircndio de indicadores para avaliaccedilatildeo de programas de sauacutede reprodutivardquo e ldquoLista dos indicadores sobre desenvolvimento da capacidade de gestatildeo e lideranccedilardquo
ETAPA 3 IDENTIFIQUE AS FONTES DE DADOS
Agora precisa identificar uma fonte de dados para cada indicador incluiacutedo no plano de MampA ao seleccionar dados que estejam prontamente disponiacuteveis em uma fonte confiaacutevel e dentro das possibilidades financeiras de sua organizaccedilatildeo O ideal seria escolher os dados imediatamente disponiacuteveis atraveacutes da organizaccedilatildeo em vez de dar iniacutecio a uma nova estrateacutegia de recolha de dados o que poderia ser oneroso e demorado
Uma boa forma de comeccedilar eacute com a seguinte pergunta Que dados jaacute recolhemos de forma rotineira e sistemaacutetica Vocecirc deve sempre levar em consideraccedilatildeo as vantagens e desvantagens de cada fonte de dados Consulte a secccedilatildeo ldquoComo seleccionar suas fontes de dadosrdquo para obter mais informaccedilotildees sobre as vantagens e desvantagens de algumas fontes de dados mais comuns
Vocecirc deve ser o mais especiacutefico possiacutevel sobre as fontes de dados para que a mesma fonte possa ser utilizada de forma coerente durante toda a intervenccedilatildeo Mudar as fontes de dados para o mesmo indicador pode resultar em incoerecircncias e erros de interpretaccedilatildeo Por exemplo se estiver a medir as taxas de mortalidade infantil passar de estimativas baseadas num inqueacuterito de grande escala para estimativas baseadas em estatiacutesticas hospitalares pode resultar dar a falsa impressatildeo de que houve uma mudanccedila
QUADRO 2 Qualidades de um bom indicador
Vaacutelido O indicador mede o que se pretende medir
Confiaacutevel A medida do indicador deve ser igual natildeo importa quantas vezes a medida seja feita
Preciso O indicador eacute definido em termos claros e especiacuteficos para que possa ser medido O indicador pode ser qualitativo (descritivo) discreto (SimNatildeo) ou baseado em niacuteveis quantitativos ou proporccedilotildees desde que seja claramente mensuraacutevel
Faacutecil de entender Tanto especialistas como natildeo especialistas devem poder entender o significado do indicador
Discreto O indicador captura um uacutenico componente ou aspecto de um resultado mais complexo Mede apenas uma coisa natildeo um conjunto de coisas
Em tempo haacutebil O indicador pode ser medido em intervalos temporais apropriados de acordo com a disponibilidade dos dados
Comparaacutevel Quando possiacutevel o indicador evita definiccedilotildees limitadas ou singulares cujos valores seriam difiacuteceis de comparar com outros resultados
Viaacutevel para utilizar Os dados para o indicador satildeo faacuteceis de obter de uma fonte confiaacutevel e relativamente econoacutemica ndash acessiacutevel tendo em vista os recursos da sua organizaccedilatildeo Se esses dados natildeo estiverem disponiacuteveis existem meacutetodos para obtecirc-los no futuro
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 923
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 4 DEFINA OS MEacuteTODOS DE RECOLHA DE DADOS
A etapa seguinte eacute a de definir os meacutetodos ou ferramentas que utilizaraacute para cada indicador Para os indicadores baseados em dados primaacuterios (dados que vocecirc mesmo recolhe) deve descrever o tipo de instrumento necessaacuterio para recolher os dados Os exemplos podem incluir questionaacuterios estruturados listas de verificaccedilatildeo de observaccedilatildeo directa ou balanccedilas para pesar bebeacutes
Para os dados secundaacuterios (dados recolhidos por terceiros e que estatildeo disponiacuteveis para vocecirc usar) deve explicar o meacutetodo para calcular o indicador e a fonte dos dados e fornecer detalhes suficientes sobre o meacutetodo de caacutelculo para que outros possam replicaacute-lo Lembre-se de que eacute mais faacutecil e mais barato usar dados secundaacuterios mas sua qualidade eacute menos confiaacutevel do que a dos dados primaacuterios
Tambeacutem eacute importante observar a frequecircncia da recolha dos dados para cada indicador A depender do tipo de indicador vocecirc poderaacute recolher os dados mensalmente trimestralmente anualmente ou ateacute com menos frequecircncia Ao definir o programa de recolha de dados para cada indicador leve em consideraccedilatildeo a necessidade de fornecer informaccedilotildees em tempo haacutebil aos responsaacuteveis por tomar decisotildees na sua organizaccedilatildeo Atribuir responsabilidades pela recolha de dados a indiviacuteduos ou grupos do seu pessoal garantiraacute que os dados sejam recolhidos dentro do prazo necessaacuterio
As informaccedilotildees das Etapas 1 a 4 fornecem o conteuacutedo do seu plano de monitoria e avaliaccedilatildeo A Tabela 5 mostra os elementos de um plano de MampA para um programa de mentoria cliacutenica para centros de orientaccedilatildeo e testes voluntaacuterios
ETAPA 5 RECOLHA OS DADOS DE BASE E DE ACOMPANHAMENTO
Recolher dados de base precisos eacute uma das tarefas mais importantes de MampA Os dados de base ou referecircncia satildeo o ponto de partida para definir as metas que vocecirc e sua equipa pretendem atingir e para acompanhar as mudanccedilas dos indicadores durante todo o periacuteodo de sua intervenccedilatildeo Dessa forma os dados de base ajudam a definir melhor um resultado final esperado
Vocecirc precisaraacute recolher dados de base para cada indicador antes que suas actividades comecem Esses dados identificam o ponto de partida de onde poderaacute avaliar o progresso Depois em pontos variados durante a implementaccedilatildeo vocecirc recolheraacute dados de acompanhamento sobre cada indicador para comparaacute-los com os niacuteveis de base e os resultados previstos Isto permite que vocecirc e outros tomadores de decisotildees em sua organizaccedilatildeo avaliem o progresso de cada intervenccedilatildeo ou serviccedilo e faccedilam as mudanccedilas necessaacuterias ao longo do caminho Examine o exemplo no Quadro 3
Por que acompanhar as mudanccedilas dos indicadores durante a implementaccedilatildeo Os indicadores de um plano de MampA estatildeo relacionados aos resultados imediatos (produtos) e aos resultados de meacutedio e longo prazo que os gestores precisam monitorar As mudanccedilas nos valores do indicador ao longo do tempo mostram se esses resultados estatildeo a subir ou a baixar ou se permanecem iguais Isto mostra ao gestor se as intervenccedilotildees e estrateacutegias estatildeo a funcionar conforme planeado para atingir os resultados esperados
Ao final do periacuteodo de implementaccedilatildeo precisaraacute recolher dados sobre os seus indicadores para comparar os niacuteveis finais com os niacuteveis de base e com os seus resultados esperados A depender dos seus indicadores precisaraacute tambeacutem recolher dados de acompanhamento a uma altura acordada previamente para determinar se as mudanccedilas seratildeo mantidas apoacutes o teacutermino da sua intervenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 924
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 5 Exemplo de um Plano de Monitoria e Avaliaccedilatildeo
Objectivo Os profissionais de sauacutede que receberam formaccedilatildeo aumentam sua capacidade de fornecer tratamento anti-retroviral de acordo com as directrizes nacionais
ActividadeProduto Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
CronogramaPrazo final
Cliacutenicos experientes em VIH recrutados para servir como mentores cliacutenicos em cinco hospitais regionais
Nuacutemero de mentores recrutados e designados a hospitais regionais
Registos de emprego
Como concluiacutedo Director adjunto para programas cliacutenicos
Setembro de 2008
Pessoal meacutedico em cinco hospitais regionais que recebem mentoria individual sobre terapia anti-retroviral
Nuacutemero de locais que recebem mentoria cliacutenica
Nuacutemero de meacutedicos que recebem mentoria individual
Nuacutemero de dias de mentoria cliacutenica realizados
Relatoacuterios mensais do mentor
Mensalmente Mentores Marccedilo de 2009
Resultados a meacutedio e longo prazo Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
Trabalhadores de sauacutede aumentam seu conhecimento sobre terapia anti-retroviral
80 dos participantes obtecircm 85 ou mais de pontuaccedilatildeo correcta no teste posterior
Trabalhadores de sauacutede melhoram suas habilidades no fornecimento de terapia anti-retroviral
Percentagem de habilidades demonstradas na lista de verificaccedilatildeo de competecircncia
Estudo especial Datas a definir Director adjunto para programas cliacutenicos
Fonte Centro Internacional de Formaccedilatildeo e Ensino sobre VIH p 2
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 925
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Observaccedilatildeo sobre o uso de indicadores para uma avaliaccedilatildeo A maioria dos esforccedilos de MampA enfatizam a selecccedilatildeo de indicadores bem definidos para estabelecer metas e medir as mudanccedilas nas condiccedilotildees e nos serviccedilos de sauacutede
Mas eacute importante lembrar que os indicadores servem apenas como marcadores Os dados dos indicadores fornecem pistas para saber se uma intervenccedilatildeo ou um grupo de actividades estaacute dentro do cronograma e se os resultados esperados estatildeo a ser alcanccedilados Eles natildeo respondem agraves perguntas de por que os resultados estatildeo ou natildeo a ser alcanccedilados Natildeo explicam os resultados fortuitos as relaccedilotildees entre intervenccedilotildees e resultados ou as causas de resultados percebidos que podem ocorrer fora da intervenccedilatildeo Assim natildeo podem recomendar medidas a tomar para melhorar os resultados
Os dados de indicadores devem portanto ser interpretados com cuidado Eles simplesmente indicam resultados que precisam ser melhor explorados em vez de fornecer uma avaliaccedilatildeo definitiva do sucesso ou fracasso Um estudo de avaliaccedilatildeo eacute geralmente executado para determinar se uma intervenccedilatildeo pode ser considerada um sucesso e por quecirc
Em geral agrave medida que sobe na hierarquia e passa das actividades para os resultados a longo prazo a MampA se torna mais complicada Nos niacuteveis de processo e produtos pode-se facilmente rastrear que actividades foram concluiacutedas e seus resultados imediatos Essas informaccedilotildees satildeo operacionais ndash informaccedilotildees que vocecirc pode usar para decisotildees quotidianas de gestatildeo Poreacutem para identificar e medir os resultados da sinergia dos produtos provavelmente teraacute que integrar as informaccedilotildees qualitativas e quantitativas e confiar menos em indicadores quantitativos singulares
Lembre-se de que quando uma melhoria desejada ndash seja na eficiecircncia do serviccedilo no conhecimento e comportamento dos provedores de serviccedilos ou dos beneficiaacuterios ou na tendecircncia de um problema de sauacutede ndash eacute confirmada atraveacutes de MampA isto natildeo prova que foi a intervenccedilatildeo que provocou a mudanccedila Outras coisas podem estar a se passar no serviccedilo ou no ambiente geral que causam essa mudanccedila Eacute claro que o mesmo se aplica aos resultados negativos ou resultados que indicam natildeo haver nenhuma mudanccedila nos resultados a meacutedio e longo prazo
QUADRO 3 Como usar dados de base para ajustar os resultados
Uma equipa de sobrevivecircncia infantil estaacute a propor uma intervenccedilatildeo com o seguinte resultado mensuraacutevel e especiacutefico ldquoNos proacuteximos 12 meses 40 das crianccedilas entre 12 e 24 meses de idade na aacuterea de captaccedilatildeo seratildeo completamente imunizadasrdquo
Para determinar se seu programa pode realmente atingir esse resultado o pessoal precisa medir os niacuteveis actuais de vacinaccedilatildeo Ao examinar os dados vecircem que apenas 10 das crianccedilas na aacuterea de captaccedilatildeo estatildeo completamente imunizadas ao completarem 24 meses Estes satildeo portanto seus dados de base
A gestora entende que natildeo seraacute possiacutevel atingir o objectivo de 40 de cobertura de imunizaccedilatildeo em apenas 12 meses Por isso ela e sua equipa revisam o resultado esperado e o modificam para que seja mais razoaacutevel e realista mas continue sendo significativo ldquoNos proacuteximos 12 meses 20 das crianccedilas de 12 a 24 meses na aacuterea de de actuaccedilatildeo seratildeo completamente imunizadas
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 926
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 6 COMPARTILHE E USE SEUS DADOS
Na pressa para comeccedilar a recolher dados alguns gestores se esquecem de planear um processo para reflectir sobre as informaccedilotildees e fazer mudanccedilas para aumentar a eficiecircncia das actividades Para garantir que os dados sejam natildeo soacute recolhidos mas tambeacutem utilizados pense como vocecirc e sua equipa divulgaratildeo as informaccedilotildees sobre MampA e obteratildeo retroinformaccedilatildeo dos diversos grupos de interesse Algumas perguntas baacutesicas serviratildeo para lhe orientar
Quem precisa de que tipo de informaccedilotildees e quando precisam delas Que tipo de formato deve usar para comunicar os resultados ao pessoal
aos gestores de niacutevel superior e a outros grupos de interesse importantes Eacute suficiente fazer circular um relatoacuterio ou deveria organizar uma reuniatildeo ou workshop
Deveria tambeacutem organizar reuniotildees com a comunidade para solicitar retroinformaccedilatildeo dos seus beneficiaacuterios sobre os primeiros resultados da MampA
Como deve apresentar as informaccedilotildees para que sejam uacuteteis aos diferentes tomadores de decisotildees As informaccedilotildees devem ser apresentadas visualmente em diagramas graacuteficos ou mapas Para obter orientaccedilatildeo sobre dados e resultados consulte o Guiatildeo de MampA para Facilitadores de Programas de Desenvolvimento da Lideranccedila
Uso dos resultados para melhorar os dados de rotina em acccedilatildeo ndash Um exemplo do Paquistatildeo
No Paquistatildeo com o apoio do projecto PRIDE 10 equipas de subdistritos aplicaram o Processo de Avaliaccedilatildeo e Melhoria do Desempenho em Sauacutede Puacuteblica (PIP-PH) um conjunto de procedimentos e formatos para tratar dos problemas de sauacutede que identificaram como os mais graves para as suas populaccedilotildees Usaram o PIP-PH para priorizar os problemas e serviccedilos que mais precisavam de atenccedilatildeo a curto prazo para obter melhorias
Como parte do processo PIP-PH as equipas tambeacutem conceberam um formato de Estrutura de Vigilacircncia de Sauacutede (ldquoHealth Watch Frameworkrdquo) para os seus subdistritos como um todo e para os centros de sauacutede dentro deles Cada equipa seleccionou indicadores para medir a situaccedilatildeo de dois problemas de sauacutede puacuteblica os serviccedilos essenciais a eles relacionados e as limitaccedilotildees que afectavam esses serviccedilos
As equipas usaram os formulaacuterios Health Watch para estabelecer valores de base para os indicadores e depois para monitorar esses valores agrave medida que as intervenccedilotildees prosseguiam ao longo do tempo Os centros de sauacutede revisavam e actualizavam o formulaacuterio todo mecircs as equipas do subdistrito inclusive gestores de centros de sauacutede revisavam e discutiam os formulaacuterios trimestralmente os formulaacuterios revisados
As equipas de subdistrito usaram as informaccedilotildees para analisar os motivos do progresso ou falta de progresso para poderem prestar apoio aos gestores dos centros de sauacutede O processo estimulou os gestores dos centros de sauacutede a melhorarem a integridade e precisatildeo dos dados de rotina para poderem usar as informaccedilotildees e monitorarem mais eficazmente os eventos e os serviccedilos essenciais e introduzirem as melhorias necessaacuterias
Exemplos e informaccedilotildees detalhadas sobre o PIP-PH e o Health Watch Framework aparecem no Relatoacuterio Anual do Projecto PRIDE 2007
Para se informar mais sobre meacutetodos adicionais de utilizaccedilatildeo dos dados para melhorar o desempenho de uma organizaccedilatildeo equipa serviccedilo de sauacutede ou intervenccedilatildeo consulte o processo de Avaliaccedilatildeo e Melhoria de Desempenho (Performance Assessment and Improvement ndash PAI) no website de Programa de Lideranccedila Gestatildeo e Sustentabilidade (Leadership Management and Sustainability ndash LMS)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 927
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O processo de Monitoria e Avaliaccedilatildeo deve ser executado com o objectivo de usar imediatamente os resultados para identificar as falhas de desempenho e tomar medidas para reduzir ou eliminar essas falhas Vocecirc deve sempre planear formas de usar os resultados de MampA para o aprendizado e a acccedilatildeo Por exemplo o que deve fazer se as actividades do projecto natildeo trouxerem os resultados esperados O que precisa mudar se os serviccedilos essenciais natildeo estiverem a fornecer os niacuteveis de cobertura previstos ou a alcanccedilar grupos especiacuteficos de pessoas E como vocecirc pode levar esses fatos agrave atenccedilatildeo das pessoas certas para obter uma resposta raacutepida
Desenho de uma ferramenta de MampA
ARMADILHAS DA MONITORIA E AVALIACcedilAtildeO
Haacute vaacuterias armadilhas comuns que impedem que vocecirc como gestor aperfeiccediloe a funccedilatildeo de MampA na sua organizaccedilatildeo
Planeamento excessivo ou insuficienteAlguns gestores podem gastar tempo demais a preparar o plano de MampA do que resultam planos muito elaborados e complicados de usar Outros ficam muito ansiosos por implementar as intervenccedilotildees de MampA e comeccedilam antes de concluir o plano de MampA Isso significa que quando o plano fica pronto eacute geralmente tarde demais para obter dados de base viaacuteveis e a MampA tem que ser adiada Nesses casos o gestor talvez tenha que aceitar fazer a avaliaccedilatildeo mais tarde sem os dados de base que poderia usar para a comparaccedilatildeo
Descuidar-se da monitoria contiacutenua Outra armadilha frequente eacute a falha em incluir a monitoria contiacutenua na implementaccedilatildeo das actividades Isto ocorre frequentemente por falta de experiecircncia Muitos gestores natildeo tiveram acesso a ferramentas de monitoria uacuteteis (que satildeo raras) Talvez natildeo tenham recebido prontamente os resultados ou a retroinformaccedilatildeo do sistema de MampA no passado e por isso natildeo percebem como eacute importante realizar a monitoria de rotina Aleacutem disso gestores podem facilmente se emaranhar nos detalhes da implementaccedilatildeo e descuidar-se da monitoria de rotina
Exagerar Outra armadilha relacionada agrave monitoria eacute tentar rastrear os dados de todos os indicadores possiacuteveis Tentar obter os dados sobre um nuacutemero excessivo de factores torna o processo de monitoria tatildeo complicado que se torna impreciso Isso tambeacutem torna o processo mais lento de modo que no momento em que os dados satildeo recolhidos e analisados eles jaacute natildeo satildeo mais uacuteteis As ferramentas de monitoria muito demoradas e complicadas acabam por natildeo ser usadas O que acontece entatildeo O gestor deixa totalmente de fazer a monitoria e tem que recorrer agrave avaliaccedilatildeo
Se jaacute se deparou com esses problemas eacute hora de mudar a sua taacutectica Vocecirc pode criar um plano de MampA simples e usar ferramentas de monitoria simples Descubra o que tem que medir para obter os dados dentro de 3 a 6 meses o prazo vai depender dos ciclos de planeamento e apresentaccedilatildeo de relatoacuterios da sua organizaccedilatildeo Entenda tambeacutem qual eacute o miacutenimo que deve ser medido em uma avaliaccedilatildeo de longo prazo Busque a simplicidade mesmo se estiver diante de um conjunto complexo de actividades
Tente incluir apenas o que realmente precisa saber Pode testar todos os indicadores propostos antes de incluiacute-los no planeamento de MampA ao perguntar Quem precisa usar essas informaccedilotildees quando e com que finalidade Se um uacutenico indicador de produtos for suficiente perfeito Natildeo sobrecarregue a monitoria com indicadores desnecessaacuterios Muitas vezes menos dados fornecem mais informaccedilotildees
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 928
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
CARACTERIacuteSTICAS DE UMA BOA FERRAMENTA DE MONITORIA
Como gestor natildeo precisa saber tudo para gerir um serviccedilo ou dirigir uma intervenccedilatildeo mas precisa das informaccedilotildees imediatamente Portanto precisa de uma ferramenta de monitoria que possa fornecer informaccedilotildees suficientes e em tempo haacutebil para identificar e corrigir problemas assim que eles surgirem
Uma ferramenta de monitoria deve ser faacutecil de montar e utilizar As tabelas listas de verificaccedilatildeo e diagramas simples satildeo meacutetodos particularmente uacuteteis de recolher organizar e apresentar informaccedilotildees de monitoria
No miacutenimo sua ferramenta de monitoria deve permitir que vocecirc e sua equipa acompanhem
o progresso da implementaccedilatildeo da actividade a entrega de produtos ou resultados imediatos a situaccedilatildeo dos principais indicadores de resultados comparados aos resultados
esperados se for o caso as despesas orccedilamentais a disponibilidade de recursos humanos e financeiros os obstaacuteculos agrave implementaccedilatildeo e o que tem sido feito para superaacute-los
Vocecirc teraacute que responder agraves seguintes perguntas periodicamente
As actividades foram implementadas conforme planeado dentro do prazo e do orccedilamento
Que actividades adicionais natildeo planeadas foram realizadas Que serviccedilos ou produtos directos e tangiacuteveis foram oferecidos como resultado
das actividades que implementamos Estamos dentro do cronograma para atingir nossos resultados a meacutedio e longo
prazo Possuiacutemos os recursos necessaacuterios (pessoal dinheiro medicamentos e
suprimentos etc) para cumprirmos o cronograma
O Quadro 4 apresenta os componentes baacutesicos de uma ferramenta simples de monitoria
QUADRO 4 Uma ferramenta simples de monitoria
Data de exame Metas de resultados
Actividades (segundo o plano de implementaccedilatildeo)
Situaccedilatildeo ateacute o momento
Resultados esperados
Datas para conclusatildeo
Situaccedilatildeo ateacute o momento Comentaacuterios
Desafios e oportunidades
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 929
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quando usadas correctamente as novas tecnologias (por ex os PDAs ldquosmartphonesrdquo laptops e outros) podem facilitar a monitoria e aumentar os benefiacutecios da monitoria das actividades A monitoria automatizada ndash dados que podem ser obtidos e processados automaticamente ndash podem produzir um resumo dos principais indicadores em uma soacute paacutegina faacutecil de ler e num formato que utiliza cores para alertar ao gestor sobre as aacutereas que precisam de maior atenccedilatildeo As informaccedilotildees obtidas em tempo haacutebil sobre alguns indicadores essenciais permitem que o gestor monitore o progresso e tome medidas correctivas
Essa apresentaccedilatildeo visual das informaccedilotildees mais importantes e necessaacuterias para gerir um projecto eacute geralmente conhecida como Painel de Indicadores de Desempenho Os paineacuteis de indicadores de desempenho podem ser usados em qualquer organizaccedilatildeo departamento ou divisatildeo Nas organizaccedilotildees de sauacutede puacuteblica os paineacuteis satildeo usados frequentemente para monitorar os indicadores financeiros e programaacuteticos bem como a cobertura produccedilatildeo eficaacutecia e qualidade de serviccedilos de sauacutede especiacuteficos Um painel de recursos humanos por exemplo incluiria indicadores relevantes para gerir o seguinte
retenccedilatildeo de funcionaacuterios rotatividade de funcionaacuterios formaccedilatildeo de funcionaacuterios lacunas de habilidades satisfaccedilatildeo dos funcionaacuterios custos benefiacutecios e despesas gerais com funcionaacuterios
A Tabela 6 mostra um painel de indicadores de desempenho criado para monitorar serviccedilos de contracepccedilatildeo ciruacutergica voluntaacuteria (CCV)
TABELA 6 Ilustraccedilatildeo de Painel de Indicadores de Desempenho para Serviccedilos de Contracepccedilatildeo Ciruacutergica Voluntaacuteria (CCV)
Serviccedilo Contracepccedilatildeo Ciruacutergica Voluntaacuteria Periacuteodo do Relatoacuterio Janeiro de 2009
No Indicador de Prestaccedilatildeo de Serviccedilos Custo Qualidade
Meta financeira ou programaacutetica
LimiarNuacutemero
alcanccedilado
Percentagem concluiacuteda
Miacuten Maacutex 10 20 30 40 50 60 70 80 90 100
1 Nuacutemero de CCVs realizadas no mecircs 8 10 7
2 Custo meacutedio das CCVs (US$) 100 120 110
3 Orccedilamento mensal da receita com CCVs realizadas (US$) 800 1200 770
4Percentagem das CCVs realizadas por pessoal
qualificadomdash 100 60
5 Percentagem das CCVs realizadas sem complicaccedilotildees 95 100 100
6
Percentagem de utentes satisfeitas com o tratamento
recebido do pessoal que realizou as CCVs
90 100 90
Adaptado de Colindres 2008 p 6
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 930
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja uma descriccedilatildeo do uso de um painel de indicadores de desempenho para a monitoria de rotina num estudo de caso estudo de caso de uma ONG da Boliacutevia o Centro de Investigaccedilatildeo Educaccedilatildeo e Serviccedilos (CIES)
Para obter mais informaccedilotildees de como criar um painel de indicadores consulte ldquoComo usar os paineacuteis de indicadores de desempenho para monitorar as realizaccedilotildees de uma organizaccedilatildeordquo Esse documento ajuda a esclarecer conceitos e define as etapas essenciais para criar paineacuteis de indicadores de desempenho
Como criar uma avaliaccedilatildeo para fins de aprendizagem
Apesar da importacircncia da monitoria de rotina apenas a monitoria natildeo basta para responder agrave pergunta ldquoE entatildeordquo Ou seja suas actividades e produtos contribuiacuteram para melhorar a cobertura dos serviccedilos aumentar o conhecimento ou encorajar comportamentos mais saudaacuteveis
Talvez uma campanha de comunicaccedilatildeo sobre planeamento familiar criada para aumentar a prevalecircncia do uso de contraceptivos tenha levado o governo a abastecer os depoacutesitos distritais com contraceptivos Para que possam aprender com essa experiecircncia e criar campanhas mais eficazes no futuro os gestores do projecto ainda querem saber que produtos foram realmente dispensados aos centros de sauacutede e distribuiacutedos aos utentes Esta secccedilatildeo discute como criar uma avaliaccedilatildeo para fins de aprendizagem
Existem dois motivos para levar a cabo uma avaliaccedilatildeo
1 A avaliaccedilatildeo fornece informaccedilotildees sobre o sucesso da sua equipa unidade ou organizaccedilatildeo para atingir seus objectivos Essas informaccedilotildees ajudam a definir que actividades expandir modificar ou eliminar Ela pode tambeacutem revelar formas de melhorar a concepccedilatildeo e gestatildeo das actividades futuras
2 A avaliaccedilatildeo pode demonstrar uma cultura de prestaccedilatildeo de contas agrave sua agecircncia doadora e a outros grupos de interesse nomeadamente o governo e os beneficiaacuterios dos seus serviccedilos
AVALIACcedilOtildeES FORMATIVAS E SUMATIVAS
Os gestores podem realizar dois amplos tipos de avaliaccedilotildees formativas e sumativas
Avaliaccedilatildeo formativa Este tipo de avaliaccedilatildeo eacute realizada durante o desenvolvimento e implementaccedilatildeo de um programa Seu objectivo eacute orientar o desenho e a implementaccedilatildeo de actividades que incluam as melhores e mais promissoras praacuteticas que aumentaratildeo as chances de sucesso A avaliaccedilatildeo formativa eacute mais comummente utilizada por projectos de grande porte ou de longo prazo em vez de projectos menores e de curto prazo Poreacutem os projectos menores devem pelo menos realizar uma avaliaccedilatildeo raacutepida das melhores praacuteticas durante a fase de planeamento para apoiar a loacutegica e o conteuacutedo proposto para as actividades
A avaliaccedilatildeo formativa inclui uma avaliaccedilatildeo de necessidades para discernir os desejos e requisitos de um grupo da populaccedilatildeo e determinar a melhor forma de atendecirc-los Inclui tambeacutem uma avaliaccedilatildeo de processo para investigar o processo utilizado para executar uma intervenccedilatildeo Pode-se usar a avaliaccedilatildeo do processo para determinar se as actividades foram realizadas de acordo com o plano ndash em termos de sua concepccedilatildeo original estimativas de custos e nuacutemero de pessoas a serem atendidas ndash e se a qualidade dos processos usados estaacute de acordo com as melhores praacuteticas conhecidas
A avaliaccedilatildeo de processo geralmente inclui vaacuterias abordagens Pode incluir uma avaliaccedilatildeo dos dados referentes aos produtos (por ex nuacutemero de redes mosquiteiras fornecidas nuacutemero
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 931
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
de workshops de formaccedilatildeo realizados nuacutemero de participantes dos workshops) assim como entrevistas individuais ou grupos de enfoque entre os beneficiaacuterios Nas intervenccedilotildees de menor porte eacute uma boa praacutetica realizar uma avaliaccedilatildeo de processo mesmo se limitada agrave retroinformaccedilatildeo dos participantes
Avaliaccedilatildeo somativa Este tipo de avaliaccedilatildeo eacute realizada apoacutes a conclusatildeo de um grupo de actividades ou da intervenccedilatildeo para avaliar a qualidade da intervenccedilatildeo e os seus principais resultados A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo a avaliaccedilatildeo do impacto a anaacutelise de custo-benefiacutecio e custo-eficaacutecia e a investigaccedilatildeo operacional
A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo que avalia em que medida uma equipa unidade ou organizaccedilatildeo inteira atingiram seus resultados esperados A avaliaccedilatildeo dos resultados eacute usada para demonstrar que existe uma cultura de prestaccedilatildeo de contas para aperfeiccediloar o projecto de actividades organizacionais para melhorar a distribuiccedilatildeo dos recursos e para promover intervenccedilotildees futuras bem-sucedidas As principais perguntas satildeo Que modificaccedilotildees ocorreram na vida das pessoas das famiacutelias ou da comunidade como resultado do nosso trabalho Que diferenccedila fizemos
Como observamos anteriormente neste capiacutetulo os resultados a meacutedio e longo prazo satildeo geralmente mudanccedilas mensuraacuteveis eou observaacuteveis em duas dimensotildees A primeira dimensatildeo abrange a conscientizaccedilatildeo o conhecimento as atitudes os valores e as habilidades dos participantes de um programa ou dos beneficiaacuterios dos serviccedilos durante ou depois de seu envolvimento na intervenccedilatildeo A segunda dimensatildeo implica mudanccedilas no comportamento desses mesmos grupos
Idealmente as duas dimensotildees deveriam ser medidas em trecircs pontos no comeccedilo e no final do periacuteodo de implementaccedilatildeo e se possiacutevel apoacutes um periacuteodo de acompanhamento adequado Se a mediccedilatildeo do acompanhamento natildeo for viaacutevel pelo menos devem ser comparadas as mediccedilotildees de base e poacutes-intervenccedilatildeo Muitas vezes as mudanccedilas podem ser pequenas mas deve haver alguma melhoria em pelo menos um ou dois resultados para que a intervenccedilatildeo seja considerada um sucesso
A avaliaccedilatildeo dos resultados tenta distinguir entre a influecircncia da intervenccedilatildeo nessas mudanccedilas e a influecircncia de outros factores externos Mas geralmente os avaliadores teratildeo que optar pela atribuiccedilatildeo parcial de um resultado a uma intervenccedilatildeo ou serviccedilo especiacutefico devido agrave dificuldade em determinar uma relaccedilatildeo directa e causal entre o serviccedilo prestado e uma determinada mudanccedila
As avaliaccedilotildees de resultados utilizam geralmente um desenho natildeo experimental (geralmente denominado ldquopreacute e poacutes-avaliaccedilatildeordquo) que simplesmente mede as mudanccedilas antes e depois de uma intervenccedilatildeo ou seja diferente do desenho experimental (que compara os participantes com um grupo de controlo com designaccedilatildeo aleatoacuteria a ambos os grupos) ou do desenho semi-experimental (que compara os participantes com um grupo de controlo mas sem a designaccedilatildeo aleatoacuteria)
O desenho natildeo experimental eacute aceitaacutevel para as mediccedilotildees e relatoacuterios padratildeo dos resultados a meacutedio e longo prazo As ONGs raramente usam os desenhos experimentais Apesar de uma organizaccedilatildeo de grande porte e com muitos recursos poder ocasionalmente receber assistecircncia de especialistas para um desenho experimental a maioria delas acha que as consideraccedilotildees eacuteticas e logiacutesticas impedem a designaccedilatildeo aleatoacuteria dos participantes aos grupos de intervenccedilatildeo e de controlo Aleacutem disso o custo de recolher dados de um grupo de controlo seraacute provavelmente muito elevado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 932
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A avaliaccedilatildeo do impacto eacute outro componente da avaliaccedilatildeo somativa Eacute mais ampla do que a avaliaccedilatildeo de resultados e avalia os efeitos liacutequidos ou gerais ndash tanto intencionais como natildeo intencionais ndash de todo um programa grupo de programas ou grupo de organizaccedilotildees As avaliaccedilotildees de impacto geralmente se estendem por um periacuteodo de 3 a 5 anos
OUTROS TIPOS DE AVALIACcedilOtildeES
Anaacutelise de custo-benefiacutecio e custo-eficaacutecia Estes tipos de anaacutelise tratam da eficiecircncia da intervenccedilatildeo ao analisar os resultados em termos dos seus custos financeiros e do seu valor
Investigaccedilatildeo operacional Trata-se de um balanccedilo ou avaliaccedilatildeo de uma intervenccedilatildeo especiacutefica no contexto de um programa mais amplo que estaacute a fazer vaacuterias intervenccedilotildees A investigaccedilatildeo operacional eacute usada para testar e avaliar novas abordagens de prestaccedilatildeo de serviccedilos de sauacutede Eacute tambeacutem usada para identificar problemas na prestaccedilatildeo de serviccedilos e oferecer soluccedilotildees
A investigaccedilatildeo operacional eacute uma ferramenta poderosa que os gestores de programas e os tomadores de decisotildees podem usar para melhorar e expandir os serviccedilos Os estudos de investigaccedilatildeo operacional comparam intervenccedilotildees que estatildeo dentro da esfera de influecircncia do gestor Os exemplos incluem a avaliaccedilatildeo da eficaacutecia de uma nova estrateacutegia de prevenccedilatildeo de VIHSIDA um novo curso de formaccedilatildeo um novo conjunto de procedimentos para gerir medicamentos um novo meacutetodo contraceptivo ou um novo serviccedilo de sauacutede reprodutiva
O Toolkit de Investigaccedilatildeo Operacional do Programa Horizons sobre VIHSIDA do Population Council fornece informaccedilotildees detalhadas para criar um estudo de investigaccedilatildeo operacional
CONSIDERACcedilOtildeES PARA A FORMULACcedilAtildeO DE UMA AVALIACcedilAtildeO
O que avaliar para responder agrave pergunta ldquoE entatildeordquo Se quiser saber como gestor se as suas actividades tiveram realmente sucesso precisa preparar todas as intervenccedilotildees tendo em mente a avaliaccedilatildeo e incorporar a avaliaccedilatildeo ao seu planeamento organizacional geral Ao definir objectivos deve se perguntar Como saberemos se estamos a atingir esses objectivos Este eacute o ponto de partida para a avaliaccedilatildeo
Seja qual for o porte da sua intervenccedilatildeo ou serviccedilo e o alcance da avaliaccedilatildeo precisaraacute responder a trecircs perguntas durante a fase de desenho e planeamento
1 O que a sua intervenccedilatildeo ou serviccedilo conseguiraacute realizar a curto e longo prazo Se implementar um conjunto de actividades com sucesso ao longo do tempo o que seraacute diferente
2 Como conceptualiza as suas actividades ndash qual eacute a loacutegica subjacente Duas abordagens para identificar a loacutegica do programa satildeo discutidas neste capiacutetulo na secccedilatildeo intitulada Ferramentas e Abordagens Praacuteticas para MampA
3 Que indicadores pode usar para identificar o progresso no alcance dos resultados
Para responder agrave pergunta ldquoE entatildeordquo vocecirc precisa avaliar os factores sobre os quais tem um niacutevel razoaacutevel de controlo Por exemplo um novo serviccedilo criado para oferecer alojamento a pessoas que vivem com SIDA natildeo pode controlar ou afectar a expectativa de vida das pessoas agraves quais atende Mas ao fornecer um ambiente estaacutevel para elas viverem o serviccedilo pode diminuir o niacutevel de stresse e melhorar a qualidade de vida dessas pessoas que antes eram forccediladas a se mudar com frequecircncia
Depois de tratar da pergunta ldquoE entatildeordquo deve tambeacutem se certificar de que a avaliaccedilatildeo seja concebida de forma que quando o processo estiver concluiacutedo vocecirc possa abordar os cinco toacutepicos principais da avaliaccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 933
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
1 Relevacircncia Foi uma boa ideia fazer a intervenccedilatildeo considerando-se a situaccedilatildeo e a necessidade de melhorias Ela tratou das prioridades do grupo alvo ou beneficiaacuterio Por que sim ou por que natildeo
2 Eficaacutecia Os resultados produtos e actividades foram realizados Por que sim ou por que natildeo A loacutegica da intervenccedilatildeo eacute correcta
3 Eficiecircncia Os insumos (recursos e tempo) foram usados da melhor forma possiacutevel para atingir os resultados a meacutedio e longo prazo Por que sim ou por que natildeo O que vocecirc e sua equipa poderiam fazer de modo diferente no futuro para maximizar os resultados a um custo aceitaacutevel
4 Impacto Em que medida a sua intervenccedilatildeo contribuiu para as metas nacionais ou de longo prazo Que consequecircncias natildeo intencionais (positivas ou negativas) suas actividades tiveram Por que essas consequecircncias aconteceram
5 Sustentabilidade Eacute provaacutevel que os resultados positivos continuem depois que sua intervenccedilatildeo terminar Por que sim ou por que natildeo
Uma uacuteltima advertecircncia assim como a monitoria pode-se complicar demasiado a avaliaccedilatildeo Ao preparar um plano de avaliaccedilatildeo o melhor eacute seleccionar um grupo pequeno de indicadores e resistir agrave tentaccedilatildeo de avaliar todos os aspectos da sua intervenccedilatildeo
Assim como a monitoria a avaliaccedilatildeo soacute eacute uacutetil se as informaccedilotildees forem repassadas em tempo haacutebil para o gestor e outros tomadores de decisotildees e grupos de interesse Um problema comum com as avaliaccedilotildees intercalares eacute que os resultados geralmente soacute satildeo informados de 6 a 8 meses mais tarde o que deixa apenas 1 ou 2 anos para fazer mudanccedilas mais permanentes antes que se esgotem os fundos do governo ou da agecircncia doadora
COMO SELECCIONAR SUAS FONTES DE DADOS
Esta secccedilatildeo descreve trecircs tipos de fontes de dados que satildeo comummente usadas para uma avaliaccedilatildeo dados recolhidos rotineiramente inqueacuteritos de grande escala e teacutecnicas de avaliaccedilatildeo raacutepida inclusive a avaliaccedilatildeo participativa
Dados de rotina Os dados recolhidos e analisados rotineiramente por um SIS satildeo denominados ldquoestatiacutesticas de serviccedilordquo Pode-se utilizar vaacuterios sistemas de informaccedilatildeo de serviccedilos de rotina para monitorar os serviccedilos Alguns deles satildeo o sistema baacutesico de registo e relatoacuterio de SIS os sistemas especiais de relatoacuterios sobre programas (por ex tuberculose malaacuteria imunizaccedilatildeo VIH planeamento familiar etc) os sistemas de relatoacuterios sobre agentes comunitaacuterios especiais (por ex registos de agentes comunitaacuterios de sauacutede) o sistema de informaccedilotildees para a vigilacircncia de doenccedilas e o controlo notificaccedilatildeo e resposta a surtos e os relatoacuterios para os sistemas de suporte especiais (por ex medicamentos encaminhamentos e gestatildeo financeira e de recursos humanos)
Esses sistemas fornecem dados que estatildeo imediatamente disponiacuteveis e cujo objectivo eacute informar o que estaacute a acontecer no sector de sauacutede Os dados de rotina incluem por exemplo o nuacutemero de consultas de preacute-natal em uma cliacutenica o nuacutemero e tipo de vacinaccedilotildees fornecidas no local ou o nuacutemero e tipos de contraceptivos fornecidos mensalmente
Os dados sobre os serviccedilos satildeo geralmente recolhidos pelos centros de sauacutede ou postos de sauacutede e enviados para o proacuteximo niacutevel superior do sistema (geralmente o distrito) para serem agregados Esses dados podem entatildeo ser enviados ao proacuteximo niacutevel superior (regional ou provincial) para posterior agregaccedilatildeo antes que cheguem finalmente ao niacutevel central do Ministeacuterio da Sauacutede
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 934
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Idealmente os gestores de centros de sauacutede e ao niacutevel do distrito usam esses dados para orientar as operaccedilotildees diaacuterias acompanhar o desempenho e a prestaccedilatildeo de contas e tomar decisotildees que continuem a melhorar o desempenho Mas haacute vaacuterios obstaacuteculos a essa utilizaccedilatildeo
Muito frequentemente os dados de rotina satildeo imprecisos ou incompletos Apesar dos que utilizam o SIS tentarem produzir informaccedilotildees de alta qualidade e em tempo haacutebil haacute muitas oportunidades de introduzir erros Pode haver pouco apoio para que os gestores e seu pessoal se concentrem nos procedimentos correctos de recolha registo e agregaccedilatildeo dos dados
Os sistemas de sauacutede de vaacuterios paiacuteses enfatizam a importacircncia de apresentar relatoacuterios para os niacuteveis superiores mas natildeo estabeleceram procedimentos e incentivos para encorajar aqueles que fornecem informaccedilotildees a utilizaacute-las mesmo quando os dados satildeo de boa qualidade
Outra dificuldade eacute que as estatiacutesticas sobre serviccedilos fornecem informaccedilotildees apenas sobre os utentes que utilizam os serviccedilos de sauacutede Natildeo podem fornecer informaccedilotildees sobre as muitas pessoas que natildeo utilizam os serviccedilos
Por tudo isso natildeo se pode confiar apenas nas estatiacutesticas sobre serviccedilos para fazer uma avaliaccedilatildeo Elas satildeo melhor utilizadas para a monitoria de rotina dos problemas de sauacutede puacuteblica e dos serviccedilos essenciais relacionados
Inqueacuteritos em grande escala Os inqueacuteritos em grande escala satildeo outra fonte de informaccedilotildees imediatamente disponiacuteveis Incluem inqueacuteritos de base populacional tais como as Inqueacuterito Demograacutefico e de Sauacutede (IDS) dos EUA avaliaccedilotildees completas de centros de sauacutede como a Anaacutelise de Situaccedilatildeo do Population Council e os censos nacionais Em vaacuterios casos os gestores podem usar os dados de um inqueacuterito em grande escala existente para fornecer o contexto para a interpretaccedilatildeo dos dados capturados atraveacutes das suas proacuteprias avaliaccedilotildees
Por exemplo as IDS satildeo realizadas periodicamente para caracterizar a situaccedilatildeo de sauacutede em um paiacutes ou regiatildeo geograacutefica de grande extensatildeo para vaacuterios grupos populacionais homens mulheres crianccedilas bebeacutes e assim por diante Mas os dados das IDS natildeo podem normalmente ser desagregados para uso pelos gestores no niacutevel de distrito ou comunidade
Aleacutem disso como as IDS satildeo realizadas apenas a cada trecircs ou cinco anos as informaccedilotildees que fornecem podem natildeo estar suficientemente actualizadas para as necessidades de avaliaccedilatildeo dos gestores Apesar dessas dificuldades os dados das IDS satildeo uacuteteis para compreender tendecircncias regionais ou nacionais que podem ajudar a explicar dados recolhidos em uma avaliaccedilatildeo de foco especiacutefico
Avaliaccedilotildees raacutepidas Satildeo formas raacutepidas e econoacutemicas de obter informaccedilotildees para a tomada de decisotildees principalmente ao niacutevel da actividade Os exemplos incluem entrevistas quando os utentes saem de suas consultas as avaliaccedilotildees de pequena escala dos centros de sauacutede os inqueacuteritos raacutepidos por amostragem o exame analiacutetico de registos as entrevistas com grupos de enfoque e outros meacutetodos participativos
Poderaacute usar teacutecnicas de avaliaccedilatildeo raacutepida para complementar as informaccedilotildees obtidas com dados de rotina ou inqueacuteritos de grande escala As avaliaccedilotildees raacutepidas podem-lhe fornecer informaccedilotildees valiosas sobre sua aacuterea de captaccedilatildeo e sua aacuterea de responsabilidade mais ampla ndash ou seja as comunidades e as populaccedilotildees que deveriam ter acesso aos serviccedilos essenciais prestados por um centro de sauacutede determinado Elas podem tambeacutem fornecer contexto e uma compreensatildeo qualitativa dos dados quantitativos recolhidos pelos meacutetodos mais formais
Dentro da categoria de avaliaccedilotildees raacutepidas os meacutetodos participativos e os inqueacuteritos raacutepidos por amostragem merecem a sua atenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 935
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Meacutetodos participativos (tambeacutem chamados de aprendizagem e acccedilatildeo participativas) Essas teacutecnicas e meacutetodos visam incorporar o conhecimento e as opiniotildees dos membros da comunidade no planeamento e gestatildeo de projectos de desenvolvimento no esforccedilo para influenciar as poliacuteticas e na implementaccedilatildeo de programas Eles permitem incluir vozes da comunidade nas poliacuteticas no planeamento e nos inqueacuteritos e criam um senso de propriedade e participaccedilatildeo nos resultados de MampA e nas recomendaccedilotildees feitas pela organizaccedilatildeo e por seus beneficiaacuterios
Ao contraacuterio de outras teacutecnicas de avaliaccedilatildeo raacutepida os meacutetodos participativos natildeo se baseiam em amostragens Eles usam entrevistas individuais ou com informantes essenciais (inclusive entrevistas com utentes ao saiacuterem de suas consultas) entrevistas em grupo estudos de caso e outros meacutetodos qualitativos para identificar as condiccedilotildees locais e entender as perspectivas e prioridades locais
Em vaacuterios locais haacute membros da comunidade que natildeo podem ler nem escrever e por isso os meacutetodos participativos dependem frequentemente da comunicaccedilatildeo oral com apoio de imagens siacutembolos objectos fiacutesicos e memoacuteria colectiva
Os meacutetodos participativos podem ser usados antes durante e apoacutes a implementaccedilatildeo de uma intervenccedilatildeo ou um conjunto de actividades Eles fornecem informaccedilotildees para o projecto e a avaliaccedilatildeo e permitem a participaccedilatildeo activa das partes interessadas na tomada de decisotildees Durante a implementaccedilatildeo os meacutetodos participativos satildeo uacuteteis para identificar e solucionar problemas
Aproveite para examinar e utilizar uma lista de recursos online sobre inqueacuterito qualitativo e directrizes sobre discussotildees em grupos de enfoque no Community Tool Box da Universidade de Kansas
Inqueacuteritos raacutepidos por amostragem Estes inqueacuteritos podem ser utilizados para recolher informaccedilotildees padronizadas de uma amostra pequena e cuidadosamente seleccionada de pessoas ou domiciacutelios em uma aacuterea beneficiaacuteria Eles podem descrever as condiccedilotildees em uma comunidade particular ou grupo-alvo e permitem comparar grupos diferentes em um determinado momento ou mudanccedilas no mesmo grupo ao longo do tempo Permitem tambeacutem comparar condiccedilotildees actuais com os resultados planeados
Um dos inqueacuteritos mais comuns de pequena amostragem eacute o inqueacuterito CAP (Conhecimentos Atitudes e Praacuteticas) baseado em uma amostra de 30 agrupamentos
Amostragem para Garantia de Qualidade de Lotes (Lot Quality Sampling - LQAS) Essa eacute outra teacutecnica de avaliaccedilatildeo raacutepida que se usa cada vez mais na aacuterea de sauacutede puacuteblica A LQAS utiliza amostragens muito pequenas para obter informaccedilotildees confiaacuteveis em uma pequena aacuterea geograacutefica ou unidade administrativa Pode ser usada para detectar de forma precisa os extremos do desempenho ndash para determinar se uma intervenccedilatildeo foi mais aleacutem de um limiar superior de desempenho ou natildeo conseguiu atingir um limiar inferior de desempenho em termos de qualidade ou cobertura As amostras de lotes podem tambeacutem ser combinadas para fornecer estimativas de cobertura em uma aacuterea geograacutefica mais ampla
Uma busca na Web revelaraacute recursos uacuteteis aqui temos um sobre os inqueacuteritos CAP e outro sobre LQAS A aacuterea de MampA do website do CORE Group inclui ligaccedilotildees com ferramentas e recursos importantes para a avaliaccedilatildeo raacutepida criados pelo Grupo de Trabalho de MampA do CORE Group
Como gestor deve revisar todas as fontes de dados jaacute existentes antes de planear a sua avaliaccedilatildeo A Tabela 7 apresenta as vantagens e desvantagens das trecircs principais fontes de
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 936
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 7 Resumo das trecircs fontes de dados mais comuns para uma avaliaccedilatildeo
Fonte de dados Vantagens Limitaccedilotildees
Estatiacutesticas de serviccedilo Dados sobre a populaccedilatildeo de utentes e serviccedilos cliacutenicos que satildeo recolhidos rotineiramente nos registos dos utentes e nos registos cliacutenicos
Disponiacuteveis imediatamente
Cobrem todos os tipos de serviccedilos de sauacutede e todas as aacutereas do paiacutes
Podem ser desagregados para os niacuteveis local e de distrito
Uso econoacutemico
Soacute lhe informam sobre clientes actuais sem informaccedilotildees sobre as pessoas que natildeo usam os serviccedilos de sauacutede e podem ser utentes em potencial
Natildeo fornecem informaccedilotildees sobre valores percepccedilotildees ou comportamentos da comunidade
Natildeo reflectem as pessoas que optam por fontes privadas de serviccedilos
Podem ser inexactas se os locais de prestaccedilatildeo de serviccedilos natildeo registarem os dados correctamente de forma legiacutevel e em tempo haacutebil
Inqueacuteritos de grande escala Inqueacuteritos de base populacional e avaliaccedilotildees de grande escala dos centros de sauacutede
Dados relevantes precisos e confiaacuteveis
Podem medir as tendecircncias nacionais de sauacutede identificar aacutereas com problemas e ajudar a concentrar os recursos do paiacutes em aacutereas de maior carecircncia
Geram valores meacutedios para as aacutereas urbanas e rurais regiotildees e proviacutencias
Fornecem um contexto para interpretar os dados recolhidos localmente
Podem gerar informaccedilotildees adicionais a partir dos seus conjuntos de dados informatizados
Geralmente natildeo podem desagregar os dados para fornecer meacutedias para as aacutereas sub-regionais (distritos ou municipalidades)
Geralmente natildeo satildeo realizadas anualmente os dados se tornam desactualizados rapidamente se as populaccedilotildees ou condiccedilotildees de sauacutede se modificarem rapidamente
Avaliaccedilotildees raacutepidas Meacutetodos focados para avaliar as necessidades locais e tomar decisotildees em acircmbito local
Raacutepidas e econoacutemicas
Resultam em acccedilatildeo local
Haacute directrizes para ajudar os gestores em vaacuterias dessas teacutecnicas
Fornecem aos gestores a capacidade de recolher os dados necessaacuterios
Os inqueacuteritos domiciliares (por ex LQAS ou CAP) podem obter precisatildeo suficiente para fins de avaliaccedilatildeo
Equilibra a necessidade de resultados representativos e objectivos com a necessidade de usar projectos levemente menos rigorosos que satildeo mais viaacuteveis em aacutereas locais
Usam escala e acircmbito reduzidos para produzir resultados em tempo haacutebil e de baixo custo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 937
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
dados que foram discutidas acima estatiacutesticas rotineiras de serviccedilos inqueacuteritos em grande escala e teacutecnicas de avaliaccedilatildeo raacutepida
Que niacutevel de qualidade os dados do SIS precisam ter para serem uacuteteis ndash que niacutevel de abrangecircncia precisatildeo e apresentaccedilatildeo em tempo haacutebil Para as suas necessidades de gestatildeo mesmo que natildeo sejam perfeitos os dados podem ser suficientemente bons para ter um efeito poderoso como nos mostra o exemplo de Madagascar
Dados do SIS pontos fortes e limitaccedilotildees
Subestimar o valor e a utilidade do SIS eacute infelizmente uma tendecircncia Eacute verdade que o SIS tem problemas frequentemente mas tambeacutem eacute grande o seu potencial Como vimos em
Como usar e melhorar dados imperfeitos do SIS ndash Um exemplo de Madagascar
Um SIS de base comunitaacuteria mais preciso e mais oportuno Um projecto de Madagascar implementou um meacutetodo baseado na comunidade para aumentar o uso de meacutetodos de planeamento familiar denominado ldquoComunidades Campeatildesrdquo em 50 dos 110 distritos do paiacutes O meacutetodo utilizou exclusivamente os dados do SIS para monitorar e avaliar as realizaccedilotildees das comunidades participantes
Em primeiro lugar foi estabelecida uma base de referecircncia para cada comunidade ao usar os dados do seu centro de sauacutede Em seguida o pessoal do centro de sauacutede e os representantes da comunidade identificaram metas para 10 indicadores que determinariam se uma comunidade tinha alcanccedilado a posiccedilatildeo de campeatilde apoacutes 12 meses de implementaccedilatildeo Cada comunidade monitorava seu proacuteprio progresso em uma reuniatildeo trimestral de verificaccedilatildeo
Apoacutes 12 meses o pessoal do projecto voltou a cada comunidade para avaliar os resultados Examinaram os dados do relatoacuterio de monitoria de rotina de cada centro de sauacutede e para cada indicador Prepararam tambeacutem um relatoacuterio sobre os dados de cada comunidade e o enviaram para o supervisor de niacutevel distrital para a sua confirmaccedilatildeo com base nos registos informatizados do distrito As fontes de dados para os relatoacuterios do centro de sauacutede e registos de distrito foram as mesmas (registos dos centros de sauacutede) e por isso raramente ocorreu uma discrepacircncia Mas o que interessava era envolver o supervisor distrital no exame dos dados do centro de sauacutede para mostrar a utilidade de se usar ateacute mesmo dados simples nesse niacutevel
O projecto tambeacutem cooperou com o Ministeacuterio da Sauacutede a niacutevel distrital para melhorar a precisatildeo a abrangecircncia e a prontidatildeo do SIS A ecircnfase era obter dados mais completos dos centros de sauacutede e reduzir o tempo gasto pelo escritoacuterio distrital para receber o relatoacuterio do centro de sauacutede apreciaacute-lo devolvecirc-lo ao centro para qualquer correcccedilatildeo recebecirc-lo novamente dar entrada dos dados no sistema e finalmente enviaacute-los ao niacutevel central Os distritos satildeo responsaacuteveis por cooperar com os centros de sauacutede para melhorar o registo de dados e actualizar suas proacuteprias teacutecnicas de processamento de dados
Apoacutes dois anos de assistecircncia teacutecnica o SIS tinha realmente melhorado segundo os indicadores de precisatildeo abrangecircncia e prontidatildeo As melhorias mais notaacuteveis foram em prontidatildeo o tempo gasto pelo escritoacuterio distrital no processo descrito acima reduziu-se de 12 para 3 meses
Imperfeitas mais mesmo assim valiosos Deve-se lembrar que o projecto ldquoComunidades Campeatildesrdquo teve oacuteptimo resultado apesar dos dados imperfeitos Seu numerador (o nuacutemero de utentes regulares de planeamento familiar) era detalhado e preciso Mas suas estimativas das taxas de prevalecircncia do uso de contraceptivos natildeo eram muito precisas porque o denominador (nuacutemero de mulheres em idade reprodutiva) era apenas uma estimativa baseada num censo desactualizado e em estimativas anuais do governo sobre percentagens de crescimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 938
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Madagascar o projecto Comunidades Campeatildes melhorou o sistema substancialmente num periacuteodo de dois anos Nesse caso o sistema jaacute se encontrava relativamente funcional porque projectos anteriores haviam feito um grande esforccedilo para implantar o sistema e tornaacute-lo mais soacutelido Ao aprimorar a forma como o sistema era administrado e os dados eram usados o projecto posterior conseguiu fazer uma grande diferenccedila por meio de pequenas modificaccedilotildees
Os dados do SIS natildeo satildeo 100 exactos e nunca seratildeo Esta eacute a realidade com a qual todos os gestores tecircm que trabalhar Mas os dados natildeo precisam ser perfeitos para serem uacuteteis Eacute possiacutevel fazer a monitoria e a gestatildeo com dados imperfeitos Informaccedilotildees obtidas em tempo
(continuaccedilatildeo)
No entanto o projecto constatou que as taxas de prevalecircncia de uso de contraceptivos eram suficientemente boas para acompanhar o desempenho das comunidades que participavam do meacutetodo de Comunidades Campeatildes O pessoal do projecto tambeacutem complementou as comparaccedilotildees dessas taxas com as comparaccedilotildees dos valores do numerador nuacutemeros simples que faziam sentido para o pessoal do centro de sauacutede e tambeacutem para as comunidades
O niacutevel central comeccedilou a organizar workshops regionais trimestrais para divulgar os resultados ao niacutevel distrital Juntos os gestores dos niacuteveis distritais regionais e centrais analisaram o progresso e classificaram os distritos com base no seu desempenho Usaram a anaacutelise de causa-raiz ndash um processo que identifica as causas subjacentes de um problema ndash para entender os obstaacuteculos enfrentados pelos distritos que apresentavam baixo desempenho (Consulte o Apecircndice A no Capiacutetulo 2 deste guia para obter mais informaccedilotildees sobre a anaacutelise de causa-raiz) Finalmente o Ministeacuterio de Sauacutede mobilizou o apoio de agecircncias doadoras e de organizaccedilotildees parceiras para ajudaacute-los a melhorar
O ministeacuterio comeccedilou a usar as informaccedilotildees de sauacutede para administrar realmente o sistema de sauacutede Antes dessa intervenccedilatildeo poucas organizaccedilotildees confiavam ou utilizavam os dados do SIS Mas quando ficou claro que o sistema funcionava as agecircncias doadoras passaram a confiar as organizaccedilotildees parceiras passaram a utilizaacute-lo e o ministeacuterio se orgulhou do trabalho Pela primeira vez tinham uma visatildeo mais niacutetida do que acontecia em todo o paiacutes e podiam usar essas informaccedilotildees para buscar o apoio de agecircncias doadoras se necessaacuterio
Do mesmo modo os centros de sauacutede raramente usavam seus proacuteprios dados Eles simplesmente faziam os registos e os enviavam para o escritoacuterio distrital sem nem mesmo receber retroinformaccedilatildeo do mesmo Apoacutes a conclusatildeo do projecto perceberam como os dados mais precisos podiam ser usados em seu benefiacutecio e das comunidades
Os distritos tambeacutem actuavam antes de uma forma pouco informada Cada distrito dependia apenas dos seus proacuteprios dados e funcionava num vaacutecuo As mudanccedilas no SIS e o encorajamento do governo central forneceram aos distritos oportunidades para comparar seu trabalho e aprender uns com os outros
Aprendizagem com dados mais precisos completos e oportunos Os dados satildeo geralmente utilizados para fazer comparaccedilotildees mas satildeo menos frequentemente utilizados como ferramenta de aprendizagem Nesse caso depois que os relatoacuterios comeccedilaram a chegar dentro do prazo o Ministeacuterio da Sauacutede usou os dados ndash inclusive dados imperfeitos ndash para descobrir que distritos tinham um desempenho ruim e que distritos estavam melhor que os outros Assim aprenderam com os de melhor desempenho ao perguntar Por que seus resultados satildeo tatildeo bons O que estavam a fazer de diferente O que poderia ser replicado Finalmente aplicaram a aprendizagem ao usar esses distritos como modelos e ao oferecer mais apoio aos de pior desempenho
Todo o sistema de sauacutede se entusiasmou com as informaccedilotildees que podiam produzir e usar A comeccedilar do topo esse entusiasmo chegou aos niacuteveis inferiores e os motivou a melhorar sua recolha e processamento de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 939
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
haacutebil e com 75 de precisatildeo satildeo melhores que as informaccedilotildees com 95 de precisatildeo que chegam com vaacuterios meses de atraso
Apesar do seu grande valor por si soacutes os dados do SIS natildeo atenderatildeo a todas as necessidades de informaccedilatildeo de muitas organizaccedilotildees Algumas organizaccedilotildees e agecircncias doadoras precisam de dados que exigem avaliaccedilotildees ou sistemas especiais Aleacutem disso vaacuterias intervenccedilotildees foram projectadas para modificar o conhecimento as atitudes e as praacuteticas dos beneficiaacuterios factores que natildeo satildeo capturados nos dados de serviccedilo Eacute importante usar os dados do SIS sempre que possiacutevel e complementaacute-los com avaliaccedilotildees locais quando necessaacuterio
Como gestor de um programa de sauacutede ou de serviccedilos de sauacutede parte do seu trabalho deveria ser o de melhorar o SIS em seu paiacutes Ele eacute o uacutenico sistema de informaccedilotildees sustentaacutevel na maioria dos paiacuteses Os sistemas de informaccedilatildeo criados e mantidos por agecircncias doadoras ou organizaccedilotildees externas tecircm duraccedilatildeo limitada mas o SIS eacute parte permanente do seu legado
Se todos os parceiros e agecircncias doadoras trabalharem com o Ministeacuterio de Sauacutede para prestar assistecircncia teacutecnica e financeira ao SIS ele poderaacute render informaccedilotildees que trazem grandes melhorias para os serviccedilos de sauacutede e que justificam plenamente o investimento no mesmo
Praacuteticas comprovadas
Um sistema de MampA deveria proporcionar aos gestores o que eles precisam saber para agir Deve se basear em indicadores relevantes faacuteceis de usar e que possam ser fornecidos em tempo haacutebil para os ciclos de planeamento e apresentaccedilatildeo de relatoacuterios
Os resultados de MampA natildeo se destinam apenas ao pessoal de MampA da sua organizaccedilatildeo ou agrave agecircncia doadora As informaccedilotildees de MampA satildeo um recurso fundamental para as acccedilotildees e a aprendizagem Se o seu processo de MampA tiver mecanismos de retroinformaccedilatildeo que permitam aos tomadores de decisotildees reflectirem sobre os resultados e absorverem o que precisam para seus proacuteprios fins eles assumiratildeo o controlo do processo e utilizaratildeo o que ele oferecer
Se vocecirc define suas actividades de MampA no comeccedilo de uma intervenccedilatildeo ou projecto junto com o plano de acccedilatildeo para o projecto teraacute mais oportunidades de orientar e acompanhar a implementaccedilatildeo das actividades
Quando satildeo demasiado elaborados e complicados os planos de MampA natildeo satildeo usados Elabore um plano de MampA simples escolha ferramentas de monitoria faacuteceis de usar e seleccione a menor quantidade possiacutevel de indicadores para acompanhar o progresso e introduzir as mudanccedilas necessaacuterias ao longo do caminho
Para fortalecer um SIS eacute preciso trabalhar com as pessoas envolvidas os responsaacuteveis pelo sistema que registam transferem analisam comunicam e utilizam os dados e as informaccedilotildees para a gestatildeo dos serviccedilos
Ao fornecer os dados do SIS para os tomadores de decisotildees vocecirc deve reconhecer as diferenccedilas na frequecircncia dos relatoacuterios e nas quantidades de dados agregados e desagregados necessaacuterios aos niacuteveis diferentes de governo ou agraves organizaccedilotildees natildeo governamentais
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 911
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
preciso ter uma ferramenta simples que lhe forneccedila apenas informaccedilotildees essenciais Poderaacute aprender mais sobre essas ferramentas na secccedilatildeo deste capiacutetulo intitulada ldquoCaracteriacutesticas de uma boa ferramenta de monitoriardquo
Por uacuteltimo os gestores precisam receber informaccedilotildees em tempo haacutebil para que possam agir imediatamente Os projectos implementados pelas organizaccedilotildees com fundos do governo ou de uma agecircncia doadora satildeo frequentemente conduzidos em dois periacuteodos de tempo
Por exemplo vocecirc poderaacute gerir um projecto que se estende por cinco anos desmembrado em ciclos anuais de apresentaccedilatildeo de relatoacuterios com base em planos de operaccedilatildeo anuais Mas para monitorar o plano anual e apresentar os relatoacuterios necessaacuterios vocecirc precisa de informaccedilotildees trimestrais Se os seus centros de sauacutede apresentarem os dados apoacutes o prazo estabelecido as informaccedilotildees natildeo chegaratildeo a tempo para os seus relatoacuterios
Informaccedilotildees em acccedilatildeo para melhorar os serviccedilos ndash experiecircncias da Boliacutevia e da Aacutefrica do Sul
Uso de informaccedilotildees para mobilizar a cadeia de suprimentos O programa de suplementaccedilatildeo de aacutecido foacutelico e ferro na Boliacutevia foi uma actividade de mobilizaccedilatildeo comunitaacuteria implementada por vaacuterias ONGs em aacutereas rurais do paiacutes
Surgiu um problema apoacutes apenas trecircs meses de implementaccedilatildeo Se a gestora tivesse confiado apenas na monitoria do processo teria visto que todas as actividades haviam sido executadas dentro do prazo e conforme planeadas Poreacutem os dados mensais dos centros de sauacutede das aacutereas de captaccedilatildeo atendidas pelo programa revelaram que em vaacuterias comunidades a distribuiccedilatildeo de ferro e aacutecido foacutelico para graacutevidas havia sido nula desde o primeiro mecircs de implementaccedilatildeo do programa
A gestora investigou imediatamente e descobriu que 16 centros de sauacutede estavam com faltas de stock Apesar de haver um protocolo escrito para a distribuiccedilatildeo de ferro e aacutecido foacutelico e de todos os centros de sauacutede possuiacuterem supostamente o produto nos seus stocks historicamente natildeo havia demanda para esse produto Os centros de sauacutede haviam decidido haacute muito tempo natildeo tecirc-lo mais em stock
A gestora levou o problema agrave atenccedilatildeo do vice-ministro de sauacutede e em poucos dias o Ministeacuterio da Sauacutede mobilizou toda a sua cadeia de suprimentos para garantir que havia um stock suficiente em toda a cadeia No final do ano a suplementaccedilatildeo de ferro e aacutecido foacutelico havia melhorado dramaticamente em todo o paiacutes Tudo isso aconteceu graccedilas a uma simples ferramenta de monitoria mensal que permitiu que a gestora tomasse medidas correctivas no iniacutecio da implementaccedilatildeo
Simplificaccedilatildeo da recolha de dados e estiacutemulo ao uso dos dados Sabe-se que se a recolha e o processamento dos dados forem muito complicados a qualidade e o uso dos mesmos tendem a diminuir Na Aacutefrica do Sul o pessoal de enfermagem dos centros de sauacutede eacute geralmente solicitado a executar duas funccedilotildees (1) cuidar dos utentes do sistema e (2) recolher e utilizar dados O problema eacute que esse pessoal se dedica principalmente a prestar cuidados e considera a recolha de dados uma sobrecarga de trabalho desnecessaacuteria aleacutem de suas actividades quotidianas
Um grupo de enfermeiras da Aacutefrica do Sul que reconheceu a importacircncia das informaccedilotildees para a prestaccedilatildeo dos serviccedilos decidiu tornar a recolha e uso de dados de rotina parte do seu trabalho diaacuterio Entenderam que era necessaacuterio reduzir a quantidade de dados necessaacuterios e simplificar o processo de recolha
Como resultado criaram uma lista itemizada ou lista de verificaccedilatildeo que lhes permitia ter ao final de cada dia um quadro raacutepido dos serviccedilos que haviam prestado No final do mecircs podiam tabular rapidamente e analisar os dados sobre seus serviccedilos Esse tipo de sumaacuterio diaacuterio e mensal das suas actividades foi extremamente satisfatoacuterio Ele motivou seu uso contiacutenuo para monitorar analisar e melhorar os serviccedilos
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 912
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Abordagens e ferramentas praacuteticas de MampA
QUADROS DE REFEREcircNCIA PARA A FORMULACcedilAtildeO MONITORIA E AVALIACcedilAtildeO DOS SERVICcedilOS DE SAUacuteDE
Os resultados de intervenccedilotildees programaacuteticas e nos serviccedilos de sauacutede podem ser medidos em niacuteveis variados Muitas directrizes de MampA se baseiam numa sequecircncia de cinco niacuteveis de resultados insumos actividades produtos resultados e impactos A Figura 4 resume os niacuteveis de resultados que podem ser monitorados e avaliados
Para compreender melhor a sequecircncia de resultados considere as definiccedilotildees abaixo
Insumos Os materiais e recursos necessaacuterios para executar o plano de implementaccedilatildeo da sua unidade ou equipa e obter o resultado esperado Os exemplos incluem os recursos financeiros teacutecnicos humanos suprimentos e produtos essenciais
Processo As actividades executadas por meio do seu plano de implementaccedilatildeo Os exemplos incluem a formaccedilatildeo dos profissionais de sauacutede a melhoria do sistema de gestatildeo de suprimentos e a distribuiccedilatildeo de meios de planeamento familiar
Produtos Eacute o resultado imediato de uma actividade Os exemplos incluem o nuacutemero de pessoas formadas o nuacutemero de novos utentes de contraceptivos e a quantidade de produtos distribuiacutedos
Resultados (a meacutedio e longo prazo) Eacute uma mudanccedila de curto prazo em um grupo da populaccedilatildeo como resultado de uma seacuterie de actividades Os exemplos incluem as mudanccedilas na cobertura do atendimento preacute-natal na proporccedilatildeo de partos seguros no conhecimento e atitudes sobre meacutetodos de planeamento familiar e sauacutede reprodutiva nas necessidades ainda natildeo atendidas de planeamento familiar e nas taxas de prevalecircncia do uso de contraceptivos
Impacto Mudanccedilas a longo prazo dentro de um grupo da populaccedilatildeo beneficiaacuteria Os exemplos incluem mudanccedilas na taxa total de fertilidade e nas taxas de mortalidade e morbidade maternas
Dois tipos de quadros de referecircncia satildeo comummente utilizados para planear e organizar a formulaccedilatildeo de uma intervenccedilatildeo ou serviccedilo e o seu plano de MampA quadros loacutegicos e quadros conceptuais
FIGURA 4 Niacuteveis da sequecircncia de resultados
InsumosProcessos
(actividades)Produtos Resultados Impacto
recursos humanos
recursos financeiros
equipa-mentos
centros de sauacutede
poliacuteticas
reuniotildees formaccedilatildeo supervisatildeo serviccedilos
nuacutemero de pessoal formado
nuacutemero de clientes
nuacutemero de produtos
melhor supervisatildeo
melhoria da cadeia de frio
mudanccedila no conheci-mento
mudanccedila no comporta-mento
mudanccedila nas praacuteticas
melhores serviccedilos
mudanccedila das taxas de doenccedila
mudanccedilas das taxas de oacutebitos
mudanccedila das taxas de nascimento
mudanccedilas das taxas de fertilidade
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 913
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
QUADROS LOacuteGICOS
Desde a elaboraccedilatildeo em 1969 de uma abordagem de quadro loacutegico para a USAID (Agecircncia dos EUA para o Desenvolvimento Internacional) os quadros loacutegicos (tambeacutem denominados Modelos Loacutegicos) foram adoptados depois de vaacuterias adaptaccedilotildees por vaacuterias organizaccedilotildees de desenvolvimento internacional e bilateral
A Figura 5 mostra os elementos de um Quadro Loacutegico
O Quadro Loacutegico ajuda os gestores e as equipas a responder a quatro perguntas principais
1 O que queremos realizar e por quecirc2 Como mediremos o sucesso 3 Que condiccedilotildees devem existir em cada fase da nossa intervenccedilatildeo4 Que recursos e processos seratildeo necessaacuterios para chegarmos laacute
Os Quadros Loacutegicos ajudam a identificar as conexotildees causais da sequecircncia de resultados insumos rarr processos (actividades) rarr produtos rarr resultados a meacutedio e longo prazo rarr impacto Essas conexotildees causais determinam a loacutegica da intervenccedilatildeo e orientam a selecccedilatildeo de indicadores para cada fase da sequecircncia de resultados
FIGURA 5 Elementos tiacutepicos de um quadro loacutegico
Objectivos IndicadoresFormas de verificaccedilatildeo Pressupostos
Meta O objectivo final ou impacto pretendido da intervenccedilatildeo
Medidas usadas para avaliar ateacute que ponto as metas foram atingidas
Meacutetodos e fontes de informaccedilatildeo para medir ou avaliar os indicadores de metas
Factores ou condiccedilotildees necessaacuterios para a sustentabilidade a longo prazo
PropoacutesitoResultado Mudanccedilas ou benefiacutecios esperados a serem conseguidos para utentes comunidades organizaccedilotildees ou sistemas
Medidas usadas para avaliar ateacute que ponto foi alcanccedilado o propoacutesito ou resultado
Meacutetodos e fontes de informaccedilatildeo para medir ou avaliar indicadores de propoacutesitoresultado
Factores ou condiccedilotildees necessaacuterios para o sucesso do programa nesse niacutevel e passagem para o seguinte niacutevel
Produtos Resultados directos e tangiacuteveis das actividades do programa que deveratildeo atingir o propoacutesito
Medidas usadas para avaliar ateacute que ponto os produtos foram apresentados
Meacutetodos e fontes de informaccedilatildeo para medir e avaliar os indicadores de produtos
Factores ou condiccedilotildees necessaacuterios para o sucesso do programa neste niacutevel e passagem para o seguinte niacutevel
ProcessosActividades Medidas tomadas por um programa para atingir os objectivos definidos
InsumosRecursos Pessoal tempo materiais e fundos necessaacuterios para executar as actividades
Meacutetodos e fontes de informaccedilatildeo utilizados para mostrar que as actividades foram concluiacutedas
Factores ou condiccedilotildees necessaacuterios para o sucesso do programa neste niacutevel e passagem para o seguinte niacutevel
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 914
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para entender como um Quadro Loacutegico explicita a loacutegica de uma intervenccedilatildeo examine novamente a Figura 5 Uma seacuterie de relacionamentos condicionais (ldquose entatildeordquo) conecta cada componente do Quadro Loacutegico
1 Se os recursos necessaacuterios estiverem disponiacuteveis e supondo-se que as condiccedilotildees sejam favoraacuteveis entatildeo as actividades do programa podem ser implementadas e
2 hellipse as actividades do programa forem implementadas com sucesso e supondo-se que existam condiccedilotildees favoraacuteveis especiacuteficas entatildeo os produtos e resultados esperados poderatildeo ser alcanccedilados e
3 hellipse os produtos e resultados esperados forem alcanccedilados e supondo-se que existam as condiccedilotildees favoraacuteveis especiacuteficas entatildeo a meta estrateacutegica poderaacute ser atingida
O Quadro Loacutegico pode ser uacutetil na conceptualizaccedilatildeo de um projecto durante o periacuteodo de planeamento e na avaliaccedilatildeo do progresso e aplicaccedilatildeo de medidas correctivas durante a implementaccedilatildeo Como qualquer outro quadro de referecircncia ele possui vantagens e desvantagens como mostra a Tabela 1
O Apecircndice A deste capiacutetulo fornece um exemplo de Quadro Loacutegico para um programa de visita domiciliar desenvolvido pelo Banco Interamericano de Desenvolvimento
QUADROS CONCEPTUAIS
Estes satildeo semelhantes aos Quadros Loacutegicos no sentido de que descrevem uma sequecircncia de resultados mas levam em consideraccedilatildeo as razotildees subjacentes de por que ocorrem as mudanccedilas ao longo da sequecircncia de resultados Enquanto os Quadros Loacutegicos simplesmente afirmam que as actividades traratildeo resultados ainda maiores os quadros conceptuais permitem mapear os factores que na sua opiniatildeo satildeo criacuteticos e explicam porque esses factores satildeo importantes para o sucesso
Este tipo de mapeamento ajuda a decidir que factores devem ser monitorados durante a implementaccedilatildeo das actividades Quando os dados mostram que esses elementos criacuteticos foram ou natildeo alcanccedilados pode-se compreender melhor por que uma intervenccedilatildeo teve ou natildeo sucesso e o que poderia ser modificado no futuro
Veja as vantagens e desvantagens dos quadros conceptuais na Tabela 2
TABELA 1 Visatildeo geral do quadro loacutegico
Vantagens Desvantagens
Melhora a qualidade dos planos de intervenccedilatildeo ao exigir a definiccedilatildeo de indicadores e objectivos claros e a anaacutelise de pressupostos e riscos
Quando usado regularmente durante uma intervenccedilatildeo eacute uma ferramenta de gestatildeo eficaz para orientar a implementaccedilatildeo e a MampA
Resume a elaboraccedilatildeo de planos complexos
Apoia a preparaccedilatildeo de planos de implementaccedilatildeo detalhados
Pressupotildee uma relaccedilatildeo linear entre insumos-produtos-resultados que natildeo leva em consideraccedilatildeo outros factores de influecircncia
Se usado rigidamente durante o processo de formulaccedilatildeo poderaacute restringir a criatividade e a inovaccedilatildeo
Se natildeo for actualizado durante a implementaccedilatildeo pode ser uma ferramenta estaacutetica que natildeo reflecte as condiccedilotildees em mudanccedila
Geralmente a formaccedilatildeo e o acompanhamento satildeo necessaacuterios para usar esse meacutetodo correctamente
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 915
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O modelo conhecido como Caminho de Mudanccedila (Pathway to Change) eacute um exemplo particularmente uacutetil de um quadro conceptual Esse modelo utiliza um formato de condicionalidade (ldquose entatildeordquo) para mostrar passo a passo como os resultados a meacutedio e longo prazo foram conceptualizados e como seratildeo alcanccedilados A Figura 6 eacute um exemplo de aplicaccedilatildeo do Caminho de Mudanccedila em um projecto de sauacutede de seis meses de duraccedilatildeo e acircmbito municipal na Nicaraacutegua
Caminho de Mudanccedila Tratamos deste modelo neste capiacutetulo devido agrave sua utilidade para os gestores e seus benefiacutecios como actividade de fortalecimento de uma equipa O estabelecimento de um Caminho de Mudanccedila eacute geralmente um processo participativo que permite que a sua equipa ou unidade e outros grupos de interesse formulem uma intervenccedilatildeo e determinem como ela vai funcionar O produto final eacute um mapa que mostra como uma acccedilatildeo estaacute relacionada com outras e como todas elas acrescentam algo ao resultado esperado Frequentemente o estabelecimento de um caminho expotildee as crenccedilas subjacentes que as pessoas de uma organizaccedilatildeo mantecircm sobre a forma em que suas acccedilotildees promovem mudanccedilas
A criaccedilatildeo de um Caminho de Mudanccedila tem vaacuterios benefiacutecios Em primeiro lugar exige que a sua equipa examine cada acccedilatildeo proposta e responda agraves seguintes perguntas
Todas as actividades contribuem para o resultado esperado Se a resposta for negativa algumas actividades deveriam ser modificadas acrescentadas ou eliminadas
As actividades satildeo sequenciais Elas estatildeo relacionadas de uma forma loacutegica Elas se somam umas agraves outras para formar um conjunto racional e coerente de acccedilotildees
Pensamos em todos os produtos e resultados necessaacuterios para atingir nosso resultado esperado
Temos os recursos necessaacuterios para implementar as actividades propostas Em quanto tempo atingiremos o resultado que desejamos Que outros factores podem contribuir ou entravar cada uma das actividades do
caminho
Em segundo lugar sua equipa deve tornar expliacutecita e chegar a um acordo sobre a loacutegica subjacente de um plano de intervenccedilatildeo Em outras palavras deve mostrar no papel como cada acccedilatildeo resultaraacute na mudanccedila desejada em cada niacutevel do mapa Por uacuteltimo o caminho define que resultados imediatos e resultados a meacutedio e longo prazo a equipa deve monitorar e que indicadores devem usar
TABELA 2 Visatildeo geral do quadro conceptual
Vantagens Desvantagens
Fornece um mapeamento visual e flexiacutevel de planos de intervenccedilatildeo complexos
Quando usado regularmente durante a implementaccedilatildeo permite uma retroinformaccedilatildeo antecipada do que estaacute ou natildeo a funcionar e por quecirc
Auxilia na identificaccedilatildeo de efeitos colaterais natildeo previstos
Ajuda a priorizar os problemas a serem investigados mais profundamente talvez ao usar meacutetodos mais focalizados de recolha de dados ou teacutecnicas mais sofisticadas de MampA
Pode se tornar extremamente complexo se a escala de actividades for muito grande ou se for reunida uma lista exaustiva de factores e pressupostos
Os grupos de interesse podem discordar sobre os factores determinantes que consideram ser os mais importantes
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 916
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Como se lecirc um mapa de Caminho de Mudanccedila O caminho pode ser lido como um fluxograma em que caixas e setas mostram a relaccedilatildeo entre as acccedilotildees e os efeitos como mostrado na Figura 6 O resultado esperado aparece no topo do caminho e os resultados imediatos que devem ser atingidos para se chegar laacute satildeo exibidos no proacuteximo niacutevel Os produtos que devem ser obtidos para conseguir os resultados a meacutedio e longo prazo aparecem no proacuteximo niacutevel inferior Finalmente as actividades aparecem no fundo ou base
Quando lido de baixo para cima o mapa mostra que actividades satildeo necessaacuterias para conseguir os produtos e que resultados a meacutedio e longo prazo satildeo necessaacuterios para se chegar ao topo Eacute preciso sempre poder traccedilar um caminho desde o comeccedilo de suas acccedilotildees ateacute o resultado esperado
Pode ser uacutetil imaginar o caminho como o organigrama de uma empresa vocecirc pode comeccedilar da base do organigrama como assistente administrativo passar a coordenador de escritoacuterio depois a uma funccedilatildeo de gestatildeo e finalmente ocupar o gabinete do director
A criaccedilatildeo de um Caminho de Mudanccedila Para desenvolver um Caminho da Mudanccedila sua equipa mapeia a mudanccedila de forma reversa Comeccedila no final do caminho (no topo da
FIGURA 6 Exemplo de um Caminho de Mudanccedila
Resultado 180 dos pacientes
estatildeo satisfeitos com os serviccedilos prestados no
centro de sauacutede
Resultado 260 das mulheres
entre 15 e 49 anos na aacuterea de captaccedilatildeo do centro de
sauacutede entendem a importacircncia do planeamento familiar
para o espaccedilamento dos nascimentos
Resultado 3Todos os meacutetodos
contraceptivos modernos estatildeo
disponiacuteveis no centro de sauacutede
Produto 1Os tempos de
espera no centro de sauacutede se
reduziram de 40 para 20 minutos
Produto 2Eacute oferecida
orientaccedilatildeo a todos os pacientes em
espaccedilo privado do centro de sauacutede
Produto 3Voluntaacuterias
realizam palestras semanais sobre temas
de sauacutede reprodutiva na comunidade
Produto 4Todos os stocks
de contraceptivos satildeo monitorados semanalmente
Actividade 1Realizar um
inqueacuterito sobre o uxo de
pacientes e cumprir
recomendaccedilotildees
Actividade 2Transformar um canto do
centro de sauacutede para a
orientaccedilatildeo dos pacientes
Actividade 3Mobilizar as
ONGs parceiras para imprimir panetos de informaccedilatildeo educaccedilatildeo e
comunicaccedilatildeo
Actividade 4Mobilizar as
ONGs parceiras para dar
formaccedilatildeo ou equipar as voluntaacuterias
Actividade 5Recrutar liacutederes
comunitaacuterios para prestar
apoio agraves palestras sobre
sauacutede reprodutiva
Actividade 6Desenvolver
um sistema de registo e
pedidos de suprimentos
contraceptivos
Resultado esperadoAumento na percentagem de utentes de planeamento familiar de 50 para 52
durante o periacuteodo de Junho a Dezembro de 2006
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 917
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
sequecircncia) e define a meta da organizaccedilatildeo a longo prazo ou o resultado esperado de uma intervenccedilatildeo Em seguida preenche o mapa ao trabalhar de cima para baixo onde identifica finalmente as actividades principais os primeiros elementos do seu plano de implementaccedilatildeo
Enquanto se desloca pelo caminho faccedila trecircs perguntas Que resultados precisam acontecer para contribuir agrave meta de longo prazo Que produtos precisam ser obtidos antes disso para alcanccedilar os resultados Que actividades precisam acontecer antes disso para conseguir os produtos
O desenho de uma intervenccedilatildeo dessa forma pode ajudar a revelar as condiccedilotildees necessaacuterias para atingir os resultados a meacutedio e longo prazo e a meta de longo prazo Talvez sejam necessaacuterias vaacuterias tentativas para criar um Caminho de Mudanccedila com o qual todos estejam de acordo Os resultados produtos e acccedilotildees podem ser acrescentados modificados e eliminados ateacute que eventualmente surja um mapa que conte a histoacuteria com a qual sua equipa pode concordar O debate eacute frequentemente a parte mais importante da experiecircncia porque a equipa junta define as expectativas pressupostos e caracteriacutesticas do processo de mudanccedila
Uso da sequecircncia ldquopara querdquo como forma de verificar as vias de um Caminho de Mudanccedila Uma boa forma de verificar a loacutegica do mapa do seu caminho eacute inverter o processo e criar uma sequecircncia de ldquopara querdquo para cada actividade O exemplo na Figura 7 mostra como fazer isso para a Actividade 5 da Figura 6 O movimento na sequecircncia ldquopara querdquo eacute o
FIGURA 7 Sequecircncia ldquopara querdquo para uma actividade de um Caminho de Mudanccedila
Dar formaccedilatildeo agraves voluntaacuterias da comunidade e equipaacute-las com os materiais de informaccedilatildeo educaccedilatildeo e comunicaccedilatildeo necessaacuterios
para que
As voluntaacuterias realizem sessotildees educativas sobre sauacutede sobre temas de planeamento familiar na aacuterea especiacutefica do centro de sauacutede
para que
As mulheres em idade reprodutiva na aacuterea especiacutefica se sintam agrave vontade para participar de sessotildees apresentadas pelas voluntaacuterias
para que
As mulheres participem das sessotildees e aprendam sobre a importacircncia do planeamento familiar para o espaccedilamento dos nascimentos
para que
Mais mulheres em idade reprodutiva busquem meacutetodos de planeamento familiar no centro de sauacutede e a percentagem de mulheres que recebem os meacutetodos aumentem 2 durante o periacuteodo do projecto (o resultado esperado)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 918
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
oposto exacto do Caminho de Mudanccedila Vocecirc coloca cada actividade no topo da sua proacutepria sequecircncia e desce pela sequecircncia ateacute a meta ou resultado esperado Essa sequecircncia ajuda a confirmar que cada rota individual no Caminho de Mudanccedila faz sentido em termos loacutegicos
Para usar essa teacutecnica eacute preciso criar uma sequecircncia ldquopara querdquo para cada actividade no seu Caminho de Mudanccedila Comece por descrever cada actividade e segui-la da frase ldquopara querdquo seguida de uma descriccedilatildeo do que aconteceraacute se essa actividade for realizada Continue a fazer isto ateacute atingir a sua meta de longo prazo ou resultado esperado
Etapas do desenvolvimento de um plano de MampA
Uma das suas tarefas essenciais de MampA como gestor que exerce lideranccedila eacute a de elaborar um plano que ajude vocecirc e sua equipa a determinar se atingiram ou natildeo os resultados esperados e a acompanhar o progresso no alcance desses resultados durante a implementaccedilatildeo Isso exige que vocecirc natildeo soacute escolha indicadores confiaacuteveis mas tambeacutem que meccedila esses indicadores de forma organizada Seu plano de MampA deve especificar que indicadores seratildeo medidos como e quando seratildeo medidos e por quem
Um plano de MampA bem formulado responde a cinco perguntas
1 Seu resultado esperado eacute mensuraacutevel2 Que indicadores utilizaraacute para monitorar seus produtos e para avaliar seus
resultados 3 Quais satildeo as suas fontes de dados e como recolheraacute os dados dessas fontes 4 Quais satildeo os periacuteodos cobertos de cada indicador 5 Quem recolheraacute os dados
Essas perguntas satildeo importantes porque sem um plano vaacutelido de MampA vocecirc poderaacute interpretar erroneamente os efeitos da sua intervenccedilatildeo Poderaacute concluir que ela natildeo teve efeito algum quando na verdade ela teve alguns resultados positivos ou poderaacute concluir que ela teve um efeito positivo quando na verdade natildeo obteve resultado algum o que eacute um erro comum e mais destrutivo
Elaborar e utilizar um plano de MampA garante que dados comparaacuteveis seratildeo recolhidos regularmente e em tempo haacutebil mesmo quando houver mudanccedilas de pessoal A Tabela 3 resume as etapas no desenvolvimento e implementaccedilatildeo de um plano de MampA O resto desta secccedilatildeo descreve cada etapa detalhadamente
ETAPA 1 DEFINA OS RESULTADOS ESPERADOS
A primeira etapa no desenvolvimento do plano de MampA eacute determinar um niacutevel apropriado de resultados Juntos o tipo e o acircmbito da intervenccedilatildeo os recursos disponiacuteveis e o prazo de implementaccedilatildeo determinam um resultado viaacutevel
Como jaacute vimos antes neste capiacutetulo as intervenccedilotildees dirigidas por organizaccedilotildees com fundos de agecircncias doadoras e por serviccedilos governamentais geralmente levam a produtos ou resultados a meacutedio e longo prazo Apesar de o impacto demorar a ser obtido e geralmente estar fora do acircmbito de um uacutenico conjunto de actividades eacute importante incluiacute-lo no seu plano de MampA para que fique clara qual seraacute a contribuiccedilatildeo da sua intervenccedilatildeo a longo prazo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 919
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 3 Etapas para elaborar e usar um Plano de MampA
Etapas Recomendaccedilotildees
1 Definir os resultados esperados
Os resultados devem ser identificados de acordo com o acircmbito e o periacuteodo de tempo da sua intervenccedilatildeo
Os resultados devem atender aos criteacuterios SMART (Especiacuteficos Mensuraacuteveis Apropriados Realistas de Prazo Definido)
2 Seleccionar os indicadores
Os indicadores devem possuir as qualidades de um bom indicador
Os indicadores devem ser acessiacuteveis faacuteceis de recolher e comparaacuteveis ao longo do tempo e em diferentes locais
Para os problemas de sauacutede prioritaacuterios e os serviccedilos essenciais use indicadores criacuteticos nacionais ou padratildeo
Seleccione um nuacutemero miacutenimo de indicadores essenciais e procure garantir que os indicadores seleccionados sejam realmente necessaacuterios para medir seus resultados esperados
3 Identificar as fontes de dados
Identifique de onde viratildeo os dados para cada indicador Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos organizacionais utentes ou a comunidade
4 Definir os meacutetodos de recolha dos dados
Seleccione o meacutetodo mais apropriado e confiaacutevel para a recolha de dados para cada indicador Estes meacutetodos podem incluir a anaacutelise de registos ou diaacuterios de estatiacutesticas de serviccedilo o uso de listas de verificaccedilatildeo para fins de observaccedilatildeo as entrevistas de utentes ao saiacuterem da cliacutenica ou um modelo de inqueacuterito de dados comunitaacuterios
Decida sobre a frequecircncia da recolha de dados Poderaacute recolher apenas os dados de base ou referecircncia e os dados apoacutes a intervenccedilatildeo ou talvez precise recolher dados diaacuterios mensais ou trimestrais dependendo do tipo de indicador
Para cada indicador designe a responsabilidade pela recolha a um escritoacuterio equipa ou pessoa especiacuteficos
5 Recolher os dados de base (ou referecircncia) e os dados apoacutes a intervenccedilatildeo
Entenda que os resultados de base seratildeo usados para definir os seus alvos
Defina claramente a duraccedilatildeo coberta pelos dados de base jaacute que precisa de um periacuteodo semelhante para a comparaccedilatildeo ao final do periacuteodo de implementaccedilatildeo
Use a mesma metodologia e ferramentas para a recolha de dados que as usadas para os dados de base e as medidas poacutes-intervenccedilatildeo
6 Compartilhar e utilizar os seus resultados
Marque reuniotildees workshops e apresentaccedilatildeo de relatoacuterios para mostrar os resultados ao pessoal do projecto agrave direcccedilatildeo da organizaccedilatildeo e a outros grupos de interesse importantes
Apresente as opccedilotildees de aprendizado e acccedilatildeo com base nos resultados de MampA
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 920
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para determinar em que niacutevel deve monitorar e avaliar seus resultados eacute uacutetil examinar novamente e expandir a cadeia de resultados a comeccedilar da direita pelo resultado final (impacto) e voltar ateacute os materiais e recursos (insumos) necessaacuterios
Insumos rarr Processos rarr Produtos rarr Resultados rarr Impacto
Impacto Esses resultados satildeo medidos ao niacutevel da populaccedilatildeo levam um tempo relativamente longo para serem alcanccedilados (geralmente 3 a 5 cinco anos) e exigem o esforccedilo conjunto de vaacuterias intervenccedilotildees e mesmo de vaacuterias organizaccedilotildees Como gestor vocecirc poderaacute ser responsaacutevel por medir o impacto mas deve incluiacute-lo na loacutegica do seu plano de MampA para saber o que a sua organizaccedilatildeo e os parceiros da organizaccedilatildeo pretendem alcanccedilar a longo prazo
Resultados a meacutedio e longo prazo Na maioria dos casos os gestores satildeo responsaacuteveis por medir os resultados nos niacuteveis de produtos eou resultados a meacutedio e longo prazo Os resultados a meacutedio e longo prazo satildeo obtidos pelas actividades criadas para produzir uma mudanccedila de comportamento nos profissionais de sauacutede ou nos utentes Satildeo geralmente medidos em termos de mudanccedilas na cobertura de serviccedilos e mudanccedilas nos conhecimentos atitudes e praacuteticas de uma populaccedilatildeo beneficiaacuteria Um resultado a meacutedio e longo prazo pode ser o iniacutecio de uma praacutetica comprovada de prestaccedilatildeo de serviccedilos a adopccedilatildeo de novas estrateacutegias de gestatildeo ou a elaboraccedilatildeo bem-sucedida de uma poliacutetica de promoccedilatildeo da sauacutede Pode tambeacutem ser um aumento no nuacutemero de mulheres que datildeo agrave luz em um centro de sauacutede ou no nuacutemero de crianccedilas totalmente imunizadas Na maioria dos casos eacute possiacutevel estabelecer uma relaccedilatildeo clara entre produtos e resultados a meacutedio e longo prazo
Produtos Os produtos ou resultados imediatos satildeo fruto directo das actividades Devem ser monitorados durante toda a implementaccedilatildeo como um elemento essencial da boa gestatildeo Os planos de MampA devem definir o produto esperado de cada actividade Para as unidades de prestaccedilatildeo de serviccedilos isso geralmente significa os resultados imediatos em termos dos serviccedilos (por exemplo nuacutemero de utentes atendidos ou tempo de espera dos clientes ou utentes) Para as organizaccedilotildees que natildeo prestam serviccedilos de sauacutede directamente isso pode significar a distribuiccedilatildeo de produtos de sauacutede ou serviccedilos de formaccedilatildeo (por exemplo quantidade de produtos para planeamento familiar distribuiacutedos ou nuacutemero de participantes formados)
Processos A monitoria de processos ou actividades eacute em grande parte uma medida da cultura de prestaccedilatildeo de contas (ou grau de responsabilizaccedilatildeo) ao garantir que as actividades sejam realizadas dentro do prazo e com recursos suficientes A monitoria nesse niacutevel acompanha o progresso da implementaccedilatildeo tendo como referecircncia os prazos propostos e o uso dos recursos tendo como referecircncia os orccedilamentos Eacute geralmente executada atraveacutes da apresentaccedilatildeo de relatoacuterios tradicionais trimestrais semestrais e anuais
Insumos Ao preparar uma intervenccedilatildeo deve identificar a quantidade e os tipos de recursos necessaacuterios para implementar as actividades O desempenho pode ser monitorado em termos da quantidade e dos tipos de insumos fornecidos e do nuacutemero e timing das actividades realizadas
A etapa seguinte na definiccedilatildeo dos resultados esperados eacute garantir que cumpram os criteacuterios SMART (consulte a Tabela 4) Eacute possiacutevel monitorar e avaliar o progresso no alcance de um resultado apenas se esse resultado tiver sido definido em termos mensuraacuteveis
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 921
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja a seguir um exemplo de um resultado mensuraacutevel para uma intervenccedilatildeo cujo propoacutesito eacute promover a cobertura de imunizaccedilatildeo em crianccedilas de 12 a 24 meses de idade A percentagem de crianccedilas de 12 a 24 meses totalmente vacinadas na aacuterea de captaccedilatildeo aumentaraacute para 70 dentro de um ano
ETAPA 2 IDENTIFIQUE OS INDICADORES E SUAS DEFINICcedilOtildeES
Os indicadores satildeo geralmente percentagens ou proporccedilotildees que representam o alcance de uma condiccedilatildeo especiacutefica de sauacutede na populaccedilatildeo de interesse Podem tambeacutem ser um valor absoluto tal como o nuacutemero de ocorrecircncias de um evento de sauacutede (por ex um oacutebito materno ou um caso de malaacuteria)
Todos os indicadores pedem uma definiccedilatildeo detalhada Trata-se de um indicador qualitativo ou quantitativo Se for uma percentagem qual eacute o numerador e qual eacute o denominador A definiccedilatildeo deve ser suficientemente detalhada para garantir que pessoas diferentes em momentos diferentes possam recolher tipos idecircnticos de dados para o indicador
Veja o que caracteriza um bom indicador no Quadro 2 Os indicadores podem ser classificados como indicadores do estado de sauacutede ou do desempenho de serviccedilos
Os indicadores do estado de sauacutede podem incluir o seguinte
nuacutemero de casos e mortes causados por doenccedilas especiacuteficas em um determinado periacuteodo
proporccedilatildeo da populaccedilatildeo com uma doenccedila ou condiccedilatildeo de sauacutede num momento particular ou ao longo de um periacuteodo de tempo
proporccedilatildeo da populaccedilatildeo com um factor ou condiccedilatildeo de sauacutede que os coloca em risco de contrair doenccedilas tal como a falta de conhecimento ou um comportamento de risco
Os indicadores de desempenho podem incluir o seguinte
proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que recebeu um serviccedilo especiacutefico proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que demonstra comportamentos e
conhecimentos especiacuteficos de sauacutede
TABELA 4 Criteacuterios de um resultado SMART
Criteacuterio Descriccedilatildeo
Especiacutefico (S ndash Smart)
Claramente escrito e compreendido O resultado esperado eacute suficientemente especiacutefico para ser medido por uma frequecircncia percentagem ou nuacutemero
Mensuraacutevel (M ndash Measurable)
Eacute possiacutevel monitorar o progresso e avaliar os resultados O resultado esperado eacute definido em termos que sejam mensuraacuteveis
Apropriado (A ndash Appropriate)
O resultado esperado eacute apropriado ao acircmbito do seu trabalho e agrave missatildeo da sua organizaccedilatildeo
Realista (R ndash Realistic)
O resultado esperado pode ser alcanccedilado e estaacute dentro do controlo da sua organizaccedilatildeo Pode ser realisticamente alcanccedilado ao usar os recursos disponiacuteveis e dentro do prazo do seu plano de implementaccedilatildeo
de Tiempo limitado (T ndash Time Bound)
Foi estabelecido um prazo especiacutefico para obter o resultado esperado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 922
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
proporccedilatildeo de centros e pessoal de sauacutede que demonstram adesatildeo a padrotildees especiacuteficos de serviccedilo ou que atingiram objectivo definido
proporccedilatildeo de centros de sauacutede que seguem padrotildees definidos de gestatildeo funcional (por ex em termos de pessoal disponibilidade de medicamentos registo e apresentaccedilatildeo de relatoacuterios)
Orientaccedilatildeo adicional sobre os indicadores pode ser obtida em ldquoCompecircndio de indicadores para avaliaccedilatildeo de programas de sauacutede reprodutivardquo e ldquoLista dos indicadores sobre desenvolvimento da capacidade de gestatildeo e lideranccedilardquo
ETAPA 3 IDENTIFIQUE AS FONTES DE DADOS
Agora precisa identificar uma fonte de dados para cada indicador incluiacutedo no plano de MampA ao seleccionar dados que estejam prontamente disponiacuteveis em uma fonte confiaacutevel e dentro das possibilidades financeiras de sua organizaccedilatildeo O ideal seria escolher os dados imediatamente disponiacuteveis atraveacutes da organizaccedilatildeo em vez de dar iniacutecio a uma nova estrateacutegia de recolha de dados o que poderia ser oneroso e demorado
Uma boa forma de comeccedilar eacute com a seguinte pergunta Que dados jaacute recolhemos de forma rotineira e sistemaacutetica Vocecirc deve sempre levar em consideraccedilatildeo as vantagens e desvantagens de cada fonte de dados Consulte a secccedilatildeo ldquoComo seleccionar suas fontes de dadosrdquo para obter mais informaccedilotildees sobre as vantagens e desvantagens de algumas fontes de dados mais comuns
Vocecirc deve ser o mais especiacutefico possiacutevel sobre as fontes de dados para que a mesma fonte possa ser utilizada de forma coerente durante toda a intervenccedilatildeo Mudar as fontes de dados para o mesmo indicador pode resultar em incoerecircncias e erros de interpretaccedilatildeo Por exemplo se estiver a medir as taxas de mortalidade infantil passar de estimativas baseadas num inqueacuterito de grande escala para estimativas baseadas em estatiacutesticas hospitalares pode resultar dar a falsa impressatildeo de que houve uma mudanccedila
QUADRO 2 Qualidades de um bom indicador
Vaacutelido O indicador mede o que se pretende medir
Confiaacutevel A medida do indicador deve ser igual natildeo importa quantas vezes a medida seja feita
Preciso O indicador eacute definido em termos claros e especiacuteficos para que possa ser medido O indicador pode ser qualitativo (descritivo) discreto (SimNatildeo) ou baseado em niacuteveis quantitativos ou proporccedilotildees desde que seja claramente mensuraacutevel
Faacutecil de entender Tanto especialistas como natildeo especialistas devem poder entender o significado do indicador
Discreto O indicador captura um uacutenico componente ou aspecto de um resultado mais complexo Mede apenas uma coisa natildeo um conjunto de coisas
Em tempo haacutebil O indicador pode ser medido em intervalos temporais apropriados de acordo com a disponibilidade dos dados
Comparaacutevel Quando possiacutevel o indicador evita definiccedilotildees limitadas ou singulares cujos valores seriam difiacuteceis de comparar com outros resultados
Viaacutevel para utilizar Os dados para o indicador satildeo faacuteceis de obter de uma fonte confiaacutevel e relativamente econoacutemica ndash acessiacutevel tendo em vista os recursos da sua organizaccedilatildeo Se esses dados natildeo estiverem disponiacuteveis existem meacutetodos para obtecirc-los no futuro
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 923
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 4 DEFINA OS MEacuteTODOS DE RECOLHA DE DADOS
A etapa seguinte eacute a de definir os meacutetodos ou ferramentas que utilizaraacute para cada indicador Para os indicadores baseados em dados primaacuterios (dados que vocecirc mesmo recolhe) deve descrever o tipo de instrumento necessaacuterio para recolher os dados Os exemplos podem incluir questionaacuterios estruturados listas de verificaccedilatildeo de observaccedilatildeo directa ou balanccedilas para pesar bebeacutes
Para os dados secundaacuterios (dados recolhidos por terceiros e que estatildeo disponiacuteveis para vocecirc usar) deve explicar o meacutetodo para calcular o indicador e a fonte dos dados e fornecer detalhes suficientes sobre o meacutetodo de caacutelculo para que outros possam replicaacute-lo Lembre-se de que eacute mais faacutecil e mais barato usar dados secundaacuterios mas sua qualidade eacute menos confiaacutevel do que a dos dados primaacuterios
Tambeacutem eacute importante observar a frequecircncia da recolha dos dados para cada indicador A depender do tipo de indicador vocecirc poderaacute recolher os dados mensalmente trimestralmente anualmente ou ateacute com menos frequecircncia Ao definir o programa de recolha de dados para cada indicador leve em consideraccedilatildeo a necessidade de fornecer informaccedilotildees em tempo haacutebil aos responsaacuteveis por tomar decisotildees na sua organizaccedilatildeo Atribuir responsabilidades pela recolha de dados a indiviacuteduos ou grupos do seu pessoal garantiraacute que os dados sejam recolhidos dentro do prazo necessaacuterio
As informaccedilotildees das Etapas 1 a 4 fornecem o conteuacutedo do seu plano de monitoria e avaliaccedilatildeo A Tabela 5 mostra os elementos de um plano de MampA para um programa de mentoria cliacutenica para centros de orientaccedilatildeo e testes voluntaacuterios
ETAPA 5 RECOLHA OS DADOS DE BASE E DE ACOMPANHAMENTO
Recolher dados de base precisos eacute uma das tarefas mais importantes de MampA Os dados de base ou referecircncia satildeo o ponto de partida para definir as metas que vocecirc e sua equipa pretendem atingir e para acompanhar as mudanccedilas dos indicadores durante todo o periacuteodo de sua intervenccedilatildeo Dessa forma os dados de base ajudam a definir melhor um resultado final esperado
Vocecirc precisaraacute recolher dados de base para cada indicador antes que suas actividades comecem Esses dados identificam o ponto de partida de onde poderaacute avaliar o progresso Depois em pontos variados durante a implementaccedilatildeo vocecirc recolheraacute dados de acompanhamento sobre cada indicador para comparaacute-los com os niacuteveis de base e os resultados previstos Isto permite que vocecirc e outros tomadores de decisotildees em sua organizaccedilatildeo avaliem o progresso de cada intervenccedilatildeo ou serviccedilo e faccedilam as mudanccedilas necessaacuterias ao longo do caminho Examine o exemplo no Quadro 3
Por que acompanhar as mudanccedilas dos indicadores durante a implementaccedilatildeo Os indicadores de um plano de MampA estatildeo relacionados aos resultados imediatos (produtos) e aos resultados de meacutedio e longo prazo que os gestores precisam monitorar As mudanccedilas nos valores do indicador ao longo do tempo mostram se esses resultados estatildeo a subir ou a baixar ou se permanecem iguais Isto mostra ao gestor se as intervenccedilotildees e estrateacutegias estatildeo a funcionar conforme planeado para atingir os resultados esperados
Ao final do periacuteodo de implementaccedilatildeo precisaraacute recolher dados sobre os seus indicadores para comparar os niacuteveis finais com os niacuteveis de base e com os seus resultados esperados A depender dos seus indicadores precisaraacute tambeacutem recolher dados de acompanhamento a uma altura acordada previamente para determinar se as mudanccedilas seratildeo mantidas apoacutes o teacutermino da sua intervenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 924
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 5 Exemplo de um Plano de Monitoria e Avaliaccedilatildeo
Objectivo Os profissionais de sauacutede que receberam formaccedilatildeo aumentam sua capacidade de fornecer tratamento anti-retroviral de acordo com as directrizes nacionais
ActividadeProduto Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
CronogramaPrazo final
Cliacutenicos experientes em VIH recrutados para servir como mentores cliacutenicos em cinco hospitais regionais
Nuacutemero de mentores recrutados e designados a hospitais regionais
Registos de emprego
Como concluiacutedo Director adjunto para programas cliacutenicos
Setembro de 2008
Pessoal meacutedico em cinco hospitais regionais que recebem mentoria individual sobre terapia anti-retroviral
Nuacutemero de locais que recebem mentoria cliacutenica
Nuacutemero de meacutedicos que recebem mentoria individual
Nuacutemero de dias de mentoria cliacutenica realizados
Relatoacuterios mensais do mentor
Mensalmente Mentores Marccedilo de 2009
Resultados a meacutedio e longo prazo Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
Trabalhadores de sauacutede aumentam seu conhecimento sobre terapia anti-retroviral
80 dos participantes obtecircm 85 ou mais de pontuaccedilatildeo correcta no teste posterior
Trabalhadores de sauacutede melhoram suas habilidades no fornecimento de terapia anti-retroviral
Percentagem de habilidades demonstradas na lista de verificaccedilatildeo de competecircncia
Estudo especial Datas a definir Director adjunto para programas cliacutenicos
Fonte Centro Internacional de Formaccedilatildeo e Ensino sobre VIH p 2
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 925
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Observaccedilatildeo sobre o uso de indicadores para uma avaliaccedilatildeo A maioria dos esforccedilos de MampA enfatizam a selecccedilatildeo de indicadores bem definidos para estabelecer metas e medir as mudanccedilas nas condiccedilotildees e nos serviccedilos de sauacutede
Mas eacute importante lembrar que os indicadores servem apenas como marcadores Os dados dos indicadores fornecem pistas para saber se uma intervenccedilatildeo ou um grupo de actividades estaacute dentro do cronograma e se os resultados esperados estatildeo a ser alcanccedilados Eles natildeo respondem agraves perguntas de por que os resultados estatildeo ou natildeo a ser alcanccedilados Natildeo explicam os resultados fortuitos as relaccedilotildees entre intervenccedilotildees e resultados ou as causas de resultados percebidos que podem ocorrer fora da intervenccedilatildeo Assim natildeo podem recomendar medidas a tomar para melhorar os resultados
Os dados de indicadores devem portanto ser interpretados com cuidado Eles simplesmente indicam resultados que precisam ser melhor explorados em vez de fornecer uma avaliaccedilatildeo definitiva do sucesso ou fracasso Um estudo de avaliaccedilatildeo eacute geralmente executado para determinar se uma intervenccedilatildeo pode ser considerada um sucesso e por quecirc
Em geral agrave medida que sobe na hierarquia e passa das actividades para os resultados a longo prazo a MampA se torna mais complicada Nos niacuteveis de processo e produtos pode-se facilmente rastrear que actividades foram concluiacutedas e seus resultados imediatos Essas informaccedilotildees satildeo operacionais ndash informaccedilotildees que vocecirc pode usar para decisotildees quotidianas de gestatildeo Poreacutem para identificar e medir os resultados da sinergia dos produtos provavelmente teraacute que integrar as informaccedilotildees qualitativas e quantitativas e confiar menos em indicadores quantitativos singulares
Lembre-se de que quando uma melhoria desejada ndash seja na eficiecircncia do serviccedilo no conhecimento e comportamento dos provedores de serviccedilos ou dos beneficiaacuterios ou na tendecircncia de um problema de sauacutede ndash eacute confirmada atraveacutes de MampA isto natildeo prova que foi a intervenccedilatildeo que provocou a mudanccedila Outras coisas podem estar a se passar no serviccedilo ou no ambiente geral que causam essa mudanccedila Eacute claro que o mesmo se aplica aos resultados negativos ou resultados que indicam natildeo haver nenhuma mudanccedila nos resultados a meacutedio e longo prazo
QUADRO 3 Como usar dados de base para ajustar os resultados
Uma equipa de sobrevivecircncia infantil estaacute a propor uma intervenccedilatildeo com o seguinte resultado mensuraacutevel e especiacutefico ldquoNos proacuteximos 12 meses 40 das crianccedilas entre 12 e 24 meses de idade na aacuterea de captaccedilatildeo seratildeo completamente imunizadasrdquo
Para determinar se seu programa pode realmente atingir esse resultado o pessoal precisa medir os niacuteveis actuais de vacinaccedilatildeo Ao examinar os dados vecircem que apenas 10 das crianccedilas na aacuterea de captaccedilatildeo estatildeo completamente imunizadas ao completarem 24 meses Estes satildeo portanto seus dados de base
A gestora entende que natildeo seraacute possiacutevel atingir o objectivo de 40 de cobertura de imunizaccedilatildeo em apenas 12 meses Por isso ela e sua equipa revisam o resultado esperado e o modificam para que seja mais razoaacutevel e realista mas continue sendo significativo ldquoNos proacuteximos 12 meses 20 das crianccedilas de 12 a 24 meses na aacuterea de de actuaccedilatildeo seratildeo completamente imunizadas
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 926
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 6 COMPARTILHE E USE SEUS DADOS
Na pressa para comeccedilar a recolher dados alguns gestores se esquecem de planear um processo para reflectir sobre as informaccedilotildees e fazer mudanccedilas para aumentar a eficiecircncia das actividades Para garantir que os dados sejam natildeo soacute recolhidos mas tambeacutem utilizados pense como vocecirc e sua equipa divulgaratildeo as informaccedilotildees sobre MampA e obteratildeo retroinformaccedilatildeo dos diversos grupos de interesse Algumas perguntas baacutesicas serviratildeo para lhe orientar
Quem precisa de que tipo de informaccedilotildees e quando precisam delas Que tipo de formato deve usar para comunicar os resultados ao pessoal
aos gestores de niacutevel superior e a outros grupos de interesse importantes Eacute suficiente fazer circular um relatoacuterio ou deveria organizar uma reuniatildeo ou workshop
Deveria tambeacutem organizar reuniotildees com a comunidade para solicitar retroinformaccedilatildeo dos seus beneficiaacuterios sobre os primeiros resultados da MampA
Como deve apresentar as informaccedilotildees para que sejam uacuteteis aos diferentes tomadores de decisotildees As informaccedilotildees devem ser apresentadas visualmente em diagramas graacuteficos ou mapas Para obter orientaccedilatildeo sobre dados e resultados consulte o Guiatildeo de MampA para Facilitadores de Programas de Desenvolvimento da Lideranccedila
Uso dos resultados para melhorar os dados de rotina em acccedilatildeo ndash Um exemplo do Paquistatildeo
No Paquistatildeo com o apoio do projecto PRIDE 10 equipas de subdistritos aplicaram o Processo de Avaliaccedilatildeo e Melhoria do Desempenho em Sauacutede Puacuteblica (PIP-PH) um conjunto de procedimentos e formatos para tratar dos problemas de sauacutede que identificaram como os mais graves para as suas populaccedilotildees Usaram o PIP-PH para priorizar os problemas e serviccedilos que mais precisavam de atenccedilatildeo a curto prazo para obter melhorias
Como parte do processo PIP-PH as equipas tambeacutem conceberam um formato de Estrutura de Vigilacircncia de Sauacutede (ldquoHealth Watch Frameworkrdquo) para os seus subdistritos como um todo e para os centros de sauacutede dentro deles Cada equipa seleccionou indicadores para medir a situaccedilatildeo de dois problemas de sauacutede puacuteblica os serviccedilos essenciais a eles relacionados e as limitaccedilotildees que afectavam esses serviccedilos
As equipas usaram os formulaacuterios Health Watch para estabelecer valores de base para os indicadores e depois para monitorar esses valores agrave medida que as intervenccedilotildees prosseguiam ao longo do tempo Os centros de sauacutede revisavam e actualizavam o formulaacuterio todo mecircs as equipas do subdistrito inclusive gestores de centros de sauacutede revisavam e discutiam os formulaacuterios trimestralmente os formulaacuterios revisados
As equipas de subdistrito usaram as informaccedilotildees para analisar os motivos do progresso ou falta de progresso para poderem prestar apoio aos gestores dos centros de sauacutede O processo estimulou os gestores dos centros de sauacutede a melhorarem a integridade e precisatildeo dos dados de rotina para poderem usar as informaccedilotildees e monitorarem mais eficazmente os eventos e os serviccedilos essenciais e introduzirem as melhorias necessaacuterias
Exemplos e informaccedilotildees detalhadas sobre o PIP-PH e o Health Watch Framework aparecem no Relatoacuterio Anual do Projecto PRIDE 2007
Para se informar mais sobre meacutetodos adicionais de utilizaccedilatildeo dos dados para melhorar o desempenho de uma organizaccedilatildeo equipa serviccedilo de sauacutede ou intervenccedilatildeo consulte o processo de Avaliaccedilatildeo e Melhoria de Desempenho (Performance Assessment and Improvement ndash PAI) no website de Programa de Lideranccedila Gestatildeo e Sustentabilidade (Leadership Management and Sustainability ndash LMS)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 927
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O processo de Monitoria e Avaliaccedilatildeo deve ser executado com o objectivo de usar imediatamente os resultados para identificar as falhas de desempenho e tomar medidas para reduzir ou eliminar essas falhas Vocecirc deve sempre planear formas de usar os resultados de MampA para o aprendizado e a acccedilatildeo Por exemplo o que deve fazer se as actividades do projecto natildeo trouxerem os resultados esperados O que precisa mudar se os serviccedilos essenciais natildeo estiverem a fornecer os niacuteveis de cobertura previstos ou a alcanccedilar grupos especiacuteficos de pessoas E como vocecirc pode levar esses fatos agrave atenccedilatildeo das pessoas certas para obter uma resposta raacutepida
Desenho de uma ferramenta de MampA
ARMADILHAS DA MONITORIA E AVALIACcedilAtildeO
Haacute vaacuterias armadilhas comuns que impedem que vocecirc como gestor aperfeiccediloe a funccedilatildeo de MampA na sua organizaccedilatildeo
Planeamento excessivo ou insuficienteAlguns gestores podem gastar tempo demais a preparar o plano de MampA do que resultam planos muito elaborados e complicados de usar Outros ficam muito ansiosos por implementar as intervenccedilotildees de MampA e comeccedilam antes de concluir o plano de MampA Isso significa que quando o plano fica pronto eacute geralmente tarde demais para obter dados de base viaacuteveis e a MampA tem que ser adiada Nesses casos o gestor talvez tenha que aceitar fazer a avaliaccedilatildeo mais tarde sem os dados de base que poderia usar para a comparaccedilatildeo
Descuidar-se da monitoria contiacutenua Outra armadilha frequente eacute a falha em incluir a monitoria contiacutenua na implementaccedilatildeo das actividades Isto ocorre frequentemente por falta de experiecircncia Muitos gestores natildeo tiveram acesso a ferramentas de monitoria uacuteteis (que satildeo raras) Talvez natildeo tenham recebido prontamente os resultados ou a retroinformaccedilatildeo do sistema de MampA no passado e por isso natildeo percebem como eacute importante realizar a monitoria de rotina Aleacutem disso gestores podem facilmente se emaranhar nos detalhes da implementaccedilatildeo e descuidar-se da monitoria de rotina
Exagerar Outra armadilha relacionada agrave monitoria eacute tentar rastrear os dados de todos os indicadores possiacuteveis Tentar obter os dados sobre um nuacutemero excessivo de factores torna o processo de monitoria tatildeo complicado que se torna impreciso Isso tambeacutem torna o processo mais lento de modo que no momento em que os dados satildeo recolhidos e analisados eles jaacute natildeo satildeo mais uacuteteis As ferramentas de monitoria muito demoradas e complicadas acabam por natildeo ser usadas O que acontece entatildeo O gestor deixa totalmente de fazer a monitoria e tem que recorrer agrave avaliaccedilatildeo
Se jaacute se deparou com esses problemas eacute hora de mudar a sua taacutectica Vocecirc pode criar um plano de MampA simples e usar ferramentas de monitoria simples Descubra o que tem que medir para obter os dados dentro de 3 a 6 meses o prazo vai depender dos ciclos de planeamento e apresentaccedilatildeo de relatoacuterios da sua organizaccedilatildeo Entenda tambeacutem qual eacute o miacutenimo que deve ser medido em uma avaliaccedilatildeo de longo prazo Busque a simplicidade mesmo se estiver diante de um conjunto complexo de actividades
Tente incluir apenas o que realmente precisa saber Pode testar todos os indicadores propostos antes de incluiacute-los no planeamento de MampA ao perguntar Quem precisa usar essas informaccedilotildees quando e com que finalidade Se um uacutenico indicador de produtos for suficiente perfeito Natildeo sobrecarregue a monitoria com indicadores desnecessaacuterios Muitas vezes menos dados fornecem mais informaccedilotildees
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 928
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
CARACTERIacuteSTICAS DE UMA BOA FERRAMENTA DE MONITORIA
Como gestor natildeo precisa saber tudo para gerir um serviccedilo ou dirigir uma intervenccedilatildeo mas precisa das informaccedilotildees imediatamente Portanto precisa de uma ferramenta de monitoria que possa fornecer informaccedilotildees suficientes e em tempo haacutebil para identificar e corrigir problemas assim que eles surgirem
Uma ferramenta de monitoria deve ser faacutecil de montar e utilizar As tabelas listas de verificaccedilatildeo e diagramas simples satildeo meacutetodos particularmente uacuteteis de recolher organizar e apresentar informaccedilotildees de monitoria
No miacutenimo sua ferramenta de monitoria deve permitir que vocecirc e sua equipa acompanhem
o progresso da implementaccedilatildeo da actividade a entrega de produtos ou resultados imediatos a situaccedilatildeo dos principais indicadores de resultados comparados aos resultados
esperados se for o caso as despesas orccedilamentais a disponibilidade de recursos humanos e financeiros os obstaacuteculos agrave implementaccedilatildeo e o que tem sido feito para superaacute-los
Vocecirc teraacute que responder agraves seguintes perguntas periodicamente
As actividades foram implementadas conforme planeado dentro do prazo e do orccedilamento
Que actividades adicionais natildeo planeadas foram realizadas Que serviccedilos ou produtos directos e tangiacuteveis foram oferecidos como resultado
das actividades que implementamos Estamos dentro do cronograma para atingir nossos resultados a meacutedio e longo
prazo Possuiacutemos os recursos necessaacuterios (pessoal dinheiro medicamentos e
suprimentos etc) para cumprirmos o cronograma
O Quadro 4 apresenta os componentes baacutesicos de uma ferramenta simples de monitoria
QUADRO 4 Uma ferramenta simples de monitoria
Data de exame Metas de resultados
Actividades (segundo o plano de implementaccedilatildeo)
Situaccedilatildeo ateacute o momento
Resultados esperados
Datas para conclusatildeo
Situaccedilatildeo ateacute o momento Comentaacuterios
Desafios e oportunidades
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 929
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quando usadas correctamente as novas tecnologias (por ex os PDAs ldquosmartphonesrdquo laptops e outros) podem facilitar a monitoria e aumentar os benefiacutecios da monitoria das actividades A monitoria automatizada ndash dados que podem ser obtidos e processados automaticamente ndash podem produzir um resumo dos principais indicadores em uma soacute paacutegina faacutecil de ler e num formato que utiliza cores para alertar ao gestor sobre as aacutereas que precisam de maior atenccedilatildeo As informaccedilotildees obtidas em tempo haacutebil sobre alguns indicadores essenciais permitem que o gestor monitore o progresso e tome medidas correctivas
Essa apresentaccedilatildeo visual das informaccedilotildees mais importantes e necessaacuterias para gerir um projecto eacute geralmente conhecida como Painel de Indicadores de Desempenho Os paineacuteis de indicadores de desempenho podem ser usados em qualquer organizaccedilatildeo departamento ou divisatildeo Nas organizaccedilotildees de sauacutede puacuteblica os paineacuteis satildeo usados frequentemente para monitorar os indicadores financeiros e programaacuteticos bem como a cobertura produccedilatildeo eficaacutecia e qualidade de serviccedilos de sauacutede especiacuteficos Um painel de recursos humanos por exemplo incluiria indicadores relevantes para gerir o seguinte
retenccedilatildeo de funcionaacuterios rotatividade de funcionaacuterios formaccedilatildeo de funcionaacuterios lacunas de habilidades satisfaccedilatildeo dos funcionaacuterios custos benefiacutecios e despesas gerais com funcionaacuterios
A Tabela 6 mostra um painel de indicadores de desempenho criado para monitorar serviccedilos de contracepccedilatildeo ciruacutergica voluntaacuteria (CCV)
TABELA 6 Ilustraccedilatildeo de Painel de Indicadores de Desempenho para Serviccedilos de Contracepccedilatildeo Ciruacutergica Voluntaacuteria (CCV)
Serviccedilo Contracepccedilatildeo Ciruacutergica Voluntaacuteria Periacuteodo do Relatoacuterio Janeiro de 2009
No Indicador de Prestaccedilatildeo de Serviccedilos Custo Qualidade
Meta financeira ou programaacutetica
LimiarNuacutemero
alcanccedilado
Percentagem concluiacuteda
Miacuten Maacutex 10 20 30 40 50 60 70 80 90 100
1 Nuacutemero de CCVs realizadas no mecircs 8 10 7
2 Custo meacutedio das CCVs (US$) 100 120 110
3 Orccedilamento mensal da receita com CCVs realizadas (US$) 800 1200 770
4Percentagem das CCVs realizadas por pessoal
qualificadomdash 100 60
5 Percentagem das CCVs realizadas sem complicaccedilotildees 95 100 100
6
Percentagem de utentes satisfeitas com o tratamento
recebido do pessoal que realizou as CCVs
90 100 90
Adaptado de Colindres 2008 p 6
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 930
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja uma descriccedilatildeo do uso de um painel de indicadores de desempenho para a monitoria de rotina num estudo de caso estudo de caso de uma ONG da Boliacutevia o Centro de Investigaccedilatildeo Educaccedilatildeo e Serviccedilos (CIES)
Para obter mais informaccedilotildees de como criar um painel de indicadores consulte ldquoComo usar os paineacuteis de indicadores de desempenho para monitorar as realizaccedilotildees de uma organizaccedilatildeordquo Esse documento ajuda a esclarecer conceitos e define as etapas essenciais para criar paineacuteis de indicadores de desempenho
Como criar uma avaliaccedilatildeo para fins de aprendizagem
Apesar da importacircncia da monitoria de rotina apenas a monitoria natildeo basta para responder agrave pergunta ldquoE entatildeordquo Ou seja suas actividades e produtos contribuiacuteram para melhorar a cobertura dos serviccedilos aumentar o conhecimento ou encorajar comportamentos mais saudaacuteveis
Talvez uma campanha de comunicaccedilatildeo sobre planeamento familiar criada para aumentar a prevalecircncia do uso de contraceptivos tenha levado o governo a abastecer os depoacutesitos distritais com contraceptivos Para que possam aprender com essa experiecircncia e criar campanhas mais eficazes no futuro os gestores do projecto ainda querem saber que produtos foram realmente dispensados aos centros de sauacutede e distribuiacutedos aos utentes Esta secccedilatildeo discute como criar uma avaliaccedilatildeo para fins de aprendizagem
Existem dois motivos para levar a cabo uma avaliaccedilatildeo
1 A avaliaccedilatildeo fornece informaccedilotildees sobre o sucesso da sua equipa unidade ou organizaccedilatildeo para atingir seus objectivos Essas informaccedilotildees ajudam a definir que actividades expandir modificar ou eliminar Ela pode tambeacutem revelar formas de melhorar a concepccedilatildeo e gestatildeo das actividades futuras
2 A avaliaccedilatildeo pode demonstrar uma cultura de prestaccedilatildeo de contas agrave sua agecircncia doadora e a outros grupos de interesse nomeadamente o governo e os beneficiaacuterios dos seus serviccedilos
AVALIACcedilOtildeES FORMATIVAS E SUMATIVAS
Os gestores podem realizar dois amplos tipos de avaliaccedilotildees formativas e sumativas
Avaliaccedilatildeo formativa Este tipo de avaliaccedilatildeo eacute realizada durante o desenvolvimento e implementaccedilatildeo de um programa Seu objectivo eacute orientar o desenho e a implementaccedilatildeo de actividades que incluam as melhores e mais promissoras praacuteticas que aumentaratildeo as chances de sucesso A avaliaccedilatildeo formativa eacute mais comummente utilizada por projectos de grande porte ou de longo prazo em vez de projectos menores e de curto prazo Poreacutem os projectos menores devem pelo menos realizar uma avaliaccedilatildeo raacutepida das melhores praacuteticas durante a fase de planeamento para apoiar a loacutegica e o conteuacutedo proposto para as actividades
A avaliaccedilatildeo formativa inclui uma avaliaccedilatildeo de necessidades para discernir os desejos e requisitos de um grupo da populaccedilatildeo e determinar a melhor forma de atendecirc-los Inclui tambeacutem uma avaliaccedilatildeo de processo para investigar o processo utilizado para executar uma intervenccedilatildeo Pode-se usar a avaliaccedilatildeo do processo para determinar se as actividades foram realizadas de acordo com o plano ndash em termos de sua concepccedilatildeo original estimativas de custos e nuacutemero de pessoas a serem atendidas ndash e se a qualidade dos processos usados estaacute de acordo com as melhores praacuteticas conhecidas
A avaliaccedilatildeo de processo geralmente inclui vaacuterias abordagens Pode incluir uma avaliaccedilatildeo dos dados referentes aos produtos (por ex nuacutemero de redes mosquiteiras fornecidas nuacutemero
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 931
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
de workshops de formaccedilatildeo realizados nuacutemero de participantes dos workshops) assim como entrevistas individuais ou grupos de enfoque entre os beneficiaacuterios Nas intervenccedilotildees de menor porte eacute uma boa praacutetica realizar uma avaliaccedilatildeo de processo mesmo se limitada agrave retroinformaccedilatildeo dos participantes
Avaliaccedilatildeo somativa Este tipo de avaliaccedilatildeo eacute realizada apoacutes a conclusatildeo de um grupo de actividades ou da intervenccedilatildeo para avaliar a qualidade da intervenccedilatildeo e os seus principais resultados A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo a avaliaccedilatildeo do impacto a anaacutelise de custo-benefiacutecio e custo-eficaacutecia e a investigaccedilatildeo operacional
A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo que avalia em que medida uma equipa unidade ou organizaccedilatildeo inteira atingiram seus resultados esperados A avaliaccedilatildeo dos resultados eacute usada para demonstrar que existe uma cultura de prestaccedilatildeo de contas para aperfeiccediloar o projecto de actividades organizacionais para melhorar a distribuiccedilatildeo dos recursos e para promover intervenccedilotildees futuras bem-sucedidas As principais perguntas satildeo Que modificaccedilotildees ocorreram na vida das pessoas das famiacutelias ou da comunidade como resultado do nosso trabalho Que diferenccedila fizemos
Como observamos anteriormente neste capiacutetulo os resultados a meacutedio e longo prazo satildeo geralmente mudanccedilas mensuraacuteveis eou observaacuteveis em duas dimensotildees A primeira dimensatildeo abrange a conscientizaccedilatildeo o conhecimento as atitudes os valores e as habilidades dos participantes de um programa ou dos beneficiaacuterios dos serviccedilos durante ou depois de seu envolvimento na intervenccedilatildeo A segunda dimensatildeo implica mudanccedilas no comportamento desses mesmos grupos
Idealmente as duas dimensotildees deveriam ser medidas em trecircs pontos no comeccedilo e no final do periacuteodo de implementaccedilatildeo e se possiacutevel apoacutes um periacuteodo de acompanhamento adequado Se a mediccedilatildeo do acompanhamento natildeo for viaacutevel pelo menos devem ser comparadas as mediccedilotildees de base e poacutes-intervenccedilatildeo Muitas vezes as mudanccedilas podem ser pequenas mas deve haver alguma melhoria em pelo menos um ou dois resultados para que a intervenccedilatildeo seja considerada um sucesso
A avaliaccedilatildeo dos resultados tenta distinguir entre a influecircncia da intervenccedilatildeo nessas mudanccedilas e a influecircncia de outros factores externos Mas geralmente os avaliadores teratildeo que optar pela atribuiccedilatildeo parcial de um resultado a uma intervenccedilatildeo ou serviccedilo especiacutefico devido agrave dificuldade em determinar uma relaccedilatildeo directa e causal entre o serviccedilo prestado e uma determinada mudanccedila
As avaliaccedilotildees de resultados utilizam geralmente um desenho natildeo experimental (geralmente denominado ldquopreacute e poacutes-avaliaccedilatildeordquo) que simplesmente mede as mudanccedilas antes e depois de uma intervenccedilatildeo ou seja diferente do desenho experimental (que compara os participantes com um grupo de controlo com designaccedilatildeo aleatoacuteria a ambos os grupos) ou do desenho semi-experimental (que compara os participantes com um grupo de controlo mas sem a designaccedilatildeo aleatoacuteria)
O desenho natildeo experimental eacute aceitaacutevel para as mediccedilotildees e relatoacuterios padratildeo dos resultados a meacutedio e longo prazo As ONGs raramente usam os desenhos experimentais Apesar de uma organizaccedilatildeo de grande porte e com muitos recursos poder ocasionalmente receber assistecircncia de especialistas para um desenho experimental a maioria delas acha que as consideraccedilotildees eacuteticas e logiacutesticas impedem a designaccedilatildeo aleatoacuteria dos participantes aos grupos de intervenccedilatildeo e de controlo Aleacutem disso o custo de recolher dados de um grupo de controlo seraacute provavelmente muito elevado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 932
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A avaliaccedilatildeo do impacto eacute outro componente da avaliaccedilatildeo somativa Eacute mais ampla do que a avaliaccedilatildeo de resultados e avalia os efeitos liacutequidos ou gerais ndash tanto intencionais como natildeo intencionais ndash de todo um programa grupo de programas ou grupo de organizaccedilotildees As avaliaccedilotildees de impacto geralmente se estendem por um periacuteodo de 3 a 5 anos
OUTROS TIPOS DE AVALIACcedilOtildeES
Anaacutelise de custo-benefiacutecio e custo-eficaacutecia Estes tipos de anaacutelise tratam da eficiecircncia da intervenccedilatildeo ao analisar os resultados em termos dos seus custos financeiros e do seu valor
Investigaccedilatildeo operacional Trata-se de um balanccedilo ou avaliaccedilatildeo de uma intervenccedilatildeo especiacutefica no contexto de um programa mais amplo que estaacute a fazer vaacuterias intervenccedilotildees A investigaccedilatildeo operacional eacute usada para testar e avaliar novas abordagens de prestaccedilatildeo de serviccedilos de sauacutede Eacute tambeacutem usada para identificar problemas na prestaccedilatildeo de serviccedilos e oferecer soluccedilotildees
A investigaccedilatildeo operacional eacute uma ferramenta poderosa que os gestores de programas e os tomadores de decisotildees podem usar para melhorar e expandir os serviccedilos Os estudos de investigaccedilatildeo operacional comparam intervenccedilotildees que estatildeo dentro da esfera de influecircncia do gestor Os exemplos incluem a avaliaccedilatildeo da eficaacutecia de uma nova estrateacutegia de prevenccedilatildeo de VIHSIDA um novo curso de formaccedilatildeo um novo conjunto de procedimentos para gerir medicamentos um novo meacutetodo contraceptivo ou um novo serviccedilo de sauacutede reprodutiva
O Toolkit de Investigaccedilatildeo Operacional do Programa Horizons sobre VIHSIDA do Population Council fornece informaccedilotildees detalhadas para criar um estudo de investigaccedilatildeo operacional
CONSIDERACcedilOtildeES PARA A FORMULACcedilAtildeO DE UMA AVALIACcedilAtildeO
O que avaliar para responder agrave pergunta ldquoE entatildeordquo Se quiser saber como gestor se as suas actividades tiveram realmente sucesso precisa preparar todas as intervenccedilotildees tendo em mente a avaliaccedilatildeo e incorporar a avaliaccedilatildeo ao seu planeamento organizacional geral Ao definir objectivos deve se perguntar Como saberemos se estamos a atingir esses objectivos Este eacute o ponto de partida para a avaliaccedilatildeo
Seja qual for o porte da sua intervenccedilatildeo ou serviccedilo e o alcance da avaliaccedilatildeo precisaraacute responder a trecircs perguntas durante a fase de desenho e planeamento
1 O que a sua intervenccedilatildeo ou serviccedilo conseguiraacute realizar a curto e longo prazo Se implementar um conjunto de actividades com sucesso ao longo do tempo o que seraacute diferente
2 Como conceptualiza as suas actividades ndash qual eacute a loacutegica subjacente Duas abordagens para identificar a loacutegica do programa satildeo discutidas neste capiacutetulo na secccedilatildeo intitulada Ferramentas e Abordagens Praacuteticas para MampA
3 Que indicadores pode usar para identificar o progresso no alcance dos resultados
Para responder agrave pergunta ldquoE entatildeordquo vocecirc precisa avaliar os factores sobre os quais tem um niacutevel razoaacutevel de controlo Por exemplo um novo serviccedilo criado para oferecer alojamento a pessoas que vivem com SIDA natildeo pode controlar ou afectar a expectativa de vida das pessoas agraves quais atende Mas ao fornecer um ambiente estaacutevel para elas viverem o serviccedilo pode diminuir o niacutevel de stresse e melhorar a qualidade de vida dessas pessoas que antes eram forccediladas a se mudar com frequecircncia
Depois de tratar da pergunta ldquoE entatildeordquo deve tambeacutem se certificar de que a avaliaccedilatildeo seja concebida de forma que quando o processo estiver concluiacutedo vocecirc possa abordar os cinco toacutepicos principais da avaliaccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 933
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
1 Relevacircncia Foi uma boa ideia fazer a intervenccedilatildeo considerando-se a situaccedilatildeo e a necessidade de melhorias Ela tratou das prioridades do grupo alvo ou beneficiaacuterio Por que sim ou por que natildeo
2 Eficaacutecia Os resultados produtos e actividades foram realizados Por que sim ou por que natildeo A loacutegica da intervenccedilatildeo eacute correcta
3 Eficiecircncia Os insumos (recursos e tempo) foram usados da melhor forma possiacutevel para atingir os resultados a meacutedio e longo prazo Por que sim ou por que natildeo O que vocecirc e sua equipa poderiam fazer de modo diferente no futuro para maximizar os resultados a um custo aceitaacutevel
4 Impacto Em que medida a sua intervenccedilatildeo contribuiu para as metas nacionais ou de longo prazo Que consequecircncias natildeo intencionais (positivas ou negativas) suas actividades tiveram Por que essas consequecircncias aconteceram
5 Sustentabilidade Eacute provaacutevel que os resultados positivos continuem depois que sua intervenccedilatildeo terminar Por que sim ou por que natildeo
Uma uacuteltima advertecircncia assim como a monitoria pode-se complicar demasiado a avaliaccedilatildeo Ao preparar um plano de avaliaccedilatildeo o melhor eacute seleccionar um grupo pequeno de indicadores e resistir agrave tentaccedilatildeo de avaliar todos os aspectos da sua intervenccedilatildeo
Assim como a monitoria a avaliaccedilatildeo soacute eacute uacutetil se as informaccedilotildees forem repassadas em tempo haacutebil para o gestor e outros tomadores de decisotildees e grupos de interesse Um problema comum com as avaliaccedilotildees intercalares eacute que os resultados geralmente soacute satildeo informados de 6 a 8 meses mais tarde o que deixa apenas 1 ou 2 anos para fazer mudanccedilas mais permanentes antes que se esgotem os fundos do governo ou da agecircncia doadora
COMO SELECCIONAR SUAS FONTES DE DADOS
Esta secccedilatildeo descreve trecircs tipos de fontes de dados que satildeo comummente usadas para uma avaliaccedilatildeo dados recolhidos rotineiramente inqueacuteritos de grande escala e teacutecnicas de avaliaccedilatildeo raacutepida inclusive a avaliaccedilatildeo participativa
Dados de rotina Os dados recolhidos e analisados rotineiramente por um SIS satildeo denominados ldquoestatiacutesticas de serviccedilordquo Pode-se utilizar vaacuterios sistemas de informaccedilatildeo de serviccedilos de rotina para monitorar os serviccedilos Alguns deles satildeo o sistema baacutesico de registo e relatoacuterio de SIS os sistemas especiais de relatoacuterios sobre programas (por ex tuberculose malaacuteria imunizaccedilatildeo VIH planeamento familiar etc) os sistemas de relatoacuterios sobre agentes comunitaacuterios especiais (por ex registos de agentes comunitaacuterios de sauacutede) o sistema de informaccedilotildees para a vigilacircncia de doenccedilas e o controlo notificaccedilatildeo e resposta a surtos e os relatoacuterios para os sistemas de suporte especiais (por ex medicamentos encaminhamentos e gestatildeo financeira e de recursos humanos)
Esses sistemas fornecem dados que estatildeo imediatamente disponiacuteveis e cujo objectivo eacute informar o que estaacute a acontecer no sector de sauacutede Os dados de rotina incluem por exemplo o nuacutemero de consultas de preacute-natal em uma cliacutenica o nuacutemero e tipo de vacinaccedilotildees fornecidas no local ou o nuacutemero e tipos de contraceptivos fornecidos mensalmente
Os dados sobre os serviccedilos satildeo geralmente recolhidos pelos centros de sauacutede ou postos de sauacutede e enviados para o proacuteximo niacutevel superior do sistema (geralmente o distrito) para serem agregados Esses dados podem entatildeo ser enviados ao proacuteximo niacutevel superior (regional ou provincial) para posterior agregaccedilatildeo antes que cheguem finalmente ao niacutevel central do Ministeacuterio da Sauacutede
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 934
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Idealmente os gestores de centros de sauacutede e ao niacutevel do distrito usam esses dados para orientar as operaccedilotildees diaacuterias acompanhar o desempenho e a prestaccedilatildeo de contas e tomar decisotildees que continuem a melhorar o desempenho Mas haacute vaacuterios obstaacuteculos a essa utilizaccedilatildeo
Muito frequentemente os dados de rotina satildeo imprecisos ou incompletos Apesar dos que utilizam o SIS tentarem produzir informaccedilotildees de alta qualidade e em tempo haacutebil haacute muitas oportunidades de introduzir erros Pode haver pouco apoio para que os gestores e seu pessoal se concentrem nos procedimentos correctos de recolha registo e agregaccedilatildeo dos dados
Os sistemas de sauacutede de vaacuterios paiacuteses enfatizam a importacircncia de apresentar relatoacuterios para os niacuteveis superiores mas natildeo estabeleceram procedimentos e incentivos para encorajar aqueles que fornecem informaccedilotildees a utilizaacute-las mesmo quando os dados satildeo de boa qualidade
Outra dificuldade eacute que as estatiacutesticas sobre serviccedilos fornecem informaccedilotildees apenas sobre os utentes que utilizam os serviccedilos de sauacutede Natildeo podem fornecer informaccedilotildees sobre as muitas pessoas que natildeo utilizam os serviccedilos
Por tudo isso natildeo se pode confiar apenas nas estatiacutesticas sobre serviccedilos para fazer uma avaliaccedilatildeo Elas satildeo melhor utilizadas para a monitoria de rotina dos problemas de sauacutede puacuteblica e dos serviccedilos essenciais relacionados
Inqueacuteritos em grande escala Os inqueacuteritos em grande escala satildeo outra fonte de informaccedilotildees imediatamente disponiacuteveis Incluem inqueacuteritos de base populacional tais como as Inqueacuterito Demograacutefico e de Sauacutede (IDS) dos EUA avaliaccedilotildees completas de centros de sauacutede como a Anaacutelise de Situaccedilatildeo do Population Council e os censos nacionais Em vaacuterios casos os gestores podem usar os dados de um inqueacuterito em grande escala existente para fornecer o contexto para a interpretaccedilatildeo dos dados capturados atraveacutes das suas proacuteprias avaliaccedilotildees
Por exemplo as IDS satildeo realizadas periodicamente para caracterizar a situaccedilatildeo de sauacutede em um paiacutes ou regiatildeo geograacutefica de grande extensatildeo para vaacuterios grupos populacionais homens mulheres crianccedilas bebeacutes e assim por diante Mas os dados das IDS natildeo podem normalmente ser desagregados para uso pelos gestores no niacutevel de distrito ou comunidade
Aleacutem disso como as IDS satildeo realizadas apenas a cada trecircs ou cinco anos as informaccedilotildees que fornecem podem natildeo estar suficientemente actualizadas para as necessidades de avaliaccedilatildeo dos gestores Apesar dessas dificuldades os dados das IDS satildeo uacuteteis para compreender tendecircncias regionais ou nacionais que podem ajudar a explicar dados recolhidos em uma avaliaccedilatildeo de foco especiacutefico
Avaliaccedilotildees raacutepidas Satildeo formas raacutepidas e econoacutemicas de obter informaccedilotildees para a tomada de decisotildees principalmente ao niacutevel da actividade Os exemplos incluem entrevistas quando os utentes saem de suas consultas as avaliaccedilotildees de pequena escala dos centros de sauacutede os inqueacuteritos raacutepidos por amostragem o exame analiacutetico de registos as entrevistas com grupos de enfoque e outros meacutetodos participativos
Poderaacute usar teacutecnicas de avaliaccedilatildeo raacutepida para complementar as informaccedilotildees obtidas com dados de rotina ou inqueacuteritos de grande escala As avaliaccedilotildees raacutepidas podem-lhe fornecer informaccedilotildees valiosas sobre sua aacuterea de captaccedilatildeo e sua aacuterea de responsabilidade mais ampla ndash ou seja as comunidades e as populaccedilotildees que deveriam ter acesso aos serviccedilos essenciais prestados por um centro de sauacutede determinado Elas podem tambeacutem fornecer contexto e uma compreensatildeo qualitativa dos dados quantitativos recolhidos pelos meacutetodos mais formais
Dentro da categoria de avaliaccedilotildees raacutepidas os meacutetodos participativos e os inqueacuteritos raacutepidos por amostragem merecem a sua atenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 935
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Meacutetodos participativos (tambeacutem chamados de aprendizagem e acccedilatildeo participativas) Essas teacutecnicas e meacutetodos visam incorporar o conhecimento e as opiniotildees dos membros da comunidade no planeamento e gestatildeo de projectos de desenvolvimento no esforccedilo para influenciar as poliacuteticas e na implementaccedilatildeo de programas Eles permitem incluir vozes da comunidade nas poliacuteticas no planeamento e nos inqueacuteritos e criam um senso de propriedade e participaccedilatildeo nos resultados de MampA e nas recomendaccedilotildees feitas pela organizaccedilatildeo e por seus beneficiaacuterios
Ao contraacuterio de outras teacutecnicas de avaliaccedilatildeo raacutepida os meacutetodos participativos natildeo se baseiam em amostragens Eles usam entrevistas individuais ou com informantes essenciais (inclusive entrevistas com utentes ao saiacuterem de suas consultas) entrevistas em grupo estudos de caso e outros meacutetodos qualitativos para identificar as condiccedilotildees locais e entender as perspectivas e prioridades locais
Em vaacuterios locais haacute membros da comunidade que natildeo podem ler nem escrever e por isso os meacutetodos participativos dependem frequentemente da comunicaccedilatildeo oral com apoio de imagens siacutembolos objectos fiacutesicos e memoacuteria colectiva
Os meacutetodos participativos podem ser usados antes durante e apoacutes a implementaccedilatildeo de uma intervenccedilatildeo ou um conjunto de actividades Eles fornecem informaccedilotildees para o projecto e a avaliaccedilatildeo e permitem a participaccedilatildeo activa das partes interessadas na tomada de decisotildees Durante a implementaccedilatildeo os meacutetodos participativos satildeo uacuteteis para identificar e solucionar problemas
Aproveite para examinar e utilizar uma lista de recursos online sobre inqueacuterito qualitativo e directrizes sobre discussotildees em grupos de enfoque no Community Tool Box da Universidade de Kansas
Inqueacuteritos raacutepidos por amostragem Estes inqueacuteritos podem ser utilizados para recolher informaccedilotildees padronizadas de uma amostra pequena e cuidadosamente seleccionada de pessoas ou domiciacutelios em uma aacuterea beneficiaacuteria Eles podem descrever as condiccedilotildees em uma comunidade particular ou grupo-alvo e permitem comparar grupos diferentes em um determinado momento ou mudanccedilas no mesmo grupo ao longo do tempo Permitem tambeacutem comparar condiccedilotildees actuais com os resultados planeados
Um dos inqueacuteritos mais comuns de pequena amostragem eacute o inqueacuterito CAP (Conhecimentos Atitudes e Praacuteticas) baseado em uma amostra de 30 agrupamentos
Amostragem para Garantia de Qualidade de Lotes (Lot Quality Sampling - LQAS) Essa eacute outra teacutecnica de avaliaccedilatildeo raacutepida que se usa cada vez mais na aacuterea de sauacutede puacuteblica A LQAS utiliza amostragens muito pequenas para obter informaccedilotildees confiaacuteveis em uma pequena aacuterea geograacutefica ou unidade administrativa Pode ser usada para detectar de forma precisa os extremos do desempenho ndash para determinar se uma intervenccedilatildeo foi mais aleacutem de um limiar superior de desempenho ou natildeo conseguiu atingir um limiar inferior de desempenho em termos de qualidade ou cobertura As amostras de lotes podem tambeacutem ser combinadas para fornecer estimativas de cobertura em uma aacuterea geograacutefica mais ampla
Uma busca na Web revelaraacute recursos uacuteteis aqui temos um sobre os inqueacuteritos CAP e outro sobre LQAS A aacuterea de MampA do website do CORE Group inclui ligaccedilotildees com ferramentas e recursos importantes para a avaliaccedilatildeo raacutepida criados pelo Grupo de Trabalho de MampA do CORE Group
Como gestor deve revisar todas as fontes de dados jaacute existentes antes de planear a sua avaliaccedilatildeo A Tabela 7 apresenta as vantagens e desvantagens das trecircs principais fontes de
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 936
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 7 Resumo das trecircs fontes de dados mais comuns para uma avaliaccedilatildeo
Fonte de dados Vantagens Limitaccedilotildees
Estatiacutesticas de serviccedilo Dados sobre a populaccedilatildeo de utentes e serviccedilos cliacutenicos que satildeo recolhidos rotineiramente nos registos dos utentes e nos registos cliacutenicos
Disponiacuteveis imediatamente
Cobrem todos os tipos de serviccedilos de sauacutede e todas as aacutereas do paiacutes
Podem ser desagregados para os niacuteveis local e de distrito
Uso econoacutemico
Soacute lhe informam sobre clientes actuais sem informaccedilotildees sobre as pessoas que natildeo usam os serviccedilos de sauacutede e podem ser utentes em potencial
Natildeo fornecem informaccedilotildees sobre valores percepccedilotildees ou comportamentos da comunidade
Natildeo reflectem as pessoas que optam por fontes privadas de serviccedilos
Podem ser inexactas se os locais de prestaccedilatildeo de serviccedilos natildeo registarem os dados correctamente de forma legiacutevel e em tempo haacutebil
Inqueacuteritos de grande escala Inqueacuteritos de base populacional e avaliaccedilotildees de grande escala dos centros de sauacutede
Dados relevantes precisos e confiaacuteveis
Podem medir as tendecircncias nacionais de sauacutede identificar aacutereas com problemas e ajudar a concentrar os recursos do paiacutes em aacutereas de maior carecircncia
Geram valores meacutedios para as aacutereas urbanas e rurais regiotildees e proviacutencias
Fornecem um contexto para interpretar os dados recolhidos localmente
Podem gerar informaccedilotildees adicionais a partir dos seus conjuntos de dados informatizados
Geralmente natildeo podem desagregar os dados para fornecer meacutedias para as aacutereas sub-regionais (distritos ou municipalidades)
Geralmente natildeo satildeo realizadas anualmente os dados se tornam desactualizados rapidamente se as populaccedilotildees ou condiccedilotildees de sauacutede se modificarem rapidamente
Avaliaccedilotildees raacutepidas Meacutetodos focados para avaliar as necessidades locais e tomar decisotildees em acircmbito local
Raacutepidas e econoacutemicas
Resultam em acccedilatildeo local
Haacute directrizes para ajudar os gestores em vaacuterias dessas teacutecnicas
Fornecem aos gestores a capacidade de recolher os dados necessaacuterios
Os inqueacuteritos domiciliares (por ex LQAS ou CAP) podem obter precisatildeo suficiente para fins de avaliaccedilatildeo
Equilibra a necessidade de resultados representativos e objectivos com a necessidade de usar projectos levemente menos rigorosos que satildeo mais viaacuteveis em aacutereas locais
Usam escala e acircmbito reduzidos para produzir resultados em tempo haacutebil e de baixo custo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 937
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
dados que foram discutidas acima estatiacutesticas rotineiras de serviccedilos inqueacuteritos em grande escala e teacutecnicas de avaliaccedilatildeo raacutepida
Que niacutevel de qualidade os dados do SIS precisam ter para serem uacuteteis ndash que niacutevel de abrangecircncia precisatildeo e apresentaccedilatildeo em tempo haacutebil Para as suas necessidades de gestatildeo mesmo que natildeo sejam perfeitos os dados podem ser suficientemente bons para ter um efeito poderoso como nos mostra o exemplo de Madagascar
Dados do SIS pontos fortes e limitaccedilotildees
Subestimar o valor e a utilidade do SIS eacute infelizmente uma tendecircncia Eacute verdade que o SIS tem problemas frequentemente mas tambeacutem eacute grande o seu potencial Como vimos em
Como usar e melhorar dados imperfeitos do SIS ndash Um exemplo de Madagascar
Um SIS de base comunitaacuteria mais preciso e mais oportuno Um projecto de Madagascar implementou um meacutetodo baseado na comunidade para aumentar o uso de meacutetodos de planeamento familiar denominado ldquoComunidades Campeatildesrdquo em 50 dos 110 distritos do paiacutes O meacutetodo utilizou exclusivamente os dados do SIS para monitorar e avaliar as realizaccedilotildees das comunidades participantes
Em primeiro lugar foi estabelecida uma base de referecircncia para cada comunidade ao usar os dados do seu centro de sauacutede Em seguida o pessoal do centro de sauacutede e os representantes da comunidade identificaram metas para 10 indicadores que determinariam se uma comunidade tinha alcanccedilado a posiccedilatildeo de campeatilde apoacutes 12 meses de implementaccedilatildeo Cada comunidade monitorava seu proacuteprio progresso em uma reuniatildeo trimestral de verificaccedilatildeo
Apoacutes 12 meses o pessoal do projecto voltou a cada comunidade para avaliar os resultados Examinaram os dados do relatoacuterio de monitoria de rotina de cada centro de sauacutede e para cada indicador Prepararam tambeacutem um relatoacuterio sobre os dados de cada comunidade e o enviaram para o supervisor de niacutevel distrital para a sua confirmaccedilatildeo com base nos registos informatizados do distrito As fontes de dados para os relatoacuterios do centro de sauacutede e registos de distrito foram as mesmas (registos dos centros de sauacutede) e por isso raramente ocorreu uma discrepacircncia Mas o que interessava era envolver o supervisor distrital no exame dos dados do centro de sauacutede para mostrar a utilidade de se usar ateacute mesmo dados simples nesse niacutevel
O projecto tambeacutem cooperou com o Ministeacuterio da Sauacutede a niacutevel distrital para melhorar a precisatildeo a abrangecircncia e a prontidatildeo do SIS A ecircnfase era obter dados mais completos dos centros de sauacutede e reduzir o tempo gasto pelo escritoacuterio distrital para receber o relatoacuterio do centro de sauacutede apreciaacute-lo devolvecirc-lo ao centro para qualquer correcccedilatildeo recebecirc-lo novamente dar entrada dos dados no sistema e finalmente enviaacute-los ao niacutevel central Os distritos satildeo responsaacuteveis por cooperar com os centros de sauacutede para melhorar o registo de dados e actualizar suas proacuteprias teacutecnicas de processamento de dados
Apoacutes dois anos de assistecircncia teacutecnica o SIS tinha realmente melhorado segundo os indicadores de precisatildeo abrangecircncia e prontidatildeo As melhorias mais notaacuteveis foram em prontidatildeo o tempo gasto pelo escritoacuterio distrital no processo descrito acima reduziu-se de 12 para 3 meses
Imperfeitas mais mesmo assim valiosos Deve-se lembrar que o projecto ldquoComunidades Campeatildesrdquo teve oacuteptimo resultado apesar dos dados imperfeitos Seu numerador (o nuacutemero de utentes regulares de planeamento familiar) era detalhado e preciso Mas suas estimativas das taxas de prevalecircncia do uso de contraceptivos natildeo eram muito precisas porque o denominador (nuacutemero de mulheres em idade reprodutiva) era apenas uma estimativa baseada num censo desactualizado e em estimativas anuais do governo sobre percentagens de crescimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 938
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Madagascar o projecto Comunidades Campeatildes melhorou o sistema substancialmente num periacuteodo de dois anos Nesse caso o sistema jaacute se encontrava relativamente funcional porque projectos anteriores haviam feito um grande esforccedilo para implantar o sistema e tornaacute-lo mais soacutelido Ao aprimorar a forma como o sistema era administrado e os dados eram usados o projecto posterior conseguiu fazer uma grande diferenccedila por meio de pequenas modificaccedilotildees
Os dados do SIS natildeo satildeo 100 exactos e nunca seratildeo Esta eacute a realidade com a qual todos os gestores tecircm que trabalhar Mas os dados natildeo precisam ser perfeitos para serem uacuteteis Eacute possiacutevel fazer a monitoria e a gestatildeo com dados imperfeitos Informaccedilotildees obtidas em tempo
(continuaccedilatildeo)
No entanto o projecto constatou que as taxas de prevalecircncia de uso de contraceptivos eram suficientemente boas para acompanhar o desempenho das comunidades que participavam do meacutetodo de Comunidades Campeatildes O pessoal do projecto tambeacutem complementou as comparaccedilotildees dessas taxas com as comparaccedilotildees dos valores do numerador nuacutemeros simples que faziam sentido para o pessoal do centro de sauacutede e tambeacutem para as comunidades
O niacutevel central comeccedilou a organizar workshops regionais trimestrais para divulgar os resultados ao niacutevel distrital Juntos os gestores dos niacuteveis distritais regionais e centrais analisaram o progresso e classificaram os distritos com base no seu desempenho Usaram a anaacutelise de causa-raiz ndash um processo que identifica as causas subjacentes de um problema ndash para entender os obstaacuteculos enfrentados pelos distritos que apresentavam baixo desempenho (Consulte o Apecircndice A no Capiacutetulo 2 deste guia para obter mais informaccedilotildees sobre a anaacutelise de causa-raiz) Finalmente o Ministeacuterio de Sauacutede mobilizou o apoio de agecircncias doadoras e de organizaccedilotildees parceiras para ajudaacute-los a melhorar
O ministeacuterio comeccedilou a usar as informaccedilotildees de sauacutede para administrar realmente o sistema de sauacutede Antes dessa intervenccedilatildeo poucas organizaccedilotildees confiavam ou utilizavam os dados do SIS Mas quando ficou claro que o sistema funcionava as agecircncias doadoras passaram a confiar as organizaccedilotildees parceiras passaram a utilizaacute-lo e o ministeacuterio se orgulhou do trabalho Pela primeira vez tinham uma visatildeo mais niacutetida do que acontecia em todo o paiacutes e podiam usar essas informaccedilotildees para buscar o apoio de agecircncias doadoras se necessaacuterio
Do mesmo modo os centros de sauacutede raramente usavam seus proacuteprios dados Eles simplesmente faziam os registos e os enviavam para o escritoacuterio distrital sem nem mesmo receber retroinformaccedilatildeo do mesmo Apoacutes a conclusatildeo do projecto perceberam como os dados mais precisos podiam ser usados em seu benefiacutecio e das comunidades
Os distritos tambeacutem actuavam antes de uma forma pouco informada Cada distrito dependia apenas dos seus proacuteprios dados e funcionava num vaacutecuo As mudanccedilas no SIS e o encorajamento do governo central forneceram aos distritos oportunidades para comparar seu trabalho e aprender uns com os outros
Aprendizagem com dados mais precisos completos e oportunos Os dados satildeo geralmente utilizados para fazer comparaccedilotildees mas satildeo menos frequentemente utilizados como ferramenta de aprendizagem Nesse caso depois que os relatoacuterios comeccedilaram a chegar dentro do prazo o Ministeacuterio da Sauacutede usou os dados ndash inclusive dados imperfeitos ndash para descobrir que distritos tinham um desempenho ruim e que distritos estavam melhor que os outros Assim aprenderam com os de melhor desempenho ao perguntar Por que seus resultados satildeo tatildeo bons O que estavam a fazer de diferente O que poderia ser replicado Finalmente aplicaram a aprendizagem ao usar esses distritos como modelos e ao oferecer mais apoio aos de pior desempenho
Todo o sistema de sauacutede se entusiasmou com as informaccedilotildees que podiam produzir e usar A comeccedilar do topo esse entusiasmo chegou aos niacuteveis inferiores e os motivou a melhorar sua recolha e processamento de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 939
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
haacutebil e com 75 de precisatildeo satildeo melhores que as informaccedilotildees com 95 de precisatildeo que chegam com vaacuterios meses de atraso
Apesar do seu grande valor por si soacutes os dados do SIS natildeo atenderatildeo a todas as necessidades de informaccedilatildeo de muitas organizaccedilotildees Algumas organizaccedilotildees e agecircncias doadoras precisam de dados que exigem avaliaccedilotildees ou sistemas especiais Aleacutem disso vaacuterias intervenccedilotildees foram projectadas para modificar o conhecimento as atitudes e as praacuteticas dos beneficiaacuterios factores que natildeo satildeo capturados nos dados de serviccedilo Eacute importante usar os dados do SIS sempre que possiacutevel e complementaacute-los com avaliaccedilotildees locais quando necessaacuterio
Como gestor de um programa de sauacutede ou de serviccedilos de sauacutede parte do seu trabalho deveria ser o de melhorar o SIS em seu paiacutes Ele eacute o uacutenico sistema de informaccedilotildees sustentaacutevel na maioria dos paiacuteses Os sistemas de informaccedilatildeo criados e mantidos por agecircncias doadoras ou organizaccedilotildees externas tecircm duraccedilatildeo limitada mas o SIS eacute parte permanente do seu legado
Se todos os parceiros e agecircncias doadoras trabalharem com o Ministeacuterio de Sauacutede para prestar assistecircncia teacutecnica e financeira ao SIS ele poderaacute render informaccedilotildees que trazem grandes melhorias para os serviccedilos de sauacutede e que justificam plenamente o investimento no mesmo
Praacuteticas comprovadas
Um sistema de MampA deveria proporcionar aos gestores o que eles precisam saber para agir Deve se basear em indicadores relevantes faacuteceis de usar e que possam ser fornecidos em tempo haacutebil para os ciclos de planeamento e apresentaccedilatildeo de relatoacuterios
Os resultados de MampA natildeo se destinam apenas ao pessoal de MampA da sua organizaccedilatildeo ou agrave agecircncia doadora As informaccedilotildees de MampA satildeo um recurso fundamental para as acccedilotildees e a aprendizagem Se o seu processo de MampA tiver mecanismos de retroinformaccedilatildeo que permitam aos tomadores de decisotildees reflectirem sobre os resultados e absorverem o que precisam para seus proacuteprios fins eles assumiratildeo o controlo do processo e utilizaratildeo o que ele oferecer
Se vocecirc define suas actividades de MampA no comeccedilo de uma intervenccedilatildeo ou projecto junto com o plano de acccedilatildeo para o projecto teraacute mais oportunidades de orientar e acompanhar a implementaccedilatildeo das actividades
Quando satildeo demasiado elaborados e complicados os planos de MampA natildeo satildeo usados Elabore um plano de MampA simples escolha ferramentas de monitoria faacuteceis de usar e seleccione a menor quantidade possiacutevel de indicadores para acompanhar o progresso e introduzir as mudanccedilas necessaacuterias ao longo do caminho
Para fortalecer um SIS eacute preciso trabalhar com as pessoas envolvidas os responsaacuteveis pelo sistema que registam transferem analisam comunicam e utilizam os dados e as informaccedilotildees para a gestatildeo dos serviccedilos
Ao fornecer os dados do SIS para os tomadores de decisotildees vocecirc deve reconhecer as diferenccedilas na frequecircncia dos relatoacuterios e nas quantidades de dados agregados e desagregados necessaacuterios aos niacuteveis diferentes de governo ou agraves organizaccedilotildees natildeo governamentais
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 912
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Abordagens e ferramentas praacuteticas de MampA
QUADROS DE REFEREcircNCIA PARA A FORMULACcedilAtildeO MONITORIA E AVALIACcedilAtildeO DOS SERVICcedilOS DE SAUacuteDE
Os resultados de intervenccedilotildees programaacuteticas e nos serviccedilos de sauacutede podem ser medidos em niacuteveis variados Muitas directrizes de MampA se baseiam numa sequecircncia de cinco niacuteveis de resultados insumos actividades produtos resultados e impactos A Figura 4 resume os niacuteveis de resultados que podem ser monitorados e avaliados
Para compreender melhor a sequecircncia de resultados considere as definiccedilotildees abaixo
Insumos Os materiais e recursos necessaacuterios para executar o plano de implementaccedilatildeo da sua unidade ou equipa e obter o resultado esperado Os exemplos incluem os recursos financeiros teacutecnicos humanos suprimentos e produtos essenciais
Processo As actividades executadas por meio do seu plano de implementaccedilatildeo Os exemplos incluem a formaccedilatildeo dos profissionais de sauacutede a melhoria do sistema de gestatildeo de suprimentos e a distribuiccedilatildeo de meios de planeamento familiar
Produtos Eacute o resultado imediato de uma actividade Os exemplos incluem o nuacutemero de pessoas formadas o nuacutemero de novos utentes de contraceptivos e a quantidade de produtos distribuiacutedos
Resultados (a meacutedio e longo prazo) Eacute uma mudanccedila de curto prazo em um grupo da populaccedilatildeo como resultado de uma seacuterie de actividades Os exemplos incluem as mudanccedilas na cobertura do atendimento preacute-natal na proporccedilatildeo de partos seguros no conhecimento e atitudes sobre meacutetodos de planeamento familiar e sauacutede reprodutiva nas necessidades ainda natildeo atendidas de planeamento familiar e nas taxas de prevalecircncia do uso de contraceptivos
Impacto Mudanccedilas a longo prazo dentro de um grupo da populaccedilatildeo beneficiaacuteria Os exemplos incluem mudanccedilas na taxa total de fertilidade e nas taxas de mortalidade e morbidade maternas
Dois tipos de quadros de referecircncia satildeo comummente utilizados para planear e organizar a formulaccedilatildeo de uma intervenccedilatildeo ou serviccedilo e o seu plano de MampA quadros loacutegicos e quadros conceptuais
FIGURA 4 Niacuteveis da sequecircncia de resultados
InsumosProcessos
(actividades)Produtos Resultados Impacto
recursos humanos
recursos financeiros
equipa-mentos
centros de sauacutede
poliacuteticas
reuniotildees formaccedilatildeo supervisatildeo serviccedilos
nuacutemero de pessoal formado
nuacutemero de clientes
nuacutemero de produtos
melhor supervisatildeo
melhoria da cadeia de frio
mudanccedila no conheci-mento
mudanccedila no comporta-mento
mudanccedila nas praacuteticas
melhores serviccedilos
mudanccedila das taxas de doenccedila
mudanccedilas das taxas de oacutebitos
mudanccedila das taxas de nascimento
mudanccedilas das taxas de fertilidade
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 913
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
QUADROS LOacuteGICOS
Desde a elaboraccedilatildeo em 1969 de uma abordagem de quadro loacutegico para a USAID (Agecircncia dos EUA para o Desenvolvimento Internacional) os quadros loacutegicos (tambeacutem denominados Modelos Loacutegicos) foram adoptados depois de vaacuterias adaptaccedilotildees por vaacuterias organizaccedilotildees de desenvolvimento internacional e bilateral
A Figura 5 mostra os elementos de um Quadro Loacutegico
O Quadro Loacutegico ajuda os gestores e as equipas a responder a quatro perguntas principais
1 O que queremos realizar e por quecirc2 Como mediremos o sucesso 3 Que condiccedilotildees devem existir em cada fase da nossa intervenccedilatildeo4 Que recursos e processos seratildeo necessaacuterios para chegarmos laacute
Os Quadros Loacutegicos ajudam a identificar as conexotildees causais da sequecircncia de resultados insumos rarr processos (actividades) rarr produtos rarr resultados a meacutedio e longo prazo rarr impacto Essas conexotildees causais determinam a loacutegica da intervenccedilatildeo e orientam a selecccedilatildeo de indicadores para cada fase da sequecircncia de resultados
FIGURA 5 Elementos tiacutepicos de um quadro loacutegico
Objectivos IndicadoresFormas de verificaccedilatildeo Pressupostos
Meta O objectivo final ou impacto pretendido da intervenccedilatildeo
Medidas usadas para avaliar ateacute que ponto as metas foram atingidas
Meacutetodos e fontes de informaccedilatildeo para medir ou avaliar os indicadores de metas
Factores ou condiccedilotildees necessaacuterios para a sustentabilidade a longo prazo
PropoacutesitoResultado Mudanccedilas ou benefiacutecios esperados a serem conseguidos para utentes comunidades organizaccedilotildees ou sistemas
Medidas usadas para avaliar ateacute que ponto foi alcanccedilado o propoacutesito ou resultado
Meacutetodos e fontes de informaccedilatildeo para medir ou avaliar indicadores de propoacutesitoresultado
Factores ou condiccedilotildees necessaacuterios para o sucesso do programa nesse niacutevel e passagem para o seguinte niacutevel
Produtos Resultados directos e tangiacuteveis das actividades do programa que deveratildeo atingir o propoacutesito
Medidas usadas para avaliar ateacute que ponto os produtos foram apresentados
Meacutetodos e fontes de informaccedilatildeo para medir e avaliar os indicadores de produtos
Factores ou condiccedilotildees necessaacuterios para o sucesso do programa neste niacutevel e passagem para o seguinte niacutevel
ProcessosActividades Medidas tomadas por um programa para atingir os objectivos definidos
InsumosRecursos Pessoal tempo materiais e fundos necessaacuterios para executar as actividades
Meacutetodos e fontes de informaccedilatildeo utilizados para mostrar que as actividades foram concluiacutedas
Factores ou condiccedilotildees necessaacuterios para o sucesso do programa neste niacutevel e passagem para o seguinte niacutevel
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 914
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para entender como um Quadro Loacutegico explicita a loacutegica de uma intervenccedilatildeo examine novamente a Figura 5 Uma seacuterie de relacionamentos condicionais (ldquose entatildeordquo) conecta cada componente do Quadro Loacutegico
1 Se os recursos necessaacuterios estiverem disponiacuteveis e supondo-se que as condiccedilotildees sejam favoraacuteveis entatildeo as actividades do programa podem ser implementadas e
2 hellipse as actividades do programa forem implementadas com sucesso e supondo-se que existam condiccedilotildees favoraacuteveis especiacuteficas entatildeo os produtos e resultados esperados poderatildeo ser alcanccedilados e
3 hellipse os produtos e resultados esperados forem alcanccedilados e supondo-se que existam as condiccedilotildees favoraacuteveis especiacuteficas entatildeo a meta estrateacutegica poderaacute ser atingida
O Quadro Loacutegico pode ser uacutetil na conceptualizaccedilatildeo de um projecto durante o periacuteodo de planeamento e na avaliaccedilatildeo do progresso e aplicaccedilatildeo de medidas correctivas durante a implementaccedilatildeo Como qualquer outro quadro de referecircncia ele possui vantagens e desvantagens como mostra a Tabela 1
O Apecircndice A deste capiacutetulo fornece um exemplo de Quadro Loacutegico para um programa de visita domiciliar desenvolvido pelo Banco Interamericano de Desenvolvimento
QUADROS CONCEPTUAIS
Estes satildeo semelhantes aos Quadros Loacutegicos no sentido de que descrevem uma sequecircncia de resultados mas levam em consideraccedilatildeo as razotildees subjacentes de por que ocorrem as mudanccedilas ao longo da sequecircncia de resultados Enquanto os Quadros Loacutegicos simplesmente afirmam que as actividades traratildeo resultados ainda maiores os quadros conceptuais permitem mapear os factores que na sua opiniatildeo satildeo criacuteticos e explicam porque esses factores satildeo importantes para o sucesso
Este tipo de mapeamento ajuda a decidir que factores devem ser monitorados durante a implementaccedilatildeo das actividades Quando os dados mostram que esses elementos criacuteticos foram ou natildeo alcanccedilados pode-se compreender melhor por que uma intervenccedilatildeo teve ou natildeo sucesso e o que poderia ser modificado no futuro
Veja as vantagens e desvantagens dos quadros conceptuais na Tabela 2
TABELA 1 Visatildeo geral do quadro loacutegico
Vantagens Desvantagens
Melhora a qualidade dos planos de intervenccedilatildeo ao exigir a definiccedilatildeo de indicadores e objectivos claros e a anaacutelise de pressupostos e riscos
Quando usado regularmente durante uma intervenccedilatildeo eacute uma ferramenta de gestatildeo eficaz para orientar a implementaccedilatildeo e a MampA
Resume a elaboraccedilatildeo de planos complexos
Apoia a preparaccedilatildeo de planos de implementaccedilatildeo detalhados
Pressupotildee uma relaccedilatildeo linear entre insumos-produtos-resultados que natildeo leva em consideraccedilatildeo outros factores de influecircncia
Se usado rigidamente durante o processo de formulaccedilatildeo poderaacute restringir a criatividade e a inovaccedilatildeo
Se natildeo for actualizado durante a implementaccedilatildeo pode ser uma ferramenta estaacutetica que natildeo reflecte as condiccedilotildees em mudanccedila
Geralmente a formaccedilatildeo e o acompanhamento satildeo necessaacuterios para usar esse meacutetodo correctamente
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 915
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O modelo conhecido como Caminho de Mudanccedila (Pathway to Change) eacute um exemplo particularmente uacutetil de um quadro conceptual Esse modelo utiliza um formato de condicionalidade (ldquose entatildeordquo) para mostrar passo a passo como os resultados a meacutedio e longo prazo foram conceptualizados e como seratildeo alcanccedilados A Figura 6 eacute um exemplo de aplicaccedilatildeo do Caminho de Mudanccedila em um projecto de sauacutede de seis meses de duraccedilatildeo e acircmbito municipal na Nicaraacutegua
Caminho de Mudanccedila Tratamos deste modelo neste capiacutetulo devido agrave sua utilidade para os gestores e seus benefiacutecios como actividade de fortalecimento de uma equipa O estabelecimento de um Caminho de Mudanccedila eacute geralmente um processo participativo que permite que a sua equipa ou unidade e outros grupos de interesse formulem uma intervenccedilatildeo e determinem como ela vai funcionar O produto final eacute um mapa que mostra como uma acccedilatildeo estaacute relacionada com outras e como todas elas acrescentam algo ao resultado esperado Frequentemente o estabelecimento de um caminho expotildee as crenccedilas subjacentes que as pessoas de uma organizaccedilatildeo mantecircm sobre a forma em que suas acccedilotildees promovem mudanccedilas
A criaccedilatildeo de um Caminho de Mudanccedila tem vaacuterios benefiacutecios Em primeiro lugar exige que a sua equipa examine cada acccedilatildeo proposta e responda agraves seguintes perguntas
Todas as actividades contribuem para o resultado esperado Se a resposta for negativa algumas actividades deveriam ser modificadas acrescentadas ou eliminadas
As actividades satildeo sequenciais Elas estatildeo relacionadas de uma forma loacutegica Elas se somam umas agraves outras para formar um conjunto racional e coerente de acccedilotildees
Pensamos em todos os produtos e resultados necessaacuterios para atingir nosso resultado esperado
Temos os recursos necessaacuterios para implementar as actividades propostas Em quanto tempo atingiremos o resultado que desejamos Que outros factores podem contribuir ou entravar cada uma das actividades do
caminho
Em segundo lugar sua equipa deve tornar expliacutecita e chegar a um acordo sobre a loacutegica subjacente de um plano de intervenccedilatildeo Em outras palavras deve mostrar no papel como cada acccedilatildeo resultaraacute na mudanccedila desejada em cada niacutevel do mapa Por uacuteltimo o caminho define que resultados imediatos e resultados a meacutedio e longo prazo a equipa deve monitorar e que indicadores devem usar
TABELA 2 Visatildeo geral do quadro conceptual
Vantagens Desvantagens
Fornece um mapeamento visual e flexiacutevel de planos de intervenccedilatildeo complexos
Quando usado regularmente durante a implementaccedilatildeo permite uma retroinformaccedilatildeo antecipada do que estaacute ou natildeo a funcionar e por quecirc
Auxilia na identificaccedilatildeo de efeitos colaterais natildeo previstos
Ajuda a priorizar os problemas a serem investigados mais profundamente talvez ao usar meacutetodos mais focalizados de recolha de dados ou teacutecnicas mais sofisticadas de MampA
Pode se tornar extremamente complexo se a escala de actividades for muito grande ou se for reunida uma lista exaustiva de factores e pressupostos
Os grupos de interesse podem discordar sobre os factores determinantes que consideram ser os mais importantes
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 916
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Como se lecirc um mapa de Caminho de Mudanccedila O caminho pode ser lido como um fluxograma em que caixas e setas mostram a relaccedilatildeo entre as acccedilotildees e os efeitos como mostrado na Figura 6 O resultado esperado aparece no topo do caminho e os resultados imediatos que devem ser atingidos para se chegar laacute satildeo exibidos no proacuteximo niacutevel Os produtos que devem ser obtidos para conseguir os resultados a meacutedio e longo prazo aparecem no proacuteximo niacutevel inferior Finalmente as actividades aparecem no fundo ou base
Quando lido de baixo para cima o mapa mostra que actividades satildeo necessaacuterias para conseguir os produtos e que resultados a meacutedio e longo prazo satildeo necessaacuterios para se chegar ao topo Eacute preciso sempre poder traccedilar um caminho desde o comeccedilo de suas acccedilotildees ateacute o resultado esperado
Pode ser uacutetil imaginar o caminho como o organigrama de uma empresa vocecirc pode comeccedilar da base do organigrama como assistente administrativo passar a coordenador de escritoacuterio depois a uma funccedilatildeo de gestatildeo e finalmente ocupar o gabinete do director
A criaccedilatildeo de um Caminho de Mudanccedila Para desenvolver um Caminho da Mudanccedila sua equipa mapeia a mudanccedila de forma reversa Comeccedila no final do caminho (no topo da
FIGURA 6 Exemplo de um Caminho de Mudanccedila
Resultado 180 dos pacientes
estatildeo satisfeitos com os serviccedilos prestados no
centro de sauacutede
Resultado 260 das mulheres
entre 15 e 49 anos na aacuterea de captaccedilatildeo do centro de
sauacutede entendem a importacircncia do planeamento familiar
para o espaccedilamento dos nascimentos
Resultado 3Todos os meacutetodos
contraceptivos modernos estatildeo
disponiacuteveis no centro de sauacutede
Produto 1Os tempos de
espera no centro de sauacutede se
reduziram de 40 para 20 minutos
Produto 2Eacute oferecida
orientaccedilatildeo a todos os pacientes em
espaccedilo privado do centro de sauacutede
Produto 3Voluntaacuterias
realizam palestras semanais sobre temas
de sauacutede reprodutiva na comunidade
Produto 4Todos os stocks
de contraceptivos satildeo monitorados semanalmente
Actividade 1Realizar um
inqueacuterito sobre o uxo de
pacientes e cumprir
recomendaccedilotildees
Actividade 2Transformar um canto do
centro de sauacutede para a
orientaccedilatildeo dos pacientes
Actividade 3Mobilizar as
ONGs parceiras para imprimir panetos de informaccedilatildeo educaccedilatildeo e
comunicaccedilatildeo
Actividade 4Mobilizar as
ONGs parceiras para dar
formaccedilatildeo ou equipar as voluntaacuterias
Actividade 5Recrutar liacutederes
comunitaacuterios para prestar
apoio agraves palestras sobre
sauacutede reprodutiva
Actividade 6Desenvolver
um sistema de registo e
pedidos de suprimentos
contraceptivos
Resultado esperadoAumento na percentagem de utentes de planeamento familiar de 50 para 52
durante o periacuteodo de Junho a Dezembro de 2006
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 917
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
sequecircncia) e define a meta da organizaccedilatildeo a longo prazo ou o resultado esperado de uma intervenccedilatildeo Em seguida preenche o mapa ao trabalhar de cima para baixo onde identifica finalmente as actividades principais os primeiros elementos do seu plano de implementaccedilatildeo
Enquanto se desloca pelo caminho faccedila trecircs perguntas Que resultados precisam acontecer para contribuir agrave meta de longo prazo Que produtos precisam ser obtidos antes disso para alcanccedilar os resultados Que actividades precisam acontecer antes disso para conseguir os produtos
O desenho de uma intervenccedilatildeo dessa forma pode ajudar a revelar as condiccedilotildees necessaacuterias para atingir os resultados a meacutedio e longo prazo e a meta de longo prazo Talvez sejam necessaacuterias vaacuterias tentativas para criar um Caminho de Mudanccedila com o qual todos estejam de acordo Os resultados produtos e acccedilotildees podem ser acrescentados modificados e eliminados ateacute que eventualmente surja um mapa que conte a histoacuteria com a qual sua equipa pode concordar O debate eacute frequentemente a parte mais importante da experiecircncia porque a equipa junta define as expectativas pressupostos e caracteriacutesticas do processo de mudanccedila
Uso da sequecircncia ldquopara querdquo como forma de verificar as vias de um Caminho de Mudanccedila Uma boa forma de verificar a loacutegica do mapa do seu caminho eacute inverter o processo e criar uma sequecircncia de ldquopara querdquo para cada actividade O exemplo na Figura 7 mostra como fazer isso para a Actividade 5 da Figura 6 O movimento na sequecircncia ldquopara querdquo eacute o
FIGURA 7 Sequecircncia ldquopara querdquo para uma actividade de um Caminho de Mudanccedila
Dar formaccedilatildeo agraves voluntaacuterias da comunidade e equipaacute-las com os materiais de informaccedilatildeo educaccedilatildeo e comunicaccedilatildeo necessaacuterios
para que
As voluntaacuterias realizem sessotildees educativas sobre sauacutede sobre temas de planeamento familiar na aacuterea especiacutefica do centro de sauacutede
para que
As mulheres em idade reprodutiva na aacuterea especiacutefica se sintam agrave vontade para participar de sessotildees apresentadas pelas voluntaacuterias
para que
As mulheres participem das sessotildees e aprendam sobre a importacircncia do planeamento familiar para o espaccedilamento dos nascimentos
para que
Mais mulheres em idade reprodutiva busquem meacutetodos de planeamento familiar no centro de sauacutede e a percentagem de mulheres que recebem os meacutetodos aumentem 2 durante o periacuteodo do projecto (o resultado esperado)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 918
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
oposto exacto do Caminho de Mudanccedila Vocecirc coloca cada actividade no topo da sua proacutepria sequecircncia e desce pela sequecircncia ateacute a meta ou resultado esperado Essa sequecircncia ajuda a confirmar que cada rota individual no Caminho de Mudanccedila faz sentido em termos loacutegicos
Para usar essa teacutecnica eacute preciso criar uma sequecircncia ldquopara querdquo para cada actividade no seu Caminho de Mudanccedila Comece por descrever cada actividade e segui-la da frase ldquopara querdquo seguida de uma descriccedilatildeo do que aconteceraacute se essa actividade for realizada Continue a fazer isto ateacute atingir a sua meta de longo prazo ou resultado esperado
Etapas do desenvolvimento de um plano de MampA
Uma das suas tarefas essenciais de MampA como gestor que exerce lideranccedila eacute a de elaborar um plano que ajude vocecirc e sua equipa a determinar se atingiram ou natildeo os resultados esperados e a acompanhar o progresso no alcance desses resultados durante a implementaccedilatildeo Isso exige que vocecirc natildeo soacute escolha indicadores confiaacuteveis mas tambeacutem que meccedila esses indicadores de forma organizada Seu plano de MampA deve especificar que indicadores seratildeo medidos como e quando seratildeo medidos e por quem
Um plano de MampA bem formulado responde a cinco perguntas
1 Seu resultado esperado eacute mensuraacutevel2 Que indicadores utilizaraacute para monitorar seus produtos e para avaliar seus
resultados 3 Quais satildeo as suas fontes de dados e como recolheraacute os dados dessas fontes 4 Quais satildeo os periacuteodos cobertos de cada indicador 5 Quem recolheraacute os dados
Essas perguntas satildeo importantes porque sem um plano vaacutelido de MampA vocecirc poderaacute interpretar erroneamente os efeitos da sua intervenccedilatildeo Poderaacute concluir que ela natildeo teve efeito algum quando na verdade ela teve alguns resultados positivos ou poderaacute concluir que ela teve um efeito positivo quando na verdade natildeo obteve resultado algum o que eacute um erro comum e mais destrutivo
Elaborar e utilizar um plano de MampA garante que dados comparaacuteveis seratildeo recolhidos regularmente e em tempo haacutebil mesmo quando houver mudanccedilas de pessoal A Tabela 3 resume as etapas no desenvolvimento e implementaccedilatildeo de um plano de MampA O resto desta secccedilatildeo descreve cada etapa detalhadamente
ETAPA 1 DEFINA OS RESULTADOS ESPERADOS
A primeira etapa no desenvolvimento do plano de MampA eacute determinar um niacutevel apropriado de resultados Juntos o tipo e o acircmbito da intervenccedilatildeo os recursos disponiacuteveis e o prazo de implementaccedilatildeo determinam um resultado viaacutevel
Como jaacute vimos antes neste capiacutetulo as intervenccedilotildees dirigidas por organizaccedilotildees com fundos de agecircncias doadoras e por serviccedilos governamentais geralmente levam a produtos ou resultados a meacutedio e longo prazo Apesar de o impacto demorar a ser obtido e geralmente estar fora do acircmbito de um uacutenico conjunto de actividades eacute importante incluiacute-lo no seu plano de MampA para que fique clara qual seraacute a contribuiccedilatildeo da sua intervenccedilatildeo a longo prazo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 919
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 3 Etapas para elaborar e usar um Plano de MampA
Etapas Recomendaccedilotildees
1 Definir os resultados esperados
Os resultados devem ser identificados de acordo com o acircmbito e o periacuteodo de tempo da sua intervenccedilatildeo
Os resultados devem atender aos criteacuterios SMART (Especiacuteficos Mensuraacuteveis Apropriados Realistas de Prazo Definido)
2 Seleccionar os indicadores
Os indicadores devem possuir as qualidades de um bom indicador
Os indicadores devem ser acessiacuteveis faacuteceis de recolher e comparaacuteveis ao longo do tempo e em diferentes locais
Para os problemas de sauacutede prioritaacuterios e os serviccedilos essenciais use indicadores criacuteticos nacionais ou padratildeo
Seleccione um nuacutemero miacutenimo de indicadores essenciais e procure garantir que os indicadores seleccionados sejam realmente necessaacuterios para medir seus resultados esperados
3 Identificar as fontes de dados
Identifique de onde viratildeo os dados para cada indicador Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos organizacionais utentes ou a comunidade
4 Definir os meacutetodos de recolha dos dados
Seleccione o meacutetodo mais apropriado e confiaacutevel para a recolha de dados para cada indicador Estes meacutetodos podem incluir a anaacutelise de registos ou diaacuterios de estatiacutesticas de serviccedilo o uso de listas de verificaccedilatildeo para fins de observaccedilatildeo as entrevistas de utentes ao saiacuterem da cliacutenica ou um modelo de inqueacuterito de dados comunitaacuterios
Decida sobre a frequecircncia da recolha de dados Poderaacute recolher apenas os dados de base ou referecircncia e os dados apoacutes a intervenccedilatildeo ou talvez precise recolher dados diaacuterios mensais ou trimestrais dependendo do tipo de indicador
Para cada indicador designe a responsabilidade pela recolha a um escritoacuterio equipa ou pessoa especiacuteficos
5 Recolher os dados de base (ou referecircncia) e os dados apoacutes a intervenccedilatildeo
Entenda que os resultados de base seratildeo usados para definir os seus alvos
Defina claramente a duraccedilatildeo coberta pelos dados de base jaacute que precisa de um periacuteodo semelhante para a comparaccedilatildeo ao final do periacuteodo de implementaccedilatildeo
Use a mesma metodologia e ferramentas para a recolha de dados que as usadas para os dados de base e as medidas poacutes-intervenccedilatildeo
6 Compartilhar e utilizar os seus resultados
Marque reuniotildees workshops e apresentaccedilatildeo de relatoacuterios para mostrar os resultados ao pessoal do projecto agrave direcccedilatildeo da organizaccedilatildeo e a outros grupos de interesse importantes
Apresente as opccedilotildees de aprendizado e acccedilatildeo com base nos resultados de MampA
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 920
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para determinar em que niacutevel deve monitorar e avaliar seus resultados eacute uacutetil examinar novamente e expandir a cadeia de resultados a comeccedilar da direita pelo resultado final (impacto) e voltar ateacute os materiais e recursos (insumos) necessaacuterios
Insumos rarr Processos rarr Produtos rarr Resultados rarr Impacto
Impacto Esses resultados satildeo medidos ao niacutevel da populaccedilatildeo levam um tempo relativamente longo para serem alcanccedilados (geralmente 3 a 5 cinco anos) e exigem o esforccedilo conjunto de vaacuterias intervenccedilotildees e mesmo de vaacuterias organizaccedilotildees Como gestor vocecirc poderaacute ser responsaacutevel por medir o impacto mas deve incluiacute-lo na loacutegica do seu plano de MampA para saber o que a sua organizaccedilatildeo e os parceiros da organizaccedilatildeo pretendem alcanccedilar a longo prazo
Resultados a meacutedio e longo prazo Na maioria dos casos os gestores satildeo responsaacuteveis por medir os resultados nos niacuteveis de produtos eou resultados a meacutedio e longo prazo Os resultados a meacutedio e longo prazo satildeo obtidos pelas actividades criadas para produzir uma mudanccedila de comportamento nos profissionais de sauacutede ou nos utentes Satildeo geralmente medidos em termos de mudanccedilas na cobertura de serviccedilos e mudanccedilas nos conhecimentos atitudes e praacuteticas de uma populaccedilatildeo beneficiaacuteria Um resultado a meacutedio e longo prazo pode ser o iniacutecio de uma praacutetica comprovada de prestaccedilatildeo de serviccedilos a adopccedilatildeo de novas estrateacutegias de gestatildeo ou a elaboraccedilatildeo bem-sucedida de uma poliacutetica de promoccedilatildeo da sauacutede Pode tambeacutem ser um aumento no nuacutemero de mulheres que datildeo agrave luz em um centro de sauacutede ou no nuacutemero de crianccedilas totalmente imunizadas Na maioria dos casos eacute possiacutevel estabelecer uma relaccedilatildeo clara entre produtos e resultados a meacutedio e longo prazo
Produtos Os produtos ou resultados imediatos satildeo fruto directo das actividades Devem ser monitorados durante toda a implementaccedilatildeo como um elemento essencial da boa gestatildeo Os planos de MampA devem definir o produto esperado de cada actividade Para as unidades de prestaccedilatildeo de serviccedilos isso geralmente significa os resultados imediatos em termos dos serviccedilos (por exemplo nuacutemero de utentes atendidos ou tempo de espera dos clientes ou utentes) Para as organizaccedilotildees que natildeo prestam serviccedilos de sauacutede directamente isso pode significar a distribuiccedilatildeo de produtos de sauacutede ou serviccedilos de formaccedilatildeo (por exemplo quantidade de produtos para planeamento familiar distribuiacutedos ou nuacutemero de participantes formados)
Processos A monitoria de processos ou actividades eacute em grande parte uma medida da cultura de prestaccedilatildeo de contas (ou grau de responsabilizaccedilatildeo) ao garantir que as actividades sejam realizadas dentro do prazo e com recursos suficientes A monitoria nesse niacutevel acompanha o progresso da implementaccedilatildeo tendo como referecircncia os prazos propostos e o uso dos recursos tendo como referecircncia os orccedilamentos Eacute geralmente executada atraveacutes da apresentaccedilatildeo de relatoacuterios tradicionais trimestrais semestrais e anuais
Insumos Ao preparar uma intervenccedilatildeo deve identificar a quantidade e os tipos de recursos necessaacuterios para implementar as actividades O desempenho pode ser monitorado em termos da quantidade e dos tipos de insumos fornecidos e do nuacutemero e timing das actividades realizadas
A etapa seguinte na definiccedilatildeo dos resultados esperados eacute garantir que cumpram os criteacuterios SMART (consulte a Tabela 4) Eacute possiacutevel monitorar e avaliar o progresso no alcance de um resultado apenas se esse resultado tiver sido definido em termos mensuraacuteveis
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 921
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja a seguir um exemplo de um resultado mensuraacutevel para uma intervenccedilatildeo cujo propoacutesito eacute promover a cobertura de imunizaccedilatildeo em crianccedilas de 12 a 24 meses de idade A percentagem de crianccedilas de 12 a 24 meses totalmente vacinadas na aacuterea de captaccedilatildeo aumentaraacute para 70 dentro de um ano
ETAPA 2 IDENTIFIQUE OS INDICADORES E SUAS DEFINICcedilOtildeES
Os indicadores satildeo geralmente percentagens ou proporccedilotildees que representam o alcance de uma condiccedilatildeo especiacutefica de sauacutede na populaccedilatildeo de interesse Podem tambeacutem ser um valor absoluto tal como o nuacutemero de ocorrecircncias de um evento de sauacutede (por ex um oacutebito materno ou um caso de malaacuteria)
Todos os indicadores pedem uma definiccedilatildeo detalhada Trata-se de um indicador qualitativo ou quantitativo Se for uma percentagem qual eacute o numerador e qual eacute o denominador A definiccedilatildeo deve ser suficientemente detalhada para garantir que pessoas diferentes em momentos diferentes possam recolher tipos idecircnticos de dados para o indicador
Veja o que caracteriza um bom indicador no Quadro 2 Os indicadores podem ser classificados como indicadores do estado de sauacutede ou do desempenho de serviccedilos
Os indicadores do estado de sauacutede podem incluir o seguinte
nuacutemero de casos e mortes causados por doenccedilas especiacuteficas em um determinado periacuteodo
proporccedilatildeo da populaccedilatildeo com uma doenccedila ou condiccedilatildeo de sauacutede num momento particular ou ao longo de um periacuteodo de tempo
proporccedilatildeo da populaccedilatildeo com um factor ou condiccedilatildeo de sauacutede que os coloca em risco de contrair doenccedilas tal como a falta de conhecimento ou um comportamento de risco
Os indicadores de desempenho podem incluir o seguinte
proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que recebeu um serviccedilo especiacutefico proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que demonstra comportamentos e
conhecimentos especiacuteficos de sauacutede
TABELA 4 Criteacuterios de um resultado SMART
Criteacuterio Descriccedilatildeo
Especiacutefico (S ndash Smart)
Claramente escrito e compreendido O resultado esperado eacute suficientemente especiacutefico para ser medido por uma frequecircncia percentagem ou nuacutemero
Mensuraacutevel (M ndash Measurable)
Eacute possiacutevel monitorar o progresso e avaliar os resultados O resultado esperado eacute definido em termos que sejam mensuraacuteveis
Apropriado (A ndash Appropriate)
O resultado esperado eacute apropriado ao acircmbito do seu trabalho e agrave missatildeo da sua organizaccedilatildeo
Realista (R ndash Realistic)
O resultado esperado pode ser alcanccedilado e estaacute dentro do controlo da sua organizaccedilatildeo Pode ser realisticamente alcanccedilado ao usar os recursos disponiacuteveis e dentro do prazo do seu plano de implementaccedilatildeo
de Tiempo limitado (T ndash Time Bound)
Foi estabelecido um prazo especiacutefico para obter o resultado esperado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 922
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
proporccedilatildeo de centros e pessoal de sauacutede que demonstram adesatildeo a padrotildees especiacuteficos de serviccedilo ou que atingiram objectivo definido
proporccedilatildeo de centros de sauacutede que seguem padrotildees definidos de gestatildeo funcional (por ex em termos de pessoal disponibilidade de medicamentos registo e apresentaccedilatildeo de relatoacuterios)
Orientaccedilatildeo adicional sobre os indicadores pode ser obtida em ldquoCompecircndio de indicadores para avaliaccedilatildeo de programas de sauacutede reprodutivardquo e ldquoLista dos indicadores sobre desenvolvimento da capacidade de gestatildeo e lideranccedilardquo
ETAPA 3 IDENTIFIQUE AS FONTES DE DADOS
Agora precisa identificar uma fonte de dados para cada indicador incluiacutedo no plano de MampA ao seleccionar dados que estejam prontamente disponiacuteveis em uma fonte confiaacutevel e dentro das possibilidades financeiras de sua organizaccedilatildeo O ideal seria escolher os dados imediatamente disponiacuteveis atraveacutes da organizaccedilatildeo em vez de dar iniacutecio a uma nova estrateacutegia de recolha de dados o que poderia ser oneroso e demorado
Uma boa forma de comeccedilar eacute com a seguinte pergunta Que dados jaacute recolhemos de forma rotineira e sistemaacutetica Vocecirc deve sempre levar em consideraccedilatildeo as vantagens e desvantagens de cada fonte de dados Consulte a secccedilatildeo ldquoComo seleccionar suas fontes de dadosrdquo para obter mais informaccedilotildees sobre as vantagens e desvantagens de algumas fontes de dados mais comuns
Vocecirc deve ser o mais especiacutefico possiacutevel sobre as fontes de dados para que a mesma fonte possa ser utilizada de forma coerente durante toda a intervenccedilatildeo Mudar as fontes de dados para o mesmo indicador pode resultar em incoerecircncias e erros de interpretaccedilatildeo Por exemplo se estiver a medir as taxas de mortalidade infantil passar de estimativas baseadas num inqueacuterito de grande escala para estimativas baseadas em estatiacutesticas hospitalares pode resultar dar a falsa impressatildeo de que houve uma mudanccedila
QUADRO 2 Qualidades de um bom indicador
Vaacutelido O indicador mede o que se pretende medir
Confiaacutevel A medida do indicador deve ser igual natildeo importa quantas vezes a medida seja feita
Preciso O indicador eacute definido em termos claros e especiacuteficos para que possa ser medido O indicador pode ser qualitativo (descritivo) discreto (SimNatildeo) ou baseado em niacuteveis quantitativos ou proporccedilotildees desde que seja claramente mensuraacutevel
Faacutecil de entender Tanto especialistas como natildeo especialistas devem poder entender o significado do indicador
Discreto O indicador captura um uacutenico componente ou aspecto de um resultado mais complexo Mede apenas uma coisa natildeo um conjunto de coisas
Em tempo haacutebil O indicador pode ser medido em intervalos temporais apropriados de acordo com a disponibilidade dos dados
Comparaacutevel Quando possiacutevel o indicador evita definiccedilotildees limitadas ou singulares cujos valores seriam difiacuteceis de comparar com outros resultados
Viaacutevel para utilizar Os dados para o indicador satildeo faacuteceis de obter de uma fonte confiaacutevel e relativamente econoacutemica ndash acessiacutevel tendo em vista os recursos da sua organizaccedilatildeo Se esses dados natildeo estiverem disponiacuteveis existem meacutetodos para obtecirc-los no futuro
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 923
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 4 DEFINA OS MEacuteTODOS DE RECOLHA DE DADOS
A etapa seguinte eacute a de definir os meacutetodos ou ferramentas que utilizaraacute para cada indicador Para os indicadores baseados em dados primaacuterios (dados que vocecirc mesmo recolhe) deve descrever o tipo de instrumento necessaacuterio para recolher os dados Os exemplos podem incluir questionaacuterios estruturados listas de verificaccedilatildeo de observaccedilatildeo directa ou balanccedilas para pesar bebeacutes
Para os dados secundaacuterios (dados recolhidos por terceiros e que estatildeo disponiacuteveis para vocecirc usar) deve explicar o meacutetodo para calcular o indicador e a fonte dos dados e fornecer detalhes suficientes sobre o meacutetodo de caacutelculo para que outros possam replicaacute-lo Lembre-se de que eacute mais faacutecil e mais barato usar dados secundaacuterios mas sua qualidade eacute menos confiaacutevel do que a dos dados primaacuterios
Tambeacutem eacute importante observar a frequecircncia da recolha dos dados para cada indicador A depender do tipo de indicador vocecirc poderaacute recolher os dados mensalmente trimestralmente anualmente ou ateacute com menos frequecircncia Ao definir o programa de recolha de dados para cada indicador leve em consideraccedilatildeo a necessidade de fornecer informaccedilotildees em tempo haacutebil aos responsaacuteveis por tomar decisotildees na sua organizaccedilatildeo Atribuir responsabilidades pela recolha de dados a indiviacuteduos ou grupos do seu pessoal garantiraacute que os dados sejam recolhidos dentro do prazo necessaacuterio
As informaccedilotildees das Etapas 1 a 4 fornecem o conteuacutedo do seu plano de monitoria e avaliaccedilatildeo A Tabela 5 mostra os elementos de um plano de MampA para um programa de mentoria cliacutenica para centros de orientaccedilatildeo e testes voluntaacuterios
ETAPA 5 RECOLHA OS DADOS DE BASE E DE ACOMPANHAMENTO
Recolher dados de base precisos eacute uma das tarefas mais importantes de MampA Os dados de base ou referecircncia satildeo o ponto de partida para definir as metas que vocecirc e sua equipa pretendem atingir e para acompanhar as mudanccedilas dos indicadores durante todo o periacuteodo de sua intervenccedilatildeo Dessa forma os dados de base ajudam a definir melhor um resultado final esperado
Vocecirc precisaraacute recolher dados de base para cada indicador antes que suas actividades comecem Esses dados identificam o ponto de partida de onde poderaacute avaliar o progresso Depois em pontos variados durante a implementaccedilatildeo vocecirc recolheraacute dados de acompanhamento sobre cada indicador para comparaacute-los com os niacuteveis de base e os resultados previstos Isto permite que vocecirc e outros tomadores de decisotildees em sua organizaccedilatildeo avaliem o progresso de cada intervenccedilatildeo ou serviccedilo e faccedilam as mudanccedilas necessaacuterias ao longo do caminho Examine o exemplo no Quadro 3
Por que acompanhar as mudanccedilas dos indicadores durante a implementaccedilatildeo Os indicadores de um plano de MampA estatildeo relacionados aos resultados imediatos (produtos) e aos resultados de meacutedio e longo prazo que os gestores precisam monitorar As mudanccedilas nos valores do indicador ao longo do tempo mostram se esses resultados estatildeo a subir ou a baixar ou se permanecem iguais Isto mostra ao gestor se as intervenccedilotildees e estrateacutegias estatildeo a funcionar conforme planeado para atingir os resultados esperados
Ao final do periacuteodo de implementaccedilatildeo precisaraacute recolher dados sobre os seus indicadores para comparar os niacuteveis finais com os niacuteveis de base e com os seus resultados esperados A depender dos seus indicadores precisaraacute tambeacutem recolher dados de acompanhamento a uma altura acordada previamente para determinar se as mudanccedilas seratildeo mantidas apoacutes o teacutermino da sua intervenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 924
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 5 Exemplo de um Plano de Monitoria e Avaliaccedilatildeo
Objectivo Os profissionais de sauacutede que receberam formaccedilatildeo aumentam sua capacidade de fornecer tratamento anti-retroviral de acordo com as directrizes nacionais
ActividadeProduto Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
CronogramaPrazo final
Cliacutenicos experientes em VIH recrutados para servir como mentores cliacutenicos em cinco hospitais regionais
Nuacutemero de mentores recrutados e designados a hospitais regionais
Registos de emprego
Como concluiacutedo Director adjunto para programas cliacutenicos
Setembro de 2008
Pessoal meacutedico em cinco hospitais regionais que recebem mentoria individual sobre terapia anti-retroviral
Nuacutemero de locais que recebem mentoria cliacutenica
Nuacutemero de meacutedicos que recebem mentoria individual
Nuacutemero de dias de mentoria cliacutenica realizados
Relatoacuterios mensais do mentor
Mensalmente Mentores Marccedilo de 2009
Resultados a meacutedio e longo prazo Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
Trabalhadores de sauacutede aumentam seu conhecimento sobre terapia anti-retroviral
80 dos participantes obtecircm 85 ou mais de pontuaccedilatildeo correcta no teste posterior
Trabalhadores de sauacutede melhoram suas habilidades no fornecimento de terapia anti-retroviral
Percentagem de habilidades demonstradas na lista de verificaccedilatildeo de competecircncia
Estudo especial Datas a definir Director adjunto para programas cliacutenicos
Fonte Centro Internacional de Formaccedilatildeo e Ensino sobre VIH p 2
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 925
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Observaccedilatildeo sobre o uso de indicadores para uma avaliaccedilatildeo A maioria dos esforccedilos de MampA enfatizam a selecccedilatildeo de indicadores bem definidos para estabelecer metas e medir as mudanccedilas nas condiccedilotildees e nos serviccedilos de sauacutede
Mas eacute importante lembrar que os indicadores servem apenas como marcadores Os dados dos indicadores fornecem pistas para saber se uma intervenccedilatildeo ou um grupo de actividades estaacute dentro do cronograma e se os resultados esperados estatildeo a ser alcanccedilados Eles natildeo respondem agraves perguntas de por que os resultados estatildeo ou natildeo a ser alcanccedilados Natildeo explicam os resultados fortuitos as relaccedilotildees entre intervenccedilotildees e resultados ou as causas de resultados percebidos que podem ocorrer fora da intervenccedilatildeo Assim natildeo podem recomendar medidas a tomar para melhorar os resultados
Os dados de indicadores devem portanto ser interpretados com cuidado Eles simplesmente indicam resultados que precisam ser melhor explorados em vez de fornecer uma avaliaccedilatildeo definitiva do sucesso ou fracasso Um estudo de avaliaccedilatildeo eacute geralmente executado para determinar se uma intervenccedilatildeo pode ser considerada um sucesso e por quecirc
Em geral agrave medida que sobe na hierarquia e passa das actividades para os resultados a longo prazo a MampA se torna mais complicada Nos niacuteveis de processo e produtos pode-se facilmente rastrear que actividades foram concluiacutedas e seus resultados imediatos Essas informaccedilotildees satildeo operacionais ndash informaccedilotildees que vocecirc pode usar para decisotildees quotidianas de gestatildeo Poreacutem para identificar e medir os resultados da sinergia dos produtos provavelmente teraacute que integrar as informaccedilotildees qualitativas e quantitativas e confiar menos em indicadores quantitativos singulares
Lembre-se de que quando uma melhoria desejada ndash seja na eficiecircncia do serviccedilo no conhecimento e comportamento dos provedores de serviccedilos ou dos beneficiaacuterios ou na tendecircncia de um problema de sauacutede ndash eacute confirmada atraveacutes de MampA isto natildeo prova que foi a intervenccedilatildeo que provocou a mudanccedila Outras coisas podem estar a se passar no serviccedilo ou no ambiente geral que causam essa mudanccedila Eacute claro que o mesmo se aplica aos resultados negativos ou resultados que indicam natildeo haver nenhuma mudanccedila nos resultados a meacutedio e longo prazo
QUADRO 3 Como usar dados de base para ajustar os resultados
Uma equipa de sobrevivecircncia infantil estaacute a propor uma intervenccedilatildeo com o seguinte resultado mensuraacutevel e especiacutefico ldquoNos proacuteximos 12 meses 40 das crianccedilas entre 12 e 24 meses de idade na aacuterea de captaccedilatildeo seratildeo completamente imunizadasrdquo
Para determinar se seu programa pode realmente atingir esse resultado o pessoal precisa medir os niacuteveis actuais de vacinaccedilatildeo Ao examinar os dados vecircem que apenas 10 das crianccedilas na aacuterea de captaccedilatildeo estatildeo completamente imunizadas ao completarem 24 meses Estes satildeo portanto seus dados de base
A gestora entende que natildeo seraacute possiacutevel atingir o objectivo de 40 de cobertura de imunizaccedilatildeo em apenas 12 meses Por isso ela e sua equipa revisam o resultado esperado e o modificam para que seja mais razoaacutevel e realista mas continue sendo significativo ldquoNos proacuteximos 12 meses 20 das crianccedilas de 12 a 24 meses na aacuterea de de actuaccedilatildeo seratildeo completamente imunizadas
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 926
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 6 COMPARTILHE E USE SEUS DADOS
Na pressa para comeccedilar a recolher dados alguns gestores se esquecem de planear um processo para reflectir sobre as informaccedilotildees e fazer mudanccedilas para aumentar a eficiecircncia das actividades Para garantir que os dados sejam natildeo soacute recolhidos mas tambeacutem utilizados pense como vocecirc e sua equipa divulgaratildeo as informaccedilotildees sobre MampA e obteratildeo retroinformaccedilatildeo dos diversos grupos de interesse Algumas perguntas baacutesicas serviratildeo para lhe orientar
Quem precisa de que tipo de informaccedilotildees e quando precisam delas Que tipo de formato deve usar para comunicar os resultados ao pessoal
aos gestores de niacutevel superior e a outros grupos de interesse importantes Eacute suficiente fazer circular um relatoacuterio ou deveria organizar uma reuniatildeo ou workshop
Deveria tambeacutem organizar reuniotildees com a comunidade para solicitar retroinformaccedilatildeo dos seus beneficiaacuterios sobre os primeiros resultados da MampA
Como deve apresentar as informaccedilotildees para que sejam uacuteteis aos diferentes tomadores de decisotildees As informaccedilotildees devem ser apresentadas visualmente em diagramas graacuteficos ou mapas Para obter orientaccedilatildeo sobre dados e resultados consulte o Guiatildeo de MampA para Facilitadores de Programas de Desenvolvimento da Lideranccedila
Uso dos resultados para melhorar os dados de rotina em acccedilatildeo ndash Um exemplo do Paquistatildeo
No Paquistatildeo com o apoio do projecto PRIDE 10 equipas de subdistritos aplicaram o Processo de Avaliaccedilatildeo e Melhoria do Desempenho em Sauacutede Puacuteblica (PIP-PH) um conjunto de procedimentos e formatos para tratar dos problemas de sauacutede que identificaram como os mais graves para as suas populaccedilotildees Usaram o PIP-PH para priorizar os problemas e serviccedilos que mais precisavam de atenccedilatildeo a curto prazo para obter melhorias
Como parte do processo PIP-PH as equipas tambeacutem conceberam um formato de Estrutura de Vigilacircncia de Sauacutede (ldquoHealth Watch Frameworkrdquo) para os seus subdistritos como um todo e para os centros de sauacutede dentro deles Cada equipa seleccionou indicadores para medir a situaccedilatildeo de dois problemas de sauacutede puacuteblica os serviccedilos essenciais a eles relacionados e as limitaccedilotildees que afectavam esses serviccedilos
As equipas usaram os formulaacuterios Health Watch para estabelecer valores de base para os indicadores e depois para monitorar esses valores agrave medida que as intervenccedilotildees prosseguiam ao longo do tempo Os centros de sauacutede revisavam e actualizavam o formulaacuterio todo mecircs as equipas do subdistrito inclusive gestores de centros de sauacutede revisavam e discutiam os formulaacuterios trimestralmente os formulaacuterios revisados
As equipas de subdistrito usaram as informaccedilotildees para analisar os motivos do progresso ou falta de progresso para poderem prestar apoio aos gestores dos centros de sauacutede O processo estimulou os gestores dos centros de sauacutede a melhorarem a integridade e precisatildeo dos dados de rotina para poderem usar as informaccedilotildees e monitorarem mais eficazmente os eventos e os serviccedilos essenciais e introduzirem as melhorias necessaacuterias
Exemplos e informaccedilotildees detalhadas sobre o PIP-PH e o Health Watch Framework aparecem no Relatoacuterio Anual do Projecto PRIDE 2007
Para se informar mais sobre meacutetodos adicionais de utilizaccedilatildeo dos dados para melhorar o desempenho de uma organizaccedilatildeo equipa serviccedilo de sauacutede ou intervenccedilatildeo consulte o processo de Avaliaccedilatildeo e Melhoria de Desempenho (Performance Assessment and Improvement ndash PAI) no website de Programa de Lideranccedila Gestatildeo e Sustentabilidade (Leadership Management and Sustainability ndash LMS)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 927
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O processo de Monitoria e Avaliaccedilatildeo deve ser executado com o objectivo de usar imediatamente os resultados para identificar as falhas de desempenho e tomar medidas para reduzir ou eliminar essas falhas Vocecirc deve sempre planear formas de usar os resultados de MampA para o aprendizado e a acccedilatildeo Por exemplo o que deve fazer se as actividades do projecto natildeo trouxerem os resultados esperados O que precisa mudar se os serviccedilos essenciais natildeo estiverem a fornecer os niacuteveis de cobertura previstos ou a alcanccedilar grupos especiacuteficos de pessoas E como vocecirc pode levar esses fatos agrave atenccedilatildeo das pessoas certas para obter uma resposta raacutepida
Desenho de uma ferramenta de MampA
ARMADILHAS DA MONITORIA E AVALIACcedilAtildeO
Haacute vaacuterias armadilhas comuns que impedem que vocecirc como gestor aperfeiccediloe a funccedilatildeo de MampA na sua organizaccedilatildeo
Planeamento excessivo ou insuficienteAlguns gestores podem gastar tempo demais a preparar o plano de MampA do que resultam planos muito elaborados e complicados de usar Outros ficam muito ansiosos por implementar as intervenccedilotildees de MampA e comeccedilam antes de concluir o plano de MampA Isso significa que quando o plano fica pronto eacute geralmente tarde demais para obter dados de base viaacuteveis e a MampA tem que ser adiada Nesses casos o gestor talvez tenha que aceitar fazer a avaliaccedilatildeo mais tarde sem os dados de base que poderia usar para a comparaccedilatildeo
Descuidar-se da monitoria contiacutenua Outra armadilha frequente eacute a falha em incluir a monitoria contiacutenua na implementaccedilatildeo das actividades Isto ocorre frequentemente por falta de experiecircncia Muitos gestores natildeo tiveram acesso a ferramentas de monitoria uacuteteis (que satildeo raras) Talvez natildeo tenham recebido prontamente os resultados ou a retroinformaccedilatildeo do sistema de MampA no passado e por isso natildeo percebem como eacute importante realizar a monitoria de rotina Aleacutem disso gestores podem facilmente se emaranhar nos detalhes da implementaccedilatildeo e descuidar-se da monitoria de rotina
Exagerar Outra armadilha relacionada agrave monitoria eacute tentar rastrear os dados de todos os indicadores possiacuteveis Tentar obter os dados sobre um nuacutemero excessivo de factores torna o processo de monitoria tatildeo complicado que se torna impreciso Isso tambeacutem torna o processo mais lento de modo que no momento em que os dados satildeo recolhidos e analisados eles jaacute natildeo satildeo mais uacuteteis As ferramentas de monitoria muito demoradas e complicadas acabam por natildeo ser usadas O que acontece entatildeo O gestor deixa totalmente de fazer a monitoria e tem que recorrer agrave avaliaccedilatildeo
Se jaacute se deparou com esses problemas eacute hora de mudar a sua taacutectica Vocecirc pode criar um plano de MampA simples e usar ferramentas de monitoria simples Descubra o que tem que medir para obter os dados dentro de 3 a 6 meses o prazo vai depender dos ciclos de planeamento e apresentaccedilatildeo de relatoacuterios da sua organizaccedilatildeo Entenda tambeacutem qual eacute o miacutenimo que deve ser medido em uma avaliaccedilatildeo de longo prazo Busque a simplicidade mesmo se estiver diante de um conjunto complexo de actividades
Tente incluir apenas o que realmente precisa saber Pode testar todos os indicadores propostos antes de incluiacute-los no planeamento de MampA ao perguntar Quem precisa usar essas informaccedilotildees quando e com que finalidade Se um uacutenico indicador de produtos for suficiente perfeito Natildeo sobrecarregue a monitoria com indicadores desnecessaacuterios Muitas vezes menos dados fornecem mais informaccedilotildees
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 928
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
CARACTERIacuteSTICAS DE UMA BOA FERRAMENTA DE MONITORIA
Como gestor natildeo precisa saber tudo para gerir um serviccedilo ou dirigir uma intervenccedilatildeo mas precisa das informaccedilotildees imediatamente Portanto precisa de uma ferramenta de monitoria que possa fornecer informaccedilotildees suficientes e em tempo haacutebil para identificar e corrigir problemas assim que eles surgirem
Uma ferramenta de monitoria deve ser faacutecil de montar e utilizar As tabelas listas de verificaccedilatildeo e diagramas simples satildeo meacutetodos particularmente uacuteteis de recolher organizar e apresentar informaccedilotildees de monitoria
No miacutenimo sua ferramenta de monitoria deve permitir que vocecirc e sua equipa acompanhem
o progresso da implementaccedilatildeo da actividade a entrega de produtos ou resultados imediatos a situaccedilatildeo dos principais indicadores de resultados comparados aos resultados
esperados se for o caso as despesas orccedilamentais a disponibilidade de recursos humanos e financeiros os obstaacuteculos agrave implementaccedilatildeo e o que tem sido feito para superaacute-los
Vocecirc teraacute que responder agraves seguintes perguntas periodicamente
As actividades foram implementadas conforme planeado dentro do prazo e do orccedilamento
Que actividades adicionais natildeo planeadas foram realizadas Que serviccedilos ou produtos directos e tangiacuteveis foram oferecidos como resultado
das actividades que implementamos Estamos dentro do cronograma para atingir nossos resultados a meacutedio e longo
prazo Possuiacutemos os recursos necessaacuterios (pessoal dinheiro medicamentos e
suprimentos etc) para cumprirmos o cronograma
O Quadro 4 apresenta os componentes baacutesicos de uma ferramenta simples de monitoria
QUADRO 4 Uma ferramenta simples de monitoria
Data de exame Metas de resultados
Actividades (segundo o plano de implementaccedilatildeo)
Situaccedilatildeo ateacute o momento
Resultados esperados
Datas para conclusatildeo
Situaccedilatildeo ateacute o momento Comentaacuterios
Desafios e oportunidades
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 929
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quando usadas correctamente as novas tecnologias (por ex os PDAs ldquosmartphonesrdquo laptops e outros) podem facilitar a monitoria e aumentar os benefiacutecios da monitoria das actividades A monitoria automatizada ndash dados que podem ser obtidos e processados automaticamente ndash podem produzir um resumo dos principais indicadores em uma soacute paacutegina faacutecil de ler e num formato que utiliza cores para alertar ao gestor sobre as aacutereas que precisam de maior atenccedilatildeo As informaccedilotildees obtidas em tempo haacutebil sobre alguns indicadores essenciais permitem que o gestor monitore o progresso e tome medidas correctivas
Essa apresentaccedilatildeo visual das informaccedilotildees mais importantes e necessaacuterias para gerir um projecto eacute geralmente conhecida como Painel de Indicadores de Desempenho Os paineacuteis de indicadores de desempenho podem ser usados em qualquer organizaccedilatildeo departamento ou divisatildeo Nas organizaccedilotildees de sauacutede puacuteblica os paineacuteis satildeo usados frequentemente para monitorar os indicadores financeiros e programaacuteticos bem como a cobertura produccedilatildeo eficaacutecia e qualidade de serviccedilos de sauacutede especiacuteficos Um painel de recursos humanos por exemplo incluiria indicadores relevantes para gerir o seguinte
retenccedilatildeo de funcionaacuterios rotatividade de funcionaacuterios formaccedilatildeo de funcionaacuterios lacunas de habilidades satisfaccedilatildeo dos funcionaacuterios custos benefiacutecios e despesas gerais com funcionaacuterios
A Tabela 6 mostra um painel de indicadores de desempenho criado para monitorar serviccedilos de contracepccedilatildeo ciruacutergica voluntaacuteria (CCV)
TABELA 6 Ilustraccedilatildeo de Painel de Indicadores de Desempenho para Serviccedilos de Contracepccedilatildeo Ciruacutergica Voluntaacuteria (CCV)
Serviccedilo Contracepccedilatildeo Ciruacutergica Voluntaacuteria Periacuteodo do Relatoacuterio Janeiro de 2009
No Indicador de Prestaccedilatildeo de Serviccedilos Custo Qualidade
Meta financeira ou programaacutetica
LimiarNuacutemero
alcanccedilado
Percentagem concluiacuteda
Miacuten Maacutex 10 20 30 40 50 60 70 80 90 100
1 Nuacutemero de CCVs realizadas no mecircs 8 10 7
2 Custo meacutedio das CCVs (US$) 100 120 110
3 Orccedilamento mensal da receita com CCVs realizadas (US$) 800 1200 770
4Percentagem das CCVs realizadas por pessoal
qualificadomdash 100 60
5 Percentagem das CCVs realizadas sem complicaccedilotildees 95 100 100
6
Percentagem de utentes satisfeitas com o tratamento
recebido do pessoal que realizou as CCVs
90 100 90
Adaptado de Colindres 2008 p 6
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 930
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja uma descriccedilatildeo do uso de um painel de indicadores de desempenho para a monitoria de rotina num estudo de caso estudo de caso de uma ONG da Boliacutevia o Centro de Investigaccedilatildeo Educaccedilatildeo e Serviccedilos (CIES)
Para obter mais informaccedilotildees de como criar um painel de indicadores consulte ldquoComo usar os paineacuteis de indicadores de desempenho para monitorar as realizaccedilotildees de uma organizaccedilatildeordquo Esse documento ajuda a esclarecer conceitos e define as etapas essenciais para criar paineacuteis de indicadores de desempenho
Como criar uma avaliaccedilatildeo para fins de aprendizagem
Apesar da importacircncia da monitoria de rotina apenas a monitoria natildeo basta para responder agrave pergunta ldquoE entatildeordquo Ou seja suas actividades e produtos contribuiacuteram para melhorar a cobertura dos serviccedilos aumentar o conhecimento ou encorajar comportamentos mais saudaacuteveis
Talvez uma campanha de comunicaccedilatildeo sobre planeamento familiar criada para aumentar a prevalecircncia do uso de contraceptivos tenha levado o governo a abastecer os depoacutesitos distritais com contraceptivos Para que possam aprender com essa experiecircncia e criar campanhas mais eficazes no futuro os gestores do projecto ainda querem saber que produtos foram realmente dispensados aos centros de sauacutede e distribuiacutedos aos utentes Esta secccedilatildeo discute como criar uma avaliaccedilatildeo para fins de aprendizagem
Existem dois motivos para levar a cabo uma avaliaccedilatildeo
1 A avaliaccedilatildeo fornece informaccedilotildees sobre o sucesso da sua equipa unidade ou organizaccedilatildeo para atingir seus objectivos Essas informaccedilotildees ajudam a definir que actividades expandir modificar ou eliminar Ela pode tambeacutem revelar formas de melhorar a concepccedilatildeo e gestatildeo das actividades futuras
2 A avaliaccedilatildeo pode demonstrar uma cultura de prestaccedilatildeo de contas agrave sua agecircncia doadora e a outros grupos de interesse nomeadamente o governo e os beneficiaacuterios dos seus serviccedilos
AVALIACcedilOtildeES FORMATIVAS E SUMATIVAS
Os gestores podem realizar dois amplos tipos de avaliaccedilotildees formativas e sumativas
Avaliaccedilatildeo formativa Este tipo de avaliaccedilatildeo eacute realizada durante o desenvolvimento e implementaccedilatildeo de um programa Seu objectivo eacute orientar o desenho e a implementaccedilatildeo de actividades que incluam as melhores e mais promissoras praacuteticas que aumentaratildeo as chances de sucesso A avaliaccedilatildeo formativa eacute mais comummente utilizada por projectos de grande porte ou de longo prazo em vez de projectos menores e de curto prazo Poreacutem os projectos menores devem pelo menos realizar uma avaliaccedilatildeo raacutepida das melhores praacuteticas durante a fase de planeamento para apoiar a loacutegica e o conteuacutedo proposto para as actividades
A avaliaccedilatildeo formativa inclui uma avaliaccedilatildeo de necessidades para discernir os desejos e requisitos de um grupo da populaccedilatildeo e determinar a melhor forma de atendecirc-los Inclui tambeacutem uma avaliaccedilatildeo de processo para investigar o processo utilizado para executar uma intervenccedilatildeo Pode-se usar a avaliaccedilatildeo do processo para determinar se as actividades foram realizadas de acordo com o plano ndash em termos de sua concepccedilatildeo original estimativas de custos e nuacutemero de pessoas a serem atendidas ndash e se a qualidade dos processos usados estaacute de acordo com as melhores praacuteticas conhecidas
A avaliaccedilatildeo de processo geralmente inclui vaacuterias abordagens Pode incluir uma avaliaccedilatildeo dos dados referentes aos produtos (por ex nuacutemero de redes mosquiteiras fornecidas nuacutemero
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 931
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
de workshops de formaccedilatildeo realizados nuacutemero de participantes dos workshops) assim como entrevistas individuais ou grupos de enfoque entre os beneficiaacuterios Nas intervenccedilotildees de menor porte eacute uma boa praacutetica realizar uma avaliaccedilatildeo de processo mesmo se limitada agrave retroinformaccedilatildeo dos participantes
Avaliaccedilatildeo somativa Este tipo de avaliaccedilatildeo eacute realizada apoacutes a conclusatildeo de um grupo de actividades ou da intervenccedilatildeo para avaliar a qualidade da intervenccedilatildeo e os seus principais resultados A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo a avaliaccedilatildeo do impacto a anaacutelise de custo-benefiacutecio e custo-eficaacutecia e a investigaccedilatildeo operacional
A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo que avalia em que medida uma equipa unidade ou organizaccedilatildeo inteira atingiram seus resultados esperados A avaliaccedilatildeo dos resultados eacute usada para demonstrar que existe uma cultura de prestaccedilatildeo de contas para aperfeiccediloar o projecto de actividades organizacionais para melhorar a distribuiccedilatildeo dos recursos e para promover intervenccedilotildees futuras bem-sucedidas As principais perguntas satildeo Que modificaccedilotildees ocorreram na vida das pessoas das famiacutelias ou da comunidade como resultado do nosso trabalho Que diferenccedila fizemos
Como observamos anteriormente neste capiacutetulo os resultados a meacutedio e longo prazo satildeo geralmente mudanccedilas mensuraacuteveis eou observaacuteveis em duas dimensotildees A primeira dimensatildeo abrange a conscientizaccedilatildeo o conhecimento as atitudes os valores e as habilidades dos participantes de um programa ou dos beneficiaacuterios dos serviccedilos durante ou depois de seu envolvimento na intervenccedilatildeo A segunda dimensatildeo implica mudanccedilas no comportamento desses mesmos grupos
Idealmente as duas dimensotildees deveriam ser medidas em trecircs pontos no comeccedilo e no final do periacuteodo de implementaccedilatildeo e se possiacutevel apoacutes um periacuteodo de acompanhamento adequado Se a mediccedilatildeo do acompanhamento natildeo for viaacutevel pelo menos devem ser comparadas as mediccedilotildees de base e poacutes-intervenccedilatildeo Muitas vezes as mudanccedilas podem ser pequenas mas deve haver alguma melhoria em pelo menos um ou dois resultados para que a intervenccedilatildeo seja considerada um sucesso
A avaliaccedilatildeo dos resultados tenta distinguir entre a influecircncia da intervenccedilatildeo nessas mudanccedilas e a influecircncia de outros factores externos Mas geralmente os avaliadores teratildeo que optar pela atribuiccedilatildeo parcial de um resultado a uma intervenccedilatildeo ou serviccedilo especiacutefico devido agrave dificuldade em determinar uma relaccedilatildeo directa e causal entre o serviccedilo prestado e uma determinada mudanccedila
As avaliaccedilotildees de resultados utilizam geralmente um desenho natildeo experimental (geralmente denominado ldquopreacute e poacutes-avaliaccedilatildeordquo) que simplesmente mede as mudanccedilas antes e depois de uma intervenccedilatildeo ou seja diferente do desenho experimental (que compara os participantes com um grupo de controlo com designaccedilatildeo aleatoacuteria a ambos os grupos) ou do desenho semi-experimental (que compara os participantes com um grupo de controlo mas sem a designaccedilatildeo aleatoacuteria)
O desenho natildeo experimental eacute aceitaacutevel para as mediccedilotildees e relatoacuterios padratildeo dos resultados a meacutedio e longo prazo As ONGs raramente usam os desenhos experimentais Apesar de uma organizaccedilatildeo de grande porte e com muitos recursos poder ocasionalmente receber assistecircncia de especialistas para um desenho experimental a maioria delas acha que as consideraccedilotildees eacuteticas e logiacutesticas impedem a designaccedilatildeo aleatoacuteria dos participantes aos grupos de intervenccedilatildeo e de controlo Aleacutem disso o custo de recolher dados de um grupo de controlo seraacute provavelmente muito elevado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 932
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A avaliaccedilatildeo do impacto eacute outro componente da avaliaccedilatildeo somativa Eacute mais ampla do que a avaliaccedilatildeo de resultados e avalia os efeitos liacutequidos ou gerais ndash tanto intencionais como natildeo intencionais ndash de todo um programa grupo de programas ou grupo de organizaccedilotildees As avaliaccedilotildees de impacto geralmente se estendem por um periacuteodo de 3 a 5 anos
OUTROS TIPOS DE AVALIACcedilOtildeES
Anaacutelise de custo-benefiacutecio e custo-eficaacutecia Estes tipos de anaacutelise tratam da eficiecircncia da intervenccedilatildeo ao analisar os resultados em termos dos seus custos financeiros e do seu valor
Investigaccedilatildeo operacional Trata-se de um balanccedilo ou avaliaccedilatildeo de uma intervenccedilatildeo especiacutefica no contexto de um programa mais amplo que estaacute a fazer vaacuterias intervenccedilotildees A investigaccedilatildeo operacional eacute usada para testar e avaliar novas abordagens de prestaccedilatildeo de serviccedilos de sauacutede Eacute tambeacutem usada para identificar problemas na prestaccedilatildeo de serviccedilos e oferecer soluccedilotildees
A investigaccedilatildeo operacional eacute uma ferramenta poderosa que os gestores de programas e os tomadores de decisotildees podem usar para melhorar e expandir os serviccedilos Os estudos de investigaccedilatildeo operacional comparam intervenccedilotildees que estatildeo dentro da esfera de influecircncia do gestor Os exemplos incluem a avaliaccedilatildeo da eficaacutecia de uma nova estrateacutegia de prevenccedilatildeo de VIHSIDA um novo curso de formaccedilatildeo um novo conjunto de procedimentos para gerir medicamentos um novo meacutetodo contraceptivo ou um novo serviccedilo de sauacutede reprodutiva
O Toolkit de Investigaccedilatildeo Operacional do Programa Horizons sobre VIHSIDA do Population Council fornece informaccedilotildees detalhadas para criar um estudo de investigaccedilatildeo operacional
CONSIDERACcedilOtildeES PARA A FORMULACcedilAtildeO DE UMA AVALIACcedilAtildeO
O que avaliar para responder agrave pergunta ldquoE entatildeordquo Se quiser saber como gestor se as suas actividades tiveram realmente sucesso precisa preparar todas as intervenccedilotildees tendo em mente a avaliaccedilatildeo e incorporar a avaliaccedilatildeo ao seu planeamento organizacional geral Ao definir objectivos deve se perguntar Como saberemos se estamos a atingir esses objectivos Este eacute o ponto de partida para a avaliaccedilatildeo
Seja qual for o porte da sua intervenccedilatildeo ou serviccedilo e o alcance da avaliaccedilatildeo precisaraacute responder a trecircs perguntas durante a fase de desenho e planeamento
1 O que a sua intervenccedilatildeo ou serviccedilo conseguiraacute realizar a curto e longo prazo Se implementar um conjunto de actividades com sucesso ao longo do tempo o que seraacute diferente
2 Como conceptualiza as suas actividades ndash qual eacute a loacutegica subjacente Duas abordagens para identificar a loacutegica do programa satildeo discutidas neste capiacutetulo na secccedilatildeo intitulada Ferramentas e Abordagens Praacuteticas para MampA
3 Que indicadores pode usar para identificar o progresso no alcance dos resultados
Para responder agrave pergunta ldquoE entatildeordquo vocecirc precisa avaliar os factores sobre os quais tem um niacutevel razoaacutevel de controlo Por exemplo um novo serviccedilo criado para oferecer alojamento a pessoas que vivem com SIDA natildeo pode controlar ou afectar a expectativa de vida das pessoas agraves quais atende Mas ao fornecer um ambiente estaacutevel para elas viverem o serviccedilo pode diminuir o niacutevel de stresse e melhorar a qualidade de vida dessas pessoas que antes eram forccediladas a se mudar com frequecircncia
Depois de tratar da pergunta ldquoE entatildeordquo deve tambeacutem se certificar de que a avaliaccedilatildeo seja concebida de forma que quando o processo estiver concluiacutedo vocecirc possa abordar os cinco toacutepicos principais da avaliaccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 933
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
1 Relevacircncia Foi uma boa ideia fazer a intervenccedilatildeo considerando-se a situaccedilatildeo e a necessidade de melhorias Ela tratou das prioridades do grupo alvo ou beneficiaacuterio Por que sim ou por que natildeo
2 Eficaacutecia Os resultados produtos e actividades foram realizados Por que sim ou por que natildeo A loacutegica da intervenccedilatildeo eacute correcta
3 Eficiecircncia Os insumos (recursos e tempo) foram usados da melhor forma possiacutevel para atingir os resultados a meacutedio e longo prazo Por que sim ou por que natildeo O que vocecirc e sua equipa poderiam fazer de modo diferente no futuro para maximizar os resultados a um custo aceitaacutevel
4 Impacto Em que medida a sua intervenccedilatildeo contribuiu para as metas nacionais ou de longo prazo Que consequecircncias natildeo intencionais (positivas ou negativas) suas actividades tiveram Por que essas consequecircncias aconteceram
5 Sustentabilidade Eacute provaacutevel que os resultados positivos continuem depois que sua intervenccedilatildeo terminar Por que sim ou por que natildeo
Uma uacuteltima advertecircncia assim como a monitoria pode-se complicar demasiado a avaliaccedilatildeo Ao preparar um plano de avaliaccedilatildeo o melhor eacute seleccionar um grupo pequeno de indicadores e resistir agrave tentaccedilatildeo de avaliar todos os aspectos da sua intervenccedilatildeo
Assim como a monitoria a avaliaccedilatildeo soacute eacute uacutetil se as informaccedilotildees forem repassadas em tempo haacutebil para o gestor e outros tomadores de decisotildees e grupos de interesse Um problema comum com as avaliaccedilotildees intercalares eacute que os resultados geralmente soacute satildeo informados de 6 a 8 meses mais tarde o que deixa apenas 1 ou 2 anos para fazer mudanccedilas mais permanentes antes que se esgotem os fundos do governo ou da agecircncia doadora
COMO SELECCIONAR SUAS FONTES DE DADOS
Esta secccedilatildeo descreve trecircs tipos de fontes de dados que satildeo comummente usadas para uma avaliaccedilatildeo dados recolhidos rotineiramente inqueacuteritos de grande escala e teacutecnicas de avaliaccedilatildeo raacutepida inclusive a avaliaccedilatildeo participativa
Dados de rotina Os dados recolhidos e analisados rotineiramente por um SIS satildeo denominados ldquoestatiacutesticas de serviccedilordquo Pode-se utilizar vaacuterios sistemas de informaccedilatildeo de serviccedilos de rotina para monitorar os serviccedilos Alguns deles satildeo o sistema baacutesico de registo e relatoacuterio de SIS os sistemas especiais de relatoacuterios sobre programas (por ex tuberculose malaacuteria imunizaccedilatildeo VIH planeamento familiar etc) os sistemas de relatoacuterios sobre agentes comunitaacuterios especiais (por ex registos de agentes comunitaacuterios de sauacutede) o sistema de informaccedilotildees para a vigilacircncia de doenccedilas e o controlo notificaccedilatildeo e resposta a surtos e os relatoacuterios para os sistemas de suporte especiais (por ex medicamentos encaminhamentos e gestatildeo financeira e de recursos humanos)
Esses sistemas fornecem dados que estatildeo imediatamente disponiacuteveis e cujo objectivo eacute informar o que estaacute a acontecer no sector de sauacutede Os dados de rotina incluem por exemplo o nuacutemero de consultas de preacute-natal em uma cliacutenica o nuacutemero e tipo de vacinaccedilotildees fornecidas no local ou o nuacutemero e tipos de contraceptivos fornecidos mensalmente
Os dados sobre os serviccedilos satildeo geralmente recolhidos pelos centros de sauacutede ou postos de sauacutede e enviados para o proacuteximo niacutevel superior do sistema (geralmente o distrito) para serem agregados Esses dados podem entatildeo ser enviados ao proacuteximo niacutevel superior (regional ou provincial) para posterior agregaccedilatildeo antes que cheguem finalmente ao niacutevel central do Ministeacuterio da Sauacutede
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 934
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Idealmente os gestores de centros de sauacutede e ao niacutevel do distrito usam esses dados para orientar as operaccedilotildees diaacuterias acompanhar o desempenho e a prestaccedilatildeo de contas e tomar decisotildees que continuem a melhorar o desempenho Mas haacute vaacuterios obstaacuteculos a essa utilizaccedilatildeo
Muito frequentemente os dados de rotina satildeo imprecisos ou incompletos Apesar dos que utilizam o SIS tentarem produzir informaccedilotildees de alta qualidade e em tempo haacutebil haacute muitas oportunidades de introduzir erros Pode haver pouco apoio para que os gestores e seu pessoal se concentrem nos procedimentos correctos de recolha registo e agregaccedilatildeo dos dados
Os sistemas de sauacutede de vaacuterios paiacuteses enfatizam a importacircncia de apresentar relatoacuterios para os niacuteveis superiores mas natildeo estabeleceram procedimentos e incentivos para encorajar aqueles que fornecem informaccedilotildees a utilizaacute-las mesmo quando os dados satildeo de boa qualidade
Outra dificuldade eacute que as estatiacutesticas sobre serviccedilos fornecem informaccedilotildees apenas sobre os utentes que utilizam os serviccedilos de sauacutede Natildeo podem fornecer informaccedilotildees sobre as muitas pessoas que natildeo utilizam os serviccedilos
Por tudo isso natildeo se pode confiar apenas nas estatiacutesticas sobre serviccedilos para fazer uma avaliaccedilatildeo Elas satildeo melhor utilizadas para a monitoria de rotina dos problemas de sauacutede puacuteblica e dos serviccedilos essenciais relacionados
Inqueacuteritos em grande escala Os inqueacuteritos em grande escala satildeo outra fonte de informaccedilotildees imediatamente disponiacuteveis Incluem inqueacuteritos de base populacional tais como as Inqueacuterito Demograacutefico e de Sauacutede (IDS) dos EUA avaliaccedilotildees completas de centros de sauacutede como a Anaacutelise de Situaccedilatildeo do Population Council e os censos nacionais Em vaacuterios casos os gestores podem usar os dados de um inqueacuterito em grande escala existente para fornecer o contexto para a interpretaccedilatildeo dos dados capturados atraveacutes das suas proacuteprias avaliaccedilotildees
Por exemplo as IDS satildeo realizadas periodicamente para caracterizar a situaccedilatildeo de sauacutede em um paiacutes ou regiatildeo geograacutefica de grande extensatildeo para vaacuterios grupos populacionais homens mulheres crianccedilas bebeacutes e assim por diante Mas os dados das IDS natildeo podem normalmente ser desagregados para uso pelos gestores no niacutevel de distrito ou comunidade
Aleacutem disso como as IDS satildeo realizadas apenas a cada trecircs ou cinco anos as informaccedilotildees que fornecem podem natildeo estar suficientemente actualizadas para as necessidades de avaliaccedilatildeo dos gestores Apesar dessas dificuldades os dados das IDS satildeo uacuteteis para compreender tendecircncias regionais ou nacionais que podem ajudar a explicar dados recolhidos em uma avaliaccedilatildeo de foco especiacutefico
Avaliaccedilotildees raacutepidas Satildeo formas raacutepidas e econoacutemicas de obter informaccedilotildees para a tomada de decisotildees principalmente ao niacutevel da actividade Os exemplos incluem entrevistas quando os utentes saem de suas consultas as avaliaccedilotildees de pequena escala dos centros de sauacutede os inqueacuteritos raacutepidos por amostragem o exame analiacutetico de registos as entrevistas com grupos de enfoque e outros meacutetodos participativos
Poderaacute usar teacutecnicas de avaliaccedilatildeo raacutepida para complementar as informaccedilotildees obtidas com dados de rotina ou inqueacuteritos de grande escala As avaliaccedilotildees raacutepidas podem-lhe fornecer informaccedilotildees valiosas sobre sua aacuterea de captaccedilatildeo e sua aacuterea de responsabilidade mais ampla ndash ou seja as comunidades e as populaccedilotildees que deveriam ter acesso aos serviccedilos essenciais prestados por um centro de sauacutede determinado Elas podem tambeacutem fornecer contexto e uma compreensatildeo qualitativa dos dados quantitativos recolhidos pelos meacutetodos mais formais
Dentro da categoria de avaliaccedilotildees raacutepidas os meacutetodos participativos e os inqueacuteritos raacutepidos por amostragem merecem a sua atenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 935
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Meacutetodos participativos (tambeacutem chamados de aprendizagem e acccedilatildeo participativas) Essas teacutecnicas e meacutetodos visam incorporar o conhecimento e as opiniotildees dos membros da comunidade no planeamento e gestatildeo de projectos de desenvolvimento no esforccedilo para influenciar as poliacuteticas e na implementaccedilatildeo de programas Eles permitem incluir vozes da comunidade nas poliacuteticas no planeamento e nos inqueacuteritos e criam um senso de propriedade e participaccedilatildeo nos resultados de MampA e nas recomendaccedilotildees feitas pela organizaccedilatildeo e por seus beneficiaacuterios
Ao contraacuterio de outras teacutecnicas de avaliaccedilatildeo raacutepida os meacutetodos participativos natildeo se baseiam em amostragens Eles usam entrevistas individuais ou com informantes essenciais (inclusive entrevistas com utentes ao saiacuterem de suas consultas) entrevistas em grupo estudos de caso e outros meacutetodos qualitativos para identificar as condiccedilotildees locais e entender as perspectivas e prioridades locais
Em vaacuterios locais haacute membros da comunidade que natildeo podem ler nem escrever e por isso os meacutetodos participativos dependem frequentemente da comunicaccedilatildeo oral com apoio de imagens siacutembolos objectos fiacutesicos e memoacuteria colectiva
Os meacutetodos participativos podem ser usados antes durante e apoacutes a implementaccedilatildeo de uma intervenccedilatildeo ou um conjunto de actividades Eles fornecem informaccedilotildees para o projecto e a avaliaccedilatildeo e permitem a participaccedilatildeo activa das partes interessadas na tomada de decisotildees Durante a implementaccedilatildeo os meacutetodos participativos satildeo uacuteteis para identificar e solucionar problemas
Aproveite para examinar e utilizar uma lista de recursos online sobre inqueacuterito qualitativo e directrizes sobre discussotildees em grupos de enfoque no Community Tool Box da Universidade de Kansas
Inqueacuteritos raacutepidos por amostragem Estes inqueacuteritos podem ser utilizados para recolher informaccedilotildees padronizadas de uma amostra pequena e cuidadosamente seleccionada de pessoas ou domiciacutelios em uma aacuterea beneficiaacuteria Eles podem descrever as condiccedilotildees em uma comunidade particular ou grupo-alvo e permitem comparar grupos diferentes em um determinado momento ou mudanccedilas no mesmo grupo ao longo do tempo Permitem tambeacutem comparar condiccedilotildees actuais com os resultados planeados
Um dos inqueacuteritos mais comuns de pequena amostragem eacute o inqueacuterito CAP (Conhecimentos Atitudes e Praacuteticas) baseado em uma amostra de 30 agrupamentos
Amostragem para Garantia de Qualidade de Lotes (Lot Quality Sampling - LQAS) Essa eacute outra teacutecnica de avaliaccedilatildeo raacutepida que se usa cada vez mais na aacuterea de sauacutede puacuteblica A LQAS utiliza amostragens muito pequenas para obter informaccedilotildees confiaacuteveis em uma pequena aacuterea geograacutefica ou unidade administrativa Pode ser usada para detectar de forma precisa os extremos do desempenho ndash para determinar se uma intervenccedilatildeo foi mais aleacutem de um limiar superior de desempenho ou natildeo conseguiu atingir um limiar inferior de desempenho em termos de qualidade ou cobertura As amostras de lotes podem tambeacutem ser combinadas para fornecer estimativas de cobertura em uma aacuterea geograacutefica mais ampla
Uma busca na Web revelaraacute recursos uacuteteis aqui temos um sobre os inqueacuteritos CAP e outro sobre LQAS A aacuterea de MampA do website do CORE Group inclui ligaccedilotildees com ferramentas e recursos importantes para a avaliaccedilatildeo raacutepida criados pelo Grupo de Trabalho de MampA do CORE Group
Como gestor deve revisar todas as fontes de dados jaacute existentes antes de planear a sua avaliaccedilatildeo A Tabela 7 apresenta as vantagens e desvantagens das trecircs principais fontes de
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 936
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 7 Resumo das trecircs fontes de dados mais comuns para uma avaliaccedilatildeo
Fonte de dados Vantagens Limitaccedilotildees
Estatiacutesticas de serviccedilo Dados sobre a populaccedilatildeo de utentes e serviccedilos cliacutenicos que satildeo recolhidos rotineiramente nos registos dos utentes e nos registos cliacutenicos
Disponiacuteveis imediatamente
Cobrem todos os tipos de serviccedilos de sauacutede e todas as aacutereas do paiacutes
Podem ser desagregados para os niacuteveis local e de distrito
Uso econoacutemico
Soacute lhe informam sobre clientes actuais sem informaccedilotildees sobre as pessoas que natildeo usam os serviccedilos de sauacutede e podem ser utentes em potencial
Natildeo fornecem informaccedilotildees sobre valores percepccedilotildees ou comportamentos da comunidade
Natildeo reflectem as pessoas que optam por fontes privadas de serviccedilos
Podem ser inexactas se os locais de prestaccedilatildeo de serviccedilos natildeo registarem os dados correctamente de forma legiacutevel e em tempo haacutebil
Inqueacuteritos de grande escala Inqueacuteritos de base populacional e avaliaccedilotildees de grande escala dos centros de sauacutede
Dados relevantes precisos e confiaacuteveis
Podem medir as tendecircncias nacionais de sauacutede identificar aacutereas com problemas e ajudar a concentrar os recursos do paiacutes em aacutereas de maior carecircncia
Geram valores meacutedios para as aacutereas urbanas e rurais regiotildees e proviacutencias
Fornecem um contexto para interpretar os dados recolhidos localmente
Podem gerar informaccedilotildees adicionais a partir dos seus conjuntos de dados informatizados
Geralmente natildeo podem desagregar os dados para fornecer meacutedias para as aacutereas sub-regionais (distritos ou municipalidades)
Geralmente natildeo satildeo realizadas anualmente os dados se tornam desactualizados rapidamente se as populaccedilotildees ou condiccedilotildees de sauacutede se modificarem rapidamente
Avaliaccedilotildees raacutepidas Meacutetodos focados para avaliar as necessidades locais e tomar decisotildees em acircmbito local
Raacutepidas e econoacutemicas
Resultam em acccedilatildeo local
Haacute directrizes para ajudar os gestores em vaacuterias dessas teacutecnicas
Fornecem aos gestores a capacidade de recolher os dados necessaacuterios
Os inqueacuteritos domiciliares (por ex LQAS ou CAP) podem obter precisatildeo suficiente para fins de avaliaccedilatildeo
Equilibra a necessidade de resultados representativos e objectivos com a necessidade de usar projectos levemente menos rigorosos que satildeo mais viaacuteveis em aacutereas locais
Usam escala e acircmbito reduzidos para produzir resultados em tempo haacutebil e de baixo custo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 937
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
dados que foram discutidas acima estatiacutesticas rotineiras de serviccedilos inqueacuteritos em grande escala e teacutecnicas de avaliaccedilatildeo raacutepida
Que niacutevel de qualidade os dados do SIS precisam ter para serem uacuteteis ndash que niacutevel de abrangecircncia precisatildeo e apresentaccedilatildeo em tempo haacutebil Para as suas necessidades de gestatildeo mesmo que natildeo sejam perfeitos os dados podem ser suficientemente bons para ter um efeito poderoso como nos mostra o exemplo de Madagascar
Dados do SIS pontos fortes e limitaccedilotildees
Subestimar o valor e a utilidade do SIS eacute infelizmente uma tendecircncia Eacute verdade que o SIS tem problemas frequentemente mas tambeacutem eacute grande o seu potencial Como vimos em
Como usar e melhorar dados imperfeitos do SIS ndash Um exemplo de Madagascar
Um SIS de base comunitaacuteria mais preciso e mais oportuno Um projecto de Madagascar implementou um meacutetodo baseado na comunidade para aumentar o uso de meacutetodos de planeamento familiar denominado ldquoComunidades Campeatildesrdquo em 50 dos 110 distritos do paiacutes O meacutetodo utilizou exclusivamente os dados do SIS para monitorar e avaliar as realizaccedilotildees das comunidades participantes
Em primeiro lugar foi estabelecida uma base de referecircncia para cada comunidade ao usar os dados do seu centro de sauacutede Em seguida o pessoal do centro de sauacutede e os representantes da comunidade identificaram metas para 10 indicadores que determinariam se uma comunidade tinha alcanccedilado a posiccedilatildeo de campeatilde apoacutes 12 meses de implementaccedilatildeo Cada comunidade monitorava seu proacuteprio progresso em uma reuniatildeo trimestral de verificaccedilatildeo
Apoacutes 12 meses o pessoal do projecto voltou a cada comunidade para avaliar os resultados Examinaram os dados do relatoacuterio de monitoria de rotina de cada centro de sauacutede e para cada indicador Prepararam tambeacutem um relatoacuterio sobre os dados de cada comunidade e o enviaram para o supervisor de niacutevel distrital para a sua confirmaccedilatildeo com base nos registos informatizados do distrito As fontes de dados para os relatoacuterios do centro de sauacutede e registos de distrito foram as mesmas (registos dos centros de sauacutede) e por isso raramente ocorreu uma discrepacircncia Mas o que interessava era envolver o supervisor distrital no exame dos dados do centro de sauacutede para mostrar a utilidade de se usar ateacute mesmo dados simples nesse niacutevel
O projecto tambeacutem cooperou com o Ministeacuterio da Sauacutede a niacutevel distrital para melhorar a precisatildeo a abrangecircncia e a prontidatildeo do SIS A ecircnfase era obter dados mais completos dos centros de sauacutede e reduzir o tempo gasto pelo escritoacuterio distrital para receber o relatoacuterio do centro de sauacutede apreciaacute-lo devolvecirc-lo ao centro para qualquer correcccedilatildeo recebecirc-lo novamente dar entrada dos dados no sistema e finalmente enviaacute-los ao niacutevel central Os distritos satildeo responsaacuteveis por cooperar com os centros de sauacutede para melhorar o registo de dados e actualizar suas proacuteprias teacutecnicas de processamento de dados
Apoacutes dois anos de assistecircncia teacutecnica o SIS tinha realmente melhorado segundo os indicadores de precisatildeo abrangecircncia e prontidatildeo As melhorias mais notaacuteveis foram em prontidatildeo o tempo gasto pelo escritoacuterio distrital no processo descrito acima reduziu-se de 12 para 3 meses
Imperfeitas mais mesmo assim valiosos Deve-se lembrar que o projecto ldquoComunidades Campeatildesrdquo teve oacuteptimo resultado apesar dos dados imperfeitos Seu numerador (o nuacutemero de utentes regulares de planeamento familiar) era detalhado e preciso Mas suas estimativas das taxas de prevalecircncia do uso de contraceptivos natildeo eram muito precisas porque o denominador (nuacutemero de mulheres em idade reprodutiva) era apenas uma estimativa baseada num censo desactualizado e em estimativas anuais do governo sobre percentagens de crescimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 938
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Madagascar o projecto Comunidades Campeatildes melhorou o sistema substancialmente num periacuteodo de dois anos Nesse caso o sistema jaacute se encontrava relativamente funcional porque projectos anteriores haviam feito um grande esforccedilo para implantar o sistema e tornaacute-lo mais soacutelido Ao aprimorar a forma como o sistema era administrado e os dados eram usados o projecto posterior conseguiu fazer uma grande diferenccedila por meio de pequenas modificaccedilotildees
Os dados do SIS natildeo satildeo 100 exactos e nunca seratildeo Esta eacute a realidade com a qual todos os gestores tecircm que trabalhar Mas os dados natildeo precisam ser perfeitos para serem uacuteteis Eacute possiacutevel fazer a monitoria e a gestatildeo com dados imperfeitos Informaccedilotildees obtidas em tempo
(continuaccedilatildeo)
No entanto o projecto constatou que as taxas de prevalecircncia de uso de contraceptivos eram suficientemente boas para acompanhar o desempenho das comunidades que participavam do meacutetodo de Comunidades Campeatildes O pessoal do projecto tambeacutem complementou as comparaccedilotildees dessas taxas com as comparaccedilotildees dos valores do numerador nuacutemeros simples que faziam sentido para o pessoal do centro de sauacutede e tambeacutem para as comunidades
O niacutevel central comeccedilou a organizar workshops regionais trimestrais para divulgar os resultados ao niacutevel distrital Juntos os gestores dos niacuteveis distritais regionais e centrais analisaram o progresso e classificaram os distritos com base no seu desempenho Usaram a anaacutelise de causa-raiz ndash um processo que identifica as causas subjacentes de um problema ndash para entender os obstaacuteculos enfrentados pelos distritos que apresentavam baixo desempenho (Consulte o Apecircndice A no Capiacutetulo 2 deste guia para obter mais informaccedilotildees sobre a anaacutelise de causa-raiz) Finalmente o Ministeacuterio de Sauacutede mobilizou o apoio de agecircncias doadoras e de organizaccedilotildees parceiras para ajudaacute-los a melhorar
O ministeacuterio comeccedilou a usar as informaccedilotildees de sauacutede para administrar realmente o sistema de sauacutede Antes dessa intervenccedilatildeo poucas organizaccedilotildees confiavam ou utilizavam os dados do SIS Mas quando ficou claro que o sistema funcionava as agecircncias doadoras passaram a confiar as organizaccedilotildees parceiras passaram a utilizaacute-lo e o ministeacuterio se orgulhou do trabalho Pela primeira vez tinham uma visatildeo mais niacutetida do que acontecia em todo o paiacutes e podiam usar essas informaccedilotildees para buscar o apoio de agecircncias doadoras se necessaacuterio
Do mesmo modo os centros de sauacutede raramente usavam seus proacuteprios dados Eles simplesmente faziam os registos e os enviavam para o escritoacuterio distrital sem nem mesmo receber retroinformaccedilatildeo do mesmo Apoacutes a conclusatildeo do projecto perceberam como os dados mais precisos podiam ser usados em seu benefiacutecio e das comunidades
Os distritos tambeacutem actuavam antes de uma forma pouco informada Cada distrito dependia apenas dos seus proacuteprios dados e funcionava num vaacutecuo As mudanccedilas no SIS e o encorajamento do governo central forneceram aos distritos oportunidades para comparar seu trabalho e aprender uns com os outros
Aprendizagem com dados mais precisos completos e oportunos Os dados satildeo geralmente utilizados para fazer comparaccedilotildees mas satildeo menos frequentemente utilizados como ferramenta de aprendizagem Nesse caso depois que os relatoacuterios comeccedilaram a chegar dentro do prazo o Ministeacuterio da Sauacutede usou os dados ndash inclusive dados imperfeitos ndash para descobrir que distritos tinham um desempenho ruim e que distritos estavam melhor que os outros Assim aprenderam com os de melhor desempenho ao perguntar Por que seus resultados satildeo tatildeo bons O que estavam a fazer de diferente O que poderia ser replicado Finalmente aplicaram a aprendizagem ao usar esses distritos como modelos e ao oferecer mais apoio aos de pior desempenho
Todo o sistema de sauacutede se entusiasmou com as informaccedilotildees que podiam produzir e usar A comeccedilar do topo esse entusiasmo chegou aos niacuteveis inferiores e os motivou a melhorar sua recolha e processamento de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 939
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
haacutebil e com 75 de precisatildeo satildeo melhores que as informaccedilotildees com 95 de precisatildeo que chegam com vaacuterios meses de atraso
Apesar do seu grande valor por si soacutes os dados do SIS natildeo atenderatildeo a todas as necessidades de informaccedilatildeo de muitas organizaccedilotildees Algumas organizaccedilotildees e agecircncias doadoras precisam de dados que exigem avaliaccedilotildees ou sistemas especiais Aleacutem disso vaacuterias intervenccedilotildees foram projectadas para modificar o conhecimento as atitudes e as praacuteticas dos beneficiaacuterios factores que natildeo satildeo capturados nos dados de serviccedilo Eacute importante usar os dados do SIS sempre que possiacutevel e complementaacute-los com avaliaccedilotildees locais quando necessaacuterio
Como gestor de um programa de sauacutede ou de serviccedilos de sauacutede parte do seu trabalho deveria ser o de melhorar o SIS em seu paiacutes Ele eacute o uacutenico sistema de informaccedilotildees sustentaacutevel na maioria dos paiacuteses Os sistemas de informaccedilatildeo criados e mantidos por agecircncias doadoras ou organizaccedilotildees externas tecircm duraccedilatildeo limitada mas o SIS eacute parte permanente do seu legado
Se todos os parceiros e agecircncias doadoras trabalharem com o Ministeacuterio de Sauacutede para prestar assistecircncia teacutecnica e financeira ao SIS ele poderaacute render informaccedilotildees que trazem grandes melhorias para os serviccedilos de sauacutede e que justificam plenamente o investimento no mesmo
Praacuteticas comprovadas
Um sistema de MampA deveria proporcionar aos gestores o que eles precisam saber para agir Deve se basear em indicadores relevantes faacuteceis de usar e que possam ser fornecidos em tempo haacutebil para os ciclos de planeamento e apresentaccedilatildeo de relatoacuterios
Os resultados de MampA natildeo se destinam apenas ao pessoal de MampA da sua organizaccedilatildeo ou agrave agecircncia doadora As informaccedilotildees de MampA satildeo um recurso fundamental para as acccedilotildees e a aprendizagem Se o seu processo de MampA tiver mecanismos de retroinformaccedilatildeo que permitam aos tomadores de decisotildees reflectirem sobre os resultados e absorverem o que precisam para seus proacuteprios fins eles assumiratildeo o controlo do processo e utilizaratildeo o que ele oferecer
Se vocecirc define suas actividades de MampA no comeccedilo de uma intervenccedilatildeo ou projecto junto com o plano de acccedilatildeo para o projecto teraacute mais oportunidades de orientar e acompanhar a implementaccedilatildeo das actividades
Quando satildeo demasiado elaborados e complicados os planos de MampA natildeo satildeo usados Elabore um plano de MampA simples escolha ferramentas de monitoria faacuteceis de usar e seleccione a menor quantidade possiacutevel de indicadores para acompanhar o progresso e introduzir as mudanccedilas necessaacuterias ao longo do caminho
Para fortalecer um SIS eacute preciso trabalhar com as pessoas envolvidas os responsaacuteveis pelo sistema que registam transferem analisam comunicam e utilizam os dados e as informaccedilotildees para a gestatildeo dos serviccedilos
Ao fornecer os dados do SIS para os tomadores de decisotildees vocecirc deve reconhecer as diferenccedilas na frequecircncia dos relatoacuterios e nas quantidades de dados agregados e desagregados necessaacuterios aos niacuteveis diferentes de governo ou agraves organizaccedilotildees natildeo governamentais
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 913
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
QUADROS LOacuteGICOS
Desde a elaboraccedilatildeo em 1969 de uma abordagem de quadro loacutegico para a USAID (Agecircncia dos EUA para o Desenvolvimento Internacional) os quadros loacutegicos (tambeacutem denominados Modelos Loacutegicos) foram adoptados depois de vaacuterias adaptaccedilotildees por vaacuterias organizaccedilotildees de desenvolvimento internacional e bilateral
A Figura 5 mostra os elementos de um Quadro Loacutegico
O Quadro Loacutegico ajuda os gestores e as equipas a responder a quatro perguntas principais
1 O que queremos realizar e por quecirc2 Como mediremos o sucesso 3 Que condiccedilotildees devem existir em cada fase da nossa intervenccedilatildeo4 Que recursos e processos seratildeo necessaacuterios para chegarmos laacute
Os Quadros Loacutegicos ajudam a identificar as conexotildees causais da sequecircncia de resultados insumos rarr processos (actividades) rarr produtos rarr resultados a meacutedio e longo prazo rarr impacto Essas conexotildees causais determinam a loacutegica da intervenccedilatildeo e orientam a selecccedilatildeo de indicadores para cada fase da sequecircncia de resultados
FIGURA 5 Elementos tiacutepicos de um quadro loacutegico
Objectivos IndicadoresFormas de verificaccedilatildeo Pressupostos
Meta O objectivo final ou impacto pretendido da intervenccedilatildeo
Medidas usadas para avaliar ateacute que ponto as metas foram atingidas
Meacutetodos e fontes de informaccedilatildeo para medir ou avaliar os indicadores de metas
Factores ou condiccedilotildees necessaacuterios para a sustentabilidade a longo prazo
PropoacutesitoResultado Mudanccedilas ou benefiacutecios esperados a serem conseguidos para utentes comunidades organizaccedilotildees ou sistemas
Medidas usadas para avaliar ateacute que ponto foi alcanccedilado o propoacutesito ou resultado
Meacutetodos e fontes de informaccedilatildeo para medir ou avaliar indicadores de propoacutesitoresultado
Factores ou condiccedilotildees necessaacuterios para o sucesso do programa nesse niacutevel e passagem para o seguinte niacutevel
Produtos Resultados directos e tangiacuteveis das actividades do programa que deveratildeo atingir o propoacutesito
Medidas usadas para avaliar ateacute que ponto os produtos foram apresentados
Meacutetodos e fontes de informaccedilatildeo para medir e avaliar os indicadores de produtos
Factores ou condiccedilotildees necessaacuterios para o sucesso do programa neste niacutevel e passagem para o seguinte niacutevel
ProcessosActividades Medidas tomadas por um programa para atingir os objectivos definidos
InsumosRecursos Pessoal tempo materiais e fundos necessaacuterios para executar as actividades
Meacutetodos e fontes de informaccedilatildeo utilizados para mostrar que as actividades foram concluiacutedas
Factores ou condiccedilotildees necessaacuterios para o sucesso do programa neste niacutevel e passagem para o seguinte niacutevel
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 914
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para entender como um Quadro Loacutegico explicita a loacutegica de uma intervenccedilatildeo examine novamente a Figura 5 Uma seacuterie de relacionamentos condicionais (ldquose entatildeordquo) conecta cada componente do Quadro Loacutegico
1 Se os recursos necessaacuterios estiverem disponiacuteveis e supondo-se que as condiccedilotildees sejam favoraacuteveis entatildeo as actividades do programa podem ser implementadas e
2 hellipse as actividades do programa forem implementadas com sucesso e supondo-se que existam condiccedilotildees favoraacuteveis especiacuteficas entatildeo os produtos e resultados esperados poderatildeo ser alcanccedilados e
3 hellipse os produtos e resultados esperados forem alcanccedilados e supondo-se que existam as condiccedilotildees favoraacuteveis especiacuteficas entatildeo a meta estrateacutegica poderaacute ser atingida
O Quadro Loacutegico pode ser uacutetil na conceptualizaccedilatildeo de um projecto durante o periacuteodo de planeamento e na avaliaccedilatildeo do progresso e aplicaccedilatildeo de medidas correctivas durante a implementaccedilatildeo Como qualquer outro quadro de referecircncia ele possui vantagens e desvantagens como mostra a Tabela 1
O Apecircndice A deste capiacutetulo fornece um exemplo de Quadro Loacutegico para um programa de visita domiciliar desenvolvido pelo Banco Interamericano de Desenvolvimento
QUADROS CONCEPTUAIS
Estes satildeo semelhantes aos Quadros Loacutegicos no sentido de que descrevem uma sequecircncia de resultados mas levam em consideraccedilatildeo as razotildees subjacentes de por que ocorrem as mudanccedilas ao longo da sequecircncia de resultados Enquanto os Quadros Loacutegicos simplesmente afirmam que as actividades traratildeo resultados ainda maiores os quadros conceptuais permitem mapear os factores que na sua opiniatildeo satildeo criacuteticos e explicam porque esses factores satildeo importantes para o sucesso
Este tipo de mapeamento ajuda a decidir que factores devem ser monitorados durante a implementaccedilatildeo das actividades Quando os dados mostram que esses elementos criacuteticos foram ou natildeo alcanccedilados pode-se compreender melhor por que uma intervenccedilatildeo teve ou natildeo sucesso e o que poderia ser modificado no futuro
Veja as vantagens e desvantagens dos quadros conceptuais na Tabela 2
TABELA 1 Visatildeo geral do quadro loacutegico
Vantagens Desvantagens
Melhora a qualidade dos planos de intervenccedilatildeo ao exigir a definiccedilatildeo de indicadores e objectivos claros e a anaacutelise de pressupostos e riscos
Quando usado regularmente durante uma intervenccedilatildeo eacute uma ferramenta de gestatildeo eficaz para orientar a implementaccedilatildeo e a MampA
Resume a elaboraccedilatildeo de planos complexos
Apoia a preparaccedilatildeo de planos de implementaccedilatildeo detalhados
Pressupotildee uma relaccedilatildeo linear entre insumos-produtos-resultados que natildeo leva em consideraccedilatildeo outros factores de influecircncia
Se usado rigidamente durante o processo de formulaccedilatildeo poderaacute restringir a criatividade e a inovaccedilatildeo
Se natildeo for actualizado durante a implementaccedilatildeo pode ser uma ferramenta estaacutetica que natildeo reflecte as condiccedilotildees em mudanccedila
Geralmente a formaccedilatildeo e o acompanhamento satildeo necessaacuterios para usar esse meacutetodo correctamente
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 915
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O modelo conhecido como Caminho de Mudanccedila (Pathway to Change) eacute um exemplo particularmente uacutetil de um quadro conceptual Esse modelo utiliza um formato de condicionalidade (ldquose entatildeordquo) para mostrar passo a passo como os resultados a meacutedio e longo prazo foram conceptualizados e como seratildeo alcanccedilados A Figura 6 eacute um exemplo de aplicaccedilatildeo do Caminho de Mudanccedila em um projecto de sauacutede de seis meses de duraccedilatildeo e acircmbito municipal na Nicaraacutegua
Caminho de Mudanccedila Tratamos deste modelo neste capiacutetulo devido agrave sua utilidade para os gestores e seus benefiacutecios como actividade de fortalecimento de uma equipa O estabelecimento de um Caminho de Mudanccedila eacute geralmente um processo participativo que permite que a sua equipa ou unidade e outros grupos de interesse formulem uma intervenccedilatildeo e determinem como ela vai funcionar O produto final eacute um mapa que mostra como uma acccedilatildeo estaacute relacionada com outras e como todas elas acrescentam algo ao resultado esperado Frequentemente o estabelecimento de um caminho expotildee as crenccedilas subjacentes que as pessoas de uma organizaccedilatildeo mantecircm sobre a forma em que suas acccedilotildees promovem mudanccedilas
A criaccedilatildeo de um Caminho de Mudanccedila tem vaacuterios benefiacutecios Em primeiro lugar exige que a sua equipa examine cada acccedilatildeo proposta e responda agraves seguintes perguntas
Todas as actividades contribuem para o resultado esperado Se a resposta for negativa algumas actividades deveriam ser modificadas acrescentadas ou eliminadas
As actividades satildeo sequenciais Elas estatildeo relacionadas de uma forma loacutegica Elas se somam umas agraves outras para formar um conjunto racional e coerente de acccedilotildees
Pensamos em todos os produtos e resultados necessaacuterios para atingir nosso resultado esperado
Temos os recursos necessaacuterios para implementar as actividades propostas Em quanto tempo atingiremos o resultado que desejamos Que outros factores podem contribuir ou entravar cada uma das actividades do
caminho
Em segundo lugar sua equipa deve tornar expliacutecita e chegar a um acordo sobre a loacutegica subjacente de um plano de intervenccedilatildeo Em outras palavras deve mostrar no papel como cada acccedilatildeo resultaraacute na mudanccedila desejada em cada niacutevel do mapa Por uacuteltimo o caminho define que resultados imediatos e resultados a meacutedio e longo prazo a equipa deve monitorar e que indicadores devem usar
TABELA 2 Visatildeo geral do quadro conceptual
Vantagens Desvantagens
Fornece um mapeamento visual e flexiacutevel de planos de intervenccedilatildeo complexos
Quando usado regularmente durante a implementaccedilatildeo permite uma retroinformaccedilatildeo antecipada do que estaacute ou natildeo a funcionar e por quecirc
Auxilia na identificaccedilatildeo de efeitos colaterais natildeo previstos
Ajuda a priorizar os problemas a serem investigados mais profundamente talvez ao usar meacutetodos mais focalizados de recolha de dados ou teacutecnicas mais sofisticadas de MampA
Pode se tornar extremamente complexo se a escala de actividades for muito grande ou se for reunida uma lista exaustiva de factores e pressupostos
Os grupos de interesse podem discordar sobre os factores determinantes que consideram ser os mais importantes
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 916
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Como se lecirc um mapa de Caminho de Mudanccedila O caminho pode ser lido como um fluxograma em que caixas e setas mostram a relaccedilatildeo entre as acccedilotildees e os efeitos como mostrado na Figura 6 O resultado esperado aparece no topo do caminho e os resultados imediatos que devem ser atingidos para se chegar laacute satildeo exibidos no proacuteximo niacutevel Os produtos que devem ser obtidos para conseguir os resultados a meacutedio e longo prazo aparecem no proacuteximo niacutevel inferior Finalmente as actividades aparecem no fundo ou base
Quando lido de baixo para cima o mapa mostra que actividades satildeo necessaacuterias para conseguir os produtos e que resultados a meacutedio e longo prazo satildeo necessaacuterios para se chegar ao topo Eacute preciso sempre poder traccedilar um caminho desde o comeccedilo de suas acccedilotildees ateacute o resultado esperado
Pode ser uacutetil imaginar o caminho como o organigrama de uma empresa vocecirc pode comeccedilar da base do organigrama como assistente administrativo passar a coordenador de escritoacuterio depois a uma funccedilatildeo de gestatildeo e finalmente ocupar o gabinete do director
A criaccedilatildeo de um Caminho de Mudanccedila Para desenvolver um Caminho da Mudanccedila sua equipa mapeia a mudanccedila de forma reversa Comeccedila no final do caminho (no topo da
FIGURA 6 Exemplo de um Caminho de Mudanccedila
Resultado 180 dos pacientes
estatildeo satisfeitos com os serviccedilos prestados no
centro de sauacutede
Resultado 260 das mulheres
entre 15 e 49 anos na aacuterea de captaccedilatildeo do centro de
sauacutede entendem a importacircncia do planeamento familiar
para o espaccedilamento dos nascimentos
Resultado 3Todos os meacutetodos
contraceptivos modernos estatildeo
disponiacuteveis no centro de sauacutede
Produto 1Os tempos de
espera no centro de sauacutede se
reduziram de 40 para 20 minutos
Produto 2Eacute oferecida
orientaccedilatildeo a todos os pacientes em
espaccedilo privado do centro de sauacutede
Produto 3Voluntaacuterias
realizam palestras semanais sobre temas
de sauacutede reprodutiva na comunidade
Produto 4Todos os stocks
de contraceptivos satildeo monitorados semanalmente
Actividade 1Realizar um
inqueacuterito sobre o uxo de
pacientes e cumprir
recomendaccedilotildees
Actividade 2Transformar um canto do
centro de sauacutede para a
orientaccedilatildeo dos pacientes
Actividade 3Mobilizar as
ONGs parceiras para imprimir panetos de informaccedilatildeo educaccedilatildeo e
comunicaccedilatildeo
Actividade 4Mobilizar as
ONGs parceiras para dar
formaccedilatildeo ou equipar as voluntaacuterias
Actividade 5Recrutar liacutederes
comunitaacuterios para prestar
apoio agraves palestras sobre
sauacutede reprodutiva
Actividade 6Desenvolver
um sistema de registo e
pedidos de suprimentos
contraceptivos
Resultado esperadoAumento na percentagem de utentes de planeamento familiar de 50 para 52
durante o periacuteodo de Junho a Dezembro de 2006
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 917
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
sequecircncia) e define a meta da organizaccedilatildeo a longo prazo ou o resultado esperado de uma intervenccedilatildeo Em seguida preenche o mapa ao trabalhar de cima para baixo onde identifica finalmente as actividades principais os primeiros elementos do seu plano de implementaccedilatildeo
Enquanto se desloca pelo caminho faccedila trecircs perguntas Que resultados precisam acontecer para contribuir agrave meta de longo prazo Que produtos precisam ser obtidos antes disso para alcanccedilar os resultados Que actividades precisam acontecer antes disso para conseguir os produtos
O desenho de uma intervenccedilatildeo dessa forma pode ajudar a revelar as condiccedilotildees necessaacuterias para atingir os resultados a meacutedio e longo prazo e a meta de longo prazo Talvez sejam necessaacuterias vaacuterias tentativas para criar um Caminho de Mudanccedila com o qual todos estejam de acordo Os resultados produtos e acccedilotildees podem ser acrescentados modificados e eliminados ateacute que eventualmente surja um mapa que conte a histoacuteria com a qual sua equipa pode concordar O debate eacute frequentemente a parte mais importante da experiecircncia porque a equipa junta define as expectativas pressupostos e caracteriacutesticas do processo de mudanccedila
Uso da sequecircncia ldquopara querdquo como forma de verificar as vias de um Caminho de Mudanccedila Uma boa forma de verificar a loacutegica do mapa do seu caminho eacute inverter o processo e criar uma sequecircncia de ldquopara querdquo para cada actividade O exemplo na Figura 7 mostra como fazer isso para a Actividade 5 da Figura 6 O movimento na sequecircncia ldquopara querdquo eacute o
FIGURA 7 Sequecircncia ldquopara querdquo para uma actividade de um Caminho de Mudanccedila
Dar formaccedilatildeo agraves voluntaacuterias da comunidade e equipaacute-las com os materiais de informaccedilatildeo educaccedilatildeo e comunicaccedilatildeo necessaacuterios
para que
As voluntaacuterias realizem sessotildees educativas sobre sauacutede sobre temas de planeamento familiar na aacuterea especiacutefica do centro de sauacutede
para que
As mulheres em idade reprodutiva na aacuterea especiacutefica se sintam agrave vontade para participar de sessotildees apresentadas pelas voluntaacuterias
para que
As mulheres participem das sessotildees e aprendam sobre a importacircncia do planeamento familiar para o espaccedilamento dos nascimentos
para que
Mais mulheres em idade reprodutiva busquem meacutetodos de planeamento familiar no centro de sauacutede e a percentagem de mulheres que recebem os meacutetodos aumentem 2 durante o periacuteodo do projecto (o resultado esperado)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 918
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
oposto exacto do Caminho de Mudanccedila Vocecirc coloca cada actividade no topo da sua proacutepria sequecircncia e desce pela sequecircncia ateacute a meta ou resultado esperado Essa sequecircncia ajuda a confirmar que cada rota individual no Caminho de Mudanccedila faz sentido em termos loacutegicos
Para usar essa teacutecnica eacute preciso criar uma sequecircncia ldquopara querdquo para cada actividade no seu Caminho de Mudanccedila Comece por descrever cada actividade e segui-la da frase ldquopara querdquo seguida de uma descriccedilatildeo do que aconteceraacute se essa actividade for realizada Continue a fazer isto ateacute atingir a sua meta de longo prazo ou resultado esperado
Etapas do desenvolvimento de um plano de MampA
Uma das suas tarefas essenciais de MampA como gestor que exerce lideranccedila eacute a de elaborar um plano que ajude vocecirc e sua equipa a determinar se atingiram ou natildeo os resultados esperados e a acompanhar o progresso no alcance desses resultados durante a implementaccedilatildeo Isso exige que vocecirc natildeo soacute escolha indicadores confiaacuteveis mas tambeacutem que meccedila esses indicadores de forma organizada Seu plano de MampA deve especificar que indicadores seratildeo medidos como e quando seratildeo medidos e por quem
Um plano de MampA bem formulado responde a cinco perguntas
1 Seu resultado esperado eacute mensuraacutevel2 Que indicadores utilizaraacute para monitorar seus produtos e para avaliar seus
resultados 3 Quais satildeo as suas fontes de dados e como recolheraacute os dados dessas fontes 4 Quais satildeo os periacuteodos cobertos de cada indicador 5 Quem recolheraacute os dados
Essas perguntas satildeo importantes porque sem um plano vaacutelido de MampA vocecirc poderaacute interpretar erroneamente os efeitos da sua intervenccedilatildeo Poderaacute concluir que ela natildeo teve efeito algum quando na verdade ela teve alguns resultados positivos ou poderaacute concluir que ela teve um efeito positivo quando na verdade natildeo obteve resultado algum o que eacute um erro comum e mais destrutivo
Elaborar e utilizar um plano de MampA garante que dados comparaacuteveis seratildeo recolhidos regularmente e em tempo haacutebil mesmo quando houver mudanccedilas de pessoal A Tabela 3 resume as etapas no desenvolvimento e implementaccedilatildeo de um plano de MampA O resto desta secccedilatildeo descreve cada etapa detalhadamente
ETAPA 1 DEFINA OS RESULTADOS ESPERADOS
A primeira etapa no desenvolvimento do plano de MampA eacute determinar um niacutevel apropriado de resultados Juntos o tipo e o acircmbito da intervenccedilatildeo os recursos disponiacuteveis e o prazo de implementaccedilatildeo determinam um resultado viaacutevel
Como jaacute vimos antes neste capiacutetulo as intervenccedilotildees dirigidas por organizaccedilotildees com fundos de agecircncias doadoras e por serviccedilos governamentais geralmente levam a produtos ou resultados a meacutedio e longo prazo Apesar de o impacto demorar a ser obtido e geralmente estar fora do acircmbito de um uacutenico conjunto de actividades eacute importante incluiacute-lo no seu plano de MampA para que fique clara qual seraacute a contribuiccedilatildeo da sua intervenccedilatildeo a longo prazo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 919
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 3 Etapas para elaborar e usar um Plano de MampA
Etapas Recomendaccedilotildees
1 Definir os resultados esperados
Os resultados devem ser identificados de acordo com o acircmbito e o periacuteodo de tempo da sua intervenccedilatildeo
Os resultados devem atender aos criteacuterios SMART (Especiacuteficos Mensuraacuteveis Apropriados Realistas de Prazo Definido)
2 Seleccionar os indicadores
Os indicadores devem possuir as qualidades de um bom indicador
Os indicadores devem ser acessiacuteveis faacuteceis de recolher e comparaacuteveis ao longo do tempo e em diferentes locais
Para os problemas de sauacutede prioritaacuterios e os serviccedilos essenciais use indicadores criacuteticos nacionais ou padratildeo
Seleccione um nuacutemero miacutenimo de indicadores essenciais e procure garantir que os indicadores seleccionados sejam realmente necessaacuterios para medir seus resultados esperados
3 Identificar as fontes de dados
Identifique de onde viratildeo os dados para cada indicador Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos organizacionais utentes ou a comunidade
4 Definir os meacutetodos de recolha dos dados
Seleccione o meacutetodo mais apropriado e confiaacutevel para a recolha de dados para cada indicador Estes meacutetodos podem incluir a anaacutelise de registos ou diaacuterios de estatiacutesticas de serviccedilo o uso de listas de verificaccedilatildeo para fins de observaccedilatildeo as entrevistas de utentes ao saiacuterem da cliacutenica ou um modelo de inqueacuterito de dados comunitaacuterios
Decida sobre a frequecircncia da recolha de dados Poderaacute recolher apenas os dados de base ou referecircncia e os dados apoacutes a intervenccedilatildeo ou talvez precise recolher dados diaacuterios mensais ou trimestrais dependendo do tipo de indicador
Para cada indicador designe a responsabilidade pela recolha a um escritoacuterio equipa ou pessoa especiacuteficos
5 Recolher os dados de base (ou referecircncia) e os dados apoacutes a intervenccedilatildeo
Entenda que os resultados de base seratildeo usados para definir os seus alvos
Defina claramente a duraccedilatildeo coberta pelos dados de base jaacute que precisa de um periacuteodo semelhante para a comparaccedilatildeo ao final do periacuteodo de implementaccedilatildeo
Use a mesma metodologia e ferramentas para a recolha de dados que as usadas para os dados de base e as medidas poacutes-intervenccedilatildeo
6 Compartilhar e utilizar os seus resultados
Marque reuniotildees workshops e apresentaccedilatildeo de relatoacuterios para mostrar os resultados ao pessoal do projecto agrave direcccedilatildeo da organizaccedilatildeo e a outros grupos de interesse importantes
Apresente as opccedilotildees de aprendizado e acccedilatildeo com base nos resultados de MampA
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 920
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para determinar em que niacutevel deve monitorar e avaliar seus resultados eacute uacutetil examinar novamente e expandir a cadeia de resultados a comeccedilar da direita pelo resultado final (impacto) e voltar ateacute os materiais e recursos (insumos) necessaacuterios
Insumos rarr Processos rarr Produtos rarr Resultados rarr Impacto
Impacto Esses resultados satildeo medidos ao niacutevel da populaccedilatildeo levam um tempo relativamente longo para serem alcanccedilados (geralmente 3 a 5 cinco anos) e exigem o esforccedilo conjunto de vaacuterias intervenccedilotildees e mesmo de vaacuterias organizaccedilotildees Como gestor vocecirc poderaacute ser responsaacutevel por medir o impacto mas deve incluiacute-lo na loacutegica do seu plano de MampA para saber o que a sua organizaccedilatildeo e os parceiros da organizaccedilatildeo pretendem alcanccedilar a longo prazo
Resultados a meacutedio e longo prazo Na maioria dos casos os gestores satildeo responsaacuteveis por medir os resultados nos niacuteveis de produtos eou resultados a meacutedio e longo prazo Os resultados a meacutedio e longo prazo satildeo obtidos pelas actividades criadas para produzir uma mudanccedila de comportamento nos profissionais de sauacutede ou nos utentes Satildeo geralmente medidos em termos de mudanccedilas na cobertura de serviccedilos e mudanccedilas nos conhecimentos atitudes e praacuteticas de uma populaccedilatildeo beneficiaacuteria Um resultado a meacutedio e longo prazo pode ser o iniacutecio de uma praacutetica comprovada de prestaccedilatildeo de serviccedilos a adopccedilatildeo de novas estrateacutegias de gestatildeo ou a elaboraccedilatildeo bem-sucedida de uma poliacutetica de promoccedilatildeo da sauacutede Pode tambeacutem ser um aumento no nuacutemero de mulheres que datildeo agrave luz em um centro de sauacutede ou no nuacutemero de crianccedilas totalmente imunizadas Na maioria dos casos eacute possiacutevel estabelecer uma relaccedilatildeo clara entre produtos e resultados a meacutedio e longo prazo
Produtos Os produtos ou resultados imediatos satildeo fruto directo das actividades Devem ser monitorados durante toda a implementaccedilatildeo como um elemento essencial da boa gestatildeo Os planos de MampA devem definir o produto esperado de cada actividade Para as unidades de prestaccedilatildeo de serviccedilos isso geralmente significa os resultados imediatos em termos dos serviccedilos (por exemplo nuacutemero de utentes atendidos ou tempo de espera dos clientes ou utentes) Para as organizaccedilotildees que natildeo prestam serviccedilos de sauacutede directamente isso pode significar a distribuiccedilatildeo de produtos de sauacutede ou serviccedilos de formaccedilatildeo (por exemplo quantidade de produtos para planeamento familiar distribuiacutedos ou nuacutemero de participantes formados)
Processos A monitoria de processos ou actividades eacute em grande parte uma medida da cultura de prestaccedilatildeo de contas (ou grau de responsabilizaccedilatildeo) ao garantir que as actividades sejam realizadas dentro do prazo e com recursos suficientes A monitoria nesse niacutevel acompanha o progresso da implementaccedilatildeo tendo como referecircncia os prazos propostos e o uso dos recursos tendo como referecircncia os orccedilamentos Eacute geralmente executada atraveacutes da apresentaccedilatildeo de relatoacuterios tradicionais trimestrais semestrais e anuais
Insumos Ao preparar uma intervenccedilatildeo deve identificar a quantidade e os tipos de recursos necessaacuterios para implementar as actividades O desempenho pode ser monitorado em termos da quantidade e dos tipos de insumos fornecidos e do nuacutemero e timing das actividades realizadas
A etapa seguinte na definiccedilatildeo dos resultados esperados eacute garantir que cumpram os criteacuterios SMART (consulte a Tabela 4) Eacute possiacutevel monitorar e avaliar o progresso no alcance de um resultado apenas se esse resultado tiver sido definido em termos mensuraacuteveis
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 921
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja a seguir um exemplo de um resultado mensuraacutevel para uma intervenccedilatildeo cujo propoacutesito eacute promover a cobertura de imunizaccedilatildeo em crianccedilas de 12 a 24 meses de idade A percentagem de crianccedilas de 12 a 24 meses totalmente vacinadas na aacuterea de captaccedilatildeo aumentaraacute para 70 dentro de um ano
ETAPA 2 IDENTIFIQUE OS INDICADORES E SUAS DEFINICcedilOtildeES
Os indicadores satildeo geralmente percentagens ou proporccedilotildees que representam o alcance de uma condiccedilatildeo especiacutefica de sauacutede na populaccedilatildeo de interesse Podem tambeacutem ser um valor absoluto tal como o nuacutemero de ocorrecircncias de um evento de sauacutede (por ex um oacutebito materno ou um caso de malaacuteria)
Todos os indicadores pedem uma definiccedilatildeo detalhada Trata-se de um indicador qualitativo ou quantitativo Se for uma percentagem qual eacute o numerador e qual eacute o denominador A definiccedilatildeo deve ser suficientemente detalhada para garantir que pessoas diferentes em momentos diferentes possam recolher tipos idecircnticos de dados para o indicador
Veja o que caracteriza um bom indicador no Quadro 2 Os indicadores podem ser classificados como indicadores do estado de sauacutede ou do desempenho de serviccedilos
Os indicadores do estado de sauacutede podem incluir o seguinte
nuacutemero de casos e mortes causados por doenccedilas especiacuteficas em um determinado periacuteodo
proporccedilatildeo da populaccedilatildeo com uma doenccedila ou condiccedilatildeo de sauacutede num momento particular ou ao longo de um periacuteodo de tempo
proporccedilatildeo da populaccedilatildeo com um factor ou condiccedilatildeo de sauacutede que os coloca em risco de contrair doenccedilas tal como a falta de conhecimento ou um comportamento de risco
Os indicadores de desempenho podem incluir o seguinte
proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que recebeu um serviccedilo especiacutefico proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que demonstra comportamentos e
conhecimentos especiacuteficos de sauacutede
TABELA 4 Criteacuterios de um resultado SMART
Criteacuterio Descriccedilatildeo
Especiacutefico (S ndash Smart)
Claramente escrito e compreendido O resultado esperado eacute suficientemente especiacutefico para ser medido por uma frequecircncia percentagem ou nuacutemero
Mensuraacutevel (M ndash Measurable)
Eacute possiacutevel monitorar o progresso e avaliar os resultados O resultado esperado eacute definido em termos que sejam mensuraacuteveis
Apropriado (A ndash Appropriate)
O resultado esperado eacute apropriado ao acircmbito do seu trabalho e agrave missatildeo da sua organizaccedilatildeo
Realista (R ndash Realistic)
O resultado esperado pode ser alcanccedilado e estaacute dentro do controlo da sua organizaccedilatildeo Pode ser realisticamente alcanccedilado ao usar os recursos disponiacuteveis e dentro do prazo do seu plano de implementaccedilatildeo
de Tiempo limitado (T ndash Time Bound)
Foi estabelecido um prazo especiacutefico para obter o resultado esperado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 922
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
proporccedilatildeo de centros e pessoal de sauacutede que demonstram adesatildeo a padrotildees especiacuteficos de serviccedilo ou que atingiram objectivo definido
proporccedilatildeo de centros de sauacutede que seguem padrotildees definidos de gestatildeo funcional (por ex em termos de pessoal disponibilidade de medicamentos registo e apresentaccedilatildeo de relatoacuterios)
Orientaccedilatildeo adicional sobre os indicadores pode ser obtida em ldquoCompecircndio de indicadores para avaliaccedilatildeo de programas de sauacutede reprodutivardquo e ldquoLista dos indicadores sobre desenvolvimento da capacidade de gestatildeo e lideranccedilardquo
ETAPA 3 IDENTIFIQUE AS FONTES DE DADOS
Agora precisa identificar uma fonte de dados para cada indicador incluiacutedo no plano de MampA ao seleccionar dados que estejam prontamente disponiacuteveis em uma fonte confiaacutevel e dentro das possibilidades financeiras de sua organizaccedilatildeo O ideal seria escolher os dados imediatamente disponiacuteveis atraveacutes da organizaccedilatildeo em vez de dar iniacutecio a uma nova estrateacutegia de recolha de dados o que poderia ser oneroso e demorado
Uma boa forma de comeccedilar eacute com a seguinte pergunta Que dados jaacute recolhemos de forma rotineira e sistemaacutetica Vocecirc deve sempre levar em consideraccedilatildeo as vantagens e desvantagens de cada fonte de dados Consulte a secccedilatildeo ldquoComo seleccionar suas fontes de dadosrdquo para obter mais informaccedilotildees sobre as vantagens e desvantagens de algumas fontes de dados mais comuns
Vocecirc deve ser o mais especiacutefico possiacutevel sobre as fontes de dados para que a mesma fonte possa ser utilizada de forma coerente durante toda a intervenccedilatildeo Mudar as fontes de dados para o mesmo indicador pode resultar em incoerecircncias e erros de interpretaccedilatildeo Por exemplo se estiver a medir as taxas de mortalidade infantil passar de estimativas baseadas num inqueacuterito de grande escala para estimativas baseadas em estatiacutesticas hospitalares pode resultar dar a falsa impressatildeo de que houve uma mudanccedila
QUADRO 2 Qualidades de um bom indicador
Vaacutelido O indicador mede o que se pretende medir
Confiaacutevel A medida do indicador deve ser igual natildeo importa quantas vezes a medida seja feita
Preciso O indicador eacute definido em termos claros e especiacuteficos para que possa ser medido O indicador pode ser qualitativo (descritivo) discreto (SimNatildeo) ou baseado em niacuteveis quantitativos ou proporccedilotildees desde que seja claramente mensuraacutevel
Faacutecil de entender Tanto especialistas como natildeo especialistas devem poder entender o significado do indicador
Discreto O indicador captura um uacutenico componente ou aspecto de um resultado mais complexo Mede apenas uma coisa natildeo um conjunto de coisas
Em tempo haacutebil O indicador pode ser medido em intervalos temporais apropriados de acordo com a disponibilidade dos dados
Comparaacutevel Quando possiacutevel o indicador evita definiccedilotildees limitadas ou singulares cujos valores seriam difiacuteceis de comparar com outros resultados
Viaacutevel para utilizar Os dados para o indicador satildeo faacuteceis de obter de uma fonte confiaacutevel e relativamente econoacutemica ndash acessiacutevel tendo em vista os recursos da sua organizaccedilatildeo Se esses dados natildeo estiverem disponiacuteveis existem meacutetodos para obtecirc-los no futuro
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 923
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 4 DEFINA OS MEacuteTODOS DE RECOLHA DE DADOS
A etapa seguinte eacute a de definir os meacutetodos ou ferramentas que utilizaraacute para cada indicador Para os indicadores baseados em dados primaacuterios (dados que vocecirc mesmo recolhe) deve descrever o tipo de instrumento necessaacuterio para recolher os dados Os exemplos podem incluir questionaacuterios estruturados listas de verificaccedilatildeo de observaccedilatildeo directa ou balanccedilas para pesar bebeacutes
Para os dados secundaacuterios (dados recolhidos por terceiros e que estatildeo disponiacuteveis para vocecirc usar) deve explicar o meacutetodo para calcular o indicador e a fonte dos dados e fornecer detalhes suficientes sobre o meacutetodo de caacutelculo para que outros possam replicaacute-lo Lembre-se de que eacute mais faacutecil e mais barato usar dados secundaacuterios mas sua qualidade eacute menos confiaacutevel do que a dos dados primaacuterios
Tambeacutem eacute importante observar a frequecircncia da recolha dos dados para cada indicador A depender do tipo de indicador vocecirc poderaacute recolher os dados mensalmente trimestralmente anualmente ou ateacute com menos frequecircncia Ao definir o programa de recolha de dados para cada indicador leve em consideraccedilatildeo a necessidade de fornecer informaccedilotildees em tempo haacutebil aos responsaacuteveis por tomar decisotildees na sua organizaccedilatildeo Atribuir responsabilidades pela recolha de dados a indiviacuteduos ou grupos do seu pessoal garantiraacute que os dados sejam recolhidos dentro do prazo necessaacuterio
As informaccedilotildees das Etapas 1 a 4 fornecem o conteuacutedo do seu plano de monitoria e avaliaccedilatildeo A Tabela 5 mostra os elementos de um plano de MampA para um programa de mentoria cliacutenica para centros de orientaccedilatildeo e testes voluntaacuterios
ETAPA 5 RECOLHA OS DADOS DE BASE E DE ACOMPANHAMENTO
Recolher dados de base precisos eacute uma das tarefas mais importantes de MampA Os dados de base ou referecircncia satildeo o ponto de partida para definir as metas que vocecirc e sua equipa pretendem atingir e para acompanhar as mudanccedilas dos indicadores durante todo o periacuteodo de sua intervenccedilatildeo Dessa forma os dados de base ajudam a definir melhor um resultado final esperado
Vocecirc precisaraacute recolher dados de base para cada indicador antes que suas actividades comecem Esses dados identificam o ponto de partida de onde poderaacute avaliar o progresso Depois em pontos variados durante a implementaccedilatildeo vocecirc recolheraacute dados de acompanhamento sobre cada indicador para comparaacute-los com os niacuteveis de base e os resultados previstos Isto permite que vocecirc e outros tomadores de decisotildees em sua organizaccedilatildeo avaliem o progresso de cada intervenccedilatildeo ou serviccedilo e faccedilam as mudanccedilas necessaacuterias ao longo do caminho Examine o exemplo no Quadro 3
Por que acompanhar as mudanccedilas dos indicadores durante a implementaccedilatildeo Os indicadores de um plano de MampA estatildeo relacionados aos resultados imediatos (produtos) e aos resultados de meacutedio e longo prazo que os gestores precisam monitorar As mudanccedilas nos valores do indicador ao longo do tempo mostram se esses resultados estatildeo a subir ou a baixar ou se permanecem iguais Isto mostra ao gestor se as intervenccedilotildees e estrateacutegias estatildeo a funcionar conforme planeado para atingir os resultados esperados
Ao final do periacuteodo de implementaccedilatildeo precisaraacute recolher dados sobre os seus indicadores para comparar os niacuteveis finais com os niacuteveis de base e com os seus resultados esperados A depender dos seus indicadores precisaraacute tambeacutem recolher dados de acompanhamento a uma altura acordada previamente para determinar se as mudanccedilas seratildeo mantidas apoacutes o teacutermino da sua intervenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 924
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 5 Exemplo de um Plano de Monitoria e Avaliaccedilatildeo
Objectivo Os profissionais de sauacutede que receberam formaccedilatildeo aumentam sua capacidade de fornecer tratamento anti-retroviral de acordo com as directrizes nacionais
ActividadeProduto Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
CronogramaPrazo final
Cliacutenicos experientes em VIH recrutados para servir como mentores cliacutenicos em cinco hospitais regionais
Nuacutemero de mentores recrutados e designados a hospitais regionais
Registos de emprego
Como concluiacutedo Director adjunto para programas cliacutenicos
Setembro de 2008
Pessoal meacutedico em cinco hospitais regionais que recebem mentoria individual sobre terapia anti-retroviral
Nuacutemero de locais que recebem mentoria cliacutenica
Nuacutemero de meacutedicos que recebem mentoria individual
Nuacutemero de dias de mentoria cliacutenica realizados
Relatoacuterios mensais do mentor
Mensalmente Mentores Marccedilo de 2009
Resultados a meacutedio e longo prazo Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
Trabalhadores de sauacutede aumentam seu conhecimento sobre terapia anti-retroviral
80 dos participantes obtecircm 85 ou mais de pontuaccedilatildeo correcta no teste posterior
Trabalhadores de sauacutede melhoram suas habilidades no fornecimento de terapia anti-retroviral
Percentagem de habilidades demonstradas na lista de verificaccedilatildeo de competecircncia
Estudo especial Datas a definir Director adjunto para programas cliacutenicos
Fonte Centro Internacional de Formaccedilatildeo e Ensino sobre VIH p 2
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 925
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Observaccedilatildeo sobre o uso de indicadores para uma avaliaccedilatildeo A maioria dos esforccedilos de MampA enfatizam a selecccedilatildeo de indicadores bem definidos para estabelecer metas e medir as mudanccedilas nas condiccedilotildees e nos serviccedilos de sauacutede
Mas eacute importante lembrar que os indicadores servem apenas como marcadores Os dados dos indicadores fornecem pistas para saber se uma intervenccedilatildeo ou um grupo de actividades estaacute dentro do cronograma e se os resultados esperados estatildeo a ser alcanccedilados Eles natildeo respondem agraves perguntas de por que os resultados estatildeo ou natildeo a ser alcanccedilados Natildeo explicam os resultados fortuitos as relaccedilotildees entre intervenccedilotildees e resultados ou as causas de resultados percebidos que podem ocorrer fora da intervenccedilatildeo Assim natildeo podem recomendar medidas a tomar para melhorar os resultados
Os dados de indicadores devem portanto ser interpretados com cuidado Eles simplesmente indicam resultados que precisam ser melhor explorados em vez de fornecer uma avaliaccedilatildeo definitiva do sucesso ou fracasso Um estudo de avaliaccedilatildeo eacute geralmente executado para determinar se uma intervenccedilatildeo pode ser considerada um sucesso e por quecirc
Em geral agrave medida que sobe na hierarquia e passa das actividades para os resultados a longo prazo a MampA se torna mais complicada Nos niacuteveis de processo e produtos pode-se facilmente rastrear que actividades foram concluiacutedas e seus resultados imediatos Essas informaccedilotildees satildeo operacionais ndash informaccedilotildees que vocecirc pode usar para decisotildees quotidianas de gestatildeo Poreacutem para identificar e medir os resultados da sinergia dos produtos provavelmente teraacute que integrar as informaccedilotildees qualitativas e quantitativas e confiar menos em indicadores quantitativos singulares
Lembre-se de que quando uma melhoria desejada ndash seja na eficiecircncia do serviccedilo no conhecimento e comportamento dos provedores de serviccedilos ou dos beneficiaacuterios ou na tendecircncia de um problema de sauacutede ndash eacute confirmada atraveacutes de MampA isto natildeo prova que foi a intervenccedilatildeo que provocou a mudanccedila Outras coisas podem estar a se passar no serviccedilo ou no ambiente geral que causam essa mudanccedila Eacute claro que o mesmo se aplica aos resultados negativos ou resultados que indicam natildeo haver nenhuma mudanccedila nos resultados a meacutedio e longo prazo
QUADRO 3 Como usar dados de base para ajustar os resultados
Uma equipa de sobrevivecircncia infantil estaacute a propor uma intervenccedilatildeo com o seguinte resultado mensuraacutevel e especiacutefico ldquoNos proacuteximos 12 meses 40 das crianccedilas entre 12 e 24 meses de idade na aacuterea de captaccedilatildeo seratildeo completamente imunizadasrdquo
Para determinar se seu programa pode realmente atingir esse resultado o pessoal precisa medir os niacuteveis actuais de vacinaccedilatildeo Ao examinar os dados vecircem que apenas 10 das crianccedilas na aacuterea de captaccedilatildeo estatildeo completamente imunizadas ao completarem 24 meses Estes satildeo portanto seus dados de base
A gestora entende que natildeo seraacute possiacutevel atingir o objectivo de 40 de cobertura de imunizaccedilatildeo em apenas 12 meses Por isso ela e sua equipa revisam o resultado esperado e o modificam para que seja mais razoaacutevel e realista mas continue sendo significativo ldquoNos proacuteximos 12 meses 20 das crianccedilas de 12 a 24 meses na aacuterea de de actuaccedilatildeo seratildeo completamente imunizadas
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 926
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 6 COMPARTILHE E USE SEUS DADOS
Na pressa para comeccedilar a recolher dados alguns gestores se esquecem de planear um processo para reflectir sobre as informaccedilotildees e fazer mudanccedilas para aumentar a eficiecircncia das actividades Para garantir que os dados sejam natildeo soacute recolhidos mas tambeacutem utilizados pense como vocecirc e sua equipa divulgaratildeo as informaccedilotildees sobre MampA e obteratildeo retroinformaccedilatildeo dos diversos grupos de interesse Algumas perguntas baacutesicas serviratildeo para lhe orientar
Quem precisa de que tipo de informaccedilotildees e quando precisam delas Que tipo de formato deve usar para comunicar os resultados ao pessoal
aos gestores de niacutevel superior e a outros grupos de interesse importantes Eacute suficiente fazer circular um relatoacuterio ou deveria organizar uma reuniatildeo ou workshop
Deveria tambeacutem organizar reuniotildees com a comunidade para solicitar retroinformaccedilatildeo dos seus beneficiaacuterios sobre os primeiros resultados da MampA
Como deve apresentar as informaccedilotildees para que sejam uacuteteis aos diferentes tomadores de decisotildees As informaccedilotildees devem ser apresentadas visualmente em diagramas graacuteficos ou mapas Para obter orientaccedilatildeo sobre dados e resultados consulte o Guiatildeo de MampA para Facilitadores de Programas de Desenvolvimento da Lideranccedila
Uso dos resultados para melhorar os dados de rotina em acccedilatildeo ndash Um exemplo do Paquistatildeo
No Paquistatildeo com o apoio do projecto PRIDE 10 equipas de subdistritos aplicaram o Processo de Avaliaccedilatildeo e Melhoria do Desempenho em Sauacutede Puacuteblica (PIP-PH) um conjunto de procedimentos e formatos para tratar dos problemas de sauacutede que identificaram como os mais graves para as suas populaccedilotildees Usaram o PIP-PH para priorizar os problemas e serviccedilos que mais precisavam de atenccedilatildeo a curto prazo para obter melhorias
Como parte do processo PIP-PH as equipas tambeacutem conceberam um formato de Estrutura de Vigilacircncia de Sauacutede (ldquoHealth Watch Frameworkrdquo) para os seus subdistritos como um todo e para os centros de sauacutede dentro deles Cada equipa seleccionou indicadores para medir a situaccedilatildeo de dois problemas de sauacutede puacuteblica os serviccedilos essenciais a eles relacionados e as limitaccedilotildees que afectavam esses serviccedilos
As equipas usaram os formulaacuterios Health Watch para estabelecer valores de base para os indicadores e depois para monitorar esses valores agrave medida que as intervenccedilotildees prosseguiam ao longo do tempo Os centros de sauacutede revisavam e actualizavam o formulaacuterio todo mecircs as equipas do subdistrito inclusive gestores de centros de sauacutede revisavam e discutiam os formulaacuterios trimestralmente os formulaacuterios revisados
As equipas de subdistrito usaram as informaccedilotildees para analisar os motivos do progresso ou falta de progresso para poderem prestar apoio aos gestores dos centros de sauacutede O processo estimulou os gestores dos centros de sauacutede a melhorarem a integridade e precisatildeo dos dados de rotina para poderem usar as informaccedilotildees e monitorarem mais eficazmente os eventos e os serviccedilos essenciais e introduzirem as melhorias necessaacuterias
Exemplos e informaccedilotildees detalhadas sobre o PIP-PH e o Health Watch Framework aparecem no Relatoacuterio Anual do Projecto PRIDE 2007
Para se informar mais sobre meacutetodos adicionais de utilizaccedilatildeo dos dados para melhorar o desempenho de uma organizaccedilatildeo equipa serviccedilo de sauacutede ou intervenccedilatildeo consulte o processo de Avaliaccedilatildeo e Melhoria de Desempenho (Performance Assessment and Improvement ndash PAI) no website de Programa de Lideranccedila Gestatildeo e Sustentabilidade (Leadership Management and Sustainability ndash LMS)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 927
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O processo de Monitoria e Avaliaccedilatildeo deve ser executado com o objectivo de usar imediatamente os resultados para identificar as falhas de desempenho e tomar medidas para reduzir ou eliminar essas falhas Vocecirc deve sempre planear formas de usar os resultados de MampA para o aprendizado e a acccedilatildeo Por exemplo o que deve fazer se as actividades do projecto natildeo trouxerem os resultados esperados O que precisa mudar se os serviccedilos essenciais natildeo estiverem a fornecer os niacuteveis de cobertura previstos ou a alcanccedilar grupos especiacuteficos de pessoas E como vocecirc pode levar esses fatos agrave atenccedilatildeo das pessoas certas para obter uma resposta raacutepida
Desenho de uma ferramenta de MampA
ARMADILHAS DA MONITORIA E AVALIACcedilAtildeO
Haacute vaacuterias armadilhas comuns que impedem que vocecirc como gestor aperfeiccediloe a funccedilatildeo de MampA na sua organizaccedilatildeo
Planeamento excessivo ou insuficienteAlguns gestores podem gastar tempo demais a preparar o plano de MampA do que resultam planos muito elaborados e complicados de usar Outros ficam muito ansiosos por implementar as intervenccedilotildees de MampA e comeccedilam antes de concluir o plano de MampA Isso significa que quando o plano fica pronto eacute geralmente tarde demais para obter dados de base viaacuteveis e a MampA tem que ser adiada Nesses casos o gestor talvez tenha que aceitar fazer a avaliaccedilatildeo mais tarde sem os dados de base que poderia usar para a comparaccedilatildeo
Descuidar-se da monitoria contiacutenua Outra armadilha frequente eacute a falha em incluir a monitoria contiacutenua na implementaccedilatildeo das actividades Isto ocorre frequentemente por falta de experiecircncia Muitos gestores natildeo tiveram acesso a ferramentas de monitoria uacuteteis (que satildeo raras) Talvez natildeo tenham recebido prontamente os resultados ou a retroinformaccedilatildeo do sistema de MampA no passado e por isso natildeo percebem como eacute importante realizar a monitoria de rotina Aleacutem disso gestores podem facilmente se emaranhar nos detalhes da implementaccedilatildeo e descuidar-se da monitoria de rotina
Exagerar Outra armadilha relacionada agrave monitoria eacute tentar rastrear os dados de todos os indicadores possiacuteveis Tentar obter os dados sobre um nuacutemero excessivo de factores torna o processo de monitoria tatildeo complicado que se torna impreciso Isso tambeacutem torna o processo mais lento de modo que no momento em que os dados satildeo recolhidos e analisados eles jaacute natildeo satildeo mais uacuteteis As ferramentas de monitoria muito demoradas e complicadas acabam por natildeo ser usadas O que acontece entatildeo O gestor deixa totalmente de fazer a monitoria e tem que recorrer agrave avaliaccedilatildeo
Se jaacute se deparou com esses problemas eacute hora de mudar a sua taacutectica Vocecirc pode criar um plano de MampA simples e usar ferramentas de monitoria simples Descubra o que tem que medir para obter os dados dentro de 3 a 6 meses o prazo vai depender dos ciclos de planeamento e apresentaccedilatildeo de relatoacuterios da sua organizaccedilatildeo Entenda tambeacutem qual eacute o miacutenimo que deve ser medido em uma avaliaccedilatildeo de longo prazo Busque a simplicidade mesmo se estiver diante de um conjunto complexo de actividades
Tente incluir apenas o que realmente precisa saber Pode testar todos os indicadores propostos antes de incluiacute-los no planeamento de MampA ao perguntar Quem precisa usar essas informaccedilotildees quando e com que finalidade Se um uacutenico indicador de produtos for suficiente perfeito Natildeo sobrecarregue a monitoria com indicadores desnecessaacuterios Muitas vezes menos dados fornecem mais informaccedilotildees
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 928
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
CARACTERIacuteSTICAS DE UMA BOA FERRAMENTA DE MONITORIA
Como gestor natildeo precisa saber tudo para gerir um serviccedilo ou dirigir uma intervenccedilatildeo mas precisa das informaccedilotildees imediatamente Portanto precisa de uma ferramenta de monitoria que possa fornecer informaccedilotildees suficientes e em tempo haacutebil para identificar e corrigir problemas assim que eles surgirem
Uma ferramenta de monitoria deve ser faacutecil de montar e utilizar As tabelas listas de verificaccedilatildeo e diagramas simples satildeo meacutetodos particularmente uacuteteis de recolher organizar e apresentar informaccedilotildees de monitoria
No miacutenimo sua ferramenta de monitoria deve permitir que vocecirc e sua equipa acompanhem
o progresso da implementaccedilatildeo da actividade a entrega de produtos ou resultados imediatos a situaccedilatildeo dos principais indicadores de resultados comparados aos resultados
esperados se for o caso as despesas orccedilamentais a disponibilidade de recursos humanos e financeiros os obstaacuteculos agrave implementaccedilatildeo e o que tem sido feito para superaacute-los
Vocecirc teraacute que responder agraves seguintes perguntas periodicamente
As actividades foram implementadas conforme planeado dentro do prazo e do orccedilamento
Que actividades adicionais natildeo planeadas foram realizadas Que serviccedilos ou produtos directos e tangiacuteveis foram oferecidos como resultado
das actividades que implementamos Estamos dentro do cronograma para atingir nossos resultados a meacutedio e longo
prazo Possuiacutemos os recursos necessaacuterios (pessoal dinheiro medicamentos e
suprimentos etc) para cumprirmos o cronograma
O Quadro 4 apresenta os componentes baacutesicos de uma ferramenta simples de monitoria
QUADRO 4 Uma ferramenta simples de monitoria
Data de exame Metas de resultados
Actividades (segundo o plano de implementaccedilatildeo)
Situaccedilatildeo ateacute o momento
Resultados esperados
Datas para conclusatildeo
Situaccedilatildeo ateacute o momento Comentaacuterios
Desafios e oportunidades
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 929
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quando usadas correctamente as novas tecnologias (por ex os PDAs ldquosmartphonesrdquo laptops e outros) podem facilitar a monitoria e aumentar os benefiacutecios da monitoria das actividades A monitoria automatizada ndash dados que podem ser obtidos e processados automaticamente ndash podem produzir um resumo dos principais indicadores em uma soacute paacutegina faacutecil de ler e num formato que utiliza cores para alertar ao gestor sobre as aacutereas que precisam de maior atenccedilatildeo As informaccedilotildees obtidas em tempo haacutebil sobre alguns indicadores essenciais permitem que o gestor monitore o progresso e tome medidas correctivas
Essa apresentaccedilatildeo visual das informaccedilotildees mais importantes e necessaacuterias para gerir um projecto eacute geralmente conhecida como Painel de Indicadores de Desempenho Os paineacuteis de indicadores de desempenho podem ser usados em qualquer organizaccedilatildeo departamento ou divisatildeo Nas organizaccedilotildees de sauacutede puacuteblica os paineacuteis satildeo usados frequentemente para monitorar os indicadores financeiros e programaacuteticos bem como a cobertura produccedilatildeo eficaacutecia e qualidade de serviccedilos de sauacutede especiacuteficos Um painel de recursos humanos por exemplo incluiria indicadores relevantes para gerir o seguinte
retenccedilatildeo de funcionaacuterios rotatividade de funcionaacuterios formaccedilatildeo de funcionaacuterios lacunas de habilidades satisfaccedilatildeo dos funcionaacuterios custos benefiacutecios e despesas gerais com funcionaacuterios
A Tabela 6 mostra um painel de indicadores de desempenho criado para monitorar serviccedilos de contracepccedilatildeo ciruacutergica voluntaacuteria (CCV)
TABELA 6 Ilustraccedilatildeo de Painel de Indicadores de Desempenho para Serviccedilos de Contracepccedilatildeo Ciruacutergica Voluntaacuteria (CCV)
Serviccedilo Contracepccedilatildeo Ciruacutergica Voluntaacuteria Periacuteodo do Relatoacuterio Janeiro de 2009
No Indicador de Prestaccedilatildeo de Serviccedilos Custo Qualidade
Meta financeira ou programaacutetica
LimiarNuacutemero
alcanccedilado
Percentagem concluiacuteda
Miacuten Maacutex 10 20 30 40 50 60 70 80 90 100
1 Nuacutemero de CCVs realizadas no mecircs 8 10 7
2 Custo meacutedio das CCVs (US$) 100 120 110
3 Orccedilamento mensal da receita com CCVs realizadas (US$) 800 1200 770
4Percentagem das CCVs realizadas por pessoal
qualificadomdash 100 60
5 Percentagem das CCVs realizadas sem complicaccedilotildees 95 100 100
6
Percentagem de utentes satisfeitas com o tratamento
recebido do pessoal que realizou as CCVs
90 100 90
Adaptado de Colindres 2008 p 6
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 930
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja uma descriccedilatildeo do uso de um painel de indicadores de desempenho para a monitoria de rotina num estudo de caso estudo de caso de uma ONG da Boliacutevia o Centro de Investigaccedilatildeo Educaccedilatildeo e Serviccedilos (CIES)
Para obter mais informaccedilotildees de como criar um painel de indicadores consulte ldquoComo usar os paineacuteis de indicadores de desempenho para monitorar as realizaccedilotildees de uma organizaccedilatildeordquo Esse documento ajuda a esclarecer conceitos e define as etapas essenciais para criar paineacuteis de indicadores de desempenho
Como criar uma avaliaccedilatildeo para fins de aprendizagem
Apesar da importacircncia da monitoria de rotina apenas a monitoria natildeo basta para responder agrave pergunta ldquoE entatildeordquo Ou seja suas actividades e produtos contribuiacuteram para melhorar a cobertura dos serviccedilos aumentar o conhecimento ou encorajar comportamentos mais saudaacuteveis
Talvez uma campanha de comunicaccedilatildeo sobre planeamento familiar criada para aumentar a prevalecircncia do uso de contraceptivos tenha levado o governo a abastecer os depoacutesitos distritais com contraceptivos Para que possam aprender com essa experiecircncia e criar campanhas mais eficazes no futuro os gestores do projecto ainda querem saber que produtos foram realmente dispensados aos centros de sauacutede e distribuiacutedos aos utentes Esta secccedilatildeo discute como criar uma avaliaccedilatildeo para fins de aprendizagem
Existem dois motivos para levar a cabo uma avaliaccedilatildeo
1 A avaliaccedilatildeo fornece informaccedilotildees sobre o sucesso da sua equipa unidade ou organizaccedilatildeo para atingir seus objectivos Essas informaccedilotildees ajudam a definir que actividades expandir modificar ou eliminar Ela pode tambeacutem revelar formas de melhorar a concepccedilatildeo e gestatildeo das actividades futuras
2 A avaliaccedilatildeo pode demonstrar uma cultura de prestaccedilatildeo de contas agrave sua agecircncia doadora e a outros grupos de interesse nomeadamente o governo e os beneficiaacuterios dos seus serviccedilos
AVALIACcedilOtildeES FORMATIVAS E SUMATIVAS
Os gestores podem realizar dois amplos tipos de avaliaccedilotildees formativas e sumativas
Avaliaccedilatildeo formativa Este tipo de avaliaccedilatildeo eacute realizada durante o desenvolvimento e implementaccedilatildeo de um programa Seu objectivo eacute orientar o desenho e a implementaccedilatildeo de actividades que incluam as melhores e mais promissoras praacuteticas que aumentaratildeo as chances de sucesso A avaliaccedilatildeo formativa eacute mais comummente utilizada por projectos de grande porte ou de longo prazo em vez de projectos menores e de curto prazo Poreacutem os projectos menores devem pelo menos realizar uma avaliaccedilatildeo raacutepida das melhores praacuteticas durante a fase de planeamento para apoiar a loacutegica e o conteuacutedo proposto para as actividades
A avaliaccedilatildeo formativa inclui uma avaliaccedilatildeo de necessidades para discernir os desejos e requisitos de um grupo da populaccedilatildeo e determinar a melhor forma de atendecirc-los Inclui tambeacutem uma avaliaccedilatildeo de processo para investigar o processo utilizado para executar uma intervenccedilatildeo Pode-se usar a avaliaccedilatildeo do processo para determinar se as actividades foram realizadas de acordo com o plano ndash em termos de sua concepccedilatildeo original estimativas de custos e nuacutemero de pessoas a serem atendidas ndash e se a qualidade dos processos usados estaacute de acordo com as melhores praacuteticas conhecidas
A avaliaccedilatildeo de processo geralmente inclui vaacuterias abordagens Pode incluir uma avaliaccedilatildeo dos dados referentes aos produtos (por ex nuacutemero de redes mosquiteiras fornecidas nuacutemero
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 931
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
de workshops de formaccedilatildeo realizados nuacutemero de participantes dos workshops) assim como entrevistas individuais ou grupos de enfoque entre os beneficiaacuterios Nas intervenccedilotildees de menor porte eacute uma boa praacutetica realizar uma avaliaccedilatildeo de processo mesmo se limitada agrave retroinformaccedilatildeo dos participantes
Avaliaccedilatildeo somativa Este tipo de avaliaccedilatildeo eacute realizada apoacutes a conclusatildeo de um grupo de actividades ou da intervenccedilatildeo para avaliar a qualidade da intervenccedilatildeo e os seus principais resultados A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo a avaliaccedilatildeo do impacto a anaacutelise de custo-benefiacutecio e custo-eficaacutecia e a investigaccedilatildeo operacional
A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo que avalia em que medida uma equipa unidade ou organizaccedilatildeo inteira atingiram seus resultados esperados A avaliaccedilatildeo dos resultados eacute usada para demonstrar que existe uma cultura de prestaccedilatildeo de contas para aperfeiccediloar o projecto de actividades organizacionais para melhorar a distribuiccedilatildeo dos recursos e para promover intervenccedilotildees futuras bem-sucedidas As principais perguntas satildeo Que modificaccedilotildees ocorreram na vida das pessoas das famiacutelias ou da comunidade como resultado do nosso trabalho Que diferenccedila fizemos
Como observamos anteriormente neste capiacutetulo os resultados a meacutedio e longo prazo satildeo geralmente mudanccedilas mensuraacuteveis eou observaacuteveis em duas dimensotildees A primeira dimensatildeo abrange a conscientizaccedilatildeo o conhecimento as atitudes os valores e as habilidades dos participantes de um programa ou dos beneficiaacuterios dos serviccedilos durante ou depois de seu envolvimento na intervenccedilatildeo A segunda dimensatildeo implica mudanccedilas no comportamento desses mesmos grupos
Idealmente as duas dimensotildees deveriam ser medidas em trecircs pontos no comeccedilo e no final do periacuteodo de implementaccedilatildeo e se possiacutevel apoacutes um periacuteodo de acompanhamento adequado Se a mediccedilatildeo do acompanhamento natildeo for viaacutevel pelo menos devem ser comparadas as mediccedilotildees de base e poacutes-intervenccedilatildeo Muitas vezes as mudanccedilas podem ser pequenas mas deve haver alguma melhoria em pelo menos um ou dois resultados para que a intervenccedilatildeo seja considerada um sucesso
A avaliaccedilatildeo dos resultados tenta distinguir entre a influecircncia da intervenccedilatildeo nessas mudanccedilas e a influecircncia de outros factores externos Mas geralmente os avaliadores teratildeo que optar pela atribuiccedilatildeo parcial de um resultado a uma intervenccedilatildeo ou serviccedilo especiacutefico devido agrave dificuldade em determinar uma relaccedilatildeo directa e causal entre o serviccedilo prestado e uma determinada mudanccedila
As avaliaccedilotildees de resultados utilizam geralmente um desenho natildeo experimental (geralmente denominado ldquopreacute e poacutes-avaliaccedilatildeordquo) que simplesmente mede as mudanccedilas antes e depois de uma intervenccedilatildeo ou seja diferente do desenho experimental (que compara os participantes com um grupo de controlo com designaccedilatildeo aleatoacuteria a ambos os grupos) ou do desenho semi-experimental (que compara os participantes com um grupo de controlo mas sem a designaccedilatildeo aleatoacuteria)
O desenho natildeo experimental eacute aceitaacutevel para as mediccedilotildees e relatoacuterios padratildeo dos resultados a meacutedio e longo prazo As ONGs raramente usam os desenhos experimentais Apesar de uma organizaccedilatildeo de grande porte e com muitos recursos poder ocasionalmente receber assistecircncia de especialistas para um desenho experimental a maioria delas acha que as consideraccedilotildees eacuteticas e logiacutesticas impedem a designaccedilatildeo aleatoacuteria dos participantes aos grupos de intervenccedilatildeo e de controlo Aleacutem disso o custo de recolher dados de um grupo de controlo seraacute provavelmente muito elevado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 932
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A avaliaccedilatildeo do impacto eacute outro componente da avaliaccedilatildeo somativa Eacute mais ampla do que a avaliaccedilatildeo de resultados e avalia os efeitos liacutequidos ou gerais ndash tanto intencionais como natildeo intencionais ndash de todo um programa grupo de programas ou grupo de organizaccedilotildees As avaliaccedilotildees de impacto geralmente se estendem por um periacuteodo de 3 a 5 anos
OUTROS TIPOS DE AVALIACcedilOtildeES
Anaacutelise de custo-benefiacutecio e custo-eficaacutecia Estes tipos de anaacutelise tratam da eficiecircncia da intervenccedilatildeo ao analisar os resultados em termos dos seus custos financeiros e do seu valor
Investigaccedilatildeo operacional Trata-se de um balanccedilo ou avaliaccedilatildeo de uma intervenccedilatildeo especiacutefica no contexto de um programa mais amplo que estaacute a fazer vaacuterias intervenccedilotildees A investigaccedilatildeo operacional eacute usada para testar e avaliar novas abordagens de prestaccedilatildeo de serviccedilos de sauacutede Eacute tambeacutem usada para identificar problemas na prestaccedilatildeo de serviccedilos e oferecer soluccedilotildees
A investigaccedilatildeo operacional eacute uma ferramenta poderosa que os gestores de programas e os tomadores de decisotildees podem usar para melhorar e expandir os serviccedilos Os estudos de investigaccedilatildeo operacional comparam intervenccedilotildees que estatildeo dentro da esfera de influecircncia do gestor Os exemplos incluem a avaliaccedilatildeo da eficaacutecia de uma nova estrateacutegia de prevenccedilatildeo de VIHSIDA um novo curso de formaccedilatildeo um novo conjunto de procedimentos para gerir medicamentos um novo meacutetodo contraceptivo ou um novo serviccedilo de sauacutede reprodutiva
O Toolkit de Investigaccedilatildeo Operacional do Programa Horizons sobre VIHSIDA do Population Council fornece informaccedilotildees detalhadas para criar um estudo de investigaccedilatildeo operacional
CONSIDERACcedilOtildeES PARA A FORMULACcedilAtildeO DE UMA AVALIACcedilAtildeO
O que avaliar para responder agrave pergunta ldquoE entatildeordquo Se quiser saber como gestor se as suas actividades tiveram realmente sucesso precisa preparar todas as intervenccedilotildees tendo em mente a avaliaccedilatildeo e incorporar a avaliaccedilatildeo ao seu planeamento organizacional geral Ao definir objectivos deve se perguntar Como saberemos se estamos a atingir esses objectivos Este eacute o ponto de partida para a avaliaccedilatildeo
Seja qual for o porte da sua intervenccedilatildeo ou serviccedilo e o alcance da avaliaccedilatildeo precisaraacute responder a trecircs perguntas durante a fase de desenho e planeamento
1 O que a sua intervenccedilatildeo ou serviccedilo conseguiraacute realizar a curto e longo prazo Se implementar um conjunto de actividades com sucesso ao longo do tempo o que seraacute diferente
2 Como conceptualiza as suas actividades ndash qual eacute a loacutegica subjacente Duas abordagens para identificar a loacutegica do programa satildeo discutidas neste capiacutetulo na secccedilatildeo intitulada Ferramentas e Abordagens Praacuteticas para MampA
3 Que indicadores pode usar para identificar o progresso no alcance dos resultados
Para responder agrave pergunta ldquoE entatildeordquo vocecirc precisa avaliar os factores sobre os quais tem um niacutevel razoaacutevel de controlo Por exemplo um novo serviccedilo criado para oferecer alojamento a pessoas que vivem com SIDA natildeo pode controlar ou afectar a expectativa de vida das pessoas agraves quais atende Mas ao fornecer um ambiente estaacutevel para elas viverem o serviccedilo pode diminuir o niacutevel de stresse e melhorar a qualidade de vida dessas pessoas que antes eram forccediladas a se mudar com frequecircncia
Depois de tratar da pergunta ldquoE entatildeordquo deve tambeacutem se certificar de que a avaliaccedilatildeo seja concebida de forma que quando o processo estiver concluiacutedo vocecirc possa abordar os cinco toacutepicos principais da avaliaccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 933
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
1 Relevacircncia Foi uma boa ideia fazer a intervenccedilatildeo considerando-se a situaccedilatildeo e a necessidade de melhorias Ela tratou das prioridades do grupo alvo ou beneficiaacuterio Por que sim ou por que natildeo
2 Eficaacutecia Os resultados produtos e actividades foram realizados Por que sim ou por que natildeo A loacutegica da intervenccedilatildeo eacute correcta
3 Eficiecircncia Os insumos (recursos e tempo) foram usados da melhor forma possiacutevel para atingir os resultados a meacutedio e longo prazo Por que sim ou por que natildeo O que vocecirc e sua equipa poderiam fazer de modo diferente no futuro para maximizar os resultados a um custo aceitaacutevel
4 Impacto Em que medida a sua intervenccedilatildeo contribuiu para as metas nacionais ou de longo prazo Que consequecircncias natildeo intencionais (positivas ou negativas) suas actividades tiveram Por que essas consequecircncias aconteceram
5 Sustentabilidade Eacute provaacutevel que os resultados positivos continuem depois que sua intervenccedilatildeo terminar Por que sim ou por que natildeo
Uma uacuteltima advertecircncia assim como a monitoria pode-se complicar demasiado a avaliaccedilatildeo Ao preparar um plano de avaliaccedilatildeo o melhor eacute seleccionar um grupo pequeno de indicadores e resistir agrave tentaccedilatildeo de avaliar todos os aspectos da sua intervenccedilatildeo
Assim como a monitoria a avaliaccedilatildeo soacute eacute uacutetil se as informaccedilotildees forem repassadas em tempo haacutebil para o gestor e outros tomadores de decisotildees e grupos de interesse Um problema comum com as avaliaccedilotildees intercalares eacute que os resultados geralmente soacute satildeo informados de 6 a 8 meses mais tarde o que deixa apenas 1 ou 2 anos para fazer mudanccedilas mais permanentes antes que se esgotem os fundos do governo ou da agecircncia doadora
COMO SELECCIONAR SUAS FONTES DE DADOS
Esta secccedilatildeo descreve trecircs tipos de fontes de dados que satildeo comummente usadas para uma avaliaccedilatildeo dados recolhidos rotineiramente inqueacuteritos de grande escala e teacutecnicas de avaliaccedilatildeo raacutepida inclusive a avaliaccedilatildeo participativa
Dados de rotina Os dados recolhidos e analisados rotineiramente por um SIS satildeo denominados ldquoestatiacutesticas de serviccedilordquo Pode-se utilizar vaacuterios sistemas de informaccedilatildeo de serviccedilos de rotina para monitorar os serviccedilos Alguns deles satildeo o sistema baacutesico de registo e relatoacuterio de SIS os sistemas especiais de relatoacuterios sobre programas (por ex tuberculose malaacuteria imunizaccedilatildeo VIH planeamento familiar etc) os sistemas de relatoacuterios sobre agentes comunitaacuterios especiais (por ex registos de agentes comunitaacuterios de sauacutede) o sistema de informaccedilotildees para a vigilacircncia de doenccedilas e o controlo notificaccedilatildeo e resposta a surtos e os relatoacuterios para os sistemas de suporte especiais (por ex medicamentos encaminhamentos e gestatildeo financeira e de recursos humanos)
Esses sistemas fornecem dados que estatildeo imediatamente disponiacuteveis e cujo objectivo eacute informar o que estaacute a acontecer no sector de sauacutede Os dados de rotina incluem por exemplo o nuacutemero de consultas de preacute-natal em uma cliacutenica o nuacutemero e tipo de vacinaccedilotildees fornecidas no local ou o nuacutemero e tipos de contraceptivos fornecidos mensalmente
Os dados sobre os serviccedilos satildeo geralmente recolhidos pelos centros de sauacutede ou postos de sauacutede e enviados para o proacuteximo niacutevel superior do sistema (geralmente o distrito) para serem agregados Esses dados podem entatildeo ser enviados ao proacuteximo niacutevel superior (regional ou provincial) para posterior agregaccedilatildeo antes que cheguem finalmente ao niacutevel central do Ministeacuterio da Sauacutede
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 934
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Idealmente os gestores de centros de sauacutede e ao niacutevel do distrito usam esses dados para orientar as operaccedilotildees diaacuterias acompanhar o desempenho e a prestaccedilatildeo de contas e tomar decisotildees que continuem a melhorar o desempenho Mas haacute vaacuterios obstaacuteculos a essa utilizaccedilatildeo
Muito frequentemente os dados de rotina satildeo imprecisos ou incompletos Apesar dos que utilizam o SIS tentarem produzir informaccedilotildees de alta qualidade e em tempo haacutebil haacute muitas oportunidades de introduzir erros Pode haver pouco apoio para que os gestores e seu pessoal se concentrem nos procedimentos correctos de recolha registo e agregaccedilatildeo dos dados
Os sistemas de sauacutede de vaacuterios paiacuteses enfatizam a importacircncia de apresentar relatoacuterios para os niacuteveis superiores mas natildeo estabeleceram procedimentos e incentivos para encorajar aqueles que fornecem informaccedilotildees a utilizaacute-las mesmo quando os dados satildeo de boa qualidade
Outra dificuldade eacute que as estatiacutesticas sobre serviccedilos fornecem informaccedilotildees apenas sobre os utentes que utilizam os serviccedilos de sauacutede Natildeo podem fornecer informaccedilotildees sobre as muitas pessoas que natildeo utilizam os serviccedilos
Por tudo isso natildeo se pode confiar apenas nas estatiacutesticas sobre serviccedilos para fazer uma avaliaccedilatildeo Elas satildeo melhor utilizadas para a monitoria de rotina dos problemas de sauacutede puacuteblica e dos serviccedilos essenciais relacionados
Inqueacuteritos em grande escala Os inqueacuteritos em grande escala satildeo outra fonte de informaccedilotildees imediatamente disponiacuteveis Incluem inqueacuteritos de base populacional tais como as Inqueacuterito Demograacutefico e de Sauacutede (IDS) dos EUA avaliaccedilotildees completas de centros de sauacutede como a Anaacutelise de Situaccedilatildeo do Population Council e os censos nacionais Em vaacuterios casos os gestores podem usar os dados de um inqueacuterito em grande escala existente para fornecer o contexto para a interpretaccedilatildeo dos dados capturados atraveacutes das suas proacuteprias avaliaccedilotildees
Por exemplo as IDS satildeo realizadas periodicamente para caracterizar a situaccedilatildeo de sauacutede em um paiacutes ou regiatildeo geograacutefica de grande extensatildeo para vaacuterios grupos populacionais homens mulheres crianccedilas bebeacutes e assim por diante Mas os dados das IDS natildeo podem normalmente ser desagregados para uso pelos gestores no niacutevel de distrito ou comunidade
Aleacutem disso como as IDS satildeo realizadas apenas a cada trecircs ou cinco anos as informaccedilotildees que fornecem podem natildeo estar suficientemente actualizadas para as necessidades de avaliaccedilatildeo dos gestores Apesar dessas dificuldades os dados das IDS satildeo uacuteteis para compreender tendecircncias regionais ou nacionais que podem ajudar a explicar dados recolhidos em uma avaliaccedilatildeo de foco especiacutefico
Avaliaccedilotildees raacutepidas Satildeo formas raacutepidas e econoacutemicas de obter informaccedilotildees para a tomada de decisotildees principalmente ao niacutevel da actividade Os exemplos incluem entrevistas quando os utentes saem de suas consultas as avaliaccedilotildees de pequena escala dos centros de sauacutede os inqueacuteritos raacutepidos por amostragem o exame analiacutetico de registos as entrevistas com grupos de enfoque e outros meacutetodos participativos
Poderaacute usar teacutecnicas de avaliaccedilatildeo raacutepida para complementar as informaccedilotildees obtidas com dados de rotina ou inqueacuteritos de grande escala As avaliaccedilotildees raacutepidas podem-lhe fornecer informaccedilotildees valiosas sobre sua aacuterea de captaccedilatildeo e sua aacuterea de responsabilidade mais ampla ndash ou seja as comunidades e as populaccedilotildees que deveriam ter acesso aos serviccedilos essenciais prestados por um centro de sauacutede determinado Elas podem tambeacutem fornecer contexto e uma compreensatildeo qualitativa dos dados quantitativos recolhidos pelos meacutetodos mais formais
Dentro da categoria de avaliaccedilotildees raacutepidas os meacutetodos participativos e os inqueacuteritos raacutepidos por amostragem merecem a sua atenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 935
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Meacutetodos participativos (tambeacutem chamados de aprendizagem e acccedilatildeo participativas) Essas teacutecnicas e meacutetodos visam incorporar o conhecimento e as opiniotildees dos membros da comunidade no planeamento e gestatildeo de projectos de desenvolvimento no esforccedilo para influenciar as poliacuteticas e na implementaccedilatildeo de programas Eles permitem incluir vozes da comunidade nas poliacuteticas no planeamento e nos inqueacuteritos e criam um senso de propriedade e participaccedilatildeo nos resultados de MampA e nas recomendaccedilotildees feitas pela organizaccedilatildeo e por seus beneficiaacuterios
Ao contraacuterio de outras teacutecnicas de avaliaccedilatildeo raacutepida os meacutetodos participativos natildeo se baseiam em amostragens Eles usam entrevistas individuais ou com informantes essenciais (inclusive entrevistas com utentes ao saiacuterem de suas consultas) entrevistas em grupo estudos de caso e outros meacutetodos qualitativos para identificar as condiccedilotildees locais e entender as perspectivas e prioridades locais
Em vaacuterios locais haacute membros da comunidade que natildeo podem ler nem escrever e por isso os meacutetodos participativos dependem frequentemente da comunicaccedilatildeo oral com apoio de imagens siacutembolos objectos fiacutesicos e memoacuteria colectiva
Os meacutetodos participativos podem ser usados antes durante e apoacutes a implementaccedilatildeo de uma intervenccedilatildeo ou um conjunto de actividades Eles fornecem informaccedilotildees para o projecto e a avaliaccedilatildeo e permitem a participaccedilatildeo activa das partes interessadas na tomada de decisotildees Durante a implementaccedilatildeo os meacutetodos participativos satildeo uacuteteis para identificar e solucionar problemas
Aproveite para examinar e utilizar uma lista de recursos online sobre inqueacuterito qualitativo e directrizes sobre discussotildees em grupos de enfoque no Community Tool Box da Universidade de Kansas
Inqueacuteritos raacutepidos por amostragem Estes inqueacuteritos podem ser utilizados para recolher informaccedilotildees padronizadas de uma amostra pequena e cuidadosamente seleccionada de pessoas ou domiciacutelios em uma aacuterea beneficiaacuteria Eles podem descrever as condiccedilotildees em uma comunidade particular ou grupo-alvo e permitem comparar grupos diferentes em um determinado momento ou mudanccedilas no mesmo grupo ao longo do tempo Permitem tambeacutem comparar condiccedilotildees actuais com os resultados planeados
Um dos inqueacuteritos mais comuns de pequena amostragem eacute o inqueacuterito CAP (Conhecimentos Atitudes e Praacuteticas) baseado em uma amostra de 30 agrupamentos
Amostragem para Garantia de Qualidade de Lotes (Lot Quality Sampling - LQAS) Essa eacute outra teacutecnica de avaliaccedilatildeo raacutepida que se usa cada vez mais na aacuterea de sauacutede puacuteblica A LQAS utiliza amostragens muito pequenas para obter informaccedilotildees confiaacuteveis em uma pequena aacuterea geograacutefica ou unidade administrativa Pode ser usada para detectar de forma precisa os extremos do desempenho ndash para determinar se uma intervenccedilatildeo foi mais aleacutem de um limiar superior de desempenho ou natildeo conseguiu atingir um limiar inferior de desempenho em termos de qualidade ou cobertura As amostras de lotes podem tambeacutem ser combinadas para fornecer estimativas de cobertura em uma aacuterea geograacutefica mais ampla
Uma busca na Web revelaraacute recursos uacuteteis aqui temos um sobre os inqueacuteritos CAP e outro sobre LQAS A aacuterea de MampA do website do CORE Group inclui ligaccedilotildees com ferramentas e recursos importantes para a avaliaccedilatildeo raacutepida criados pelo Grupo de Trabalho de MampA do CORE Group
Como gestor deve revisar todas as fontes de dados jaacute existentes antes de planear a sua avaliaccedilatildeo A Tabela 7 apresenta as vantagens e desvantagens das trecircs principais fontes de
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 936
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 7 Resumo das trecircs fontes de dados mais comuns para uma avaliaccedilatildeo
Fonte de dados Vantagens Limitaccedilotildees
Estatiacutesticas de serviccedilo Dados sobre a populaccedilatildeo de utentes e serviccedilos cliacutenicos que satildeo recolhidos rotineiramente nos registos dos utentes e nos registos cliacutenicos
Disponiacuteveis imediatamente
Cobrem todos os tipos de serviccedilos de sauacutede e todas as aacutereas do paiacutes
Podem ser desagregados para os niacuteveis local e de distrito
Uso econoacutemico
Soacute lhe informam sobre clientes actuais sem informaccedilotildees sobre as pessoas que natildeo usam os serviccedilos de sauacutede e podem ser utentes em potencial
Natildeo fornecem informaccedilotildees sobre valores percepccedilotildees ou comportamentos da comunidade
Natildeo reflectem as pessoas que optam por fontes privadas de serviccedilos
Podem ser inexactas se os locais de prestaccedilatildeo de serviccedilos natildeo registarem os dados correctamente de forma legiacutevel e em tempo haacutebil
Inqueacuteritos de grande escala Inqueacuteritos de base populacional e avaliaccedilotildees de grande escala dos centros de sauacutede
Dados relevantes precisos e confiaacuteveis
Podem medir as tendecircncias nacionais de sauacutede identificar aacutereas com problemas e ajudar a concentrar os recursos do paiacutes em aacutereas de maior carecircncia
Geram valores meacutedios para as aacutereas urbanas e rurais regiotildees e proviacutencias
Fornecem um contexto para interpretar os dados recolhidos localmente
Podem gerar informaccedilotildees adicionais a partir dos seus conjuntos de dados informatizados
Geralmente natildeo podem desagregar os dados para fornecer meacutedias para as aacutereas sub-regionais (distritos ou municipalidades)
Geralmente natildeo satildeo realizadas anualmente os dados se tornam desactualizados rapidamente se as populaccedilotildees ou condiccedilotildees de sauacutede se modificarem rapidamente
Avaliaccedilotildees raacutepidas Meacutetodos focados para avaliar as necessidades locais e tomar decisotildees em acircmbito local
Raacutepidas e econoacutemicas
Resultam em acccedilatildeo local
Haacute directrizes para ajudar os gestores em vaacuterias dessas teacutecnicas
Fornecem aos gestores a capacidade de recolher os dados necessaacuterios
Os inqueacuteritos domiciliares (por ex LQAS ou CAP) podem obter precisatildeo suficiente para fins de avaliaccedilatildeo
Equilibra a necessidade de resultados representativos e objectivos com a necessidade de usar projectos levemente menos rigorosos que satildeo mais viaacuteveis em aacutereas locais
Usam escala e acircmbito reduzidos para produzir resultados em tempo haacutebil e de baixo custo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 937
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
dados que foram discutidas acima estatiacutesticas rotineiras de serviccedilos inqueacuteritos em grande escala e teacutecnicas de avaliaccedilatildeo raacutepida
Que niacutevel de qualidade os dados do SIS precisam ter para serem uacuteteis ndash que niacutevel de abrangecircncia precisatildeo e apresentaccedilatildeo em tempo haacutebil Para as suas necessidades de gestatildeo mesmo que natildeo sejam perfeitos os dados podem ser suficientemente bons para ter um efeito poderoso como nos mostra o exemplo de Madagascar
Dados do SIS pontos fortes e limitaccedilotildees
Subestimar o valor e a utilidade do SIS eacute infelizmente uma tendecircncia Eacute verdade que o SIS tem problemas frequentemente mas tambeacutem eacute grande o seu potencial Como vimos em
Como usar e melhorar dados imperfeitos do SIS ndash Um exemplo de Madagascar
Um SIS de base comunitaacuteria mais preciso e mais oportuno Um projecto de Madagascar implementou um meacutetodo baseado na comunidade para aumentar o uso de meacutetodos de planeamento familiar denominado ldquoComunidades Campeatildesrdquo em 50 dos 110 distritos do paiacutes O meacutetodo utilizou exclusivamente os dados do SIS para monitorar e avaliar as realizaccedilotildees das comunidades participantes
Em primeiro lugar foi estabelecida uma base de referecircncia para cada comunidade ao usar os dados do seu centro de sauacutede Em seguida o pessoal do centro de sauacutede e os representantes da comunidade identificaram metas para 10 indicadores que determinariam se uma comunidade tinha alcanccedilado a posiccedilatildeo de campeatilde apoacutes 12 meses de implementaccedilatildeo Cada comunidade monitorava seu proacuteprio progresso em uma reuniatildeo trimestral de verificaccedilatildeo
Apoacutes 12 meses o pessoal do projecto voltou a cada comunidade para avaliar os resultados Examinaram os dados do relatoacuterio de monitoria de rotina de cada centro de sauacutede e para cada indicador Prepararam tambeacutem um relatoacuterio sobre os dados de cada comunidade e o enviaram para o supervisor de niacutevel distrital para a sua confirmaccedilatildeo com base nos registos informatizados do distrito As fontes de dados para os relatoacuterios do centro de sauacutede e registos de distrito foram as mesmas (registos dos centros de sauacutede) e por isso raramente ocorreu uma discrepacircncia Mas o que interessava era envolver o supervisor distrital no exame dos dados do centro de sauacutede para mostrar a utilidade de se usar ateacute mesmo dados simples nesse niacutevel
O projecto tambeacutem cooperou com o Ministeacuterio da Sauacutede a niacutevel distrital para melhorar a precisatildeo a abrangecircncia e a prontidatildeo do SIS A ecircnfase era obter dados mais completos dos centros de sauacutede e reduzir o tempo gasto pelo escritoacuterio distrital para receber o relatoacuterio do centro de sauacutede apreciaacute-lo devolvecirc-lo ao centro para qualquer correcccedilatildeo recebecirc-lo novamente dar entrada dos dados no sistema e finalmente enviaacute-los ao niacutevel central Os distritos satildeo responsaacuteveis por cooperar com os centros de sauacutede para melhorar o registo de dados e actualizar suas proacuteprias teacutecnicas de processamento de dados
Apoacutes dois anos de assistecircncia teacutecnica o SIS tinha realmente melhorado segundo os indicadores de precisatildeo abrangecircncia e prontidatildeo As melhorias mais notaacuteveis foram em prontidatildeo o tempo gasto pelo escritoacuterio distrital no processo descrito acima reduziu-se de 12 para 3 meses
Imperfeitas mais mesmo assim valiosos Deve-se lembrar que o projecto ldquoComunidades Campeatildesrdquo teve oacuteptimo resultado apesar dos dados imperfeitos Seu numerador (o nuacutemero de utentes regulares de planeamento familiar) era detalhado e preciso Mas suas estimativas das taxas de prevalecircncia do uso de contraceptivos natildeo eram muito precisas porque o denominador (nuacutemero de mulheres em idade reprodutiva) era apenas uma estimativa baseada num censo desactualizado e em estimativas anuais do governo sobre percentagens de crescimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 938
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Madagascar o projecto Comunidades Campeatildes melhorou o sistema substancialmente num periacuteodo de dois anos Nesse caso o sistema jaacute se encontrava relativamente funcional porque projectos anteriores haviam feito um grande esforccedilo para implantar o sistema e tornaacute-lo mais soacutelido Ao aprimorar a forma como o sistema era administrado e os dados eram usados o projecto posterior conseguiu fazer uma grande diferenccedila por meio de pequenas modificaccedilotildees
Os dados do SIS natildeo satildeo 100 exactos e nunca seratildeo Esta eacute a realidade com a qual todos os gestores tecircm que trabalhar Mas os dados natildeo precisam ser perfeitos para serem uacuteteis Eacute possiacutevel fazer a monitoria e a gestatildeo com dados imperfeitos Informaccedilotildees obtidas em tempo
(continuaccedilatildeo)
No entanto o projecto constatou que as taxas de prevalecircncia de uso de contraceptivos eram suficientemente boas para acompanhar o desempenho das comunidades que participavam do meacutetodo de Comunidades Campeatildes O pessoal do projecto tambeacutem complementou as comparaccedilotildees dessas taxas com as comparaccedilotildees dos valores do numerador nuacutemeros simples que faziam sentido para o pessoal do centro de sauacutede e tambeacutem para as comunidades
O niacutevel central comeccedilou a organizar workshops regionais trimestrais para divulgar os resultados ao niacutevel distrital Juntos os gestores dos niacuteveis distritais regionais e centrais analisaram o progresso e classificaram os distritos com base no seu desempenho Usaram a anaacutelise de causa-raiz ndash um processo que identifica as causas subjacentes de um problema ndash para entender os obstaacuteculos enfrentados pelos distritos que apresentavam baixo desempenho (Consulte o Apecircndice A no Capiacutetulo 2 deste guia para obter mais informaccedilotildees sobre a anaacutelise de causa-raiz) Finalmente o Ministeacuterio de Sauacutede mobilizou o apoio de agecircncias doadoras e de organizaccedilotildees parceiras para ajudaacute-los a melhorar
O ministeacuterio comeccedilou a usar as informaccedilotildees de sauacutede para administrar realmente o sistema de sauacutede Antes dessa intervenccedilatildeo poucas organizaccedilotildees confiavam ou utilizavam os dados do SIS Mas quando ficou claro que o sistema funcionava as agecircncias doadoras passaram a confiar as organizaccedilotildees parceiras passaram a utilizaacute-lo e o ministeacuterio se orgulhou do trabalho Pela primeira vez tinham uma visatildeo mais niacutetida do que acontecia em todo o paiacutes e podiam usar essas informaccedilotildees para buscar o apoio de agecircncias doadoras se necessaacuterio
Do mesmo modo os centros de sauacutede raramente usavam seus proacuteprios dados Eles simplesmente faziam os registos e os enviavam para o escritoacuterio distrital sem nem mesmo receber retroinformaccedilatildeo do mesmo Apoacutes a conclusatildeo do projecto perceberam como os dados mais precisos podiam ser usados em seu benefiacutecio e das comunidades
Os distritos tambeacutem actuavam antes de uma forma pouco informada Cada distrito dependia apenas dos seus proacuteprios dados e funcionava num vaacutecuo As mudanccedilas no SIS e o encorajamento do governo central forneceram aos distritos oportunidades para comparar seu trabalho e aprender uns com os outros
Aprendizagem com dados mais precisos completos e oportunos Os dados satildeo geralmente utilizados para fazer comparaccedilotildees mas satildeo menos frequentemente utilizados como ferramenta de aprendizagem Nesse caso depois que os relatoacuterios comeccedilaram a chegar dentro do prazo o Ministeacuterio da Sauacutede usou os dados ndash inclusive dados imperfeitos ndash para descobrir que distritos tinham um desempenho ruim e que distritos estavam melhor que os outros Assim aprenderam com os de melhor desempenho ao perguntar Por que seus resultados satildeo tatildeo bons O que estavam a fazer de diferente O que poderia ser replicado Finalmente aplicaram a aprendizagem ao usar esses distritos como modelos e ao oferecer mais apoio aos de pior desempenho
Todo o sistema de sauacutede se entusiasmou com as informaccedilotildees que podiam produzir e usar A comeccedilar do topo esse entusiasmo chegou aos niacuteveis inferiores e os motivou a melhorar sua recolha e processamento de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 939
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
haacutebil e com 75 de precisatildeo satildeo melhores que as informaccedilotildees com 95 de precisatildeo que chegam com vaacuterios meses de atraso
Apesar do seu grande valor por si soacutes os dados do SIS natildeo atenderatildeo a todas as necessidades de informaccedilatildeo de muitas organizaccedilotildees Algumas organizaccedilotildees e agecircncias doadoras precisam de dados que exigem avaliaccedilotildees ou sistemas especiais Aleacutem disso vaacuterias intervenccedilotildees foram projectadas para modificar o conhecimento as atitudes e as praacuteticas dos beneficiaacuterios factores que natildeo satildeo capturados nos dados de serviccedilo Eacute importante usar os dados do SIS sempre que possiacutevel e complementaacute-los com avaliaccedilotildees locais quando necessaacuterio
Como gestor de um programa de sauacutede ou de serviccedilos de sauacutede parte do seu trabalho deveria ser o de melhorar o SIS em seu paiacutes Ele eacute o uacutenico sistema de informaccedilotildees sustentaacutevel na maioria dos paiacuteses Os sistemas de informaccedilatildeo criados e mantidos por agecircncias doadoras ou organizaccedilotildees externas tecircm duraccedilatildeo limitada mas o SIS eacute parte permanente do seu legado
Se todos os parceiros e agecircncias doadoras trabalharem com o Ministeacuterio de Sauacutede para prestar assistecircncia teacutecnica e financeira ao SIS ele poderaacute render informaccedilotildees que trazem grandes melhorias para os serviccedilos de sauacutede e que justificam plenamente o investimento no mesmo
Praacuteticas comprovadas
Um sistema de MampA deveria proporcionar aos gestores o que eles precisam saber para agir Deve se basear em indicadores relevantes faacuteceis de usar e que possam ser fornecidos em tempo haacutebil para os ciclos de planeamento e apresentaccedilatildeo de relatoacuterios
Os resultados de MampA natildeo se destinam apenas ao pessoal de MampA da sua organizaccedilatildeo ou agrave agecircncia doadora As informaccedilotildees de MampA satildeo um recurso fundamental para as acccedilotildees e a aprendizagem Se o seu processo de MampA tiver mecanismos de retroinformaccedilatildeo que permitam aos tomadores de decisotildees reflectirem sobre os resultados e absorverem o que precisam para seus proacuteprios fins eles assumiratildeo o controlo do processo e utilizaratildeo o que ele oferecer
Se vocecirc define suas actividades de MampA no comeccedilo de uma intervenccedilatildeo ou projecto junto com o plano de acccedilatildeo para o projecto teraacute mais oportunidades de orientar e acompanhar a implementaccedilatildeo das actividades
Quando satildeo demasiado elaborados e complicados os planos de MampA natildeo satildeo usados Elabore um plano de MampA simples escolha ferramentas de monitoria faacuteceis de usar e seleccione a menor quantidade possiacutevel de indicadores para acompanhar o progresso e introduzir as mudanccedilas necessaacuterias ao longo do caminho
Para fortalecer um SIS eacute preciso trabalhar com as pessoas envolvidas os responsaacuteveis pelo sistema que registam transferem analisam comunicam e utilizam os dados e as informaccedilotildees para a gestatildeo dos serviccedilos
Ao fornecer os dados do SIS para os tomadores de decisotildees vocecirc deve reconhecer as diferenccedilas na frequecircncia dos relatoacuterios e nas quantidades de dados agregados e desagregados necessaacuterios aos niacuteveis diferentes de governo ou agraves organizaccedilotildees natildeo governamentais
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 914
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para entender como um Quadro Loacutegico explicita a loacutegica de uma intervenccedilatildeo examine novamente a Figura 5 Uma seacuterie de relacionamentos condicionais (ldquose entatildeordquo) conecta cada componente do Quadro Loacutegico
1 Se os recursos necessaacuterios estiverem disponiacuteveis e supondo-se que as condiccedilotildees sejam favoraacuteveis entatildeo as actividades do programa podem ser implementadas e
2 hellipse as actividades do programa forem implementadas com sucesso e supondo-se que existam condiccedilotildees favoraacuteveis especiacuteficas entatildeo os produtos e resultados esperados poderatildeo ser alcanccedilados e
3 hellipse os produtos e resultados esperados forem alcanccedilados e supondo-se que existam as condiccedilotildees favoraacuteveis especiacuteficas entatildeo a meta estrateacutegica poderaacute ser atingida
O Quadro Loacutegico pode ser uacutetil na conceptualizaccedilatildeo de um projecto durante o periacuteodo de planeamento e na avaliaccedilatildeo do progresso e aplicaccedilatildeo de medidas correctivas durante a implementaccedilatildeo Como qualquer outro quadro de referecircncia ele possui vantagens e desvantagens como mostra a Tabela 1
O Apecircndice A deste capiacutetulo fornece um exemplo de Quadro Loacutegico para um programa de visita domiciliar desenvolvido pelo Banco Interamericano de Desenvolvimento
QUADROS CONCEPTUAIS
Estes satildeo semelhantes aos Quadros Loacutegicos no sentido de que descrevem uma sequecircncia de resultados mas levam em consideraccedilatildeo as razotildees subjacentes de por que ocorrem as mudanccedilas ao longo da sequecircncia de resultados Enquanto os Quadros Loacutegicos simplesmente afirmam que as actividades traratildeo resultados ainda maiores os quadros conceptuais permitem mapear os factores que na sua opiniatildeo satildeo criacuteticos e explicam porque esses factores satildeo importantes para o sucesso
Este tipo de mapeamento ajuda a decidir que factores devem ser monitorados durante a implementaccedilatildeo das actividades Quando os dados mostram que esses elementos criacuteticos foram ou natildeo alcanccedilados pode-se compreender melhor por que uma intervenccedilatildeo teve ou natildeo sucesso e o que poderia ser modificado no futuro
Veja as vantagens e desvantagens dos quadros conceptuais na Tabela 2
TABELA 1 Visatildeo geral do quadro loacutegico
Vantagens Desvantagens
Melhora a qualidade dos planos de intervenccedilatildeo ao exigir a definiccedilatildeo de indicadores e objectivos claros e a anaacutelise de pressupostos e riscos
Quando usado regularmente durante uma intervenccedilatildeo eacute uma ferramenta de gestatildeo eficaz para orientar a implementaccedilatildeo e a MampA
Resume a elaboraccedilatildeo de planos complexos
Apoia a preparaccedilatildeo de planos de implementaccedilatildeo detalhados
Pressupotildee uma relaccedilatildeo linear entre insumos-produtos-resultados que natildeo leva em consideraccedilatildeo outros factores de influecircncia
Se usado rigidamente durante o processo de formulaccedilatildeo poderaacute restringir a criatividade e a inovaccedilatildeo
Se natildeo for actualizado durante a implementaccedilatildeo pode ser uma ferramenta estaacutetica que natildeo reflecte as condiccedilotildees em mudanccedila
Geralmente a formaccedilatildeo e o acompanhamento satildeo necessaacuterios para usar esse meacutetodo correctamente
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 915
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O modelo conhecido como Caminho de Mudanccedila (Pathway to Change) eacute um exemplo particularmente uacutetil de um quadro conceptual Esse modelo utiliza um formato de condicionalidade (ldquose entatildeordquo) para mostrar passo a passo como os resultados a meacutedio e longo prazo foram conceptualizados e como seratildeo alcanccedilados A Figura 6 eacute um exemplo de aplicaccedilatildeo do Caminho de Mudanccedila em um projecto de sauacutede de seis meses de duraccedilatildeo e acircmbito municipal na Nicaraacutegua
Caminho de Mudanccedila Tratamos deste modelo neste capiacutetulo devido agrave sua utilidade para os gestores e seus benefiacutecios como actividade de fortalecimento de uma equipa O estabelecimento de um Caminho de Mudanccedila eacute geralmente um processo participativo que permite que a sua equipa ou unidade e outros grupos de interesse formulem uma intervenccedilatildeo e determinem como ela vai funcionar O produto final eacute um mapa que mostra como uma acccedilatildeo estaacute relacionada com outras e como todas elas acrescentam algo ao resultado esperado Frequentemente o estabelecimento de um caminho expotildee as crenccedilas subjacentes que as pessoas de uma organizaccedilatildeo mantecircm sobre a forma em que suas acccedilotildees promovem mudanccedilas
A criaccedilatildeo de um Caminho de Mudanccedila tem vaacuterios benefiacutecios Em primeiro lugar exige que a sua equipa examine cada acccedilatildeo proposta e responda agraves seguintes perguntas
Todas as actividades contribuem para o resultado esperado Se a resposta for negativa algumas actividades deveriam ser modificadas acrescentadas ou eliminadas
As actividades satildeo sequenciais Elas estatildeo relacionadas de uma forma loacutegica Elas se somam umas agraves outras para formar um conjunto racional e coerente de acccedilotildees
Pensamos em todos os produtos e resultados necessaacuterios para atingir nosso resultado esperado
Temos os recursos necessaacuterios para implementar as actividades propostas Em quanto tempo atingiremos o resultado que desejamos Que outros factores podem contribuir ou entravar cada uma das actividades do
caminho
Em segundo lugar sua equipa deve tornar expliacutecita e chegar a um acordo sobre a loacutegica subjacente de um plano de intervenccedilatildeo Em outras palavras deve mostrar no papel como cada acccedilatildeo resultaraacute na mudanccedila desejada em cada niacutevel do mapa Por uacuteltimo o caminho define que resultados imediatos e resultados a meacutedio e longo prazo a equipa deve monitorar e que indicadores devem usar
TABELA 2 Visatildeo geral do quadro conceptual
Vantagens Desvantagens
Fornece um mapeamento visual e flexiacutevel de planos de intervenccedilatildeo complexos
Quando usado regularmente durante a implementaccedilatildeo permite uma retroinformaccedilatildeo antecipada do que estaacute ou natildeo a funcionar e por quecirc
Auxilia na identificaccedilatildeo de efeitos colaterais natildeo previstos
Ajuda a priorizar os problemas a serem investigados mais profundamente talvez ao usar meacutetodos mais focalizados de recolha de dados ou teacutecnicas mais sofisticadas de MampA
Pode se tornar extremamente complexo se a escala de actividades for muito grande ou se for reunida uma lista exaustiva de factores e pressupostos
Os grupos de interesse podem discordar sobre os factores determinantes que consideram ser os mais importantes
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 916
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Como se lecirc um mapa de Caminho de Mudanccedila O caminho pode ser lido como um fluxograma em que caixas e setas mostram a relaccedilatildeo entre as acccedilotildees e os efeitos como mostrado na Figura 6 O resultado esperado aparece no topo do caminho e os resultados imediatos que devem ser atingidos para se chegar laacute satildeo exibidos no proacuteximo niacutevel Os produtos que devem ser obtidos para conseguir os resultados a meacutedio e longo prazo aparecem no proacuteximo niacutevel inferior Finalmente as actividades aparecem no fundo ou base
Quando lido de baixo para cima o mapa mostra que actividades satildeo necessaacuterias para conseguir os produtos e que resultados a meacutedio e longo prazo satildeo necessaacuterios para se chegar ao topo Eacute preciso sempre poder traccedilar um caminho desde o comeccedilo de suas acccedilotildees ateacute o resultado esperado
Pode ser uacutetil imaginar o caminho como o organigrama de uma empresa vocecirc pode comeccedilar da base do organigrama como assistente administrativo passar a coordenador de escritoacuterio depois a uma funccedilatildeo de gestatildeo e finalmente ocupar o gabinete do director
A criaccedilatildeo de um Caminho de Mudanccedila Para desenvolver um Caminho da Mudanccedila sua equipa mapeia a mudanccedila de forma reversa Comeccedila no final do caminho (no topo da
FIGURA 6 Exemplo de um Caminho de Mudanccedila
Resultado 180 dos pacientes
estatildeo satisfeitos com os serviccedilos prestados no
centro de sauacutede
Resultado 260 das mulheres
entre 15 e 49 anos na aacuterea de captaccedilatildeo do centro de
sauacutede entendem a importacircncia do planeamento familiar
para o espaccedilamento dos nascimentos
Resultado 3Todos os meacutetodos
contraceptivos modernos estatildeo
disponiacuteveis no centro de sauacutede
Produto 1Os tempos de
espera no centro de sauacutede se
reduziram de 40 para 20 minutos
Produto 2Eacute oferecida
orientaccedilatildeo a todos os pacientes em
espaccedilo privado do centro de sauacutede
Produto 3Voluntaacuterias
realizam palestras semanais sobre temas
de sauacutede reprodutiva na comunidade
Produto 4Todos os stocks
de contraceptivos satildeo monitorados semanalmente
Actividade 1Realizar um
inqueacuterito sobre o uxo de
pacientes e cumprir
recomendaccedilotildees
Actividade 2Transformar um canto do
centro de sauacutede para a
orientaccedilatildeo dos pacientes
Actividade 3Mobilizar as
ONGs parceiras para imprimir panetos de informaccedilatildeo educaccedilatildeo e
comunicaccedilatildeo
Actividade 4Mobilizar as
ONGs parceiras para dar
formaccedilatildeo ou equipar as voluntaacuterias
Actividade 5Recrutar liacutederes
comunitaacuterios para prestar
apoio agraves palestras sobre
sauacutede reprodutiva
Actividade 6Desenvolver
um sistema de registo e
pedidos de suprimentos
contraceptivos
Resultado esperadoAumento na percentagem de utentes de planeamento familiar de 50 para 52
durante o periacuteodo de Junho a Dezembro de 2006
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 917
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
sequecircncia) e define a meta da organizaccedilatildeo a longo prazo ou o resultado esperado de uma intervenccedilatildeo Em seguida preenche o mapa ao trabalhar de cima para baixo onde identifica finalmente as actividades principais os primeiros elementos do seu plano de implementaccedilatildeo
Enquanto se desloca pelo caminho faccedila trecircs perguntas Que resultados precisam acontecer para contribuir agrave meta de longo prazo Que produtos precisam ser obtidos antes disso para alcanccedilar os resultados Que actividades precisam acontecer antes disso para conseguir os produtos
O desenho de uma intervenccedilatildeo dessa forma pode ajudar a revelar as condiccedilotildees necessaacuterias para atingir os resultados a meacutedio e longo prazo e a meta de longo prazo Talvez sejam necessaacuterias vaacuterias tentativas para criar um Caminho de Mudanccedila com o qual todos estejam de acordo Os resultados produtos e acccedilotildees podem ser acrescentados modificados e eliminados ateacute que eventualmente surja um mapa que conte a histoacuteria com a qual sua equipa pode concordar O debate eacute frequentemente a parte mais importante da experiecircncia porque a equipa junta define as expectativas pressupostos e caracteriacutesticas do processo de mudanccedila
Uso da sequecircncia ldquopara querdquo como forma de verificar as vias de um Caminho de Mudanccedila Uma boa forma de verificar a loacutegica do mapa do seu caminho eacute inverter o processo e criar uma sequecircncia de ldquopara querdquo para cada actividade O exemplo na Figura 7 mostra como fazer isso para a Actividade 5 da Figura 6 O movimento na sequecircncia ldquopara querdquo eacute o
FIGURA 7 Sequecircncia ldquopara querdquo para uma actividade de um Caminho de Mudanccedila
Dar formaccedilatildeo agraves voluntaacuterias da comunidade e equipaacute-las com os materiais de informaccedilatildeo educaccedilatildeo e comunicaccedilatildeo necessaacuterios
para que
As voluntaacuterias realizem sessotildees educativas sobre sauacutede sobre temas de planeamento familiar na aacuterea especiacutefica do centro de sauacutede
para que
As mulheres em idade reprodutiva na aacuterea especiacutefica se sintam agrave vontade para participar de sessotildees apresentadas pelas voluntaacuterias
para que
As mulheres participem das sessotildees e aprendam sobre a importacircncia do planeamento familiar para o espaccedilamento dos nascimentos
para que
Mais mulheres em idade reprodutiva busquem meacutetodos de planeamento familiar no centro de sauacutede e a percentagem de mulheres que recebem os meacutetodos aumentem 2 durante o periacuteodo do projecto (o resultado esperado)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 918
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
oposto exacto do Caminho de Mudanccedila Vocecirc coloca cada actividade no topo da sua proacutepria sequecircncia e desce pela sequecircncia ateacute a meta ou resultado esperado Essa sequecircncia ajuda a confirmar que cada rota individual no Caminho de Mudanccedila faz sentido em termos loacutegicos
Para usar essa teacutecnica eacute preciso criar uma sequecircncia ldquopara querdquo para cada actividade no seu Caminho de Mudanccedila Comece por descrever cada actividade e segui-la da frase ldquopara querdquo seguida de uma descriccedilatildeo do que aconteceraacute se essa actividade for realizada Continue a fazer isto ateacute atingir a sua meta de longo prazo ou resultado esperado
Etapas do desenvolvimento de um plano de MampA
Uma das suas tarefas essenciais de MampA como gestor que exerce lideranccedila eacute a de elaborar um plano que ajude vocecirc e sua equipa a determinar se atingiram ou natildeo os resultados esperados e a acompanhar o progresso no alcance desses resultados durante a implementaccedilatildeo Isso exige que vocecirc natildeo soacute escolha indicadores confiaacuteveis mas tambeacutem que meccedila esses indicadores de forma organizada Seu plano de MampA deve especificar que indicadores seratildeo medidos como e quando seratildeo medidos e por quem
Um plano de MampA bem formulado responde a cinco perguntas
1 Seu resultado esperado eacute mensuraacutevel2 Que indicadores utilizaraacute para monitorar seus produtos e para avaliar seus
resultados 3 Quais satildeo as suas fontes de dados e como recolheraacute os dados dessas fontes 4 Quais satildeo os periacuteodos cobertos de cada indicador 5 Quem recolheraacute os dados
Essas perguntas satildeo importantes porque sem um plano vaacutelido de MampA vocecirc poderaacute interpretar erroneamente os efeitos da sua intervenccedilatildeo Poderaacute concluir que ela natildeo teve efeito algum quando na verdade ela teve alguns resultados positivos ou poderaacute concluir que ela teve um efeito positivo quando na verdade natildeo obteve resultado algum o que eacute um erro comum e mais destrutivo
Elaborar e utilizar um plano de MampA garante que dados comparaacuteveis seratildeo recolhidos regularmente e em tempo haacutebil mesmo quando houver mudanccedilas de pessoal A Tabela 3 resume as etapas no desenvolvimento e implementaccedilatildeo de um plano de MampA O resto desta secccedilatildeo descreve cada etapa detalhadamente
ETAPA 1 DEFINA OS RESULTADOS ESPERADOS
A primeira etapa no desenvolvimento do plano de MampA eacute determinar um niacutevel apropriado de resultados Juntos o tipo e o acircmbito da intervenccedilatildeo os recursos disponiacuteveis e o prazo de implementaccedilatildeo determinam um resultado viaacutevel
Como jaacute vimos antes neste capiacutetulo as intervenccedilotildees dirigidas por organizaccedilotildees com fundos de agecircncias doadoras e por serviccedilos governamentais geralmente levam a produtos ou resultados a meacutedio e longo prazo Apesar de o impacto demorar a ser obtido e geralmente estar fora do acircmbito de um uacutenico conjunto de actividades eacute importante incluiacute-lo no seu plano de MampA para que fique clara qual seraacute a contribuiccedilatildeo da sua intervenccedilatildeo a longo prazo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 919
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 3 Etapas para elaborar e usar um Plano de MampA
Etapas Recomendaccedilotildees
1 Definir os resultados esperados
Os resultados devem ser identificados de acordo com o acircmbito e o periacuteodo de tempo da sua intervenccedilatildeo
Os resultados devem atender aos criteacuterios SMART (Especiacuteficos Mensuraacuteveis Apropriados Realistas de Prazo Definido)
2 Seleccionar os indicadores
Os indicadores devem possuir as qualidades de um bom indicador
Os indicadores devem ser acessiacuteveis faacuteceis de recolher e comparaacuteveis ao longo do tempo e em diferentes locais
Para os problemas de sauacutede prioritaacuterios e os serviccedilos essenciais use indicadores criacuteticos nacionais ou padratildeo
Seleccione um nuacutemero miacutenimo de indicadores essenciais e procure garantir que os indicadores seleccionados sejam realmente necessaacuterios para medir seus resultados esperados
3 Identificar as fontes de dados
Identifique de onde viratildeo os dados para cada indicador Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos organizacionais utentes ou a comunidade
4 Definir os meacutetodos de recolha dos dados
Seleccione o meacutetodo mais apropriado e confiaacutevel para a recolha de dados para cada indicador Estes meacutetodos podem incluir a anaacutelise de registos ou diaacuterios de estatiacutesticas de serviccedilo o uso de listas de verificaccedilatildeo para fins de observaccedilatildeo as entrevistas de utentes ao saiacuterem da cliacutenica ou um modelo de inqueacuterito de dados comunitaacuterios
Decida sobre a frequecircncia da recolha de dados Poderaacute recolher apenas os dados de base ou referecircncia e os dados apoacutes a intervenccedilatildeo ou talvez precise recolher dados diaacuterios mensais ou trimestrais dependendo do tipo de indicador
Para cada indicador designe a responsabilidade pela recolha a um escritoacuterio equipa ou pessoa especiacuteficos
5 Recolher os dados de base (ou referecircncia) e os dados apoacutes a intervenccedilatildeo
Entenda que os resultados de base seratildeo usados para definir os seus alvos
Defina claramente a duraccedilatildeo coberta pelos dados de base jaacute que precisa de um periacuteodo semelhante para a comparaccedilatildeo ao final do periacuteodo de implementaccedilatildeo
Use a mesma metodologia e ferramentas para a recolha de dados que as usadas para os dados de base e as medidas poacutes-intervenccedilatildeo
6 Compartilhar e utilizar os seus resultados
Marque reuniotildees workshops e apresentaccedilatildeo de relatoacuterios para mostrar os resultados ao pessoal do projecto agrave direcccedilatildeo da organizaccedilatildeo e a outros grupos de interesse importantes
Apresente as opccedilotildees de aprendizado e acccedilatildeo com base nos resultados de MampA
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 920
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para determinar em que niacutevel deve monitorar e avaliar seus resultados eacute uacutetil examinar novamente e expandir a cadeia de resultados a comeccedilar da direita pelo resultado final (impacto) e voltar ateacute os materiais e recursos (insumos) necessaacuterios
Insumos rarr Processos rarr Produtos rarr Resultados rarr Impacto
Impacto Esses resultados satildeo medidos ao niacutevel da populaccedilatildeo levam um tempo relativamente longo para serem alcanccedilados (geralmente 3 a 5 cinco anos) e exigem o esforccedilo conjunto de vaacuterias intervenccedilotildees e mesmo de vaacuterias organizaccedilotildees Como gestor vocecirc poderaacute ser responsaacutevel por medir o impacto mas deve incluiacute-lo na loacutegica do seu plano de MampA para saber o que a sua organizaccedilatildeo e os parceiros da organizaccedilatildeo pretendem alcanccedilar a longo prazo
Resultados a meacutedio e longo prazo Na maioria dos casos os gestores satildeo responsaacuteveis por medir os resultados nos niacuteveis de produtos eou resultados a meacutedio e longo prazo Os resultados a meacutedio e longo prazo satildeo obtidos pelas actividades criadas para produzir uma mudanccedila de comportamento nos profissionais de sauacutede ou nos utentes Satildeo geralmente medidos em termos de mudanccedilas na cobertura de serviccedilos e mudanccedilas nos conhecimentos atitudes e praacuteticas de uma populaccedilatildeo beneficiaacuteria Um resultado a meacutedio e longo prazo pode ser o iniacutecio de uma praacutetica comprovada de prestaccedilatildeo de serviccedilos a adopccedilatildeo de novas estrateacutegias de gestatildeo ou a elaboraccedilatildeo bem-sucedida de uma poliacutetica de promoccedilatildeo da sauacutede Pode tambeacutem ser um aumento no nuacutemero de mulheres que datildeo agrave luz em um centro de sauacutede ou no nuacutemero de crianccedilas totalmente imunizadas Na maioria dos casos eacute possiacutevel estabelecer uma relaccedilatildeo clara entre produtos e resultados a meacutedio e longo prazo
Produtos Os produtos ou resultados imediatos satildeo fruto directo das actividades Devem ser monitorados durante toda a implementaccedilatildeo como um elemento essencial da boa gestatildeo Os planos de MampA devem definir o produto esperado de cada actividade Para as unidades de prestaccedilatildeo de serviccedilos isso geralmente significa os resultados imediatos em termos dos serviccedilos (por exemplo nuacutemero de utentes atendidos ou tempo de espera dos clientes ou utentes) Para as organizaccedilotildees que natildeo prestam serviccedilos de sauacutede directamente isso pode significar a distribuiccedilatildeo de produtos de sauacutede ou serviccedilos de formaccedilatildeo (por exemplo quantidade de produtos para planeamento familiar distribuiacutedos ou nuacutemero de participantes formados)
Processos A monitoria de processos ou actividades eacute em grande parte uma medida da cultura de prestaccedilatildeo de contas (ou grau de responsabilizaccedilatildeo) ao garantir que as actividades sejam realizadas dentro do prazo e com recursos suficientes A monitoria nesse niacutevel acompanha o progresso da implementaccedilatildeo tendo como referecircncia os prazos propostos e o uso dos recursos tendo como referecircncia os orccedilamentos Eacute geralmente executada atraveacutes da apresentaccedilatildeo de relatoacuterios tradicionais trimestrais semestrais e anuais
Insumos Ao preparar uma intervenccedilatildeo deve identificar a quantidade e os tipos de recursos necessaacuterios para implementar as actividades O desempenho pode ser monitorado em termos da quantidade e dos tipos de insumos fornecidos e do nuacutemero e timing das actividades realizadas
A etapa seguinte na definiccedilatildeo dos resultados esperados eacute garantir que cumpram os criteacuterios SMART (consulte a Tabela 4) Eacute possiacutevel monitorar e avaliar o progresso no alcance de um resultado apenas se esse resultado tiver sido definido em termos mensuraacuteveis
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 921
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja a seguir um exemplo de um resultado mensuraacutevel para uma intervenccedilatildeo cujo propoacutesito eacute promover a cobertura de imunizaccedilatildeo em crianccedilas de 12 a 24 meses de idade A percentagem de crianccedilas de 12 a 24 meses totalmente vacinadas na aacuterea de captaccedilatildeo aumentaraacute para 70 dentro de um ano
ETAPA 2 IDENTIFIQUE OS INDICADORES E SUAS DEFINICcedilOtildeES
Os indicadores satildeo geralmente percentagens ou proporccedilotildees que representam o alcance de uma condiccedilatildeo especiacutefica de sauacutede na populaccedilatildeo de interesse Podem tambeacutem ser um valor absoluto tal como o nuacutemero de ocorrecircncias de um evento de sauacutede (por ex um oacutebito materno ou um caso de malaacuteria)
Todos os indicadores pedem uma definiccedilatildeo detalhada Trata-se de um indicador qualitativo ou quantitativo Se for uma percentagem qual eacute o numerador e qual eacute o denominador A definiccedilatildeo deve ser suficientemente detalhada para garantir que pessoas diferentes em momentos diferentes possam recolher tipos idecircnticos de dados para o indicador
Veja o que caracteriza um bom indicador no Quadro 2 Os indicadores podem ser classificados como indicadores do estado de sauacutede ou do desempenho de serviccedilos
Os indicadores do estado de sauacutede podem incluir o seguinte
nuacutemero de casos e mortes causados por doenccedilas especiacuteficas em um determinado periacuteodo
proporccedilatildeo da populaccedilatildeo com uma doenccedila ou condiccedilatildeo de sauacutede num momento particular ou ao longo de um periacuteodo de tempo
proporccedilatildeo da populaccedilatildeo com um factor ou condiccedilatildeo de sauacutede que os coloca em risco de contrair doenccedilas tal como a falta de conhecimento ou um comportamento de risco
Os indicadores de desempenho podem incluir o seguinte
proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que recebeu um serviccedilo especiacutefico proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que demonstra comportamentos e
conhecimentos especiacuteficos de sauacutede
TABELA 4 Criteacuterios de um resultado SMART
Criteacuterio Descriccedilatildeo
Especiacutefico (S ndash Smart)
Claramente escrito e compreendido O resultado esperado eacute suficientemente especiacutefico para ser medido por uma frequecircncia percentagem ou nuacutemero
Mensuraacutevel (M ndash Measurable)
Eacute possiacutevel monitorar o progresso e avaliar os resultados O resultado esperado eacute definido em termos que sejam mensuraacuteveis
Apropriado (A ndash Appropriate)
O resultado esperado eacute apropriado ao acircmbito do seu trabalho e agrave missatildeo da sua organizaccedilatildeo
Realista (R ndash Realistic)
O resultado esperado pode ser alcanccedilado e estaacute dentro do controlo da sua organizaccedilatildeo Pode ser realisticamente alcanccedilado ao usar os recursos disponiacuteveis e dentro do prazo do seu plano de implementaccedilatildeo
de Tiempo limitado (T ndash Time Bound)
Foi estabelecido um prazo especiacutefico para obter o resultado esperado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 922
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
proporccedilatildeo de centros e pessoal de sauacutede que demonstram adesatildeo a padrotildees especiacuteficos de serviccedilo ou que atingiram objectivo definido
proporccedilatildeo de centros de sauacutede que seguem padrotildees definidos de gestatildeo funcional (por ex em termos de pessoal disponibilidade de medicamentos registo e apresentaccedilatildeo de relatoacuterios)
Orientaccedilatildeo adicional sobre os indicadores pode ser obtida em ldquoCompecircndio de indicadores para avaliaccedilatildeo de programas de sauacutede reprodutivardquo e ldquoLista dos indicadores sobre desenvolvimento da capacidade de gestatildeo e lideranccedilardquo
ETAPA 3 IDENTIFIQUE AS FONTES DE DADOS
Agora precisa identificar uma fonte de dados para cada indicador incluiacutedo no plano de MampA ao seleccionar dados que estejam prontamente disponiacuteveis em uma fonte confiaacutevel e dentro das possibilidades financeiras de sua organizaccedilatildeo O ideal seria escolher os dados imediatamente disponiacuteveis atraveacutes da organizaccedilatildeo em vez de dar iniacutecio a uma nova estrateacutegia de recolha de dados o que poderia ser oneroso e demorado
Uma boa forma de comeccedilar eacute com a seguinte pergunta Que dados jaacute recolhemos de forma rotineira e sistemaacutetica Vocecirc deve sempre levar em consideraccedilatildeo as vantagens e desvantagens de cada fonte de dados Consulte a secccedilatildeo ldquoComo seleccionar suas fontes de dadosrdquo para obter mais informaccedilotildees sobre as vantagens e desvantagens de algumas fontes de dados mais comuns
Vocecirc deve ser o mais especiacutefico possiacutevel sobre as fontes de dados para que a mesma fonte possa ser utilizada de forma coerente durante toda a intervenccedilatildeo Mudar as fontes de dados para o mesmo indicador pode resultar em incoerecircncias e erros de interpretaccedilatildeo Por exemplo se estiver a medir as taxas de mortalidade infantil passar de estimativas baseadas num inqueacuterito de grande escala para estimativas baseadas em estatiacutesticas hospitalares pode resultar dar a falsa impressatildeo de que houve uma mudanccedila
QUADRO 2 Qualidades de um bom indicador
Vaacutelido O indicador mede o que se pretende medir
Confiaacutevel A medida do indicador deve ser igual natildeo importa quantas vezes a medida seja feita
Preciso O indicador eacute definido em termos claros e especiacuteficos para que possa ser medido O indicador pode ser qualitativo (descritivo) discreto (SimNatildeo) ou baseado em niacuteveis quantitativos ou proporccedilotildees desde que seja claramente mensuraacutevel
Faacutecil de entender Tanto especialistas como natildeo especialistas devem poder entender o significado do indicador
Discreto O indicador captura um uacutenico componente ou aspecto de um resultado mais complexo Mede apenas uma coisa natildeo um conjunto de coisas
Em tempo haacutebil O indicador pode ser medido em intervalos temporais apropriados de acordo com a disponibilidade dos dados
Comparaacutevel Quando possiacutevel o indicador evita definiccedilotildees limitadas ou singulares cujos valores seriam difiacuteceis de comparar com outros resultados
Viaacutevel para utilizar Os dados para o indicador satildeo faacuteceis de obter de uma fonte confiaacutevel e relativamente econoacutemica ndash acessiacutevel tendo em vista os recursos da sua organizaccedilatildeo Se esses dados natildeo estiverem disponiacuteveis existem meacutetodos para obtecirc-los no futuro
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 923
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 4 DEFINA OS MEacuteTODOS DE RECOLHA DE DADOS
A etapa seguinte eacute a de definir os meacutetodos ou ferramentas que utilizaraacute para cada indicador Para os indicadores baseados em dados primaacuterios (dados que vocecirc mesmo recolhe) deve descrever o tipo de instrumento necessaacuterio para recolher os dados Os exemplos podem incluir questionaacuterios estruturados listas de verificaccedilatildeo de observaccedilatildeo directa ou balanccedilas para pesar bebeacutes
Para os dados secundaacuterios (dados recolhidos por terceiros e que estatildeo disponiacuteveis para vocecirc usar) deve explicar o meacutetodo para calcular o indicador e a fonte dos dados e fornecer detalhes suficientes sobre o meacutetodo de caacutelculo para que outros possam replicaacute-lo Lembre-se de que eacute mais faacutecil e mais barato usar dados secundaacuterios mas sua qualidade eacute menos confiaacutevel do que a dos dados primaacuterios
Tambeacutem eacute importante observar a frequecircncia da recolha dos dados para cada indicador A depender do tipo de indicador vocecirc poderaacute recolher os dados mensalmente trimestralmente anualmente ou ateacute com menos frequecircncia Ao definir o programa de recolha de dados para cada indicador leve em consideraccedilatildeo a necessidade de fornecer informaccedilotildees em tempo haacutebil aos responsaacuteveis por tomar decisotildees na sua organizaccedilatildeo Atribuir responsabilidades pela recolha de dados a indiviacuteduos ou grupos do seu pessoal garantiraacute que os dados sejam recolhidos dentro do prazo necessaacuterio
As informaccedilotildees das Etapas 1 a 4 fornecem o conteuacutedo do seu plano de monitoria e avaliaccedilatildeo A Tabela 5 mostra os elementos de um plano de MampA para um programa de mentoria cliacutenica para centros de orientaccedilatildeo e testes voluntaacuterios
ETAPA 5 RECOLHA OS DADOS DE BASE E DE ACOMPANHAMENTO
Recolher dados de base precisos eacute uma das tarefas mais importantes de MampA Os dados de base ou referecircncia satildeo o ponto de partida para definir as metas que vocecirc e sua equipa pretendem atingir e para acompanhar as mudanccedilas dos indicadores durante todo o periacuteodo de sua intervenccedilatildeo Dessa forma os dados de base ajudam a definir melhor um resultado final esperado
Vocecirc precisaraacute recolher dados de base para cada indicador antes que suas actividades comecem Esses dados identificam o ponto de partida de onde poderaacute avaliar o progresso Depois em pontos variados durante a implementaccedilatildeo vocecirc recolheraacute dados de acompanhamento sobre cada indicador para comparaacute-los com os niacuteveis de base e os resultados previstos Isto permite que vocecirc e outros tomadores de decisotildees em sua organizaccedilatildeo avaliem o progresso de cada intervenccedilatildeo ou serviccedilo e faccedilam as mudanccedilas necessaacuterias ao longo do caminho Examine o exemplo no Quadro 3
Por que acompanhar as mudanccedilas dos indicadores durante a implementaccedilatildeo Os indicadores de um plano de MampA estatildeo relacionados aos resultados imediatos (produtos) e aos resultados de meacutedio e longo prazo que os gestores precisam monitorar As mudanccedilas nos valores do indicador ao longo do tempo mostram se esses resultados estatildeo a subir ou a baixar ou se permanecem iguais Isto mostra ao gestor se as intervenccedilotildees e estrateacutegias estatildeo a funcionar conforme planeado para atingir os resultados esperados
Ao final do periacuteodo de implementaccedilatildeo precisaraacute recolher dados sobre os seus indicadores para comparar os niacuteveis finais com os niacuteveis de base e com os seus resultados esperados A depender dos seus indicadores precisaraacute tambeacutem recolher dados de acompanhamento a uma altura acordada previamente para determinar se as mudanccedilas seratildeo mantidas apoacutes o teacutermino da sua intervenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 924
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 5 Exemplo de um Plano de Monitoria e Avaliaccedilatildeo
Objectivo Os profissionais de sauacutede que receberam formaccedilatildeo aumentam sua capacidade de fornecer tratamento anti-retroviral de acordo com as directrizes nacionais
ActividadeProduto Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
CronogramaPrazo final
Cliacutenicos experientes em VIH recrutados para servir como mentores cliacutenicos em cinco hospitais regionais
Nuacutemero de mentores recrutados e designados a hospitais regionais
Registos de emprego
Como concluiacutedo Director adjunto para programas cliacutenicos
Setembro de 2008
Pessoal meacutedico em cinco hospitais regionais que recebem mentoria individual sobre terapia anti-retroviral
Nuacutemero de locais que recebem mentoria cliacutenica
Nuacutemero de meacutedicos que recebem mentoria individual
Nuacutemero de dias de mentoria cliacutenica realizados
Relatoacuterios mensais do mentor
Mensalmente Mentores Marccedilo de 2009
Resultados a meacutedio e longo prazo Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
Trabalhadores de sauacutede aumentam seu conhecimento sobre terapia anti-retroviral
80 dos participantes obtecircm 85 ou mais de pontuaccedilatildeo correcta no teste posterior
Trabalhadores de sauacutede melhoram suas habilidades no fornecimento de terapia anti-retroviral
Percentagem de habilidades demonstradas na lista de verificaccedilatildeo de competecircncia
Estudo especial Datas a definir Director adjunto para programas cliacutenicos
Fonte Centro Internacional de Formaccedilatildeo e Ensino sobre VIH p 2
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 925
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Observaccedilatildeo sobre o uso de indicadores para uma avaliaccedilatildeo A maioria dos esforccedilos de MampA enfatizam a selecccedilatildeo de indicadores bem definidos para estabelecer metas e medir as mudanccedilas nas condiccedilotildees e nos serviccedilos de sauacutede
Mas eacute importante lembrar que os indicadores servem apenas como marcadores Os dados dos indicadores fornecem pistas para saber se uma intervenccedilatildeo ou um grupo de actividades estaacute dentro do cronograma e se os resultados esperados estatildeo a ser alcanccedilados Eles natildeo respondem agraves perguntas de por que os resultados estatildeo ou natildeo a ser alcanccedilados Natildeo explicam os resultados fortuitos as relaccedilotildees entre intervenccedilotildees e resultados ou as causas de resultados percebidos que podem ocorrer fora da intervenccedilatildeo Assim natildeo podem recomendar medidas a tomar para melhorar os resultados
Os dados de indicadores devem portanto ser interpretados com cuidado Eles simplesmente indicam resultados que precisam ser melhor explorados em vez de fornecer uma avaliaccedilatildeo definitiva do sucesso ou fracasso Um estudo de avaliaccedilatildeo eacute geralmente executado para determinar se uma intervenccedilatildeo pode ser considerada um sucesso e por quecirc
Em geral agrave medida que sobe na hierarquia e passa das actividades para os resultados a longo prazo a MampA se torna mais complicada Nos niacuteveis de processo e produtos pode-se facilmente rastrear que actividades foram concluiacutedas e seus resultados imediatos Essas informaccedilotildees satildeo operacionais ndash informaccedilotildees que vocecirc pode usar para decisotildees quotidianas de gestatildeo Poreacutem para identificar e medir os resultados da sinergia dos produtos provavelmente teraacute que integrar as informaccedilotildees qualitativas e quantitativas e confiar menos em indicadores quantitativos singulares
Lembre-se de que quando uma melhoria desejada ndash seja na eficiecircncia do serviccedilo no conhecimento e comportamento dos provedores de serviccedilos ou dos beneficiaacuterios ou na tendecircncia de um problema de sauacutede ndash eacute confirmada atraveacutes de MampA isto natildeo prova que foi a intervenccedilatildeo que provocou a mudanccedila Outras coisas podem estar a se passar no serviccedilo ou no ambiente geral que causam essa mudanccedila Eacute claro que o mesmo se aplica aos resultados negativos ou resultados que indicam natildeo haver nenhuma mudanccedila nos resultados a meacutedio e longo prazo
QUADRO 3 Como usar dados de base para ajustar os resultados
Uma equipa de sobrevivecircncia infantil estaacute a propor uma intervenccedilatildeo com o seguinte resultado mensuraacutevel e especiacutefico ldquoNos proacuteximos 12 meses 40 das crianccedilas entre 12 e 24 meses de idade na aacuterea de captaccedilatildeo seratildeo completamente imunizadasrdquo
Para determinar se seu programa pode realmente atingir esse resultado o pessoal precisa medir os niacuteveis actuais de vacinaccedilatildeo Ao examinar os dados vecircem que apenas 10 das crianccedilas na aacuterea de captaccedilatildeo estatildeo completamente imunizadas ao completarem 24 meses Estes satildeo portanto seus dados de base
A gestora entende que natildeo seraacute possiacutevel atingir o objectivo de 40 de cobertura de imunizaccedilatildeo em apenas 12 meses Por isso ela e sua equipa revisam o resultado esperado e o modificam para que seja mais razoaacutevel e realista mas continue sendo significativo ldquoNos proacuteximos 12 meses 20 das crianccedilas de 12 a 24 meses na aacuterea de de actuaccedilatildeo seratildeo completamente imunizadas
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 926
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 6 COMPARTILHE E USE SEUS DADOS
Na pressa para comeccedilar a recolher dados alguns gestores se esquecem de planear um processo para reflectir sobre as informaccedilotildees e fazer mudanccedilas para aumentar a eficiecircncia das actividades Para garantir que os dados sejam natildeo soacute recolhidos mas tambeacutem utilizados pense como vocecirc e sua equipa divulgaratildeo as informaccedilotildees sobre MampA e obteratildeo retroinformaccedilatildeo dos diversos grupos de interesse Algumas perguntas baacutesicas serviratildeo para lhe orientar
Quem precisa de que tipo de informaccedilotildees e quando precisam delas Que tipo de formato deve usar para comunicar os resultados ao pessoal
aos gestores de niacutevel superior e a outros grupos de interesse importantes Eacute suficiente fazer circular um relatoacuterio ou deveria organizar uma reuniatildeo ou workshop
Deveria tambeacutem organizar reuniotildees com a comunidade para solicitar retroinformaccedilatildeo dos seus beneficiaacuterios sobre os primeiros resultados da MampA
Como deve apresentar as informaccedilotildees para que sejam uacuteteis aos diferentes tomadores de decisotildees As informaccedilotildees devem ser apresentadas visualmente em diagramas graacuteficos ou mapas Para obter orientaccedilatildeo sobre dados e resultados consulte o Guiatildeo de MampA para Facilitadores de Programas de Desenvolvimento da Lideranccedila
Uso dos resultados para melhorar os dados de rotina em acccedilatildeo ndash Um exemplo do Paquistatildeo
No Paquistatildeo com o apoio do projecto PRIDE 10 equipas de subdistritos aplicaram o Processo de Avaliaccedilatildeo e Melhoria do Desempenho em Sauacutede Puacuteblica (PIP-PH) um conjunto de procedimentos e formatos para tratar dos problemas de sauacutede que identificaram como os mais graves para as suas populaccedilotildees Usaram o PIP-PH para priorizar os problemas e serviccedilos que mais precisavam de atenccedilatildeo a curto prazo para obter melhorias
Como parte do processo PIP-PH as equipas tambeacutem conceberam um formato de Estrutura de Vigilacircncia de Sauacutede (ldquoHealth Watch Frameworkrdquo) para os seus subdistritos como um todo e para os centros de sauacutede dentro deles Cada equipa seleccionou indicadores para medir a situaccedilatildeo de dois problemas de sauacutede puacuteblica os serviccedilos essenciais a eles relacionados e as limitaccedilotildees que afectavam esses serviccedilos
As equipas usaram os formulaacuterios Health Watch para estabelecer valores de base para os indicadores e depois para monitorar esses valores agrave medida que as intervenccedilotildees prosseguiam ao longo do tempo Os centros de sauacutede revisavam e actualizavam o formulaacuterio todo mecircs as equipas do subdistrito inclusive gestores de centros de sauacutede revisavam e discutiam os formulaacuterios trimestralmente os formulaacuterios revisados
As equipas de subdistrito usaram as informaccedilotildees para analisar os motivos do progresso ou falta de progresso para poderem prestar apoio aos gestores dos centros de sauacutede O processo estimulou os gestores dos centros de sauacutede a melhorarem a integridade e precisatildeo dos dados de rotina para poderem usar as informaccedilotildees e monitorarem mais eficazmente os eventos e os serviccedilos essenciais e introduzirem as melhorias necessaacuterias
Exemplos e informaccedilotildees detalhadas sobre o PIP-PH e o Health Watch Framework aparecem no Relatoacuterio Anual do Projecto PRIDE 2007
Para se informar mais sobre meacutetodos adicionais de utilizaccedilatildeo dos dados para melhorar o desempenho de uma organizaccedilatildeo equipa serviccedilo de sauacutede ou intervenccedilatildeo consulte o processo de Avaliaccedilatildeo e Melhoria de Desempenho (Performance Assessment and Improvement ndash PAI) no website de Programa de Lideranccedila Gestatildeo e Sustentabilidade (Leadership Management and Sustainability ndash LMS)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 927
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O processo de Monitoria e Avaliaccedilatildeo deve ser executado com o objectivo de usar imediatamente os resultados para identificar as falhas de desempenho e tomar medidas para reduzir ou eliminar essas falhas Vocecirc deve sempre planear formas de usar os resultados de MampA para o aprendizado e a acccedilatildeo Por exemplo o que deve fazer se as actividades do projecto natildeo trouxerem os resultados esperados O que precisa mudar se os serviccedilos essenciais natildeo estiverem a fornecer os niacuteveis de cobertura previstos ou a alcanccedilar grupos especiacuteficos de pessoas E como vocecirc pode levar esses fatos agrave atenccedilatildeo das pessoas certas para obter uma resposta raacutepida
Desenho de uma ferramenta de MampA
ARMADILHAS DA MONITORIA E AVALIACcedilAtildeO
Haacute vaacuterias armadilhas comuns que impedem que vocecirc como gestor aperfeiccediloe a funccedilatildeo de MampA na sua organizaccedilatildeo
Planeamento excessivo ou insuficienteAlguns gestores podem gastar tempo demais a preparar o plano de MampA do que resultam planos muito elaborados e complicados de usar Outros ficam muito ansiosos por implementar as intervenccedilotildees de MampA e comeccedilam antes de concluir o plano de MampA Isso significa que quando o plano fica pronto eacute geralmente tarde demais para obter dados de base viaacuteveis e a MampA tem que ser adiada Nesses casos o gestor talvez tenha que aceitar fazer a avaliaccedilatildeo mais tarde sem os dados de base que poderia usar para a comparaccedilatildeo
Descuidar-se da monitoria contiacutenua Outra armadilha frequente eacute a falha em incluir a monitoria contiacutenua na implementaccedilatildeo das actividades Isto ocorre frequentemente por falta de experiecircncia Muitos gestores natildeo tiveram acesso a ferramentas de monitoria uacuteteis (que satildeo raras) Talvez natildeo tenham recebido prontamente os resultados ou a retroinformaccedilatildeo do sistema de MampA no passado e por isso natildeo percebem como eacute importante realizar a monitoria de rotina Aleacutem disso gestores podem facilmente se emaranhar nos detalhes da implementaccedilatildeo e descuidar-se da monitoria de rotina
Exagerar Outra armadilha relacionada agrave monitoria eacute tentar rastrear os dados de todos os indicadores possiacuteveis Tentar obter os dados sobre um nuacutemero excessivo de factores torna o processo de monitoria tatildeo complicado que se torna impreciso Isso tambeacutem torna o processo mais lento de modo que no momento em que os dados satildeo recolhidos e analisados eles jaacute natildeo satildeo mais uacuteteis As ferramentas de monitoria muito demoradas e complicadas acabam por natildeo ser usadas O que acontece entatildeo O gestor deixa totalmente de fazer a monitoria e tem que recorrer agrave avaliaccedilatildeo
Se jaacute se deparou com esses problemas eacute hora de mudar a sua taacutectica Vocecirc pode criar um plano de MampA simples e usar ferramentas de monitoria simples Descubra o que tem que medir para obter os dados dentro de 3 a 6 meses o prazo vai depender dos ciclos de planeamento e apresentaccedilatildeo de relatoacuterios da sua organizaccedilatildeo Entenda tambeacutem qual eacute o miacutenimo que deve ser medido em uma avaliaccedilatildeo de longo prazo Busque a simplicidade mesmo se estiver diante de um conjunto complexo de actividades
Tente incluir apenas o que realmente precisa saber Pode testar todos os indicadores propostos antes de incluiacute-los no planeamento de MampA ao perguntar Quem precisa usar essas informaccedilotildees quando e com que finalidade Se um uacutenico indicador de produtos for suficiente perfeito Natildeo sobrecarregue a monitoria com indicadores desnecessaacuterios Muitas vezes menos dados fornecem mais informaccedilotildees
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 928
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
CARACTERIacuteSTICAS DE UMA BOA FERRAMENTA DE MONITORIA
Como gestor natildeo precisa saber tudo para gerir um serviccedilo ou dirigir uma intervenccedilatildeo mas precisa das informaccedilotildees imediatamente Portanto precisa de uma ferramenta de monitoria que possa fornecer informaccedilotildees suficientes e em tempo haacutebil para identificar e corrigir problemas assim que eles surgirem
Uma ferramenta de monitoria deve ser faacutecil de montar e utilizar As tabelas listas de verificaccedilatildeo e diagramas simples satildeo meacutetodos particularmente uacuteteis de recolher organizar e apresentar informaccedilotildees de monitoria
No miacutenimo sua ferramenta de monitoria deve permitir que vocecirc e sua equipa acompanhem
o progresso da implementaccedilatildeo da actividade a entrega de produtos ou resultados imediatos a situaccedilatildeo dos principais indicadores de resultados comparados aos resultados
esperados se for o caso as despesas orccedilamentais a disponibilidade de recursos humanos e financeiros os obstaacuteculos agrave implementaccedilatildeo e o que tem sido feito para superaacute-los
Vocecirc teraacute que responder agraves seguintes perguntas periodicamente
As actividades foram implementadas conforme planeado dentro do prazo e do orccedilamento
Que actividades adicionais natildeo planeadas foram realizadas Que serviccedilos ou produtos directos e tangiacuteveis foram oferecidos como resultado
das actividades que implementamos Estamos dentro do cronograma para atingir nossos resultados a meacutedio e longo
prazo Possuiacutemos os recursos necessaacuterios (pessoal dinheiro medicamentos e
suprimentos etc) para cumprirmos o cronograma
O Quadro 4 apresenta os componentes baacutesicos de uma ferramenta simples de monitoria
QUADRO 4 Uma ferramenta simples de monitoria
Data de exame Metas de resultados
Actividades (segundo o plano de implementaccedilatildeo)
Situaccedilatildeo ateacute o momento
Resultados esperados
Datas para conclusatildeo
Situaccedilatildeo ateacute o momento Comentaacuterios
Desafios e oportunidades
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 929
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quando usadas correctamente as novas tecnologias (por ex os PDAs ldquosmartphonesrdquo laptops e outros) podem facilitar a monitoria e aumentar os benefiacutecios da monitoria das actividades A monitoria automatizada ndash dados que podem ser obtidos e processados automaticamente ndash podem produzir um resumo dos principais indicadores em uma soacute paacutegina faacutecil de ler e num formato que utiliza cores para alertar ao gestor sobre as aacutereas que precisam de maior atenccedilatildeo As informaccedilotildees obtidas em tempo haacutebil sobre alguns indicadores essenciais permitem que o gestor monitore o progresso e tome medidas correctivas
Essa apresentaccedilatildeo visual das informaccedilotildees mais importantes e necessaacuterias para gerir um projecto eacute geralmente conhecida como Painel de Indicadores de Desempenho Os paineacuteis de indicadores de desempenho podem ser usados em qualquer organizaccedilatildeo departamento ou divisatildeo Nas organizaccedilotildees de sauacutede puacuteblica os paineacuteis satildeo usados frequentemente para monitorar os indicadores financeiros e programaacuteticos bem como a cobertura produccedilatildeo eficaacutecia e qualidade de serviccedilos de sauacutede especiacuteficos Um painel de recursos humanos por exemplo incluiria indicadores relevantes para gerir o seguinte
retenccedilatildeo de funcionaacuterios rotatividade de funcionaacuterios formaccedilatildeo de funcionaacuterios lacunas de habilidades satisfaccedilatildeo dos funcionaacuterios custos benefiacutecios e despesas gerais com funcionaacuterios
A Tabela 6 mostra um painel de indicadores de desempenho criado para monitorar serviccedilos de contracepccedilatildeo ciruacutergica voluntaacuteria (CCV)
TABELA 6 Ilustraccedilatildeo de Painel de Indicadores de Desempenho para Serviccedilos de Contracepccedilatildeo Ciruacutergica Voluntaacuteria (CCV)
Serviccedilo Contracepccedilatildeo Ciruacutergica Voluntaacuteria Periacuteodo do Relatoacuterio Janeiro de 2009
No Indicador de Prestaccedilatildeo de Serviccedilos Custo Qualidade
Meta financeira ou programaacutetica
LimiarNuacutemero
alcanccedilado
Percentagem concluiacuteda
Miacuten Maacutex 10 20 30 40 50 60 70 80 90 100
1 Nuacutemero de CCVs realizadas no mecircs 8 10 7
2 Custo meacutedio das CCVs (US$) 100 120 110
3 Orccedilamento mensal da receita com CCVs realizadas (US$) 800 1200 770
4Percentagem das CCVs realizadas por pessoal
qualificadomdash 100 60
5 Percentagem das CCVs realizadas sem complicaccedilotildees 95 100 100
6
Percentagem de utentes satisfeitas com o tratamento
recebido do pessoal que realizou as CCVs
90 100 90
Adaptado de Colindres 2008 p 6
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 930
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja uma descriccedilatildeo do uso de um painel de indicadores de desempenho para a monitoria de rotina num estudo de caso estudo de caso de uma ONG da Boliacutevia o Centro de Investigaccedilatildeo Educaccedilatildeo e Serviccedilos (CIES)
Para obter mais informaccedilotildees de como criar um painel de indicadores consulte ldquoComo usar os paineacuteis de indicadores de desempenho para monitorar as realizaccedilotildees de uma organizaccedilatildeordquo Esse documento ajuda a esclarecer conceitos e define as etapas essenciais para criar paineacuteis de indicadores de desempenho
Como criar uma avaliaccedilatildeo para fins de aprendizagem
Apesar da importacircncia da monitoria de rotina apenas a monitoria natildeo basta para responder agrave pergunta ldquoE entatildeordquo Ou seja suas actividades e produtos contribuiacuteram para melhorar a cobertura dos serviccedilos aumentar o conhecimento ou encorajar comportamentos mais saudaacuteveis
Talvez uma campanha de comunicaccedilatildeo sobre planeamento familiar criada para aumentar a prevalecircncia do uso de contraceptivos tenha levado o governo a abastecer os depoacutesitos distritais com contraceptivos Para que possam aprender com essa experiecircncia e criar campanhas mais eficazes no futuro os gestores do projecto ainda querem saber que produtos foram realmente dispensados aos centros de sauacutede e distribuiacutedos aos utentes Esta secccedilatildeo discute como criar uma avaliaccedilatildeo para fins de aprendizagem
Existem dois motivos para levar a cabo uma avaliaccedilatildeo
1 A avaliaccedilatildeo fornece informaccedilotildees sobre o sucesso da sua equipa unidade ou organizaccedilatildeo para atingir seus objectivos Essas informaccedilotildees ajudam a definir que actividades expandir modificar ou eliminar Ela pode tambeacutem revelar formas de melhorar a concepccedilatildeo e gestatildeo das actividades futuras
2 A avaliaccedilatildeo pode demonstrar uma cultura de prestaccedilatildeo de contas agrave sua agecircncia doadora e a outros grupos de interesse nomeadamente o governo e os beneficiaacuterios dos seus serviccedilos
AVALIACcedilOtildeES FORMATIVAS E SUMATIVAS
Os gestores podem realizar dois amplos tipos de avaliaccedilotildees formativas e sumativas
Avaliaccedilatildeo formativa Este tipo de avaliaccedilatildeo eacute realizada durante o desenvolvimento e implementaccedilatildeo de um programa Seu objectivo eacute orientar o desenho e a implementaccedilatildeo de actividades que incluam as melhores e mais promissoras praacuteticas que aumentaratildeo as chances de sucesso A avaliaccedilatildeo formativa eacute mais comummente utilizada por projectos de grande porte ou de longo prazo em vez de projectos menores e de curto prazo Poreacutem os projectos menores devem pelo menos realizar uma avaliaccedilatildeo raacutepida das melhores praacuteticas durante a fase de planeamento para apoiar a loacutegica e o conteuacutedo proposto para as actividades
A avaliaccedilatildeo formativa inclui uma avaliaccedilatildeo de necessidades para discernir os desejos e requisitos de um grupo da populaccedilatildeo e determinar a melhor forma de atendecirc-los Inclui tambeacutem uma avaliaccedilatildeo de processo para investigar o processo utilizado para executar uma intervenccedilatildeo Pode-se usar a avaliaccedilatildeo do processo para determinar se as actividades foram realizadas de acordo com o plano ndash em termos de sua concepccedilatildeo original estimativas de custos e nuacutemero de pessoas a serem atendidas ndash e se a qualidade dos processos usados estaacute de acordo com as melhores praacuteticas conhecidas
A avaliaccedilatildeo de processo geralmente inclui vaacuterias abordagens Pode incluir uma avaliaccedilatildeo dos dados referentes aos produtos (por ex nuacutemero de redes mosquiteiras fornecidas nuacutemero
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 931
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
de workshops de formaccedilatildeo realizados nuacutemero de participantes dos workshops) assim como entrevistas individuais ou grupos de enfoque entre os beneficiaacuterios Nas intervenccedilotildees de menor porte eacute uma boa praacutetica realizar uma avaliaccedilatildeo de processo mesmo se limitada agrave retroinformaccedilatildeo dos participantes
Avaliaccedilatildeo somativa Este tipo de avaliaccedilatildeo eacute realizada apoacutes a conclusatildeo de um grupo de actividades ou da intervenccedilatildeo para avaliar a qualidade da intervenccedilatildeo e os seus principais resultados A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo a avaliaccedilatildeo do impacto a anaacutelise de custo-benefiacutecio e custo-eficaacutecia e a investigaccedilatildeo operacional
A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo que avalia em que medida uma equipa unidade ou organizaccedilatildeo inteira atingiram seus resultados esperados A avaliaccedilatildeo dos resultados eacute usada para demonstrar que existe uma cultura de prestaccedilatildeo de contas para aperfeiccediloar o projecto de actividades organizacionais para melhorar a distribuiccedilatildeo dos recursos e para promover intervenccedilotildees futuras bem-sucedidas As principais perguntas satildeo Que modificaccedilotildees ocorreram na vida das pessoas das famiacutelias ou da comunidade como resultado do nosso trabalho Que diferenccedila fizemos
Como observamos anteriormente neste capiacutetulo os resultados a meacutedio e longo prazo satildeo geralmente mudanccedilas mensuraacuteveis eou observaacuteveis em duas dimensotildees A primeira dimensatildeo abrange a conscientizaccedilatildeo o conhecimento as atitudes os valores e as habilidades dos participantes de um programa ou dos beneficiaacuterios dos serviccedilos durante ou depois de seu envolvimento na intervenccedilatildeo A segunda dimensatildeo implica mudanccedilas no comportamento desses mesmos grupos
Idealmente as duas dimensotildees deveriam ser medidas em trecircs pontos no comeccedilo e no final do periacuteodo de implementaccedilatildeo e se possiacutevel apoacutes um periacuteodo de acompanhamento adequado Se a mediccedilatildeo do acompanhamento natildeo for viaacutevel pelo menos devem ser comparadas as mediccedilotildees de base e poacutes-intervenccedilatildeo Muitas vezes as mudanccedilas podem ser pequenas mas deve haver alguma melhoria em pelo menos um ou dois resultados para que a intervenccedilatildeo seja considerada um sucesso
A avaliaccedilatildeo dos resultados tenta distinguir entre a influecircncia da intervenccedilatildeo nessas mudanccedilas e a influecircncia de outros factores externos Mas geralmente os avaliadores teratildeo que optar pela atribuiccedilatildeo parcial de um resultado a uma intervenccedilatildeo ou serviccedilo especiacutefico devido agrave dificuldade em determinar uma relaccedilatildeo directa e causal entre o serviccedilo prestado e uma determinada mudanccedila
As avaliaccedilotildees de resultados utilizam geralmente um desenho natildeo experimental (geralmente denominado ldquopreacute e poacutes-avaliaccedilatildeordquo) que simplesmente mede as mudanccedilas antes e depois de uma intervenccedilatildeo ou seja diferente do desenho experimental (que compara os participantes com um grupo de controlo com designaccedilatildeo aleatoacuteria a ambos os grupos) ou do desenho semi-experimental (que compara os participantes com um grupo de controlo mas sem a designaccedilatildeo aleatoacuteria)
O desenho natildeo experimental eacute aceitaacutevel para as mediccedilotildees e relatoacuterios padratildeo dos resultados a meacutedio e longo prazo As ONGs raramente usam os desenhos experimentais Apesar de uma organizaccedilatildeo de grande porte e com muitos recursos poder ocasionalmente receber assistecircncia de especialistas para um desenho experimental a maioria delas acha que as consideraccedilotildees eacuteticas e logiacutesticas impedem a designaccedilatildeo aleatoacuteria dos participantes aos grupos de intervenccedilatildeo e de controlo Aleacutem disso o custo de recolher dados de um grupo de controlo seraacute provavelmente muito elevado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 932
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A avaliaccedilatildeo do impacto eacute outro componente da avaliaccedilatildeo somativa Eacute mais ampla do que a avaliaccedilatildeo de resultados e avalia os efeitos liacutequidos ou gerais ndash tanto intencionais como natildeo intencionais ndash de todo um programa grupo de programas ou grupo de organizaccedilotildees As avaliaccedilotildees de impacto geralmente se estendem por um periacuteodo de 3 a 5 anos
OUTROS TIPOS DE AVALIACcedilOtildeES
Anaacutelise de custo-benefiacutecio e custo-eficaacutecia Estes tipos de anaacutelise tratam da eficiecircncia da intervenccedilatildeo ao analisar os resultados em termos dos seus custos financeiros e do seu valor
Investigaccedilatildeo operacional Trata-se de um balanccedilo ou avaliaccedilatildeo de uma intervenccedilatildeo especiacutefica no contexto de um programa mais amplo que estaacute a fazer vaacuterias intervenccedilotildees A investigaccedilatildeo operacional eacute usada para testar e avaliar novas abordagens de prestaccedilatildeo de serviccedilos de sauacutede Eacute tambeacutem usada para identificar problemas na prestaccedilatildeo de serviccedilos e oferecer soluccedilotildees
A investigaccedilatildeo operacional eacute uma ferramenta poderosa que os gestores de programas e os tomadores de decisotildees podem usar para melhorar e expandir os serviccedilos Os estudos de investigaccedilatildeo operacional comparam intervenccedilotildees que estatildeo dentro da esfera de influecircncia do gestor Os exemplos incluem a avaliaccedilatildeo da eficaacutecia de uma nova estrateacutegia de prevenccedilatildeo de VIHSIDA um novo curso de formaccedilatildeo um novo conjunto de procedimentos para gerir medicamentos um novo meacutetodo contraceptivo ou um novo serviccedilo de sauacutede reprodutiva
O Toolkit de Investigaccedilatildeo Operacional do Programa Horizons sobre VIHSIDA do Population Council fornece informaccedilotildees detalhadas para criar um estudo de investigaccedilatildeo operacional
CONSIDERACcedilOtildeES PARA A FORMULACcedilAtildeO DE UMA AVALIACcedilAtildeO
O que avaliar para responder agrave pergunta ldquoE entatildeordquo Se quiser saber como gestor se as suas actividades tiveram realmente sucesso precisa preparar todas as intervenccedilotildees tendo em mente a avaliaccedilatildeo e incorporar a avaliaccedilatildeo ao seu planeamento organizacional geral Ao definir objectivos deve se perguntar Como saberemos se estamos a atingir esses objectivos Este eacute o ponto de partida para a avaliaccedilatildeo
Seja qual for o porte da sua intervenccedilatildeo ou serviccedilo e o alcance da avaliaccedilatildeo precisaraacute responder a trecircs perguntas durante a fase de desenho e planeamento
1 O que a sua intervenccedilatildeo ou serviccedilo conseguiraacute realizar a curto e longo prazo Se implementar um conjunto de actividades com sucesso ao longo do tempo o que seraacute diferente
2 Como conceptualiza as suas actividades ndash qual eacute a loacutegica subjacente Duas abordagens para identificar a loacutegica do programa satildeo discutidas neste capiacutetulo na secccedilatildeo intitulada Ferramentas e Abordagens Praacuteticas para MampA
3 Que indicadores pode usar para identificar o progresso no alcance dos resultados
Para responder agrave pergunta ldquoE entatildeordquo vocecirc precisa avaliar os factores sobre os quais tem um niacutevel razoaacutevel de controlo Por exemplo um novo serviccedilo criado para oferecer alojamento a pessoas que vivem com SIDA natildeo pode controlar ou afectar a expectativa de vida das pessoas agraves quais atende Mas ao fornecer um ambiente estaacutevel para elas viverem o serviccedilo pode diminuir o niacutevel de stresse e melhorar a qualidade de vida dessas pessoas que antes eram forccediladas a se mudar com frequecircncia
Depois de tratar da pergunta ldquoE entatildeordquo deve tambeacutem se certificar de que a avaliaccedilatildeo seja concebida de forma que quando o processo estiver concluiacutedo vocecirc possa abordar os cinco toacutepicos principais da avaliaccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 933
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
1 Relevacircncia Foi uma boa ideia fazer a intervenccedilatildeo considerando-se a situaccedilatildeo e a necessidade de melhorias Ela tratou das prioridades do grupo alvo ou beneficiaacuterio Por que sim ou por que natildeo
2 Eficaacutecia Os resultados produtos e actividades foram realizados Por que sim ou por que natildeo A loacutegica da intervenccedilatildeo eacute correcta
3 Eficiecircncia Os insumos (recursos e tempo) foram usados da melhor forma possiacutevel para atingir os resultados a meacutedio e longo prazo Por que sim ou por que natildeo O que vocecirc e sua equipa poderiam fazer de modo diferente no futuro para maximizar os resultados a um custo aceitaacutevel
4 Impacto Em que medida a sua intervenccedilatildeo contribuiu para as metas nacionais ou de longo prazo Que consequecircncias natildeo intencionais (positivas ou negativas) suas actividades tiveram Por que essas consequecircncias aconteceram
5 Sustentabilidade Eacute provaacutevel que os resultados positivos continuem depois que sua intervenccedilatildeo terminar Por que sim ou por que natildeo
Uma uacuteltima advertecircncia assim como a monitoria pode-se complicar demasiado a avaliaccedilatildeo Ao preparar um plano de avaliaccedilatildeo o melhor eacute seleccionar um grupo pequeno de indicadores e resistir agrave tentaccedilatildeo de avaliar todos os aspectos da sua intervenccedilatildeo
Assim como a monitoria a avaliaccedilatildeo soacute eacute uacutetil se as informaccedilotildees forem repassadas em tempo haacutebil para o gestor e outros tomadores de decisotildees e grupos de interesse Um problema comum com as avaliaccedilotildees intercalares eacute que os resultados geralmente soacute satildeo informados de 6 a 8 meses mais tarde o que deixa apenas 1 ou 2 anos para fazer mudanccedilas mais permanentes antes que se esgotem os fundos do governo ou da agecircncia doadora
COMO SELECCIONAR SUAS FONTES DE DADOS
Esta secccedilatildeo descreve trecircs tipos de fontes de dados que satildeo comummente usadas para uma avaliaccedilatildeo dados recolhidos rotineiramente inqueacuteritos de grande escala e teacutecnicas de avaliaccedilatildeo raacutepida inclusive a avaliaccedilatildeo participativa
Dados de rotina Os dados recolhidos e analisados rotineiramente por um SIS satildeo denominados ldquoestatiacutesticas de serviccedilordquo Pode-se utilizar vaacuterios sistemas de informaccedilatildeo de serviccedilos de rotina para monitorar os serviccedilos Alguns deles satildeo o sistema baacutesico de registo e relatoacuterio de SIS os sistemas especiais de relatoacuterios sobre programas (por ex tuberculose malaacuteria imunizaccedilatildeo VIH planeamento familiar etc) os sistemas de relatoacuterios sobre agentes comunitaacuterios especiais (por ex registos de agentes comunitaacuterios de sauacutede) o sistema de informaccedilotildees para a vigilacircncia de doenccedilas e o controlo notificaccedilatildeo e resposta a surtos e os relatoacuterios para os sistemas de suporte especiais (por ex medicamentos encaminhamentos e gestatildeo financeira e de recursos humanos)
Esses sistemas fornecem dados que estatildeo imediatamente disponiacuteveis e cujo objectivo eacute informar o que estaacute a acontecer no sector de sauacutede Os dados de rotina incluem por exemplo o nuacutemero de consultas de preacute-natal em uma cliacutenica o nuacutemero e tipo de vacinaccedilotildees fornecidas no local ou o nuacutemero e tipos de contraceptivos fornecidos mensalmente
Os dados sobre os serviccedilos satildeo geralmente recolhidos pelos centros de sauacutede ou postos de sauacutede e enviados para o proacuteximo niacutevel superior do sistema (geralmente o distrito) para serem agregados Esses dados podem entatildeo ser enviados ao proacuteximo niacutevel superior (regional ou provincial) para posterior agregaccedilatildeo antes que cheguem finalmente ao niacutevel central do Ministeacuterio da Sauacutede
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 934
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Idealmente os gestores de centros de sauacutede e ao niacutevel do distrito usam esses dados para orientar as operaccedilotildees diaacuterias acompanhar o desempenho e a prestaccedilatildeo de contas e tomar decisotildees que continuem a melhorar o desempenho Mas haacute vaacuterios obstaacuteculos a essa utilizaccedilatildeo
Muito frequentemente os dados de rotina satildeo imprecisos ou incompletos Apesar dos que utilizam o SIS tentarem produzir informaccedilotildees de alta qualidade e em tempo haacutebil haacute muitas oportunidades de introduzir erros Pode haver pouco apoio para que os gestores e seu pessoal se concentrem nos procedimentos correctos de recolha registo e agregaccedilatildeo dos dados
Os sistemas de sauacutede de vaacuterios paiacuteses enfatizam a importacircncia de apresentar relatoacuterios para os niacuteveis superiores mas natildeo estabeleceram procedimentos e incentivos para encorajar aqueles que fornecem informaccedilotildees a utilizaacute-las mesmo quando os dados satildeo de boa qualidade
Outra dificuldade eacute que as estatiacutesticas sobre serviccedilos fornecem informaccedilotildees apenas sobre os utentes que utilizam os serviccedilos de sauacutede Natildeo podem fornecer informaccedilotildees sobre as muitas pessoas que natildeo utilizam os serviccedilos
Por tudo isso natildeo se pode confiar apenas nas estatiacutesticas sobre serviccedilos para fazer uma avaliaccedilatildeo Elas satildeo melhor utilizadas para a monitoria de rotina dos problemas de sauacutede puacuteblica e dos serviccedilos essenciais relacionados
Inqueacuteritos em grande escala Os inqueacuteritos em grande escala satildeo outra fonte de informaccedilotildees imediatamente disponiacuteveis Incluem inqueacuteritos de base populacional tais como as Inqueacuterito Demograacutefico e de Sauacutede (IDS) dos EUA avaliaccedilotildees completas de centros de sauacutede como a Anaacutelise de Situaccedilatildeo do Population Council e os censos nacionais Em vaacuterios casos os gestores podem usar os dados de um inqueacuterito em grande escala existente para fornecer o contexto para a interpretaccedilatildeo dos dados capturados atraveacutes das suas proacuteprias avaliaccedilotildees
Por exemplo as IDS satildeo realizadas periodicamente para caracterizar a situaccedilatildeo de sauacutede em um paiacutes ou regiatildeo geograacutefica de grande extensatildeo para vaacuterios grupos populacionais homens mulheres crianccedilas bebeacutes e assim por diante Mas os dados das IDS natildeo podem normalmente ser desagregados para uso pelos gestores no niacutevel de distrito ou comunidade
Aleacutem disso como as IDS satildeo realizadas apenas a cada trecircs ou cinco anos as informaccedilotildees que fornecem podem natildeo estar suficientemente actualizadas para as necessidades de avaliaccedilatildeo dos gestores Apesar dessas dificuldades os dados das IDS satildeo uacuteteis para compreender tendecircncias regionais ou nacionais que podem ajudar a explicar dados recolhidos em uma avaliaccedilatildeo de foco especiacutefico
Avaliaccedilotildees raacutepidas Satildeo formas raacutepidas e econoacutemicas de obter informaccedilotildees para a tomada de decisotildees principalmente ao niacutevel da actividade Os exemplos incluem entrevistas quando os utentes saem de suas consultas as avaliaccedilotildees de pequena escala dos centros de sauacutede os inqueacuteritos raacutepidos por amostragem o exame analiacutetico de registos as entrevistas com grupos de enfoque e outros meacutetodos participativos
Poderaacute usar teacutecnicas de avaliaccedilatildeo raacutepida para complementar as informaccedilotildees obtidas com dados de rotina ou inqueacuteritos de grande escala As avaliaccedilotildees raacutepidas podem-lhe fornecer informaccedilotildees valiosas sobre sua aacuterea de captaccedilatildeo e sua aacuterea de responsabilidade mais ampla ndash ou seja as comunidades e as populaccedilotildees que deveriam ter acesso aos serviccedilos essenciais prestados por um centro de sauacutede determinado Elas podem tambeacutem fornecer contexto e uma compreensatildeo qualitativa dos dados quantitativos recolhidos pelos meacutetodos mais formais
Dentro da categoria de avaliaccedilotildees raacutepidas os meacutetodos participativos e os inqueacuteritos raacutepidos por amostragem merecem a sua atenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 935
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Meacutetodos participativos (tambeacutem chamados de aprendizagem e acccedilatildeo participativas) Essas teacutecnicas e meacutetodos visam incorporar o conhecimento e as opiniotildees dos membros da comunidade no planeamento e gestatildeo de projectos de desenvolvimento no esforccedilo para influenciar as poliacuteticas e na implementaccedilatildeo de programas Eles permitem incluir vozes da comunidade nas poliacuteticas no planeamento e nos inqueacuteritos e criam um senso de propriedade e participaccedilatildeo nos resultados de MampA e nas recomendaccedilotildees feitas pela organizaccedilatildeo e por seus beneficiaacuterios
Ao contraacuterio de outras teacutecnicas de avaliaccedilatildeo raacutepida os meacutetodos participativos natildeo se baseiam em amostragens Eles usam entrevistas individuais ou com informantes essenciais (inclusive entrevistas com utentes ao saiacuterem de suas consultas) entrevistas em grupo estudos de caso e outros meacutetodos qualitativos para identificar as condiccedilotildees locais e entender as perspectivas e prioridades locais
Em vaacuterios locais haacute membros da comunidade que natildeo podem ler nem escrever e por isso os meacutetodos participativos dependem frequentemente da comunicaccedilatildeo oral com apoio de imagens siacutembolos objectos fiacutesicos e memoacuteria colectiva
Os meacutetodos participativos podem ser usados antes durante e apoacutes a implementaccedilatildeo de uma intervenccedilatildeo ou um conjunto de actividades Eles fornecem informaccedilotildees para o projecto e a avaliaccedilatildeo e permitem a participaccedilatildeo activa das partes interessadas na tomada de decisotildees Durante a implementaccedilatildeo os meacutetodos participativos satildeo uacuteteis para identificar e solucionar problemas
Aproveite para examinar e utilizar uma lista de recursos online sobre inqueacuterito qualitativo e directrizes sobre discussotildees em grupos de enfoque no Community Tool Box da Universidade de Kansas
Inqueacuteritos raacutepidos por amostragem Estes inqueacuteritos podem ser utilizados para recolher informaccedilotildees padronizadas de uma amostra pequena e cuidadosamente seleccionada de pessoas ou domiciacutelios em uma aacuterea beneficiaacuteria Eles podem descrever as condiccedilotildees em uma comunidade particular ou grupo-alvo e permitem comparar grupos diferentes em um determinado momento ou mudanccedilas no mesmo grupo ao longo do tempo Permitem tambeacutem comparar condiccedilotildees actuais com os resultados planeados
Um dos inqueacuteritos mais comuns de pequena amostragem eacute o inqueacuterito CAP (Conhecimentos Atitudes e Praacuteticas) baseado em uma amostra de 30 agrupamentos
Amostragem para Garantia de Qualidade de Lotes (Lot Quality Sampling - LQAS) Essa eacute outra teacutecnica de avaliaccedilatildeo raacutepida que se usa cada vez mais na aacuterea de sauacutede puacuteblica A LQAS utiliza amostragens muito pequenas para obter informaccedilotildees confiaacuteveis em uma pequena aacuterea geograacutefica ou unidade administrativa Pode ser usada para detectar de forma precisa os extremos do desempenho ndash para determinar se uma intervenccedilatildeo foi mais aleacutem de um limiar superior de desempenho ou natildeo conseguiu atingir um limiar inferior de desempenho em termos de qualidade ou cobertura As amostras de lotes podem tambeacutem ser combinadas para fornecer estimativas de cobertura em uma aacuterea geograacutefica mais ampla
Uma busca na Web revelaraacute recursos uacuteteis aqui temos um sobre os inqueacuteritos CAP e outro sobre LQAS A aacuterea de MampA do website do CORE Group inclui ligaccedilotildees com ferramentas e recursos importantes para a avaliaccedilatildeo raacutepida criados pelo Grupo de Trabalho de MampA do CORE Group
Como gestor deve revisar todas as fontes de dados jaacute existentes antes de planear a sua avaliaccedilatildeo A Tabela 7 apresenta as vantagens e desvantagens das trecircs principais fontes de
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 936
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 7 Resumo das trecircs fontes de dados mais comuns para uma avaliaccedilatildeo
Fonte de dados Vantagens Limitaccedilotildees
Estatiacutesticas de serviccedilo Dados sobre a populaccedilatildeo de utentes e serviccedilos cliacutenicos que satildeo recolhidos rotineiramente nos registos dos utentes e nos registos cliacutenicos
Disponiacuteveis imediatamente
Cobrem todos os tipos de serviccedilos de sauacutede e todas as aacutereas do paiacutes
Podem ser desagregados para os niacuteveis local e de distrito
Uso econoacutemico
Soacute lhe informam sobre clientes actuais sem informaccedilotildees sobre as pessoas que natildeo usam os serviccedilos de sauacutede e podem ser utentes em potencial
Natildeo fornecem informaccedilotildees sobre valores percepccedilotildees ou comportamentos da comunidade
Natildeo reflectem as pessoas que optam por fontes privadas de serviccedilos
Podem ser inexactas se os locais de prestaccedilatildeo de serviccedilos natildeo registarem os dados correctamente de forma legiacutevel e em tempo haacutebil
Inqueacuteritos de grande escala Inqueacuteritos de base populacional e avaliaccedilotildees de grande escala dos centros de sauacutede
Dados relevantes precisos e confiaacuteveis
Podem medir as tendecircncias nacionais de sauacutede identificar aacutereas com problemas e ajudar a concentrar os recursos do paiacutes em aacutereas de maior carecircncia
Geram valores meacutedios para as aacutereas urbanas e rurais regiotildees e proviacutencias
Fornecem um contexto para interpretar os dados recolhidos localmente
Podem gerar informaccedilotildees adicionais a partir dos seus conjuntos de dados informatizados
Geralmente natildeo podem desagregar os dados para fornecer meacutedias para as aacutereas sub-regionais (distritos ou municipalidades)
Geralmente natildeo satildeo realizadas anualmente os dados se tornam desactualizados rapidamente se as populaccedilotildees ou condiccedilotildees de sauacutede se modificarem rapidamente
Avaliaccedilotildees raacutepidas Meacutetodos focados para avaliar as necessidades locais e tomar decisotildees em acircmbito local
Raacutepidas e econoacutemicas
Resultam em acccedilatildeo local
Haacute directrizes para ajudar os gestores em vaacuterias dessas teacutecnicas
Fornecem aos gestores a capacidade de recolher os dados necessaacuterios
Os inqueacuteritos domiciliares (por ex LQAS ou CAP) podem obter precisatildeo suficiente para fins de avaliaccedilatildeo
Equilibra a necessidade de resultados representativos e objectivos com a necessidade de usar projectos levemente menos rigorosos que satildeo mais viaacuteveis em aacutereas locais
Usam escala e acircmbito reduzidos para produzir resultados em tempo haacutebil e de baixo custo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 937
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
dados que foram discutidas acima estatiacutesticas rotineiras de serviccedilos inqueacuteritos em grande escala e teacutecnicas de avaliaccedilatildeo raacutepida
Que niacutevel de qualidade os dados do SIS precisam ter para serem uacuteteis ndash que niacutevel de abrangecircncia precisatildeo e apresentaccedilatildeo em tempo haacutebil Para as suas necessidades de gestatildeo mesmo que natildeo sejam perfeitos os dados podem ser suficientemente bons para ter um efeito poderoso como nos mostra o exemplo de Madagascar
Dados do SIS pontos fortes e limitaccedilotildees
Subestimar o valor e a utilidade do SIS eacute infelizmente uma tendecircncia Eacute verdade que o SIS tem problemas frequentemente mas tambeacutem eacute grande o seu potencial Como vimos em
Como usar e melhorar dados imperfeitos do SIS ndash Um exemplo de Madagascar
Um SIS de base comunitaacuteria mais preciso e mais oportuno Um projecto de Madagascar implementou um meacutetodo baseado na comunidade para aumentar o uso de meacutetodos de planeamento familiar denominado ldquoComunidades Campeatildesrdquo em 50 dos 110 distritos do paiacutes O meacutetodo utilizou exclusivamente os dados do SIS para monitorar e avaliar as realizaccedilotildees das comunidades participantes
Em primeiro lugar foi estabelecida uma base de referecircncia para cada comunidade ao usar os dados do seu centro de sauacutede Em seguida o pessoal do centro de sauacutede e os representantes da comunidade identificaram metas para 10 indicadores que determinariam se uma comunidade tinha alcanccedilado a posiccedilatildeo de campeatilde apoacutes 12 meses de implementaccedilatildeo Cada comunidade monitorava seu proacuteprio progresso em uma reuniatildeo trimestral de verificaccedilatildeo
Apoacutes 12 meses o pessoal do projecto voltou a cada comunidade para avaliar os resultados Examinaram os dados do relatoacuterio de monitoria de rotina de cada centro de sauacutede e para cada indicador Prepararam tambeacutem um relatoacuterio sobre os dados de cada comunidade e o enviaram para o supervisor de niacutevel distrital para a sua confirmaccedilatildeo com base nos registos informatizados do distrito As fontes de dados para os relatoacuterios do centro de sauacutede e registos de distrito foram as mesmas (registos dos centros de sauacutede) e por isso raramente ocorreu uma discrepacircncia Mas o que interessava era envolver o supervisor distrital no exame dos dados do centro de sauacutede para mostrar a utilidade de se usar ateacute mesmo dados simples nesse niacutevel
O projecto tambeacutem cooperou com o Ministeacuterio da Sauacutede a niacutevel distrital para melhorar a precisatildeo a abrangecircncia e a prontidatildeo do SIS A ecircnfase era obter dados mais completos dos centros de sauacutede e reduzir o tempo gasto pelo escritoacuterio distrital para receber o relatoacuterio do centro de sauacutede apreciaacute-lo devolvecirc-lo ao centro para qualquer correcccedilatildeo recebecirc-lo novamente dar entrada dos dados no sistema e finalmente enviaacute-los ao niacutevel central Os distritos satildeo responsaacuteveis por cooperar com os centros de sauacutede para melhorar o registo de dados e actualizar suas proacuteprias teacutecnicas de processamento de dados
Apoacutes dois anos de assistecircncia teacutecnica o SIS tinha realmente melhorado segundo os indicadores de precisatildeo abrangecircncia e prontidatildeo As melhorias mais notaacuteveis foram em prontidatildeo o tempo gasto pelo escritoacuterio distrital no processo descrito acima reduziu-se de 12 para 3 meses
Imperfeitas mais mesmo assim valiosos Deve-se lembrar que o projecto ldquoComunidades Campeatildesrdquo teve oacuteptimo resultado apesar dos dados imperfeitos Seu numerador (o nuacutemero de utentes regulares de planeamento familiar) era detalhado e preciso Mas suas estimativas das taxas de prevalecircncia do uso de contraceptivos natildeo eram muito precisas porque o denominador (nuacutemero de mulheres em idade reprodutiva) era apenas uma estimativa baseada num censo desactualizado e em estimativas anuais do governo sobre percentagens de crescimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 938
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Madagascar o projecto Comunidades Campeatildes melhorou o sistema substancialmente num periacuteodo de dois anos Nesse caso o sistema jaacute se encontrava relativamente funcional porque projectos anteriores haviam feito um grande esforccedilo para implantar o sistema e tornaacute-lo mais soacutelido Ao aprimorar a forma como o sistema era administrado e os dados eram usados o projecto posterior conseguiu fazer uma grande diferenccedila por meio de pequenas modificaccedilotildees
Os dados do SIS natildeo satildeo 100 exactos e nunca seratildeo Esta eacute a realidade com a qual todos os gestores tecircm que trabalhar Mas os dados natildeo precisam ser perfeitos para serem uacuteteis Eacute possiacutevel fazer a monitoria e a gestatildeo com dados imperfeitos Informaccedilotildees obtidas em tempo
(continuaccedilatildeo)
No entanto o projecto constatou que as taxas de prevalecircncia de uso de contraceptivos eram suficientemente boas para acompanhar o desempenho das comunidades que participavam do meacutetodo de Comunidades Campeatildes O pessoal do projecto tambeacutem complementou as comparaccedilotildees dessas taxas com as comparaccedilotildees dos valores do numerador nuacutemeros simples que faziam sentido para o pessoal do centro de sauacutede e tambeacutem para as comunidades
O niacutevel central comeccedilou a organizar workshops regionais trimestrais para divulgar os resultados ao niacutevel distrital Juntos os gestores dos niacuteveis distritais regionais e centrais analisaram o progresso e classificaram os distritos com base no seu desempenho Usaram a anaacutelise de causa-raiz ndash um processo que identifica as causas subjacentes de um problema ndash para entender os obstaacuteculos enfrentados pelos distritos que apresentavam baixo desempenho (Consulte o Apecircndice A no Capiacutetulo 2 deste guia para obter mais informaccedilotildees sobre a anaacutelise de causa-raiz) Finalmente o Ministeacuterio de Sauacutede mobilizou o apoio de agecircncias doadoras e de organizaccedilotildees parceiras para ajudaacute-los a melhorar
O ministeacuterio comeccedilou a usar as informaccedilotildees de sauacutede para administrar realmente o sistema de sauacutede Antes dessa intervenccedilatildeo poucas organizaccedilotildees confiavam ou utilizavam os dados do SIS Mas quando ficou claro que o sistema funcionava as agecircncias doadoras passaram a confiar as organizaccedilotildees parceiras passaram a utilizaacute-lo e o ministeacuterio se orgulhou do trabalho Pela primeira vez tinham uma visatildeo mais niacutetida do que acontecia em todo o paiacutes e podiam usar essas informaccedilotildees para buscar o apoio de agecircncias doadoras se necessaacuterio
Do mesmo modo os centros de sauacutede raramente usavam seus proacuteprios dados Eles simplesmente faziam os registos e os enviavam para o escritoacuterio distrital sem nem mesmo receber retroinformaccedilatildeo do mesmo Apoacutes a conclusatildeo do projecto perceberam como os dados mais precisos podiam ser usados em seu benefiacutecio e das comunidades
Os distritos tambeacutem actuavam antes de uma forma pouco informada Cada distrito dependia apenas dos seus proacuteprios dados e funcionava num vaacutecuo As mudanccedilas no SIS e o encorajamento do governo central forneceram aos distritos oportunidades para comparar seu trabalho e aprender uns com os outros
Aprendizagem com dados mais precisos completos e oportunos Os dados satildeo geralmente utilizados para fazer comparaccedilotildees mas satildeo menos frequentemente utilizados como ferramenta de aprendizagem Nesse caso depois que os relatoacuterios comeccedilaram a chegar dentro do prazo o Ministeacuterio da Sauacutede usou os dados ndash inclusive dados imperfeitos ndash para descobrir que distritos tinham um desempenho ruim e que distritos estavam melhor que os outros Assim aprenderam com os de melhor desempenho ao perguntar Por que seus resultados satildeo tatildeo bons O que estavam a fazer de diferente O que poderia ser replicado Finalmente aplicaram a aprendizagem ao usar esses distritos como modelos e ao oferecer mais apoio aos de pior desempenho
Todo o sistema de sauacutede se entusiasmou com as informaccedilotildees que podiam produzir e usar A comeccedilar do topo esse entusiasmo chegou aos niacuteveis inferiores e os motivou a melhorar sua recolha e processamento de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 939
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
haacutebil e com 75 de precisatildeo satildeo melhores que as informaccedilotildees com 95 de precisatildeo que chegam com vaacuterios meses de atraso
Apesar do seu grande valor por si soacutes os dados do SIS natildeo atenderatildeo a todas as necessidades de informaccedilatildeo de muitas organizaccedilotildees Algumas organizaccedilotildees e agecircncias doadoras precisam de dados que exigem avaliaccedilotildees ou sistemas especiais Aleacutem disso vaacuterias intervenccedilotildees foram projectadas para modificar o conhecimento as atitudes e as praacuteticas dos beneficiaacuterios factores que natildeo satildeo capturados nos dados de serviccedilo Eacute importante usar os dados do SIS sempre que possiacutevel e complementaacute-los com avaliaccedilotildees locais quando necessaacuterio
Como gestor de um programa de sauacutede ou de serviccedilos de sauacutede parte do seu trabalho deveria ser o de melhorar o SIS em seu paiacutes Ele eacute o uacutenico sistema de informaccedilotildees sustentaacutevel na maioria dos paiacuteses Os sistemas de informaccedilatildeo criados e mantidos por agecircncias doadoras ou organizaccedilotildees externas tecircm duraccedilatildeo limitada mas o SIS eacute parte permanente do seu legado
Se todos os parceiros e agecircncias doadoras trabalharem com o Ministeacuterio de Sauacutede para prestar assistecircncia teacutecnica e financeira ao SIS ele poderaacute render informaccedilotildees que trazem grandes melhorias para os serviccedilos de sauacutede e que justificam plenamente o investimento no mesmo
Praacuteticas comprovadas
Um sistema de MampA deveria proporcionar aos gestores o que eles precisam saber para agir Deve se basear em indicadores relevantes faacuteceis de usar e que possam ser fornecidos em tempo haacutebil para os ciclos de planeamento e apresentaccedilatildeo de relatoacuterios
Os resultados de MampA natildeo se destinam apenas ao pessoal de MampA da sua organizaccedilatildeo ou agrave agecircncia doadora As informaccedilotildees de MampA satildeo um recurso fundamental para as acccedilotildees e a aprendizagem Se o seu processo de MampA tiver mecanismos de retroinformaccedilatildeo que permitam aos tomadores de decisotildees reflectirem sobre os resultados e absorverem o que precisam para seus proacuteprios fins eles assumiratildeo o controlo do processo e utilizaratildeo o que ele oferecer
Se vocecirc define suas actividades de MampA no comeccedilo de uma intervenccedilatildeo ou projecto junto com o plano de acccedilatildeo para o projecto teraacute mais oportunidades de orientar e acompanhar a implementaccedilatildeo das actividades
Quando satildeo demasiado elaborados e complicados os planos de MampA natildeo satildeo usados Elabore um plano de MampA simples escolha ferramentas de monitoria faacuteceis de usar e seleccione a menor quantidade possiacutevel de indicadores para acompanhar o progresso e introduzir as mudanccedilas necessaacuterias ao longo do caminho
Para fortalecer um SIS eacute preciso trabalhar com as pessoas envolvidas os responsaacuteveis pelo sistema que registam transferem analisam comunicam e utilizam os dados e as informaccedilotildees para a gestatildeo dos serviccedilos
Ao fornecer os dados do SIS para os tomadores de decisotildees vocecirc deve reconhecer as diferenccedilas na frequecircncia dos relatoacuterios e nas quantidades de dados agregados e desagregados necessaacuterios aos niacuteveis diferentes de governo ou agraves organizaccedilotildees natildeo governamentais
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 915
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O modelo conhecido como Caminho de Mudanccedila (Pathway to Change) eacute um exemplo particularmente uacutetil de um quadro conceptual Esse modelo utiliza um formato de condicionalidade (ldquose entatildeordquo) para mostrar passo a passo como os resultados a meacutedio e longo prazo foram conceptualizados e como seratildeo alcanccedilados A Figura 6 eacute um exemplo de aplicaccedilatildeo do Caminho de Mudanccedila em um projecto de sauacutede de seis meses de duraccedilatildeo e acircmbito municipal na Nicaraacutegua
Caminho de Mudanccedila Tratamos deste modelo neste capiacutetulo devido agrave sua utilidade para os gestores e seus benefiacutecios como actividade de fortalecimento de uma equipa O estabelecimento de um Caminho de Mudanccedila eacute geralmente um processo participativo que permite que a sua equipa ou unidade e outros grupos de interesse formulem uma intervenccedilatildeo e determinem como ela vai funcionar O produto final eacute um mapa que mostra como uma acccedilatildeo estaacute relacionada com outras e como todas elas acrescentam algo ao resultado esperado Frequentemente o estabelecimento de um caminho expotildee as crenccedilas subjacentes que as pessoas de uma organizaccedilatildeo mantecircm sobre a forma em que suas acccedilotildees promovem mudanccedilas
A criaccedilatildeo de um Caminho de Mudanccedila tem vaacuterios benefiacutecios Em primeiro lugar exige que a sua equipa examine cada acccedilatildeo proposta e responda agraves seguintes perguntas
Todas as actividades contribuem para o resultado esperado Se a resposta for negativa algumas actividades deveriam ser modificadas acrescentadas ou eliminadas
As actividades satildeo sequenciais Elas estatildeo relacionadas de uma forma loacutegica Elas se somam umas agraves outras para formar um conjunto racional e coerente de acccedilotildees
Pensamos em todos os produtos e resultados necessaacuterios para atingir nosso resultado esperado
Temos os recursos necessaacuterios para implementar as actividades propostas Em quanto tempo atingiremos o resultado que desejamos Que outros factores podem contribuir ou entravar cada uma das actividades do
caminho
Em segundo lugar sua equipa deve tornar expliacutecita e chegar a um acordo sobre a loacutegica subjacente de um plano de intervenccedilatildeo Em outras palavras deve mostrar no papel como cada acccedilatildeo resultaraacute na mudanccedila desejada em cada niacutevel do mapa Por uacuteltimo o caminho define que resultados imediatos e resultados a meacutedio e longo prazo a equipa deve monitorar e que indicadores devem usar
TABELA 2 Visatildeo geral do quadro conceptual
Vantagens Desvantagens
Fornece um mapeamento visual e flexiacutevel de planos de intervenccedilatildeo complexos
Quando usado regularmente durante a implementaccedilatildeo permite uma retroinformaccedilatildeo antecipada do que estaacute ou natildeo a funcionar e por quecirc
Auxilia na identificaccedilatildeo de efeitos colaterais natildeo previstos
Ajuda a priorizar os problemas a serem investigados mais profundamente talvez ao usar meacutetodos mais focalizados de recolha de dados ou teacutecnicas mais sofisticadas de MampA
Pode se tornar extremamente complexo se a escala de actividades for muito grande ou se for reunida uma lista exaustiva de factores e pressupostos
Os grupos de interesse podem discordar sobre os factores determinantes que consideram ser os mais importantes
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 916
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Como se lecirc um mapa de Caminho de Mudanccedila O caminho pode ser lido como um fluxograma em que caixas e setas mostram a relaccedilatildeo entre as acccedilotildees e os efeitos como mostrado na Figura 6 O resultado esperado aparece no topo do caminho e os resultados imediatos que devem ser atingidos para se chegar laacute satildeo exibidos no proacuteximo niacutevel Os produtos que devem ser obtidos para conseguir os resultados a meacutedio e longo prazo aparecem no proacuteximo niacutevel inferior Finalmente as actividades aparecem no fundo ou base
Quando lido de baixo para cima o mapa mostra que actividades satildeo necessaacuterias para conseguir os produtos e que resultados a meacutedio e longo prazo satildeo necessaacuterios para se chegar ao topo Eacute preciso sempre poder traccedilar um caminho desde o comeccedilo de suas acccedilotildees ateacute o resultado esperado
Pode ser uacutetil imaginar o caminho como o organigrama de uma empresa vocecirc pode comeccedilar da base do organigrama como assistente administrativo passar a coordenador de escritoacuterio depois a uma funccedilatildeo de gestatildeo e finalmente ocupar o gabinete do director
A criaccedilatildeo de um Caminho de Mudanccedila Para desenvolver um Caminho da Mudanccedila sua equipa mapeia a mudanccedila de forma reversa Comeccedila no final do caminho (no topo da
FIGURA 6 Exemplo de um Caminho de Mudanccedila
Resultado 180 dos pacientes
estatildeo satisfeitos com os serviccedilos prestados no
centro de sauacutede
Resultado 260 das mulheres
entre 15 e 49 anos na aacuterea de captaccedilatildeo do centro de
sauacutede entendem a importacircncia do planeamento familiar
para o espaccedilamento dos nascimentos
Resultado 3Todos os meacutetodos
contraceptivos modernos estatildeo
disponiacuteveis no centro de sauacutede
Produto 1Os tempos de
espera no centro de sauacutede se
reduziram de 40 para 20 minutos
Produto 2Eacute oferecida
orientaccedilatildeo a todos os pacientes em
espaccedilo privado do centro de sauacutede
Produto 3Voluntaacuterias
realizam palestras semanais sobre temas
de sauacutede reprodutiva na comunidade
Produto 4Todos os stocks
de contraceptivos satildeo monitorados semanalmente
Actividade 1Realizar um
inqueacuterito sobre o uxo de
pacientes e cumprir
recomendaccedilotildees
Actividade 2Transformar um canto do
centro de sauacutede para a
orientaccedilatildeo dos pacientes
Actividade 3Mobilizar as
ONGs parceiras para imprimir panetos de informaccedilatildeo educaccedilatildeo e
comunicaccedilatildeo
Actividade 4Mobilizar as
ONGs parceiras para dar
formaccedilatildeo ou equipar as voluntaacuterias
Actividade 5Recrutar liacutederes
comunitaacuterios para prestar
apoio agraves palestras sobre
sauacutede reprodutiva
Actividade 6Desenvolver
um sistema de registo e
pedidos de suprimentos
contraceptivos
Resultado esperadoAumento na percentagem de utentes de planeamento familiar de 50 para 52
durante o periacuteodo de Junho a Dezembro de 2006
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 917
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
sequecircncia) e define a meta da organizaccedilatildeo a longo prazo ou o resultado esperado de uma intervenccedilatildeo Em seguida preenche o mapa ao trabalhar de cima para baixo onde identifica finalmente as actividades principais os primeiros elementos do seu plano de implementaccedilatildeo
Enquanto se desloca pelo caminho faccedila trecircs perguntas Que resultados precisam acontecer para contribuir agrave meta de longo prazo Que produtos precisam ser obtidos antes disso para alcanccedilar os resultados Que actividades precisam acontecer antes disso para conseguir os produtos
O desenho de uma intervenccedilatildeo dessa forma pode ajudar a revelar as condiccedilotildees necessaacuterias para atingir os resultados a meacutedio e longo prazo e a meta de longo prazo Talvez sejam necessaacuterias vaacuterias tentativas para criar um Caminho de Mudanccedila com o qual todos estejam de acordo Os resultados produtos e acccedilotildees podem ser acrescentados modificados e eliminados ateacute que eventualmente surja um mapa que conte a histoacuteria com a qual sua equipa pode concordar O debate eacute frequentemente a parte mais importante da experiecircncia porque a equipa junta define as expectativas pressupostos e caracteriacutesticas do processo de mudanccedila
Uso da sequecircncia ldquopara querdquo como forma de verificar as vias de um Caminho de Mudanccedila Uma boa forma de verificar a loacutegica do mapa do seu caminho eacute inverter o processo e criar uma sequecircncia de ldquopara querdquo para cada actividade O exemplo na Figura 7 mostra como fazer isso para a Actividade 5 da Figura 6 O movimento na sequecircncia ldquopara querdquo eacute o
FIGURA 7 Sequecircncia ldquopara querdquo para uma actividade de um Caminho de Mudanccedila
Dar formaccedilatildeo agraves voluntaacuterias da comunidade e equipaacute-las com os materiais de informaccedilatildeo educaccedilatildeo e comunicaccedilatildeo necessaacuterios
para que
As voluntaacuterias realizem sessotildees educativas sobre sauacutede sobre temas de planeamento familiar na aacuterea especiacutefica do centro de sauacutede
para que
As mulheres em idade reprodutiva na aacuterea especiacutefica se sintam agrave vontade para participar de sessotildees apresentadas pelas voluntaacuterias
para que
As mulheres participem das sessotildees e aprendam sobre a importacircncia do planeamento familiar para o espaccedilamento dos nascimentos
para que
Mais mulheres em idade reprodutiva busquem meacutetodos de planeamento familiar no centro de sauacutede e a percentagem de mulheres que recebem os meacutetodos aumentem 2 durante o periacuteodo do projecto (o resultado esperado)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 918
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
oposto exacto do Caminho de Mudanccedila Vocecirc coloca cada actividade no topo da sua proacutepria sequecircncia e desce pela sequecircncia ateacute a meta ou resultado esperado Essa sequecircncia ajuda a confirmar que cada rota individual no Caminho de Mudanccedila faz sentido em termos loacutegicos
Para usar essa teacutecnica eacute preciso criar uma sequecircncia ldquopara querdquo para cada actividade no seu Caminho de Mudanccedila Comece por descrever cada actividade e segui-la da frase ldquopara querdquo seguida de uma descriccedilatildeo do que aconteceraacute se essa actividade for realizada Continue a fazer isto ateacute atingir a sua meta de longo prazo ou resultado esperado
Etapas do desenvolvimento de um plano de MampA
Uma das suas tarefas essenciais de MampA como gestor que exerce lideranccedila eacute a de elaborar um plano que ajude vocecirc e sua equipa a determinar se atingiram ou natildeo os resultados esperados e a acompanhar o progresso no alcance desses resultados durante a implementaccedilatildeo Isso exige que vocecirc natildeo soacute escolha indicadores confiaacuteveis mas tambeacutem que meccedila esses indicadores de forma organizada Seu plano de MampA deve especificar que indicadores seratildeo medidos como e quando seratildeo medidos e por quem
Um plano de MampA bem formulado responde a cinco perguntas
1 Seu resultado esperado eacute mensuraacutevel2 Que indicadores utilizaraacute para monitorar seus produtos e para avaliar seus
resultados 3 Quais satildeo as suas fontes de dados e como recolheraacute os dados dessas fontes 4 Quais satildeo os periacuteodos cobertos de cada indicador 5 Quem recolheraacute os dados
Essas perguntas satildeo importantes porque sem um plano vaacutelido de MampA vocecirc poderaacute interpretar erroneamente os efeitos da sua intervenccedilatildeo Poderaacute concluir que ela natildeo teve efeito algum quando na verdade ela teve alguns resultados positivos ou poderaacute concluir que ela teve um efeito positivo quando na verdade natildeo obteve resultado algum o que eacute um erro comum e mais destrutivo
Elaborar e utilizar um plano de MampA garante que dados comparaacuteveis seratildeo recolhidos regularmente e em tempo haacutebil mesmo quando houver mudanccedilas de pessoal A Tabela 3 resume as etapas no desenvolvimento e implementaccedilatildeo de um plano de MampA O resto desta secccedilatildeo descreve cada etapa detalhadamente
ETAPA 1 DEFINA OS RESULTADOS ESPERADOS
A primeira etapa no desenvolvimento do plano de MampA eacute determinar um niacutevel apropriado de resultados Juntos o tipo e o acircmbito da intervenccedilatildeo os recursos disponiacuteveis e o prazo de implementaccedilatildeo determinam um resultado viaacutevel
Como jaacute vimos antes neste capiacutetulo as intervenccedilotildees dirigidas por organizaccedilotildees com fundos de agecircncias doadoras e por serviccedilos governamentais geralmente levam a produtos ou resultados a meacutedio e longo prazo Apesar de o impacto demorar a ser obtido e geralmente estar fora do acircmbito de um uacutenico conjunto de actividades eacute importante incluiacute-lo no seu plano de MampA para que fique clara qual seraacute a contribuiccedilatildeo da sua intervenccedilatildeo a longo prazo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 919
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 3 Etapas para elaborar e usar um Plano de MampA
Etapas Recomendaccedilotildees
1 Definir os resultados esperados
Os resultados devem ser identificados de acordo com o acircmbito e o periacuteodo de tempo da sua intervenccedilatildeo
Os resultados devem atender aos criteacuterios SMART (Especiacuteficos Mensuraacuteveis Apropriados Realistas de Prazo Definido)
2 Seleccionar os indicadores
Os indicadores devem possuir as qualidades de um bom indicador
Os indicadores devem ser acessiacuteveis faacuteceis de recolher e comparaacuteveis ao longo do tempo e em diferentes locais
Para os problemas de sauacutede prioritaacuterios e os serviccedilos essenciais use indicadores criacuteticos nacionais ou padratildeo
Seleccione um nuacutemero miacutenimo de indicadores essenciais e procure garantir que os indicadores seleccionados sejam realmente necessaacuterios para medir seus resultados esperados
3 Identificar as fontes de dados
Identifique de onde viratildeo os dados para cada indicador Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos organizacionais utentes ou a comunidade
4 Definir os meacutetodos de recolha dos dados
Seleccione o meacutetodo mais apropriado e confiaacutevel para a recolha de dados para cada indicador Estes meacutetodos podem incluir a anaacutelise de registos ou diaacuterios de estatiacutesticas de serviccedilo o uso de listas de verificaccedilatildeo para fins de observaccedilatildeo as entrevistas de utentes ao saiacuterem da cliacutenica ou um modelo de inqueacuterito de dados comunitaacuterios
Decida sobre a frequecircncia da recolha de dados Poderaacute recolher apenas os dados de base ou referecircncia e os dados apoacutes a intervenccedilatildeo ou talvez precise recolher dados diaacuterios mensais ou trimestrais dependendo do tipo de indicador
Para cada indicador designe a responsabilidade pela recolha a um escritoacuterio equipa ou pessoa especiacuteficos
5 Recolher os dados de base (ou referecircncia) e os dados apoacutes a intervenccedilatildeo
Entenda que os resultados de base seratildeo usados para definir os seus alvos
Defina claramente a duraccedilatildeo coberta pelos dados de base jaacute que precisa de um periacuteodo semelhante para a comparaccedilatildeo ao final do periacuteodo de implementaccedilatildeo
Use a mesma metodologia e ferramentas para a recolha de dados que as usadas para os dados de base e as medidas poacutes-intervenccedilatildeo
6 Compartilhar e utilizar os seus resultados
Marque reuniotildees workshops e apresentaccedilatildeo de relatoacuterios para mostrar os resultados ao pessoal do projecto agrave direcccedilatildeo da organizaccedilatildeo e a outros grupos de interesse importantes
Apresente as opccedilotildees de aprendizado e acccedilatildeo com base nos resultados de MampA
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 920
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para determinar em que niacutevel deve monitorar e avaliar seus resultados eacute uacutetil examinar novamente e expandir a cadeia de resultados a comeccedilar da direita pelo resultado final (impacto) e voltar ateacute os materiais e recursos (insumos) necessaacuterios
Insumos rarr Processos rarr Produtos rarr Resultados rarr Impacto
Impacto Esses resultados satildeo medidos ao niacutevel da populaccedilatildeo levam um tempo relativamente longo para serem alcanccedilados (geralmente 3 a 5 cinco anos) e exigem o esforccedilo conjunto de vaacuterias intervenccedilotildees e mesmo de vaacuterias organizaccedilotildees Como gestor vocecirc poderaacute ser responsaacutevel por medir o impacto mas deve incluiacute-lo na loacutegica do seu plano de MampA para saber o que a sua organizaccedilatildeo e os parceiros da organizaccedilatildeo pretendem alcanccedilar a longo prazo
Resultados a meacutedio e longo prazo Na maioria dos casos os gestores satildeo responsaacuteveis por medir os resultados nos niacuteveis de produtos eou resultados a meacutedio e longo prazo Os resultados a meacutedio e longo prazo satildeo obtidos pelas actividades criadas para produzir uma mudanccedila de comportamento nos profissionais de sauacutede ou nos utentes Satildeo geralmente medidos em termos de mudanccedilas na cobertura de serviccedilos e mudanccedilas nos conhecimentos atitudes e praacuteticas de uma populaccedilatildeo beneficiaacuteria Um resultado a meacutedio e longo prazo pode ser o iniacutecio de uma praacutetica comprovada de prestaccedilatildeo de serviccedilos a adopccedilatildeo de novas estrateacutegias de gestatildeo ou a elaboraccedilatildeo bem-sucedida de uma poliacutetica de promoccedilatildeo da sauacutede Pode tambeacutem ser um aumento no nuacutemero de mulheres que datildeo agrave luz em um centro de sauacutede ou no nuacutemero de crianccedilas totalmente imunizadas Na maioria dos casos eacute possiacutevel estabelecer uma relaccedilatildeo clara entre produtos e resultados a meacutedio e longo prazo
Produtos Os produtos ou resultados imediatos satildeo fruto directo das actividades Devem ser monitorados durante toda a implementaccedilatildeo como um elemento essencial da boa gestatildeo Os planos de MampA devem definir o produto esperado de cada actividade Para as unidades de prestaccedilatildeo de serviccedilos isso geralmente significa os resultados imediatos em termos dos serviccedilos (por exemplo nuacutemero de utentes atendidos ou tempo de espera dos clientes ou utentes) Para as organizaccedilotildees que natildeo prestam serviccedilos de sauacutede directamente isso pode significar a distribuiccedilatildeo de produtos de sauacutede ou serviccedilos de formaccedilatildeo (por exemplo quantidade de produtos para planeamento familiar distribuiacutedos ou nuacutemero de participantes formados)
Processos A monitoria de processos ou actividades eacute em grande parte uma medida da cultura de prestaccedilatildeo de contas (ou grau de responsabilizaccedilatildeo) ao garantir que as actividades sejam realizadas dentro do prazo e com recursos suficientes A monitoria nesse niacutevel acompanha o progresso da implementaccedilatildeo tendo como referecircncia os prazos propostos e o uso dos recursos tendo como referecircncia os orccedilamentos Eacute geralmente executada atraveacutes da apresentaccedilatildeo de relatoacuterios tradicionais trimestrais semestrais e anuais
Insumos Ao preparar uma intervenccedilatildeo deve identificar a quantidade e os tipos de recursos necessaacuterios para implementar as actividades O desempenho pode ser monitorado em termos da quantidade e dos tipos de insumos fornecidos e do nuacutemero e timing das actividades realizadas
A etapa seguinte na definiccedilatildeo dos resultados esperados eacute garantir que cumpram os criteacuterios SMART (consulte a Tabela 4) Eacute possiacutevel monitorar e avaliar o progresso no alcance de um resultado apenas se esse resultado tiver sido definido em termos mensuraacuteveis
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 921
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja a seguir um exemplo de um resultado mensuraacutevel para uma intervenccedilatildeo cujo propoacutesito eacute promover a cobertura de imunizaccedilatildeo em crianccedilas de 12 a 24 meses de idade A percentagem de crianccedilas de 12 a 24 meses totalmente vacinadas na aacuterea de captaccedilatildeo aumentaraacute para 70 dentro de um ano
ETAPA 2 IDENTIFIQUE OS INDICADORES E SUAS DEFINICcedilOtildeES
Os indicadores satildeo geralmente percentagens ou proporccedilotildees que representam o alcance de uma condiccedilatildeo especiacutefica de sauacutede na populaccedilatildeo de interesse Podem tambeacutem ser um valor absoluto tal como o nuacutemero de ocorrecircncias de um evento de sauacutede (por ex um oacutebito materno ou um caso de malaacuteria)
Todos os indicadores pedem uma definiccedilatildeo detalhada Trata-se de um indicador qualitativo ou quantitativo Se for uma percentagem qual eacute o numerador e qual eacute o denominador A definiccedilatildeo deve ser suficientemente detalhada para garantir que pessoas diferentes em momentos diferentes possam recolher tipos idecircnticos de dados para o indicador
Veja o que caracteriza um bom indicador no Quadro 2 Os indicadores podem ser classificados como indicadores do estado de sauacutede ou do desempenho de serviccedilos
Os indicadores do estado de sauacutede podem incluir o seguinte
nuacutemero de casos e mortes causados por doenccedilas especiacuteficas em um determinado periacuteodo
proporccedilatildeo da populaccedilatildeo com uma doenccedila ou condiccedilatildeo de sauacutede num momento particular ou ao longo de um periacuteodo de tempo
proporccedilatildeo da populaccedilatildeo com um factor ou condiccedilatildeo de sauacutede que os coloca em risco de contrair doenccedilas tal como a falta de conhecimento ou um comportamento de risco
Os indicadores de desempenho podem incluir o seguinte
proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que recebeu um serviccedilo especiacutefico proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que demonstra comportamentos e
conhecimentos especiacuteficos de sauacutede
TABELA 4 Criteacuterios de um resultado SMART
Criteacuterio Descriccedilatildeo
Especiacutefico (S ndash Smart)
Claramente escrito e compreendido O resultado esperado eacute suficientemente especiacutefico para ser medido por uma frequecircncia percentagem ou nuacutemero
Mensuraacutevel (M ndash Measurable)
Eacute possiacutevel monitorar o progresso e avaliar os resultados O resultado esperado eacute definido em termos que sejam mensuraacuteveis
Apropriado (A ndash Appropriate)
O resultado esperado eacute apropriado ao acircmbito do seu trabalho e agrave missatildeo da sua organizaccedilatildeo
Realista (R ndash Realistic)
O resultado esperado pode ser alcanccedilado e estaacute dentro do controlo da sua organizaccedilatildeo Pode ser realisticamente alcanccedilado ao usar os recursos disponiacuteveis e dentro do prazo do seu plano de implementaccedilatildeo
de Tiempo limitado (T ndash Time Bound)
Foi estabelecido um prazo especiacutefico para obter o resultado esperado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 922
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
proporccedilatildeo de centros e pessoal de sauacutede que demonstram adesatildeo a padrotildees especiacuteficos de serviccedilo ou que atingiram objectivo definido
proporccedilatildeo de centros de sauacutede que seguem padrotildees definidos de gestatildeo funcional (por ex em termos de pessoal disponibilidade de medicamentos registo e apresentaccedilatildeo de relatoacuterios)
Orientaccedilatildeo adicional sobre os indicadores pode ser obtida em ldquoCompecircndio de indicadores para avaliaccedilatildeo de programas de sauacutede reprodutivardquo e ldquoLista dos indicadores sobre desenvolvimento da capacidade de gestatildeo e lideranccedilardquo
ETAPA 3 IDENTIFIQUE AS FONTES DE DADOS
Agora precisa identificar uma fonte de dados para cada indicador incluiacutedo no plano de MampA ao seleccionar dados que estejam prontamente disponiacuteveis em uma fonte confiaacutevel e dentro das possibilidades financeiras de sua organizaccedilatildeo O ideal seria escolher os dados imediatamente disponiacuteveis atraveacutes da organizaccedilatildeo em vez de dar iniacutecio a uma nova estrateacutegia de recolha de dados o que poderia ser oneroso e demorado
Uma boa forma de comeccedilar eacute com a seguinte pergunta Que dados jaacute recolhemos de forma rotineira e sistemaacutetica Vocecirc deve sempre levar em consideraccedilatildeo as vantagens e desvantagens de cada fonte de dados Consulte a secccedilatildeo ldquoComo seleccionar suas fontes de dadosrdquo para obter mais informaccedilotildees sobre as vantagens e desvantagens de algumas fontes de dados mais comuns
Vocecirc deve ser o mais especiacutefico possiacutevel sobre as fontes de dados para que a mesma fonte possa ser utilizada de forma coerente durante toda a intervenccedilatildeo Mudar as fontes de dados para o mesmo indicador pode resultar em incoerecircncias e erros de interpretaccedilatildeo Por exemplo se estiver a medir as taxas de mortalidade infantil passar de estimativas baseadas num inqueacuterito de grande escala para estimativas baseadas em estatiacutesticas hospitalares pode resultar dar a falsa impressatildeo de que houve uma mudanccedila
QUADRO 2 Qualidades de um bom indicador
Vaacutelido O indicador mede o que se pretende medir
Confiaacutevel A medida do indicador deve ser igual natildeo importa quantas vezes a medida seja feita
Preciso O indicador eacute definido em termos claros e especiacuteficos para que possa ser medido O indicador pode ser qualitativo (descritivo) discreto (SimNatildeo) ou baseado em niacuteveis quantitativos ou proporccedilotildees desde que seja claramente mensuraacutevel
Faacutecil de entender Tanto especialistas como natildeo especialistas devem poder entender o significado do indicador
Discreto O indicador captura um uacutenico componente ou aspecto de um resultado mais complexo Mede apenas uma coisa natildeo um conjunto de coisas
Em tempo haacutebil O indicador pode ser medido em intervalos temporais apropriados de acordo com a disponibilidade dos dados
Comparaacutevel Quando possiacutevel o indicador evita definiccedilotildees limitadas ou singulares cujos valores seriam difiacuteceis de comparar com outros resultados
Viaacutevel para utilizar Os dados para o indicador satildeo faacuteceis de obter de uma fonte confiaacutevel e relativamente econoacutemica ndash acessiacutevel tendo em vista os recursos da sua organizaccedilatildeo Se esses dados natildeo estiverem disponiacuteveis existem meacutetodos para obtecirc-los no futuro
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 923
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 4 DEFINA OS MEacuteTODOS DE RECOLHA DE DADOS
A etapa seguinte eacute a de definir os meacutetodos ou ferramentas que utilizaraacute para cada indicador Para os indicadores baseados em dados primaacuterios (dados que vocecirc mesmo recolhe) deve descrever o tipo de instrumento necessaacuterio para recolher os dados Os exemplos podem incluir questionaacuterios estruturados listas de verificaccedilatildeo de observaccedilatildeo directa ou balanccedilas para pesar bebeacutes
Para os dados secundaacuterios (dados recolhidos por terceiros e que estatildeo disponiacuteveis para vocecirc usar) deve explicar o meacutetodo para calcular o indicador e a fonte dos dados e fornecer detalhes suficientes sobre o meacutetodo de caacutelculo para que outros possam replicaacute-lo Lembre-se de que eacute mais faacutecil e mais barato usar dados secundaacuterios mas sua qualidade eacute menos confiaacutevel do que a dos dados primaacuterios
Tambeacutem eacute importante observar a frequecircncia da recolha dos dados para cada indicador A depender do tipo de indicador vocecirc poderaacute recolher os dados mensalmente trimestralmente anualmente ou ateacute com menos frequecircncia Ao definir o programa de recolha de dados para cada indicador leve em consideraccedilatildeo a necessidade de fornecer informaccedilotildees em tempo haacutebil aos responsaacuteveis por tomar decisotildees na sua organizaccedilatildeo Atribuir responsabilidades pela recolha de dados a indiviacuteduos ou grupos do seu pessoal garantiraacute que os dados sejam recolhidos dentro do prazo necessaacuterio
As informaccedilotildees das Etapas 1 a 4 fornecem o conteuacutedo do seu plano de monitoria e avaliaccedilatildeo A Tabela 5 mostra os elementos de um plano de MampA para um programa de mentoria cliacutenica para centros de orientaccedilatildeo e testes voluntaacuterios
ETAPA 5 RECOLHA OS DADOS DE BASE E DE ACOMPANHAMENTO
Recolher dados de base precisos eacute uma das tarefas mais importantes de MampA Os dados de base ou referecircncia satildeo o ponto de partida para definir as metas que vocecirc e sua equipa pretendem atingir e para acompanhar as mudanccedilas dos indicadores durante todo o periacuteodo de sua intervenccedilatildeo Dessa forma os dados de base ajudam a definir melhor um resultado final esperado
Vocecirc precisaraacute recolher dados de base para cada indicador antes que suas actividades comecem Esses dados identificam o ponto de partida de onde poderaacute avaliar o progresso Depois em pontos variados durante a implementaccedilatildeo vocecirc recolheraacute dados de acompanhamento sobre cada indicador para comparaacute-los com os niacuteveis de base e os resultados previstos Isto permite que vocecirc e outros tomadores de decisotildees em sua organizaccedilatildeo avaliem o progresso de cada intervenccedilatildeo ou serviccedilo e faccedilam as mudanccedilas necessaacuterias ao longo do caminho Examine o exemplo no Quadro 3
Por que acompanhar as mudanccedilas dos indicadores durante a implementaccedilatildeo Os indicadores de um plano de MampA estatildeo relacionados aos resultados imediatos (produtos) e aos resultados de meacutedio e longo prazo que os gestores precisam monitorar As mudanccedilas nos valores do indicador ao longo do tempo mostram se esses resultados estatildeo a subir ou a baixar ou se permanecem iguais Isto mostra ao gestor se as intervenccedilotildees e estrateacutegias estatildeo a funcionar conforme planeado para atingir os resultados esperados
Ao final do periacuteodo de implementaccedilatildeo precisaraacute recolher dados sobre os seus indicadores para comparar os niacuteveis finais com os niacuteveis de base e com os seus resultados esperados A depender dos seus indicadores precisaraacute tambeacutem recolher dados de acompanhamento a uma altura acordada previamente para determinar se as mudanccedilas seratildeo mantidas apoacutes o teacutermino da sua intervenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 924
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 5 Exemplo de um Plano de Monitoria e Avaliaccedilatildeo
Objectivo Os profissionais de sauacutede que receberam formaccedilatildeo aumentam sua capacidade de fornecer tratamento anti-retroviral de acordo com as directrizes nacionais
ActividadeProduto Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
CronogramaPrazo final
Cliacutenicos experientes em VIH recrutados para servir como mentores cliacutenicos em cinco hospitais regionais
Nuacutemero de mentores recrutados e designados a hospitais regionais
Registos de emprego
Como concluiacutedo Director adjunto para programas cliacutenicos
Setembro de 2008
Pessoal meacutedico em cinco hospitais regionais que recebem mentoria individual sobre terapia anti-retroviral
Nuacutemero de locais que recebem mentoria cliacutenica
Nuacutemero de meacutedicos que recebem mentoria individual
Nuacutemero de dias de mentoria cliacutenica realizados
Relatoacuterios mensais do mentor
Mensalmente Mentores Marccedilo de 2009
Resultados a meacutedio e longo prazo Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
Trabalhadores de sauacutede aumentam seu conhecimento sobre terapia anti-retroviral
80 dos participantes obtecircm 85 ou mais de pontuaccedilatildeo correcta no teste posterior
Trabalhadores de sauacutede melhoram suas habilidades no fornecimento de terapia anti-retroviral
Percentagem de habilidades demonstradas na lista de verificaccedilatildeo de competecircncia
Estudo especial Datas a definir Director adjunto para programas cliacutenicos
Fonte Centro Internacional de Formaccedilatildeo e Ensino sobre VIH p 2
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 925
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Observaccedilatildeo sobre o uso de indicadores para uma avaliaccedilatildeo A maioria dos esforccedilos de MampA enfatizam a selecccedilatildeo de indicadores bem definidos para estabelecer metas e medir as mudanccedilas nas condiccedilotildees e nos serviccedilos de sauacutede
Mas eacute importante lembrar que os indicadores servem apenas como marcadores Os dados dos indicadores fornecem pistas para saber se uma intervenccedilatildeo ou um grupo de actividades estaacute dentro do cronograma e se os resultados esperados estatildeo a ser alcanccedilados Eles natildeo respondem agraves perguntas de por que os resultados estatildeo ou natildeo a ser alcanccedilados Natildeo explicam os resultados fortuitos as relaccedilotildees entre intervenccedilotildees e resultados ou as causas de resultados percebidos que podem ocorrer fora da intervenccedilatildeo Assim natildeo podem recomendar medidas a tomar para melhorar os resultados
Os dados de indicadores devem portanto ser interpretados com cuidado Eles simplesmente indicam resultados que precisam ser melhor explorados em vez de fornecer uma avaliaccedilatildeo definitiva do sucesso ou fracasso Um estudo de avaliaccedilatildeo eacute geralmente executado para determinar se uma intervenccedilatildeo pode ser considerada um sucesso e por quecirc
Em geral agrave medida que sobe na hierarquia e passa das actividades para os resultados a longo prazo a MampA se torna mais complicada Nos niacuteveis de processo e produtos pode-se facilmente rastrear que actividades foram concluiacutedas e seus resultados imediatos Essas informaccedilotildees satildeo operacionais ndash informaccedilotildees que vocecirc pode usar para decisotildees quotidianas de gestatildeo Poreacutem para identificar e medir os resultados da sinergia dos produtos provavelmente teraacute que integrar as informaccedilotildees qualitativas e quantitativas e confiar menos em indicadores quantitativos singulares
Lembre-se de que quando uma melhoria desejada ndash seja na eficiecircncia do serviccedilo no conhecimento e comportamento dos provedores de serviccedilos ou dos beneficiaacuterios ou na tendecircncia de um problema de sauacutede ndash eacute confirmada atraveacutes de MampA isto natildeo prova que foi a intervenccedilatildeo que provocou a mudanccedila Outras coisas podem estar a se passar no serviccedilo ou no ambiente geral que causam essa mudanccedila Eacute claro que o mesmo se aplica aos resultados negativos ou resultados que indicam natildeo haver nenhuma mudanccedila nos resultados a meacutedio e longo prazo
QUADRO 3 Como usar dados de base para ajustar os resultados
Uma equipa de sobrevivecircncia infantil estaacute a propor uma intervenccedilatildeo com o seguinte resultado mensuraacutevel e especiacutefico ldquoNos proacuteximos 12 meses 40 das crianccedilas entre 12 e 24 meses de idade na aacuterea de captaccedilatildeo seratildeo completamente imunizadasrdquo
Para determinar se seu programa pode realmente atingir esse resultado o pessoal precisa medir os niacuteveis actuais de vacinaccedilatildeo Ao examinar os dados vecircem que apenas 10 das crianccedilas na aacuterea de captaccedilatildeo estatildeo completamente imunizadas ao completarem 24 meses Estes satildeo portanto seus dados de base
A gestora entende que natildeo seraacute possiacutevel atingir o objectivo de 40 de cobertura de imunizaccedilatildeo em apenas 12 meses Por isso ela e sua equipa revisam o resultado esperado e o modificam para que seja mais razoaacutevel e realista mas continue sendo significativo ldquoNos proacuteximos 12 meses 20 das crianccedilas de 12 a 24 meses na aacuterea de de actuaccedilatildeo seratildeo completamente imunizadas
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 926
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 6 COMPARTILHE E USE SEUS DADOS
Na pressa para comeccedilar a recolher dados alguns gestores se esquecem de planear um processo para reflectir sobre as informaccedilotildees e fazer mudanccedilas para aumentar a eficiecircncia das actividades Para garantir que os dados sejam natildeo soacute recolhidos mas tambeacutem utilizados pense como vocecirc e sua equipa divulgaratildeo as informaccedilotildees sobre MampA e obteratildeo retroinformaccedilatildeo dos diversos grupos de interesse Algumas perguntas baacutesicas serviratildeo para lhe orientar
Quem precisa de que tipo de informaccedilotildees e quando precisam delas Que tipo de formato deve usar para comunicar os resultados ao pessoal
aos gestores de niacutevel superior e a outros grupos de interesse importantes Eacute suficiente fazer circular um relatoacuterio ou deveria organizar uma reuniatildeo ou workshop
Deveria tambeacutem organizar reuniotildees com a comunidade para solicitar retroinformaccedilatildeo dos seus beneficiaacuterios sobre os primeiros resultados da MampA
Como deve apresentar as informaccedilotildees para que sejam uacuteteis aos diferentes tomadores de decisotildees As informaccedilotildees devem ser apresentadas visualmente em diagramas graacuteficos ou mapas Para obter orientaccedilatildeo sobre dados e resultados consulte o Guiatildeo de MampA para Facilitadores de Programas de Desenvolvimento da Lideranccedila
Uso dos resultados para melhorar os dados de rotina em acccedilatildeo ndash Um exemplo do Paquistatildeo
No Paquistatildeo com o apoio do projecto PRIDE 10 equipas de subdistritos aplicaram o Processo de Avaliaccedilatildeo e Melhoria do Desempenho em Sauacutede Puacuteblica (PIP-PH) um conjunto de procedimentos e formatos para tratar dos problemas de sauacutede que identificaram como os mais graves para as suas populaccedilotildees Usaram o PIP-PH para priorizar os problemas e serviccedilos que mais precisavam de atenccedilatildeo a curto prazo para obter melhorias
Como parte do processo PIP-PH as equipas tambeacutem conceberam um formato de Estrutura de Vigilacircncia de Sauacutede (ldquoHealth Watch Frameworkrdquo) para os seus subdistritos como um todo e para os centros de sauacutede dentro deles Cada equipa seleccionou indicadores para medir a situaccedilatildeo de dois problemas de sauacutede puacuteblica os serviccedilos essenciais a eles relacionados e as limitaccedilotildees que afectavam esses serviccedilos
As equipas usaram os formulaacuterios Health Watch para estabelecer valores de base para os indicadores e depois para monitorar esses valores agrave medida que as intervenccedilotildees prosseguiam ao longo do tempo Os centros de sauacutede revisavam e actualizavam o formulaacuterio todo mecircs as equipas do subdistrito inclusive gestores de centros de sauacutede revisavam e discutiam os formulaacuterios trimestralmente os formulaacuterios revisados
As equipas de subdistrito usaram as informaccedilotildees para analisar os motivos do progresso ou falta de progresso para poderem prestar apoio aos gestores dos centros de sauacutede O processo estimulou os gestores dos centros de sauacutede a melhorarem a integridade e precisatildeo dos dados de rotina para poderem usar as informaccedilotildees e monitorarem mais eficazmente os eventos e os serviccedilos essenciais e introduzirem as melhorias necessaacuterias
Exemplos e informaccedilotildees detalhadas sobre o PIP-PH e o Health Watch Framework aparecem no Relatoacuterio Anual do Projecto PRIDE 2007
Para se informar mais sobre meacutetodos adicionais de utilizaccedilatildeo dos dados para melhorar o desempenho de uma organizaccedilatildeo equipa serviccedilo de sauacutede ou intervenccedilatildeo consulte o processo de Avaliaccedilatildeo e Melhoria de Desempenho (Performance Assessment and Improvement ndash PAI) no website de Programa de Lideranccedila Gestatildeo e Sustentabilidade (Leadership Management and Sustainability ndash LMS)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 927
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O processo de Monitoria e Avaliaccedilatildeo deve ser executado com o objectivo de usar imediatamente os resultados para identificar as falhas de desempenho e tomar medidas para reduzir ou eliminar essas falhas Vocecirc deve sempre planear formas de usar os resultados de MampA para o aprendizado e a acccedilatildeo Por exemplo o que deve fazer se as actividades do projecto natildeo trouxerem os resultados esperados O que precisa mudar se os serviccedilos essenciais natildeo estiverem a fornecer os niacuteveis de cobertura previstos ou a alcanccedilar grupos especiacuteficos de pessoas E como vocecirc pode levar esses fatos agrave atenccedilatildeo das pessoas certas para obter uma resposta raacutepida
Desenho de uma ferramenta de MampA
ARMADILHAS DA MONITORIA E AVALIACcedilAtildeO
Haacute vaacuterias armadilhas comuns que impedem que vocecirc como gestor aperfeiccediloe a funccedilatildeo de MampA na sua organizaccedilatildeo
Planeamento excessivo ou insuficienteAlguns gestores podem gastar tempo demais a preparar o plano de MampA do que resultam planos muito elaborados e complicados de usar Outros ficam muito ansiosos por implementar as intervenccedilotildees de MampA e comeccedilam antes de concluir o plano de MampA Isso significa que quando o plano fica pronto eacute geralmente tarde demais para obter dados de base viaacuteveis e a MampA tem que ser adiada Nesses casos o gestor talvez tenha que aceitar fazer a avaliaccedilatildeo mais tarde sem os dados de base que poderia usar para a comparaccedilatildeo
Descuidar-se da monitoria contiacutenua Outra armadilha frequente eacute a falha em incluir a monitoria contiacutenua na implementaccedilatildeo das actividades Isto ocorre frequentemente por falta de experiecircncia Muitos gestores natildeo tiveram acesso a ferramentas de monitoria uacuteteis (que satildeo raras) Talvez natildeo tenham recebido prontamente os resultados ou a retroinformaccedilatildeo do sistema de MampA no passado e por isso natildeo percebem como eacute importante realizar a monitoria de rotina Aleacutem disso gestores podem facilmente se emaranhar nos detalhes da implementaccedilatildeo e descuidar-se da monitoria de rotina
Exagerar Outra armadilha relacionada agrave monitoria eacute tentar rastrear os dados de todos os indicadores possiacuteveis Tentar obter os dados sobre um nuacutemero excessivo de factores torna o processo de monitoria tatildeo complicado que se torna impreciso Isso tambeacutem torna o processo mais lento de modo que no momento em que os dados satildeo recolhidos e analisados eles jaacute natildeo satildeo mais uacuteteis As ferramentas de monitoria muito demoradas e complicadas acabam por natildeo ser usadas O que acontece entatildeo O gestor deixa totalmente de fazer a monitoria e tem que recorrer agrave avaliaccedilatildeo
Se jaacute se deparou com esses problemas eacute hora de mudar a sua taacutectica Vocecirc pode criar um plano de MampA simples e usar ferramentas de monitoria simples Descubra o que tem que medir para obter os dados dentro de 3 a 6 meses o prazo vai depender dos ciclos de planeamento e apresentaccedilatildeo de relatoacuterios da sua organizaccedilatildeo Entenda tambeacutem qual eacute o miacutenimo que deve ser medido em uma avaliaccedilatildeo de longo prazo Busque a simplicidade mesmo se estiver diante de um conjunto complexo de actividades
Tente incluir apenas o que realmente precisa saber Pode testar todos os indicadores propostos antes de incluiacute-los no planeamento de MampA ao perguntar Quem precisa usar essas informaccedilotildees quando e com que finalidade Se um uacutenico indicador de produtos for suficiente perfeito Natildeo sobrecarregue a monitoria com indicadores desnecessaacuterios Muitas vezes menos dados fornecem mais informaccedilotildees
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 928
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
CARACTERIacuteSTICAS DE UMA BOA FERRAMENTA DE MONITORIA
Como gestor natildeo precisa saber tudo para gerir um serviccedilo ou dirigir uma intervenccedilatildeo mas precisa das informaccedilotildees imediatamente Portanto precisa de uma ferramenta de monitoria que possa fornecer informaccedilotildees suficientes e em tempo haacutebil para identificar e corrigir problemas assim que eles surgirem
Uma ferramenta de monitoria deve ser faacutecil de montar e utilizar As tabelas listas de verificaccedilatildeo e diagramas simples satildeo meacutetodos particularmente uacuteteis de recolher organizar e apresentar informaccedilotildees de monitoria
No miacutenimo sua ferramenta de monitoria deve permitir que vocecirc e sua equipa acompanhem
o progresso da implementaccedilatildeo da actividade a entrega de produtos ou resultados imediatos a situaccedilatildeo dos principais indicadores de resultados comparados aos resultados
esperados se for o caso as despesas orccedilamentais a disponibilidade de recursos humanos e financeiros os obstaacuteculos agrave implementaccedilatildeo e o que tem sido feito para superaacute-los
Vocecirc teraacute que responder agraves seguintes perguntas periodicamente
As actividades foram implementadas conforme planeado dentro do prazo e do orccedilamento
Que actividades adicionais natildeo planeadas foram realizadas Que serviccedilos ou produtos directos e tangiacuteveis foram oferecidos como resultado
das actividades que implementamos Estamos dentro do cronograma para atingir nossos resultados a meacutedio e longo
prazo Possuiacutemos os recursos necessaacuterios (pessoal dinheiro medicamentos e
suprimentos etc) para cumprirmos o cronograma
O Quadro 4 apresenta os componentes baacutesicos de uma ferramenta simples de monitoria
QUADRO 4 Uma ferramenta simples de monitoria
Data de exame Metas de resultados
Actividades (segundo o plano de implementaccedilatildeo)
Situaccedilatildeo ateacute o momento
Resultados esperados
Datas para conclusatildeo
Situaccedilatildeo ateacute o momento Comentaacuterios
Desafios e oportunidades
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 929
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quando usadas correctamente as novas tecnologias (por ex os PDAs ldquosmartphonesrdquo laptops e outros) podem facilitar a monitoria e aumentar os benefiacutecios da monitoria das actividades A monitoria automatizada ndash dados que podem ser obtidos e processados automaticamente ndash podem produzir um resumo dos principais indicadores em uma soacute paacutegina faacutecil de ler e num formato que utiliza cores para alertar ao gestor sobre as aacutereas que precisam de maior atenccedilatildeo As informaccedilotildees obtidas em tempo haacutebil sobre alguns indicadores essenciais permitem que o gestor monitore o progresso e tome medidas correctivas
Essa apresentaccedilatildeo visual das informaccedilotildees mais importantes e necessaacuterias para gerir um projecto eacute geralmente conhecida como Painel de Indicadores de Desempenho Os paineacuteis de indicadores de desempenho podem ser usados em qualquer organizaccedilatildeo departamento ou divisatildeo Nas organizaccedilotildees de sauacutede puacuteblica os paineacuteis satildeo usados frequentemente para monitorar os indicadores financeiros e programaacuteticos bem como a cobertura produccedilatildeo eficaacutecia e qualidade de serviccedilos de sauacutede especiacuteficos Um painel de recursos humanos por exemplo incluiria indicadores relevantes para gerir o seguinte
retenccedilatildeo de funcionaacuterios rotatividade de funcionaacuterios formaccedilatildeo de funcionaacuterios lacunas de habilidades satisfaccedilatildeo dos funcionaacuterios custos benefiacutecios e despesas gerais com funcionaacuterios
A Tabela 6 mostra um painel de indicadores de desempenho criado para monitorar serviccedilos de contracepccedilatildeo ciruacutergica voluntaacuteria (CCV)
TABELA 6 Ilustraccedilatildeo de Painel de Indicadores de Desempenho para Serviccedilos de Contracepccedilatildeo Ciruacutergica Voluntaacuteria (CCV)
Serviccedilo Contracepccedilatildeo Ciruacutergica Voluntaacuteria Periacuteodo do Relatoacuterio Janeiro de 2009
No Indicador de Prestaccedilatildeo de Serviccedilos Custo Qualidade
Meta financeira ou programaacutetica
LimiarNuacutemero
alcanccedilado
Percentagem concluiacuteda
Miacuten Maacutex 10 20 30 40 50 60 70 80 90 100
1 Nuacutemero de CCVs realizadas no mecircs 8 10 7
2 Custo meacutedio das CCVs (US$) 100 120 110
3 Orccedilamento mensal da receita com CCVs realizadas (US$) 800 1200 770
4Percentagem das CCVs realizadas por pessoal
qualificadomdash 100 60
5 Percentagem das CCVs realizadas sem complicaccedilotildees 95 100 100
6
Percentagem de utentes satisfeitas com o tratamento
recebido do pessoal que realizou as CCVs
90 100 90
Adaptado de Colindres 2008 p 6
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 930
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja uma descriccedilatildeo do uso de um painel de indicadores de desempenho para a monitoria de rotina num estudo de caso estudo de caso de uma ONG da Boliacutevia o Centro de Investigaccedilatildeo Educaccedilatildeo e Serviccedilos (CIES)
Para obter mais informaccedilotildees de como criar um painel de indicadores consulte ldquoComo usar os paineacuteis de indicadores de desempenho para monitorar as realizaccedilotildees de uma organizaccedilatildeordquo Esse documento ajuda a esclarecer conceitos e define as etapas essenciais para criar paineacuteis de indicadores de desempenho
Como criar uma avaliaccedilatildeo para fins de aprendizagem
Apesar da importacircncia da monitoria de rotina apenas a monitoria natildeo basta para responder agrave pergunta ldquoE entatildeordquo Ou seja suas actividades e produtos contribuiacuteram para melhorar a cobertura dos serviccedilos aumentar o conhecimento ou encorajar comportamentos mais saudaacuteveis
Talvez uma campanha de comunicaccedilatildeo sobre planeamento familiar criada para aumentar a prevalecircncia do uso de contraceptivos tenha levado o governo a abastecer os depoacutesitos distritais com contraceptivos Para que possam aprender com essa experiecircncia e criar campanhas mais eficazes no futuro os gestores do projecto ainda querem saber que produtos foram realmente dispensados aos centros de sauacutede e distribuiacutedos aos utentes Esta secccedilatildeo discute como criar uma avaliaccedilatildeo para fins de aprendizagem
Existem dois motivos para levar a cabo uma avaliaccedilatildeo
1 A avaliaccedilatildeo fornece informaccedilotildees sobre o sucesso da sua equipa unidade ou organizaccedilatildeo para atingir seus objectivos Essas informaccedilotildees ajudam a definir que actividades expandir modificar ou eliminar Ela pode tambeacutem revelar formas de melhorar a concepccedilatildeo e gestatildeo das actividades futuras
2 A avaliaccedilatildeo pode demonstrar uma cultura de prestaccedilatildeo de contas agrave sua agecircncia doadora e a outros grupos de interesse nomeadamente o governo e os beneficiaacuterios dos seus serviccedilos
AVALIACcedilOtildeES FORMATIVAS E SUMATIVAS
Os gestores podem realizar dois amplos tipos de avaliaccedilotildees formativas e sumativas
Avaliaccedilatildeo formativa Este tipo de avaliaccedilatildeo eacute realizada durante o desenvolvimento e implementaccedilatildeo de um programa Seu objectivo eacute orientar o desenho e a implementaccedilatildeo de actividades que incluam as melhores e mais promissoras praacuteticas que aumentaratildeo as chances de sucesso A avaliaccedilatildeo formativa eacute mais comummente utilizada por projectos de grande porte ou de longo prazo em vez de projectos menores e de curto prazo Poreacutem os projectos menores devem pelo menos realizar uma avaliaccedilatildeo raacutepida das melhores praacuteticas durante a fase de planeamento para apoiar a loacutegica e o conteuacutedo proposto para as actividades
A avaliaccedilatildeo formativa inclui uma avaliaccedilatildeo de necessidades para discernir os desejos e requisitos de um grupo da populaccedilatildeo e determinar a melhor forma de atendecirc-los Inclui tambeacutem uma avaliaccedilatildeo de processo para investigar o processo utilizado para executar uma intervenccedilatildeo Pode-se usar a avaliaccedilatildeo do processo para determinar se as actividades foram realizadas de acordo com o plano ndash em termos de sua concepccedilatildeo original estimativas de custos e nuacutemero de pessoas a serem atendidas ndash e se a qualidade dos processos usados estaacute de acordo com as melhores praacuteticas conhecidas
A avaliaccedilatildeo de processo geralmente inclui vaacuterias abordagens Pode incluir uma avaliaccedilatildeo dos dados referentes aos produtos (por ex nuacutemero de redes mosquiteiras fornecidas nuacutemero
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 931
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
de workshops de formaccedilatildeo realizados nuacutemero de participantes dos workshops) assim como entrevistas individuais ou grupos de enfoque entre os beneficiaacuterios Nas intervenccedilotildees de menor porte eacute uma boa praacutetica realizar uma avaliaccedilatildeo de processo mesmo se limitada agrave retroinformaccedilatildeo dos participantes
Avaliaccedilatildeo somativa Este tipo de avaliaccedilatildeo eacute realizada apoacutes a conclusatildeo de um grupo de actividades ou da intervenccedilatildeo para avaliar a qualidade da intervenccedilatildeo e os seus principais resultados A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo a avaliaccedilatildeo do impacto a anaacutelise de custo-benefiacutecio e custo-eficaacutecia e a investigaccedilatildeo operacional
A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo que avalia em que medida uma equipa unidade ou organizaccedilatildeo inteira atingiram seus resultados esperados A avaliaccedilatildeo dos resultados eacute usada para demonstrar que existe uma cultura de prestaccedilatildeo de contas para aperfeiccediloar o projecto de actividades organizacionais para melhorar a distribuiccedilatildeo dos recursos e para promover intervenccedilotildees futuras bem-sucedidas As principais perguntas satildeo Que modificaccedilotildees ocorreram na vida das pessoas das famiacutelias ou da comunidade como resultado do nosso trabalho Que diferenccedila fizemos
Como observamos anteriormente neste capiacutetulo os resultados a meacutedio e longo prazo satildeo geralmente mudanccedilas mensuraacuteveis eou observaacuteveis em duas dimensotildees A primeira dimensatildeo abrange a conscientizaccedilatildeo o conhecimento as atitudes os valores e as habilidades dos participantes de um programa ou dos beneficiaacuterios dos serviccedilos durante ou depois de seu envolvimento na intervenccedilatildeo A segunda dimensatildeo implica mudanccedilas no comportamento desses mesmos grupos
Idealmente as duas dimensotildees deveriam ser medidas em trecircs pontos no comeccedilo e no final do periacuteodo de implementaccedilatildeo e se possiacutevel apoacutes um periacuteodo de acompanhamento adequado Se a mediccedilatildeo do acompanhamento natildeo for viaacutevel pelo menos devem ser comparadas as mediccedilotildees de base e poacutes-intervenccedilatildeo Muitas vezes as mudanccedilas podem ser pequenas mas deve haver alguma melhoria em pelo menos um ou dois resultados para que a intervenccedilatildeo seja considerada um sucesso
A avaliaccedilatildeo dos resultados tenta distinguir entre a influecircncia da intervenccedilatildeo nessas mudanccedilas e a influecircncia de outros factores externos Mas geralmente os avaliadores teratildeo que optar pela atribuiccedilatildeo parcial de um resultado a uma intervenccedilatildeo ou serviccedilo especiacutefico devido agrave dificuldade em determinar uma relaccedilatildeo directa e causal entre o serviccedilo prestado e uma determinada mudanccedila
As avaliaccedilotildees de resultados utilizam geralmente um desenho natildeo experimental (geralmente denominado ldquopreacute e poacutes-avaliaccedilatildeordquo) que simplesmente mede as mudanccedilas antes e depois de uma intervenccedilatildeo ou seja diferente do desenho experimental (que compara os participantes com um grupo de controlo com designaccedilatildeo aleatoacuteria a ambos os grupos) ou do desenho semi-experimental (que compara os participantes com um grupo de controlo mas sem a designaccedilatildeo aleatoacuteria)
O desenho natildeo experimental eacute aceitaacutevel para as mediccedilotildees e relatoacuterios padratildeo dos resultados a meacutedio e longo prazo As ONGs raramente usam os desenhos experimentais Apesar de uma organizaccedilatildeo de grande porte e com muitos recursos poder ocasionalmente receber assistecircncia de especialistas para um desenho experimental a maioria delas acha que as consideraccedilotildees eacuteticas e logiacutesticas impedem a designaccedilatildeo aleatoacuteria dos participantes aos grupos de intervenccedilatildeo e de controlo Aleacutem disso o custo de recolher dados de um grupo de controlo seraacute provavelmente muito elevado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 932
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A avaliaccedilatildeo do impacto eacute outro componente da avaliaccedilatildeo somativa Eacute mais ampla do que a avaliaccedilatildeo de resultados e avalia os efeitos liacutequidos ou gerais ndash tanto intencionais como natildeo intencionais ndash de todo um programa grupo de programas ou grupo de organizaccedilotildees As avaliaccedilotildees de impacto geralmente se estendem por um periacuteodo de 3 a 5 anos
OUTROS TIPOS DE AVALIACcedilOtildeES
Anaacutelise de custo-benefiacutecio e custo-eficaacutecia Estes tipos de anaacutelise tratam da eficiecircncia da intervenccedilatildeo ao analisar os resultados em termos dos seus custos financeiros e do seu valor
Investigaccedilatildeo operacional Trata-se de um balanccedilo ou avaliaccedilatildeo de uma intervenccedilatildeo especiacutefica no contexto de um programa mais amplo que estaacute a fazer vaacuterias intervenccedilotildees A investigaccedilatildeo operacional eacute usada para testar e avaliar novas abordagens de prestaccedilatildeo de serviccedilos de sauacutede Eacute tambeacutem usada para identificar problemas na prestaccedilatildeo de serviccedilos e oferecer soluccedilotildees
A investigaccedilatildeo operacional eacute uma ferramenta poderosa que os gestores de programas e os tomadores de decisotildees podem usar para melhorar e expandir os serviccedilos Os estudos de investigaccedilatildeo operacional comparam intervenccedilotildees que estatildeo dentro da esfera de influecircncia do gestor Os exemplos incluem a avaliaccedilatildeo da eficaacutecia de uma nova estrateacutegia de prevenccedilatildeo de VIHSIDA um novo curso de formaccedilatildeo um novo conjunto de procedimentos para gerir medicamentos um novo meacutetodo contraceptivo ou um novo serviccedilo de sauacutede reprodutiva
O Toolkit de Investigaccedilatildeo Operacional do Programa Horizons sobre VIHSIDA do Population Council fornece informaccedilotildees detalhadas para criar um estudo de investigaccedilatildeo operacional
CONSIDERACcedilOtildeES PARA A FORMULACcedilAtildeO DE UMA AVALIACcedilAtildeO
O que avaliar para responder agrave pergunta ldquoE entatildeordquo Se quiser saber como gestor se as suas actividades tiveram realmente sucesso precisa preparar todas as intervenccedilotildees tendo em mente a avaliaccedilatildeo e incorporar a avaliaccedilatildeo ao seu planeamento organizacional geral Ao definir objectivos deve se perguntar Como saberemos se estamos a atingir esses objectivos Este eacute o ponto de partida para a avaliaccedilatildeo
Seja qual for o porte da sua intervenccedilatildeo ou serviccedilo e o alcance da avaliaccedilatildeo precisaraacute responder a trecircs perguntas durante a fase de desenho e planeamento
1 O que a sua intervenccedilatildeo ou serviccedilo conseguiraacute realizar a curto e longo prazo Se implementar um conjunto de actividades com sucesso ao longo do tempo o que seraacute diferente
2 Como conceptualiza as suas actividades ndash qual eacute a loacutegica subjacente Duas abordagens para identificar a loacutegica do programa satildeo discutidas neste capiacutetulo na secccedilatildeo intitulada Ferramentas e Abordagens Praacuteticas para MampA
3 Que indicadores pode usar para identificar o progresso no alcance dos resultados
Para responder agrave pergunta ldquoE entatildeordquo vocecirc precisa avaliar os factores sobre os quais tem um niacutevel razoaacutevel de controlo Por exemplo um novo serviccedilo criado para oferecer alojamento a pessoas que vivem com SIDA natildeo pode controlar ou afectar a expectativa de vida das pessoas agraves quais atende Mas ao fornecer um ambiente estaacutevel para elas viverem o serviccedilo pode diminuir o niacutevel de stresse e melhorar a qualidade de vida dessas pessoas que antes eram forccediladas a se mudar com frequecircncia
Depois de tratar da pergunta ldquoE entatildeordquo deve tambeacutem se certificar de que a avaliaccedilatildeo seja concebida de forma que quando o processo estiver concluiacutedo vocecirc possa abordar os cinco toacutepicos principais da avaliaccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 933
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
1 Relevacircncia Foi uma boa ideia fazer a intervenccedilatildeo considerando-se a situaccedilatildeo e a necessidade de melhorias Ela tratou das prioridades do grupo alvo ou beneficiaacuterio Por que sim ou por que natildeo
2 Eficaacutecia Os resultados produtos e actividades foram realizados Por que sim ou por que natildeo A loacutegica da intervenccedilatildeo eacute correcta
3 Eficiecircncia Os insumos (recursos e tempo) foram usados da melhor forma possiacutevel para atingir os resultados a meacutedio e longo prazo Por que sim ou por que natildeo O que vocecirc e sua equipa poderiam fazer de modo diferente no futuro para maximizar os resultados a um custo aceitaacutevel
4 Impacto Em que medida a sua intervenccedilatildeo contribuiu para as metas nacionais ou de longo prazo Que consequecircncias natildeo intencionais (positivas ou negativas) suas actividades tiveram Por que essas consequecircncias aconteceram
5 Sustentabilidade Eacute provaacutevel que os resultados positivos continuem depois que sua intervenccedilatildeo terminar Por que sim ou por que natildeo
Uma uacuteltima advertecircncia assim como a monitoria pode-se complicar demasiado a avaliaccedilatildeo Ao preparar um plano de avaliaccedilatildeo o melhor eacute seleccionar um grupo pequeno de indicadores e resistir agrave tentaccedilatildeo de avaliar todos os aspectos da sua intervenccedilatildeo
Assim como a monitoria a avaliaccedilatildeo soacute eacute uacutetil se as informaccedilotildees forem repassadas em tempo haacutebil para o gestor e outros tomadores de decisotildees e grupos de interesse Um problema comum com as avaliaccedilotildees intercalares eacute que os resultados geralmente soacute satildeo informados de 6 a 8 meses mais tarde o que deixa apenas 1 ou 2 anos para fazer mudanccedilas mais permanentes antes que se esgotem os fundos do governo ou da agecircncia doadora
COMO SELECCIONAR SUAS FONTES DE DADOS
Esta secccedilatildeo descreve trecircs tipos de fontes de dados que satildeo comummente usadas para uma avaliaccedilatildeo dados recolhidos rotineiramente inqueacuteritos de grande escala e teacutecnicas de avaliaccedilatildeo raacutepida inclusive a avaliaccedilatildeo participativa
Dados de rotina Os dados recolhidos e analisados rotineiramente por um SIS satildeo denominados ldquoestatiacutesticas de serviccedilordquo Pode-se utilizar vaacuterios sistemas de informaccedilatildeo de serviccedilos de rotina para monitorar os serviccedilos Alguns deles satildeo o sistema baacutesico de registo e relatoacuterio de SIS os sistemas especiais de relatoacuterios sobre programas (por ex tuberculose malaacuteria imunizaccedilatildeo VIH planeamento familiar etc) os sistemas de relatoacuterios sobre agentes comunitaacuterios especiais (por ex registos de agentes comunitaacuterios de sauacutede) o sistema de informaccedilotildees para a vigilacircncia de doenccedilas e o controlo notificaccedilatildeo e resposta a surtos e os relatoacuterios para os sistemas de suporte especiais (por ex medicamentos encaminhamentos e gestatildeo financeira e de recursos humanos)
Esses sistemas fornecem dados que estatildeo imediatamente disponiacuteveis e cujo objectivo eacute informar o que estaacute a acontecer no sector de sauacutede Os dados de rotina incluem por exemplo o nuacutemero de consultas de preacute-natal em uma cliacutenica o nuacutemero e tipo de vacinaccedilotildees fornecidas no local ou o nuacutemero e tipos de contraceptivos fornecidos mensalmente
Os dados sobre os serviccedilos satildeo geralmente recolhidos pelos centros de sauacutede ou postos de sauacutede e enviados para o proacuteximo niacutevel superior do sistema (geralmente o distrito) para serem agregados Esses dados podem entatildeo ser enviados ao proacuteximo niacutevel superior (regional ou provincial) para posterior agregaccedilatildeo antes que cheguem finalmente ao niacutevel central do Ministeacuterio da Sauacutede
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 934
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Idealmente os gestores de centros de sauacutede e ao niacutevel do distrito usam esses dados para orientar as operaccedilotildees diaacuterias acompanhar o desempenho e a prestaccedilatildeo de contas e tomar decisotildees que continuem a melhorar o desempenho Mas haacute vaacuterios obstaacuteculos a essa utilizaccedilatildeo
Muito frequentemente os dados de rotina satildeo imprecisos ou incompletos Apesar dos que utilizam o SIS tentarem produzir informaccedilotildees de alta qualidade e em tempo haacutebil haacute muitas oportunidades de introduzir erros Pode haver pouco apoio para que os gestores e seu pessoal se concentrem nos procedimentos correctos de recolha registo e agregaccedilatildeo dos dados
Os sistemas de sauacutede de vaacuterios paiacuteses enfatizam a importacircncia de apresentar relatoacuterios para os niacuteveis superiores mas natildeo estabeleceram procedimentos e incentivos para encorajar aqueles que fornecem informaccedilotildees a utilizaacute-las mesmo quando os dados satildeo de boa qualidade
Outra dificuldade eacute que as estatiacutesticas sobre serviccedilos fornecem informaccedilotildees apenas sobre os utentes que utilizam os serviccedilos de sauacutede Natildeo podem fornecer informaccedilotildees sobre as muitas pessoas que natildeo utilizam os serviccedilos
Por tudo isso natildeo se pode confiar apenas nas estatiacutesticas sobre serviccedilos para fazer uma avaliaccedilatildeo Elas satildeo melhor utilizadas para a monitoria de rotina dos problemas de sauacutede puacuteblica e dos serviccedilos essenciais relacionados
Inqueacuteritos em grande escala Os inqueacuteritos em grande escala satildeo outra fonte de informaccedilotildees imediatamente disponiacuteveis Incluem inqueacuteritos de base populacional tais como as Inqueacuterito Demograacutefico e de Sauacutede (IDS) dos EUA avaliaccedilotildees completas de centros de sauacutede como a Anaacutelise de Situaccedilatildeo do Population Council e os censos nacionais Em vaacuterios casos os gestores podem usar os dados de um inqueacuterito em grande escala existente para fornecer o contexto para a interpretaccedilatildeo dos dados capturados atraveacutes das suas proacuteprias avaliaccedilotildees
Por exemplo as IDS satildeo realizadas periodicamente para caracterizar a situaccedilatildeo de sauacutede em um paiacutes ou regiatildeo geograacutefica de grande extensatildeo para vaacuterios grupos populacionais homens mulheres crianccedilas bebeacutes e assim por diante Mas os dados das IDS natildeo podem normalmente ser desagregados para uso pelos gestores no niacutevel de distrito ou comunidade
Aleacutem disso como as IDS satildeo realizadas apenas a cada trecircs ou cinco anos as informaccedilotildees que fornecem podem natildeo estar suficientemente actualizadas para as necessidades de avaliaccedilatildeo dos gestores Apesar dessas dificuldades os dados das IDS satildeo uacuteteis para compreender tendecircncias regionais ou nacionais que podem ajudar a explicar dados recolhidos em uma avaliaccedilatildeo de foco especiacutefico
Avaliaccedilotildees raacutepidas Satildeo formas raacutepidas e econoacutemicas de obter informaccedilotildees para a tomada de decisotildees principalmente ao niacutevel da actividade Os exemplos incluem entrevistas quando os utentes saem de suas consultas as avaliaccedilotildees de pequena escala dos centros de sauacutede os inqueacuteritos raacutepidos por amostragem o exame analiacutetico de registos as entrevistas com grupos de enfoque e outros meacutetodos participativos
Poderaacute usar teacutecnicas de avaliaccedilatildeo raacutepida para complementar as informaccedilotildees obtidas com dados de rotina ou inqueacuteritos de grande escala As avaliaccedilotildees raacutepidas podem-lhe fornecer informaccedilotildees valiosas sobre sua aacuterea de captaccedilatildeo e sua aacuterea de responsabilidade mais ampla ndash ou seja as comunidades e as populaccedilotildees que deveriam ter acesso aos serviccedilos essenciais prestados por um centro de sauacutede determinado Elas podem tambeacutem fornecer contexto e uma compreensatildeo qualitativa dos dados quantitativos recolhidos pelos meacutetodos mais formais
Dentro da categoria de avaliaccedilotildees raacutepidas os meacutetodos participativos e os inqueacuteritos raacutepidos por amostragem merecem a sua atenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 935
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Meacutetodos participativos (tambeacutem chamados de aprendizagem e acccedilatildeo participativas) Essas teacutecnicas e meacutetodos visam incorporar o conhecimento e as opiniotildees dos membros da comunidade no planeamento e gestatildeo de projectos de desenvolvimento no esforccedilo para influenciar as poliacuteticas e na implementaccedilatildeo de programas Eles permitem incluir vozes da comunidade nas poliacuteticas no planeamento e nos inqueacuteritos e criam um senso de propriedade e participaccedilatildeo nos resultados de MampA e nas recomendaccedilotildees feitas pela organizaccedilatildeo e por seus beneficiaacuterios
Ao contraacuterio de outras teacutecnicas de avaliaccedilatildeo raacutepida os meacutetodos participativos natildeo se baseiam em amostragens Eles usam entrevistas individuais ou com informantes essenciais (inclusive entrevistas com utentes ao saiacuterem de suas consultas) entrevistas em grupo estudos de caso e outros meacutetodos qualitativos para identificar as condiccedilotildees locais e entender as perspectivas e prioridades locais
Em vaacuterios locais haacute membros da comunidade que natildeo podem ler nem escrever e por isso os meacutetodos participativos dependem frequentemente da comunicaccedilatildeo oral com apoio de imagens siacutembolos objectos fiacutesicos e memoacuteria colectiva
Os meacutetodos participativos podem ser usados antes durante e apoacutes a implementaccedilatildeo de uma intervenccedilatildeo ou um conjunto de actividades Eles fornecem informaccedilotildees para o projecto e a avaliaccedilatildeo e permitem a participaccedilatildeo activa das partes interessadas na tomada de decisotildees Durante a implementaccedilatildeo os meacutetodos participativos satildeo uacuteteis para identificar e solucionar problemas
Aproveite para examinar e utilizar uma lista de recursos online sobre inqueacuterito qualitativo e directrizes sobre discussotildees em grupos de enfoque no Community Tool Box da Universidade de Kansas
Inqueacuteritos raacutepidos por amostragem Estes inqueacuteritos podem ser utilizados para recolher informaccedilotildees padronizadas de uma amostra pequena e cuidadosamente seleccionada de pessoas ou domiciacutelios em uma aacuterea beneficiaacuteria Eles podem descrever as condiccedilotildees em uma comunidade particular ou grupo-alvo e permitem comparar grupos diferentes em um determinado momento ou mudanccedilas no mesmo grupo ao longo do tempo Permitem tambeacutem comparar condiccedilotildees actuais com os resultados planeados
Um dos inqueacuteritos mais comuns de pequena amostragem eacute o inqueacuterito CAP (Conhecimentos Atitudes e Praacuteticas) baseado em uma amostra de 30 agrupamentos
Amostragem para Garantia de Qualidade de Lotes (Lot Quality Sampling - LQAS) Essa eacute outra teacutecnica de avaliaccedilatildeo raacutepida que se usa cada vez mais na aacuterea de sauacutede puacuteblica A LQAS utiliza amostragens muito pequenas para obter informaccedilotildees confiaacuteveis em uma pequena aacuterea geograacutefica ou unidade administrativa Pode ser usada para detectar de forma precisa os extremos do desempenho ndash para determinar se uma intervenccedilatildeo foi mais aleacutem de um limiar superior de desempenho ou natildeo conseguiu atingir um limiar inferior de desempenho em termos de qualidade ou cobertura As amostras de lotes podem tambeacutem ser combinadas para fornecer estimativas de cobertura em uma aacuterea geograacutefica mais ampla
Uma busca na Web revelaraacute recursos uacuteteis aqui temos um sobre os inqueacuteritos CAP e outro sobre LQAS A aacuterea de MampA do website do CORE Group inclui ligaccedilotildees com ferramentas e recursos importantes para a avaliaccedilatildeo raacutepida criados pelo Grupo de Trabalho de MampA do CORE Group
Como gestor deve revisar todas as fontes de dados jaacute existentes antes de planear a sua avaliaccedilatildeo A Tabela 7 apresenta as vantagens e desvantagens das trecircs principais fontes de
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 936
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 7 Resumo das trecircs fontes de dados mais comuns para uma avaliaccedilatildeo
Fonte de dados Vantagens Limitaccedilotildees
Estatiacutesticas de serviccedilo Dados sobre a populaccedilatildeo de utentes e serviccedilos cliacutenicos que satildeo recolhidos rotineiramente nos registos dos utentes e nos registos cliacutenicos
Disponiacuteveis imediatamente
Cobrem todos os tipos de serviccedilos de sauacutede e todas as aacutereas do paiacutes
Podem ser desagregados para os niacuteveis local e de distrito
Uso econoacutemico
Soacute lhe informam sobre clientes actuais sem informaccedilotildees sobre as pessoas que natildeo usam os serviccedilos de sauacutede e podem ser utentes em potencial
Natildeo fornecem informaccedilotildees sobre valores percepccedilotildees ou comportamentos da comunidade
Natildeo reflectem as pessoas que optam por fontes privadas de serviccedilos
Podem ser inexactas se os locais de prestaccedilatildeo de serviccedilos natildeo registarem os dados correctamente de forma legiacutevel e em tempo haacutebil
Inqueacuteritos de grande escala Inqueacuteritos de base populacional e avaliaccedilotildees de grande escala dos centros de sauacutede
Dados relevantes precisos e confiaacuteveis
Podem medir as tendecircncias nacionais de sauacutede identificar aacutereas com problemas e ajudar a concentrar os recursos do paiacutes em aacutereas de maior carecircncia
Geram valores meacutedios para as aacutereas urbanas e rurais regiotildees e proviacutencias
Fornecem um contexto para interpretar os dados recolhidos localmente
Podem gerar informaccedilotildees adicionais a partir dos seus conjuntos de dados informatizados
Geralmente natildeo podem desagregar os dados para fornecer meacutedias para as aacutereas sub-regionais (distritos ou municipalidades)
Geralmente natildeo satildeo realizadas anualmente os dados se tornam desactualizados rapidamente se as populaccedilotildees ou condiccedilotildees de sauacutede se modificarem rapidamente
Avaliaccedilotildees raacutepidas Meacutetodos focados para avaliar as necessidades locais e tomar decisotildees em acircmbito local
Raacutepidas e econoacutemicas
Resultam em acccedilatildeo local
Haacute directrizes para ajudar os gestores em vaacuterias dessas teacutecnicas
Fornecem aos gestores a capacidade de recolher os dados necessaacuterios
Os inqueacuteritos domiciliares (por ex LQAS ou CAP) podem obter precisatildeo suficiente para fins de avaliaccedilatildeo
Equilibra a necessidade de resultados representativos e objectivos com a necessidade de usar projectos levemente menos rigorosos que satildeo mais viaacuteveis em aacutereas locais
Usam escala e acircmbito reduzidos para produzir resultados em tempo haacutebil e de baixo custo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 937
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
dados que foram discutidas acima estatiacutesticas rotineiras de serviccedilos inqueacuteritos em grande escala e teacutecnicas de avaliaccedilatildeo raacutepida
Que niacutevel de qualidade os dados do SIS precisam ter para serem uacuteteis ndash que niacutevel de abrangecircncia precisatildeo e apresentaccedilatildeo em tempo haacutebil Para as suas necessidades de gestatildeo mesmo que natildeo sejam perfeitos os dados podem ser suficientemente bons para ter um efeito poderoso como nos mostra o exemplo de Madagascar
Dados do SIS pontos fortes e limitaccedilotildees
Subestimar o valor e a utilidade do SIS eacute infelizmente uma tendecircncia Eacute verdade que o SIS tem problemas frequentemente mas tambeacutem eacute grande o seu potencial Como vimos em
Como usar e melhorar dados imperfeitos do SIS ndash Um exemplo de Madagascar
Um SIS de base comunitaacuteria mais preciso e mais oportuno Um projecto de Madagascar implementou um meacutetodo baseado na comunidade para aumentar o uso de meacutetodos de planeamento familiar denominado ldquoComunidades Campeatildesrdquo em 50 dos 110 distritos do paiacutes O meacutetodo utilizou exclusivamente os dados do SIS para monitorar e avaliar as realizaccedilotildees das comunidades participantes
Em primeiro lugar foi estabelecida uma base de referecircncia para cada comunidade ao usar os dados do seu centro de sauacutede Em seguida o pessoal do centro de sauacutede e os representantes da comunidade identificaram metas para 10 indicadores que determinariam se uma comunidade tinha alcanccedilado a posiccedilatildeo de campeatilde apoacutes 12 meses de implementaccedilatildeo Cada comunidade monitorava seu proacuteprio progresso em uma reuniatildeo trimestral de verificaccedilatildeo
Apoacutes 12 meses o pessoal do projecto voltou a cada comunidade para avaliar os resultados Examinaram os dados do relatoacuterio de monitoria de rotina de cada centro de sauacutede e para cada indicador Prepararam tambeacutem um relatoacuterio sobre os dados de cada comunidade e o enviaram para o supervisor de niacutevel distrital para a sua confirmaccedilatildeo com base nos registos informatizados do distrito As fontes de dados para os relatoacuterios do centro de sauacutede e registos de distrito foram as mesmas (registos dos centros de sauacutede) e por isso raramente ocorreu uma discrepacircncia Mas o que interessava era envolver o supervisor distrital no exame dos dados do centro de sauacutede para mostrar a utilidade de se usar ateacute mesmo dados simples nesse niacutevel
O projecto tambeacutem cooperou com o Ministeacuterio da Sauacutede a niacutevel distrital para melhorar a precisatildeo a abrangecircncia e a prontidatildeo do SIS A ecircnfase era obter dados mais completos dos centros de sauacutede e reduzir o tempo gasto pelo escritoacuterio distrital para receber o relatoacuterio do centro de sauacutede apreciaacute-lo devolvecirc-lo ao centro para qualquer correcccedilatildeo recebecirc-lo novamente dar entrada dos dados no sistema e finalmente enviaacute-los ao niacutevel central Os distritos satildeo responsaacuteveis por cooperar com os centros de sauacutede para melhorar o registo de dados e actualizar suas proacuteprias teacutecnicas de processamento de dados
Apoacutes dois anos de assistecircncia teacutecnica o SIS tinha realmente melhorado segundo os indicadores de precisatildeo abrangecircncia e prontidatildeo As melhorias mais notaacuteveis foram em prontidatildeo o tempo gasto pelo escritoacuterio distrital no processo descrito acima reduziu-se de 12 para 3 meses
Imperfeitas mais mesmo assim valiosos Deve-se lembrar que o projecto ldquoComunidades Campeatildesrdquo teve oacuteptimo resultado apesar dos dados imperfeitos Seu numerador (o nuacutemero de utentes regulares de planeamento familiar) era detalhado e preciso Mas suas estimativas das taxas de prevalecircncia do uso de contraceptivos natildeo eram muito precisas porque o denominador (nuacutemero de mulheres em idade reprodutiva) era apenas uma estimativa baseada num censo desactualizado e em estimativas anuais do governo sobre percentagens de crescimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 938
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Madagascar o projecto Comunidades Campeatildes melhorou o sistema substancialmente num periacuteodo de dois anos Nesse caso o sistema jaacute se encontrava relativamente funcional porque projectos anteriores haviam feito um grande esforccedilo para implantar o sistema e tornaacute-lo mais soacutelido Ao aprimorar a forma como o sistema era administrado e os dados eram usados o projecto posterior conseguiu fazer uma grande diferenccedila por meio de pequenas modificaccedilotildees
Os dados do SIS natildeo satildeo 100 exactos e nunca seratildeo Esta eacute a realidade com a qual todos os gestores tecircm que trabalhar Mas os dados natildeo precisam ser perfeitos para serem uacuteteis Eacute possiacutevel fazer a monitoria e a gestatildeo com dados imperfeitos Informaccedilotildees obtidas em tempo
(continuaccedilatildeo)
No entanto o projecto constatou que as taxas de prevalecircncia de uso de contraceptivos eram suficientemente boas para acompanhar o desempenho das comunidades que participavam do meacutetodo de Comunidades Campeatildes O pessoal do projecto tambeacutem complementou as comparaccedilotildees dessas taxas com as comparaccedilotildees dos valores do numerador nuacutemeros simples que faziam sentido para o pessoal do centro de sauacutede e tambeacutem para as comunidades
O niacutevel central comeccedilou a organizar workshops regionais trimestrais para divulgar os resultados ao niacutevel distrital Juntos os gestores dos niacuteveis distritais regionais e centrais analisaram o progresso e classificaram os distritos com base no seu desempenho Usaram a anaacutelise de causa-raiz ndash um processo que identifica as causas subjacentes de um problema ndash para entender os obstaacuteculos enfrentados pelos distritos que apresentavam baixo desempenho (Consulte o Apecircndice A no Capiacutetulo 2 deste guia para obter mais informaccedilotildees sobre a anaacutelise de causa-raiz) Finalmente o Ministeacuterio de Sauacutede mobilizou o apoio de agecircncias doadoras e de organizaccedilotildees parceiras para ajudaacute-los a melhorar
O ministeacuterio comeccedilou a usar as informaccedilotildees de sauacutede para administrar realmente o sistema de sauacutede Antes dessa intervenccedilatildeo poucas organizaccedilotildees confiavam ou utilizavam os dados do SIS Mas quando ficou claro que o sistema funcionava as agecircncias doadoras passaram a confiar as organizaccedilotildees parceiras passaram a utilizaacute-lo e o ministeacuterio se orgulhou do trabalho Pela primeira vez tinham uma visatildeo mais niacutetida do que acontecia em todo o paiacutes e podiam usar essas informaccedilotildees para buscar o apoio de agecircncias doadoras se necessaacuterio
Do mesmo modo os centros de sauacutede raramente usavam seus proacuteprios dados Eles simplesmente faziam os registos e os enviavam para o escritoacuterio distrital sem nem mesmo receber retroinformaccedilatildeo do mesmo Apoacutes a conclusatildeo do projecto perceberam como os dados mais precisos podiam ser usados em seu benefiacutecio e das comunidades
Os distritos tambeacutem actuavam antes de uma forma pouco informada Cada distrito dependia apenas dos seus proacuteprios dados e funcionava num vaacutecuo As mudanccedilas no SIS e o encorajamento do governo central forneceram aos distritos oportunidades para comparar seu trabalho e aprender uns com os outros
Aprendizagem com dados mais precisos completos e oportunos Os dados satildeo geralmente utilizados para fazer comparaccedilotildees mas satildeo menos frequentemente utilizados como ferramenta de aprendizagem Nesse caso depois que os relatoacuterios comeccedilaram a chegar dentro do prazo o Ministeacuterio da Sauacutede usou os dados ndash inclusive dados imperfeitos ndash para descobrir que distritos tinham um desempenho ruim e que distritos estavam melhor que os outros Assim aprenderam com os de melhor desempenho ao perguntar Por que seus resultados satildeo tatildeo bons O que estavam a fazer de diferente O que poderia ser replicado Finalmente aplicaram a aprendizagem ao usar esses distritos como modelos e ao oferecer mais apoio aos de pior desempenho
Todo o sistema de sauacutede se entusiasmou com as informaccedilotildees que podiam produzir e usar A comeccedilar do topo esse entusiasmo chegou aos niacuteveis inferiores e os motivou a melhorar sua recolha e processamento de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 939
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
haacutebil e com 75 de precisatildeo satildeo melhores que as informaccedilotildees com 95 de precisatildeo que chegam com vaacuterios meses de atraso
Apesar do seu grande valor por si soacutes os dados do SIS natildeo atenderatildeo a todas as necessidades de informaccedilatildeo de muitas organizaccedilotildees Algumas organizaccedilotildees e agecircncias doadoras precisam de dados que exigem avaliaccedilotildees ou sistemas especiais Aleacutem disso vaacuterias intervenccedilotildees foram projectadas para modificar o conhecimento as atitudes e as praacuteticas dos beneficiaacuterios factores que natildeo satildeo capturados nos dados de serviccedilo Eacute importante usar os dados do SIS sempre que possiacutevel e complementaacute-los com avaliaccedilotildees locais quando necessaacuterio
Como gestor de um programa de sauacutede ou de serviccedilos de sauacutede parte do seu trabalho deveria ser o de melhorar o SIS em seu paiacutes Ele eacute o uacutenico sistema de informaccedilotildees sustentaacutevel na maioria dos paiacuteses Os sistemas de informaccedilatildeo criados e mantidos por agecircncias doadoras ou organizaccedilotildees externas tecircm duraccedilatildeo limitada mas o SIS eacute parte permanente do seu legado
Se todos os parceiros e agecircncias doadoras trabalharem com o Ministeacuterio de Sauacutede para prestar assistecircncia teacutecnica e financeira ao SIS ele poderaacute render informaccedilotildees que trazem grandes melhorias para os serviccedilos de sauacutede e que justificam plenamente o investimento no mesmo
Praacuteticas comprovadas
Um sistema de MampA deveria proporcionar aos gestores o que eles precisam saber para agir Deve se basear em indicadores relevantes faacuteceis de usar e que possam ser fornecidos em tempo haacutebil para os ciclos de planeamento e apresentaccedilatildeo de relatoacuterios
Os resultados de MampA natildeo se destinam apenas ao pessoal de MampA da sua organizaccedilatildeo ou agrave agecircncia doadora As informaccedilotildees de MampA satildeo um recurso fundamental para as acccedilotildees e a aprendizagem Se o seu processo de MampA tiver mecanismos de retroinformaccedilatildeo que permitam aos tomadores de decisotildees reflectirem sobre os resultados e absorverem o que precisam para seus proacuteprios fins eles assumiratildeo o controlo do processo e utilizaratildeo o que ele oferecer
Se vocecirc define suas actividades de MampA no comeccedilo de uma intervenccedilatildeo ou projecto junto com o plano de acccedilatildeo para o projecto teraacute mais oportunidades de orientar e acompanhar a implementaccedilatildeo das actividades
Quando satildeo demasiado elaborados e complicados os planos de MampA natildeo satildeo usados Elabore um plano de MampA simples escolha ferramentas de monitoria faacuteceis de usar e seleccione a menor quantidade possiacutevel de indicadores para acompanhar o progresso e introduzir as mudanccedilas necessaacuterias ao longo do caminho
Para fortalecer um SIS eacute preciso trabalhar com as pessoas envolvidas os responsaacuteveis pelo sistema que registam transferem analisam comunicam e utilizam os dados e as informaccedilotildees para a gestatildeo dos serviccedilos
Ao fornecer os dados do SIS para os tomadores de decisotildees vocecirc deve reconhecer as diferenccedilas na frequecircncia dos relatoacuterios e nas quantidades de dados agregados e desagregados necessaacuterios aos niacuteveis diferentes de governo ou agraves organizaccedilotildees natildeo governamentais
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 916
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Como se lecirc um mapa de Caminho de Mudanccedila O caminho pode ser lido como um fluxograma em que caixas e setas mostram a relaccedilatildeo entre as acccedilotildees e os efeitos como mostrado na Figura 6 O resultado esperado aparece no topo do caminho e os resultados imediatos que devem ser atingidos para se chegar laacute satildeo exibidos no proacuteximo niacutevel Os produtos que devem ser obtidos para conseguir os resultados a meacutedio e longo prazo aparecem no proacuteximo niacutevel inferior Finalmente as actividades aparecem no fundo ou base
Quando lido de baixo para cima o mapa mostra que actividades satildeo necessaacuterias para conseguir os produtos e que resultados a meacutedio e longo prazo satildeo necessaacuterios para se chegar ao topo Eacute preciso sempre poder traccedilar um caminho desde o comeccedilo de suas acccedilotildees ateacute o resultado esperado
Pode ser uacutetil imaginar o caminho como o organigrama de uma empresa vocecirc pode comeccedilar da base do organigrama como assistente administrativo passar a coordenador de escritoacuterio depois a uma funccedilatildeo de gestatildeo e finalmente ocupar o gabinete do director
A criaccedilatildeo de um Caminho de Mudanccedila Para desenvolver um Caminho da Mudanccedila sua equipa mapeia a mudanccedila de forma reversa Comeccedila no final do caminho (no topo da
FIGURA 6 Exemplo de um Caminho de Mudanccedila
Resultado 180 dos pacientes
estatildeo satisfeitos com os serviccedilos prestados no
centro de sauacutede
Resultado 260 das mulheres
entre 15 e 49 anos na aacuterea de captaccedilatildeo do centro de
sauacutede entendem a importacircncia do planeamento familiar
para o espaccedilamento dos nascimentos
Resultado 3Todos os meacutetodos
contraceptivos modernos estatildeo
disponiacuteveis no centro de sauacutede
Produto 1Os tempos de
espera no centro de sauacutede se
reduziram de 40 para 20 minutos
Produto 2Eacute oferecida
orientaccedilatildeo a todos os pacientes em
espaccedilo privado do centro de sauacutede
Produto 3Voluntaacuterias
realizam palestras semanais sobre temas
de sauacutede reprodutiva na comunidade
Produto 4Todos os stocks
de contraceptivos satildeo monitorados semanalmente
Actividade 1Realizar um
inqueacuterito sobre o uxo de
pacientes e cumprir
recomendaccedilotildees
Actividade 2Transformar um canto do
centro de sauacutede para a
orientaccedilatildeo dos pacientes
Actividade 3Mobilizar as
ONGs parceiras para imprimir panetos de informaccedilatildeo educaccedilatildeo e
comunicaccedilatildeo
Actividade 4Mobilizar as
ONGs parceiras para dar
formaccedilatildeo ou equipar as voluntaacuterias
Actividade 5Recrutar liacutederes
comunitaacuterios para prestar
apoio agraves palestras sobre
sauacutede reprodutiva
Actividade 6Desenvolver
um sistema de registo e
pedidos de suprimentos
contraceptivos
Resultado esperadoAumento na percentagem de utentes de planeamento familiar de 50 para 52
durante o periacuteodo de Junho a Dezembro de 2006
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 917
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
sequecircncia) e define a meta da organizaccedilatildeo a longo prazo ou o resultado esperado de uma intervenccedilatildeo Em seguida preenche o mapa ao trabalhar de cima para baixo onde identifica finalmente as actividades principais os primeiros elementos do seu plano de implementaccedilatildeo
Enquanto se desloca pelo caminho faccedila trecircs perguntas Que resultados precisam acontecer para contribuir agrave meta de longo prazo Que produtos precisam ser obtidos antes disso para alcanccedilar os resultados Que actividades precisam acontecer antes disso para conseguir os produtos
O desenho de uma intervenccedilatildeo dessa forma pode ajudar a revelar as condiccedilotildees necessaacuterias para atingir os resultados a meacutedio e longo prazo e a meta de longo prazo Talvez sejam necessaacuterias vaacuterias tentativas para criar um Caminho de Mudanccedila com o qual todos estejam de acordo Os resultados produtos e acccedilotildees podem ser acrescentados modificados e eliminados ateacute que eventualmente surja um mapa que conte a histoacuteria com a qual sua equipa pode concordar O debate eacute frequentemente a parte mais importante da experiecircncia porque a equipa junta define as expectativas pressupostos e caracteriacutesticas do processo de mudanccedila
Uso da sequecircncia ldquopara querdquo como forma de verificar as vias de um Caminho de Mudanccedila Uma boa forma de verificar a loacutegica do mapa do seu caminho eacute inverter o processo e criar uma sequecircncia de ldquopara querdquo para cada actividade O exemplo na Figura 7 mostra como fazer isso para a Actividade 5 da Figura 6 O movimento na sequecircncia ldquopara querdquo eacute o
FIGURA 7 Sequecircncia ldquopara querdquo para uma actividade de um Caminho de Mudanccedila
Dar formaccedilatildeo agraves voluntaacuterias da comunidade e equipaacute-las com os materiais de informaccedilatildeo educaccedilatildeo e comunicaccedilatildeo necessaacuterios
para que
As voluntaacuterias realizem sessotildees educativas sobre sauacutede sobre temas de planeamento familiar na aacuterea especiacutefica do centro de sauacutede
para que
As mulheres em idade reprodutiva na aacuterea especiacutefica se sintam agrave vontade para participar de sessotildees apresentadas pelas voluntaacuterias
para que
As mulheres participem das sessotildees e aprendam sobre a importacircncia do planeamento familiar para o espaccedilamento dos nascimentos
para que
Mais mulheres em idade reprodutiva busquem meacutetodos de planeamento familiar no centro de sauacutede e a percentagem de mulheres que recebem os meacutetodos aumentem 2 durante o periacuteodo do projecto (o resultado esperado)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 918
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
oposto exacto do Caminho de Mudanccedila Vocecirc coloca cada actividade no topo da sua proacutepria sequecircncia e desce pela sequecircncia ateacute a meta ou resultado esperado Essa sequecircncia ajuda a confirmar que cada rota individual no Caminho de Mudanccedila faz sentido em termos loacutegicos
Para usar essa teacutecnica eacute preciso criar uma sequecircncia ldquopara querdquo para cada actividade no seu Caminho de Mudanccedila Comece por descrever cada actividade e segui-la da frase ldquopara querdquo seguida de uma descriccedilatildeo do que aconteceraacute se essa actividade for realizada Continue a fazer isto ateacute atingir a sua meta de longo prazo ou resultado esperado
Etapas do desenvolvimento de um plano de MampA
Uma das suas tarefas essenciais de MampA como gestor que exerce lideranccedila eacute a de elaborar um plano que ajude vocecirc e sua equipa a determinar se atingiram ou natildeo os resultados esperados e a acompanhar o progresso no alcance desses resultados durante a implementaccedilatildeo Isso exige que vocecirc natildeo soacute escolha indicadores confiaacuteveis mas tambeacutem que meccedila esses indicadores de forma organizada Seu plano de MampA deve especificar que indicadores seratildeo medidos como e quando seratildeo medidos e por quem
Um plano de MampA bem formulado responde a cinco perguntas
1 Seu resultado esperado eacute mensuraacutevel2 Que indicadores utilizaraacute para monitorar seus produtos e para avaliar seus
resultados 3 Quais satildeo as suas fontes de dados e como recolheraacute os dados dessas fontes 4 Quais satildeo os periacuteodos cobertos de cada indicador 5 Quem recolheraacute os dados
Essas perguntas satildeo importantes porque sem um plano vaacutelido de MampA vocecirc poderaacute interpretar erroneamente os efeitos da sua intervenccedilatildeo Poderaacute concluir que ela natildeo teve efeito algum quando na verdade ela teve alguns resultados positivos ou poderaacute concluir que ela teve um efeito positivo quando na verdade natildeo obteve resultado algum o que eacute um erro comum e mais destrutivo
Elaborar e utilizar um plano de MampA garante que dados comparaacuteveis seratildeo recolhidos regularmente e em tempo haacutebil mesmo quando houver mudanccedilas de pessoal A Tabela 3 resume as etapas no desenvolvimento e implementaccedilatildeo de um plano de MampA O resto desta secccedilatildeo descreve cada etapa detalhadamente
ETAPA 1 DEFINA OS RESULTADOS ESPERADOS
A primeira etapa no desenvolvimento do plano de MampA eacute determinar um niacutevel apropriado de resultados Juntos o tipo e o acircmbito da intervenccedilatildeo os recursos disponiacuteveis e o prazo de implementaccedilatildeo determinam um resultado viaacutevel
Como jaacute vimos antes neste capiacutetulo as intervenccedilotildees dirigidas por organizaccedilotildees com fundos de agecircncias doadoras e por serviccedilos governamentais geralmente levam a produtos ou resultados a meacutedio e longo prazo Apesar de o impacto demorar a ser obtido e geralmente estar fora do acircmbito de um uacutenico conjunto de actividades eacute importante incluiacute-lo no seu plano de MampA para que fique clara qual seraacute a contribuiccedilatildeo da sua intervenccedilatildeo a longo prazo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 919
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 3 Etapas para elaborar e usar um Plano de MampA
Etapas Recomendaccedilotildees
1 Definir os resultados esperados
Os resultados devem ser identificados de acordo com o acircmbito e o periacuteodo de tempo da sua intervenccedilatildeo
Os resultados devem atender aos criteacuterios SMART (Especiacuteficos Mensuraacuteveis Apropriados Realistas de Prazo Definido)
2 Seleccionar os indicadores
Os indicadores devem possuir as qualidades de um bom indicador
Os indicadores devem ser acessiacuteveis faacuteceis de recolher e comparaacuteveis ao longo do tempo e em diferentes locais
Para os problemas de sauacutede prioritaacuterios e os serviccedilos essenciais use indicadores criacuteticos nacionais ou padratildeo
Seleccione um nuacutemero miacutenimo de indicadores essenciais e procure garantir que os indicadores seleccionados sejam realmente necessaacuterios para medir seus resultados esperados
3 Identificar as fontes de dados
Identifique de onde viratildeo os dados para cada indicador Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos organizacionais utentes ou a comunidade
4 Definir os meacutetodos de recolha dos dados
Seleccione o meacutetodo mais apropriado e confiaacutevel para a recolha de dados para cada indicador Estes meacutetodos podem incluir a anaacutelise de registos ou diaacuterios de estatiacutesticas de serviccedilo o uso de listas de verificaccedilatildeo para fins de observaccedilatildeo as entrevistas de utentes ao saiacuterem da cliacutenica ou um modelo de inqueacuterito de dados comunitaacuterios
Decida sobre a frequecircncia da recolha de dados Poderaacute recolher apenas os dados de base ou referecircncia e os dados apoacutes a intervenccedilatildeo ou talvez precise recolher dados diaacuterios mensais ou trimestrais dependendo do tipo de indicador
Para cada indicador designe a responsabilidade pela recolha a um escritoacuterio equipa ou pessoa especiacuteficos
5 Recolher os dados de base (ou referecircncia) e os dados apoacutes a intervenccedilatildeo
Entenda que os resultados de base seratildeo usados para definir os seus alvos
Defina claramente a duraccedilatildeo coberta pelos dados de base jaacute que precisa de um periacuteodo semelhante para a comparaccedilatildeo ao final do periacuteodo de implementaccedilatildeo
Use a mesma metodologia e ferramentas para a recolha de dados que as usadas para os dados de base e as medidas poacutes-intervenccedilatildeo
6 Compartilhar e utilizar os seus resultados
Marque reuniotildees workshops e apresentaccedilatildeo de relatoacuterios para mostrar os resultados ao pessoal do projecto agrave direcccedilatildeo da organizaccedilatildeo e a outros grupos de interesse importantes
Apresente as opccedilotildees de aprendizado e acccedilatildeo com base nos resultados de MampA
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 920
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para determinar em que niacutevel deve monitorar e avaliar seus resultados eacute uacutetil examinar novamente e expandir a cadeia de resultados a comeccedilar da direita pelo resultado final (impacto) e voltar ateacute os materiais e recursos (insumos) necessaacuterios
Insumos rarr Processos rarr Produtos rarr Resultados rarr Impacto
Impacto Esses resultados satildeo medidos ao niacutevel da populaccedilatildeo levam um tempo relativamente longo para serem alcanccedilados (geralmente 3 a 5 cinco anos) e exigem o esforccedilo conjunto de vaacuterias intervenccedilotildees e mesmo de vaacuterias organizaccedilotildees Como gestor vocecirc poderaacute ser responsaacutevel por medir o impacto mas deve incluiacute-lo na loacutegica do seu plano de MampA para saber o que a sua organizaccedilatildeo e os parceiros da organizaccedilatildeo pretendem alcanccedilar a longo prazo
Resultados a meacutedio e longo prazo Na maioria dos casos os gestores satildeo responsaacuteveis por medir os resultados nos niacuteveis de produtos eou resultados a meacutedio e longo prazo Os resultados a meacutedio e longo prazo satildeo obtidos pelas actividades criadas para produzir uma mudanccedila de comportamento nos profissionais de sauacutede ou nos utentes Satildeo geralmente medidos em termos de mudanccedilas na cobertura de serviccedilos e mudanccedilas nos conhecimentos atitudes e praacuteticas de uma populaccedilatildeo beneficiaacuteria Um resultado a meacutedio e longo prazo pode ser o iniacutecio de uma praacutetica comprovada de prestaccedilatildeo de serviccedilos a adopccedilatildeo de novas estrateacutegias de gestatildeo ou a elaboraccedilatildeo bem-sucedida de uma poliacutetica de promoccedilatildeo da sauacutede Pode tambeacutem ser um aumento no nuacutemero de mulheres que datildeo agrave luz em um centro de sauacutede ou no nuacutemero de crianccedilas totalmente imunizadas Na maioria dos casos eacute possiacutevel estabelecer uma relaccedilatildeo clara entre produtos e resultados a meacutedio e longo prazo
Produtos Os produtos ou resultados imediatos satildeo fruto directo das actividades Devem ser monitorados durante toda a implementaccedilatildeo como um elemento essencial da boa gestatildeo Os planos de MampA devem definir o produto esperado de cada actividade Para as unidades de prestaccedilatildeo de serviccedilos isso geralmente significa os resultados imediatos em termos dos serviccedilos (por exemplo nuacutemero de utentes atendidos ou tempo de espera dos clientes ou utentes) Para as organizaccedilotildees que natildeo prestam serviccedilos de sauacutede directamente isso pode significar a distribuiccedilatildeo de produtos de sauacutede ou serviccedilos de formaccedilatildeo (por exemplo quantidade de produtos para planeamento familiar distribuiacutedos ou nuacutemero de participantes formados)
Processos A monitoria de processos ou actividades eacute em grande parte uma medida da cultura de prestaccedilatildeo de contas (ou grau de responsabilizaccedilatildeo) ao garantir que as actividades sejam realizadas dentro do prazo e com recursos suficientes A monitoria nesse niacutevel acompanha o progresso da implementaccedilatildeo tendo como referecircncia os prazos propostos e o uso dos recursos tendo como referecircncia os orccedilamentos Eacute geralmente executada atraveacutes da apresentaccedilatildeo de relatoacuterios tradicionais trimestrais semestrais e anuais
Insumos Ao preparar uma intervenccedilatildeo deve identificar a quantidade e os tipos de recursos necessaacuterios para implementar as actividades O desempenho pode ser monitorado em termos da quantidade e dos tipos de insumos fornecidos e do nuacutemero e timing das actividades realizadas
A etapa seguinte na definiccedilatildeo dos resultados esperados eacute garantir que cumpram os criteacuterios SMART (consulte a Tabela 4) Eacute possiacutevel monitorar e avaliar o progresso no alcance de um resultado apenas se esse resultado tiver sido definido em termos mensuraacuteveis
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 921
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja a seguir um exemplo de um resultado mensuraacutevel para uma intervenccedilatildeo cujo propoacutesito eacute promover a cobertura de imunizaccedilatildeo em crianccedilas de 12 a 24 meses de idade A percentagem de crianccedilas de 12 a 24 meses totalmente vacinadas na aacuterea de captaccedilatildeo aumentaraacute para 70 dentro de um ano
ETAPA 2 IDENTIFIQUE OS INDICADORES E SUAS DEFINICcedilOtildeES
Os indicadores satildeo geralmente percentagens ou proporccedilotildees que representam o alcance de uma condiccedilatildeo especiacutefica de sauacutede na populaccedilatildeo de interesse Podem tambeacutem ser um valor absoluto tal como o nuacutemero de ocorrecircncias de um evento de sauacutede (por ex um oacutebito materno ou um caso de malaacuteria)
Todos os indicadores pedem uma definiccedilatildeo detalhada Trata-se de um indicador qualitativo ou quantitativo Se for uma percentagem qual eacute o numerador e qual eacute o denominador A definiccedilatildeo deve ser suficientemente detalhada para garantir que pessoas diferentes em momentos diferentes possam recolher tipos idecircnticos de dados para o indicador
Veja o que caracteriza um bom indicador no Quadro 2 Os indicadores podem ser classificados como indicadores do estado de sauacutede ou do desempenho de serviccedilos
Os indicadores do estado de sauacutede podem incluir o seguinte
nuacutemero de casos e mortes causados por doenccedilas especiacuteficas em um determinado periacuteodo
proporccedilatildeo da populaccedilatildeo com uma doenccedila ou condiccedilatildeo de sauacutede num momento particular ou ao longo de um periacuteodo de tempo
proporccedilatildeo da populaccedilatildeo com um factor ou condiccedilatildeo de sauacutede que os coloca em risco de contrair doenccedilas tal como a falta de conhecimento ou um comportamento de risco
Os indicadores de desempenho podem incluir o seguinte
proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que recebeu um serviccedilo especiacutefico proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que demonstra comportamentos e
conhecimentos especiacuteficos de sauacutede
TABELA 4 Criteacuterios de um resultado SMART
Criteacuterio Descriccedilatildeo
Especiacutefico (S ndash Smart)
Claramente escrito e compreendido O resultado esperado eacute suficientemente especiacutefico para ser medido por uma frequecircncia percentagem ou nuacutemero
Mensuraacutevel (M ndash Measurable)
Eacute possiacutevel monitorar o progresso e avaliar os resultados O resultado esperado eacute definido em termos que sejam mensuraacuteveis
Apropriado (A ndash Appropriate)
O resultado esperado eacute apropriado ao acircmbito do seu trabalho e agrave missatildeo da sua organizaccedilatildeo
Realista (R ndash Realistic)
O resultado esperado pode ser alcanccedilado e estaacute dentro do controlo da sua organizaccedilatildeo Pode ser realisticamente alcanccedilado ao usar os recursos disponiacuteveis e dentro do prazo do seu plano de implementaccedilatildeo
de Tiempo limitado (T ndash Time Bound)
Foi estabelecido um prazo especiacutefico para obter o resultado esperado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 922
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
proporccedilatildeo de centros e pessoal de sauacutede que demonstram adesatildeo a padrotildees especiacuteficos de serviccedilo ou que atingiram objectivo definido
proporccedilatildeo de centros de sauacutede que seguem padrotildees definidos de gestatildeo funcional (por ex em termos de pessoal disponibilidade de medicamentos registo e apresentaccedilatildeo de relatoacuterios)
Orientaccedilatildeo adicional sobre os indicadores pode ser obtida em ldquoCompecircndio de indicadores para avaliaccedilatildeo de programas de sauacutede reprodutivardquo e ldquoLista dos indicadores sobre desenvolvimento da capacidade de gestatildeo e lideranccedilardquo
ETAPA 3 IDENTIFIQUE AS FONTES DE DADOS
Agora precisa identificar uma fonte de dados para cada indicador incluiacutedo no plano de MampA ao seleccionar dados que estejam prontamente disponiacuteveis em uma fonte confiaacutevel e dentro das possibilidades financeiras de sua organizaccedilatildeo O ideal seria escolher os dados imediatamente disponiacuteveis atraveacutes da organizaccedilatildeo em vez de dar iniacutecio a uma nova estrateacutegia de recolha de dados o que poderia ser oneroso e demorado
Uma boa forma de comeccedilar eacute com a seguinte pergunta Que dados jaacute recolhemos de forma rotineira e sistemaacutetica Vocecirc deve sempre levar em consideraccedilatildeo as vantagens e desvantagens de cada fonte de dados Consulte a secccedilatildeo ldquoComo seleccionar suas fontes de dadosrdquo para obter mais informaccedilotildees sobre as vantagens e desvantagens de algumas fontes de dados mais comuns
Vocecirc deve ser o mais especiacutefico possiacutevel sobre as fontes de dados para que a mesma fonte possa ser utilizada de forma coerente durante toda a intervenccedilatildeo Mudar as fontes de dados para o mesmo indicador pode resultar em incoerecircncias e erros de interpretaccedilatildeo Por exemplo se estiver a medir as taxas de mortalidade infantil passar de estimativas baseadas num inqueacuterito de grande escala para estimativas baseadas em estatiacutesticas hospitalares pode resultar dar a falsa impressatildeo de que houve uma mudanccedila
QUADRO 2 Qualidades de um bom indicador
Vaacutelido O indicador mede o que se pretende medir
Confiaacutevel A medida do indicador deve ser igual natildeo importa quantas vezes a medida seja feita
Preciso O indicador eacute definido em termos claros e especiacuteficos para que possa ser medido O indicador pode ser qualitativo (descritivo) discreto (SimNatildeo) ou baseado em niacuteveis quantitativos ou proporccedilotildees desde que seja claramente mensuraacutevel
Faacutecil de entender Tanto especialistas como natildeo especialistas devem poder entender o significado do indicador
Discreto O indicador captura um uacutenico componente ou aspecto de um resultado mais complexo Mede apenas uma coisa natildeo um conjunto de coisas
Em tempo haacutebil O indicador pode ser medido em intervalos temporais apropriados de acordo com a disponibilidade dos dados
Comparaacutevel Quando possiacutevel o indicador evita definiccedilotildees limitadas ou singulares cujos valores seriam difiacuteceis de comparar com outros resultados
Viaacutevel para utilizar Os dados para o indicador satildeo faacuteceis de obter de uma fonte confiaacutevel e relativamente econoacutemica ndash acessiacutevel tendo em vista os recursos da sua organizaccedilatildeo Se esses dados natildeo estiverem disponiacuteveis existem meacutetodos para obtecirc-los no futuro
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 923
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 4 DEFINA OS MEacuteTODOS DE RECOLHA DE DADOS
A etapa seguinte eacute a de definir os meacutetodos ou ferramentas que utilizaraacute para cada indicador Para os indicadores baseados em dados primaacuterios (dados que vocecirc mesmo recolhe) deve descrever o tipo de instrumento necessaacuterio para recolher os dados Os exemplos podem incluir questionaacuterios estruturados listas de verificaccedilatildeo de observaccedilatildeo directa ou balanccedilas para pesar bebeacutes
Para os dados secundaacuterios (dados recolhidos por terceiros e que estatildeo disponiacuteveis para vocecirc usar) deve explicar o meacutetodo para calcular o indicador e a fonte dos dados e fornecer detalhes suficientes sobre o meacutetodo de caacutelculo para que outros possam replicaacute-lo Lembre-se de que eacute mais faacutecil e mais barato usar dados secundaacuterios mas sua qualidade eacute menos confiaacutevel do que a dos dados primaacuterios
Tambeacutem eacute importante observar a frequecircncia da recolha dos dados para cada indicador A depender do tipo de indicador vocecirc poderaacute recolher os dados mensalmente trimestralmente anualmente ou ateacute com menos frequecircncia Ao definir o programa de recolha de dados para cada indicador leve em consideraccedilatildeo a necessidade de fornecer informaccedilotildees em tempo haacutebil aos responsaacuteveis por tomar decisotildees na sua organizaccedilatildeo Atribuir responsabilidades pela recolha de dados a indiviacuteduos ou grupos do seu pessoal garantiraacute que os dados sejam recolhidos dentro do prazo necessaacuterio
As informaccedilotildees das Etapas 1 a 4 fornecem o conteuacutedo do seu plano de monitoria e avaliaccedilatildeo A Tabela 5 mostra os elementos de um plano de MampA para um programa de mentoria cliacutenica para centros de orientaccedilatildeo e testes voluntaacuterios
ETAPA 5 RECOLHA OS DADOS DE BASE E DE ACOMPANHAMENTO
Recolher dados de base precisos eacute uma das tarefas mais importantes de MampA Os dados de base ou referecircncia satildeo o ponto de partida para definir as metas que vocecirc e sua equipa pretendem atingir e para acompanhar as mudanccedilas dos indicadores durante todo o periacuteodo de sua intervenccedilatildeo Dessa forma os dados de base ajudam a definir melhor um resultado final esperado
Vocecirc precisaraacute recolher dados de base para cada indicador antes que suas actividades comecem Esses dados identificam o ponto de partida de onde poderaacute avaliar o progresso Depois em pontos variados durante a implementaccedilatildeo vocecirc recolheraacute dados de acompanhamento sobre cada indicador para comparaacute-los com os niacuteveis de base e os resultados previstos Isto permite que vocecirc e outros tomadores de decisotildees em sua organizaccedilatildeo avaliem o progresso de cada intervenccedilatildeo ou serviccedilo e faccedilam as mudanccedilas necessaacuterias ao longo do caminho Examine o exemplo no Quadro 3
Por que acompanhar as mudanccedilas dos indicadores durante a implementaccedilatildeo Os indicadores de um plano de MampA estatildeo relacionados aos resultados imediatos (produtos) e aos resultados de meacutedio e longo prazo que os gestores precisam monitorar As mudanccedilas nos valores do indicador ao longo do tempo mostram se esses resultados estatildeo a subir ou a baixar ou se permanecem iguais Isto mostra ao gestor se as intervenccedilotildees e estrateacutegias estatildeo a funcionar conforme planeado para atingir os resultados esperados
Ao final do periacuteodo de implementaccedilatildeo precisaraacute recolher dados sobre os seus indicadores para comparar os niacuteveis finais com os niacuteveis de base e com os seus resultados esperados A depender dos seus indicadores precisaraacute tambeacutem recolher dados de acompanhamento a uma altura acordada previamente para determinar se as mudanccedilas seratildeo mantidas apoacutes o teacutermino da sua intervenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 924
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 5 Exemplo de um Plano de Monitoria e Avaliaccedilatildeo
Objectivo Os profissionais de sauacutede que receberam formaccedilatildeo aumentam sua capacidade de fornecer tratamento anti-retroviral de acordo com as directrizes nacionais
ActividadeProduto Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
CronogramaPrazo final
Cliacutenicos experientes em VIH recrutados para servir como mentores cliacutenicos em cinco hospitais regionais
Nuacutemero de mentores recrutados e designados a hospitais regionais
Registos de emprego
Como concluiacutedo Director adjunto para programas cliacutenicos
Setembro de 2008
Pessoal meacutedico em cinco hospitais regionais que recebem mentoria individual sobre terapia anti-retroviral
Nuacutemero de locais que recebem mentoria cliacutenica
Nuacutemero de meacutedicos que recebem mentoria individual
Nuacutemero de dias de mentoria cliacutenica realizados
Relatoacuterios mensais do mentor
Mensalmente Mentores Marccedilo de 2009
Resultados a meacutedio e longo prazo Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
Trabalhadores de sauacutede aumentam seu conhecimento sobre terapia anti-retroviral
80 dos participantes obtecircm 85 ou mais de pontuaccedilatildeo correcta no teste posterior
Trabalhadores de sauacutede melhoram suas habilidades no fornecimento de terapia anti-retroviral
Percentagem de habilidades demonstradas na lista de verificaccedilatildeo de competecircncia
Estudo especial Datas a definir Director adjunto para programas cliacutenicos
Fonte Centro Internacional de Formaccedilatildeo e Ensino sobre VIH p 2
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 925
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Observaccedilatildeo sobre o uso de indicadores para uma avaliaccedilatildeo A maioria dos esforccedilos de MampA enfatizam a selecccedilatildeo de indicadores bem definidos para estabelecer metas e medir as mudanccedilas nas condiccedilotildees e nos serviccedilos de sauacutede
Mas eacute importante lembrar que os indicadores servem apenas como marcadores Os dados dos indicadores fornecem pistas para saber se uma intervenccedilatildeo ou um grupo de actividades estaacute dentro do cronograma e se os resultados esperados estatildeo a ser alcanccedilados Eles natildeo respondem agraves perguntas de por que os resultados estatildeo ou natildeo a ser alcanccedilados Natildeo explicam os resultados fortuitos as relaccedilotildees entre intervenccedilotildees e resultados ou as causas de resultados percebidos que podem ocorrer fora da intervenccedilatildeo Assim natildeo podem recomendar medidas a tomar para melhorar os resultados
Os dados de indicadores devem portanto ser interpretados com cuidado Eles simplesmente indicam resultados que precisam ser melhor explorados em vez de fornecer uma avaliaccedilatildeo definitiva do sucesso ou fracasso Um estudo de avaliaccedilatildeo eacute geralmente executado para determinar se uma intervenccedilatildeo pode ser considerada um sucesso e por quecirc
Em geral agrave medida que sobe na hierarquia e passa das actividades para os resultados a longo prazo a MampA se torna mais complicada Nos niacuteveis de processo e produtos pode-se facilmente rastrear que actividades foram concluiacutedas e seus resultados imediatos Essas informaccedilotildees satildeo operacionais ndash informaccedilotildees que vocecirc pode usar para decisotildees quotidianas de gestatildeo Poreacutem para identificar e medir os resultados da sinergia dos produtos provavelmente teraacute que integrar as informaccedilotildees qualitativas e quantitativas e confiar menos em indicadores quantitativos singulares
Lembre-se de que quando uma melhoria desejada ndash seja na eficiecircncia do serviccedilo no conhecimento e comportamento dos provedores de serviccedilos ou dos beneficiaacuterios ou na tendecircncia de um problema de sauacutede ndash eacute confirmada atraveacutes de MampA isto natildeo prova que foi a intervenccedilatildeo que provocou a mudanccedila Outras coisas podem estar a se passar no serviccedilo ou no ambiente geral que causam essa mudanccedila Eacute claro que o mesmo se aplica aos resultados negativos ou resultados que indicam natildeo haver nenhuma mudanccedila nos resultados a meacutedio e longo prazo
QUADRO 3 Como usar dados de base para ajustar os resultados
Uma equipa de sobrevivecircncia infantil estaacute a propor uma intervenccedilatildeo com o seguinte resultado mensuraacutevel e especiacutefico ldquoNos proacuteximos 12 meses 40 das crianccedilas entre 12 e 24 meses de idade na aacuterea de captaccedilatildeo seratildeo completamente imunizadasrdquo
Para determinar se seu programa pode realmente atingir esse resultado o pessoal precisa medir os niacuteveis actuais de vacinaccedilatildeo Ao examinar os dados vecircem que apenas 10 das crianccedilas na aacuterea de captaccedilatildeo estatildeo completamente imunizadas ao completarem 24 meses Estes satildeo portanto seus dados de base
A gestora entende que natildeo seraacute possiacutevel atingir o objectivo de 40 de cobertura de imunizaccedilatildeo em apenas 12 meses Por isso ela e sua equipa revisam o resultado esperado e o modificam para que seja mais razoaacutevel e realista mas continue sendo significativo ldquoNos proacuteximos 12 meses 20 das crianccedilas de 12 a 24 meses na aacuterea de de actuaccedilatildeo seratildeo completamente imunizadas
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 926
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 6 COMPARTILHE E USE SEUS DADOS
Na pressa para comeccedilar a recolher dados alguns gestores se esquecem de planear um processo para reflectir sobre as informaccedilotildees e fazer mudanccedilas para aumentar a eficiecircncia das actividades Para garantir que os dados sejam natildeo soacute recolhidos mas tambeacutem utilizados pense como vocecirc e sua equipa divulgaratildeo as informaccedilotildees sobre MampA e obteratildeo retroinformaccedilatildeo dos diversos grupos de interesse Algumas perguntas baacutesicas serviratildeo para lhe orientar
Quem precisa de que tipo de informaccedilotildees e quando precisam delas Que tipo de formato deve usar para comunicar os resultados ao pessoal
aos gestores de niacutevel superior e a outros grupos de interesse importantes Eacute suficiente fazer circular um relatoacuterio ou deveria organizar uma reuniatildeo ou workshop
Deveria tambeacutem organizar reuniotildees com a comunidade para solicitar retroinformaccedilatildeo dos seus beneficiaacuterios sobre os primeiros resultados da MampA
Como deve apresentar as informaccedilotildees para que sejam uacuteteis aos diferentes tomadores de decisotildees As informaccedilotildees devem ser apresentadas visualmente em diagramas graacuteficos ou mapas Para obter orientaccedilatildeo sobre dados e resultados consulte o Guiatildeo de MampA para Facilitadores de Programas de Desenvolvimento da Lideranccedila
Uso dos resultados para melhorar os dados de rotina em acccedilatildeo ndash Um exemplo do Paquistatildeo
No Paquistatildeo com o apoio do projecto PRIDE 10 equipas de subdistritos aplicaram o Processo de Avaliaccedilatildeo e Melhoria do Desempenho em Sauacutede Puacuteblica (PIP-PH) um conjunto de procedimentos e formatos para tratar dos problemas de sauacutede que identificaram como os mais graves para as suas populaccedilotildees Usaram o PIP-PH para priorizar os problemas e serviccedilos que mais precisavam de atenccedilatildeo a curto prazo para obter melhorias
Como parte do processo PIP-PH as equipas tambeacutem conceberam um formato de Estrutura de Vigilacircncia de Sauacutede (ldquoHealth Watch Frameworkrdquo) para os seus subdistritos como um todo e para os centros de sauacutede dentro deles Cada equipa seleccionou indicadores para medir a situaccedilatildeo de dois problemas de sauacutede puacuteblica os serviccedilos essenciais a eles relacionados e as limitaccedilotildees que afectavam esses serviccedilos
As equipas usaram os formulaacuterios Health Watch para estabelecer valores de base para os indicadores e depois para monitorar esses valores agrave medida que as intervenccedilotildees prosseguiam ao longo do tempo Os centros de sauacutede revisavam e actualizavam o formulaacuterio todo mecircs as equipas do subdistrito inclusive gestores de centros de sauacutede revisavam e discutiam os formulaacuterios trimestralmente os formulaacuterios revisados
As equipas de subdistrito usaram as informaccedilotildees para analisar os motivos do progresso ou falta de progresso para poderem prestar apoio aos gestores dos centros de sauacutede O processo estimulou os gestores dos centros de sauacutede a melhorarem a integridade e precisatildeo dos dados de rotina para poderem usar as informaccedilotildees e monitorarem mais eficazmente os eventos e os serviccedilos essenciais e introduzirem as melhorias necessaacuterias
Exemplos e informaccedilotildees detalhadas sobre o PIP-PH e o Health Watch Framework aparecem no Relatoacuterio Anual do Projecto PRIDE 2007
Para se informar mais sobre meacutetodos adicionais de utilizaccedilatildeo dos dados para melhorar o desempenho de uma organizaccedilatildeo equipa serviccedilo de sauacutede ou intervenccedilatildeo consulte o processo de Avaliaccedilatildeo e Melhoria de Desempenho (Performance Assessment and Improvement ndash PAI) no website de Programa de Lideranccedila Gestatildeo e Sustentabilidade (Leadership Management and Sustainability ndash LMS)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 927
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O processo de Monitoria e Avaliaccedilatildeo deve ser executado com o objectivo de usar imediatamente os resultados para identificar as falhas de desempenho e tomar medidas para reduzir ou eliminar essas falhas Vocecirc deve sempre planear formas de usar os resultados de MampA para o aprendizado e a acccedilatildeo Por exemplo o que deve fazer se as actividades do projecto natildeo trouxerem os resultados esperados O que precisa mudar se os serviccedilos essenciais natildeo estiverem a fornecer os niacuteveis de cobertura previstos ou a alcanccedilar grupos especiacuteficos de pessoas E como vocecirc pode levar esses fatos agrave atenccedilatildeo das pessoas certas para obter uma resposta raacutepida
Desenho de uma ferramenta de MampA
ARMADILHAS DA MONITORIA E AVALIACcedilAtildeO
Haacute vaacuterias armadilhas comuns que impedem que vocecirc como gestor aperfeiccediloe a funccedilatildeo de MampA na sua organizaccedilatildeo
Planeamento excessivo ou insuficienteAlguns gestores podem gastar tempo demais a preparar o plano de MampA do que resultam planos muito elaborados e complicados de usar Outros ficam muito ansiosos por implementar as intervenccedilotildees de MampA e comeccedilam antes de concluir o plano de MampA Isso significa que quando o plano fica pronto eacute geralmente tarde demais para obter dados de base viaacuteveis e a MampA tem que ser adiada Nesses casos o gestor talvez tenha que aceitar fazer a avaliaccedilatildeo mais tarde sem os dados de base que poderia usar para a comparaccedilatildeo
Descuidar-se da monitoria contiacutenua Outra armadilha frequente eacute a falha em incluir a monitoria contiacutenua na implementaccedilatildeo das actividades Isto ocorre frequentemente por falta de experiecircncia Muitos gestores natildeo tiveram acesso a ferramentas de monitoria uacuteteis (que satildeo raras) Talvez natildeo tenham recebido prontamente os resultados ou a retroinformaccedilatildeo do sistema de MampA no passado e por isso natildeo percebem como eacute importante realizar a monitoria de rotina Aleacutem disso gestores podem facilmente se emaranhar nos detalhes da implementaccedilatildeo e descuidar-se da monitoria de rotina
Exagerar Outra armadilha relacionada agrave monitoria eacute tentar rastrear os dados de todos os indicadores possiacuteveis Tentar obter os dados sobre um nuacutemero excessivo de factores torna o processo de monitoria tatildeo complicado que se torna impreciso Isso tambeacutem torna o processo mais lento de modo que no momento em que os dados satildeo recolhidos e analisados eles jaacute natildeo satildeo mais uacuteteis As ferramentas de monitoria muito demoradas e complicadas acabam por natildeo ser usadas O que acontece entatildeo O gestor deixa totalmente de fazer a monitoria e tem que recorrer agrave avaliaccedilatildeo
Se jaacute se deparou com esses problemas eacute hora de mudar a sua taacutectica Vocecirc pode criar um plano de MampA simples e usar ferramentas de monitoria simples Descubra o que tem que medir para obter os dados dentro de 3 a 6 meses o prazo vai depender dos ciclos de planeamento e apresentaccedilatildeo de relatoacuterios da sua organizaccedilatildeo Entenda tambeacutem qual eacute o miacutenimo que deve ser medido em uma avaliaccedilatildeo de longo prazo Busque a simplicidade mesmo se estiver diante de um conjunto complexo de actividades
Tente incluir apenas o que realmente precisa saber Pode testar todos os indicadores propostos antes de incluiacute-los no planeamento de MampA ao perguntar Quem precisa usar essas informaccedilotildees quando e com que finalidade Se um uacutenico indicador de produtos for suficiente perfeito Natildeo sobrecarregue a monitoria com indicadores desnecessaacuterios Muitas vezes menos dados fornecem mais informaccedilotildees
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 928
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
CARACTERIacuteSTICAS DE UMA BOA FERRAMENTA DE MONITORIA
Como gestor natildeo precisa saber tudo para gerir um serviccedilo ou dirigir uma intervenccedilatildeo mas precisa das informaccedilotildees imediatamente Portanto precisa de uma ferramenta de monitoria que possa fornecer informaccedilotildees suficientes e em tempo haacutebil para identificar e corrigir problemas assim que eles surgirem
Uma ferramenta de monitoria deve ser faacutecil de montar e utilizar As tabelas listas de verificaccedilatildeo e diagramas simples satildeo meacutetodos particularmente uacuteteis de recolher organizar e apresentar informaccedilotildees de monitoria
No miacutenimo sua ferramenta de monitoria deve permitir que vocecirc e sua equipa acompanhem
o progresso da implementaccedilatildeo da actividade a entrega de produtos ou resultados imediatos a situaccedilatildeo dos principais indicadores de resultados comparados aos resultados
esperados se for o caso as despesas orccedilamentais a disponibilidade de recursos humanos e financeiros os obstaacuteculos agrave implementaccedilatildeo e o que tem sido feito para superaacute-los
Vocecirc teraacute que responder agraves seguintes perguntas periodicamente
As actividades foram implementadas conforme planeado dentro do prazo e do orccedilamento
Que actividades adicionais natildeo planeadas foram realizadas Que serviccedilos ou produtos directos e tangiacuteveis foram oferecidos como resultado
das actividades que implementamos Estamos dentro do cronograma para atingir nossos resultados a meacutedio e longo
prazo Possuiacutemos os recursos necessaacuterios (pessoal dinheiro medicamentos e
suprimentos etc) para cumprirmos o cronograma
O Quadro 4 apresenta os componentes baacutesicos de uma ferramenta simples de monitoria
QUADRO 4 Uma ferramenta simples de monitoria
Data de exame Metas de resultados
Actividades (segundo o plano de implementaccedilatildeo)
Situaccedilatildeo ateacute o momento
Resultados esperados
Datas para conclusatildeo
Situaccedilatildeo ateacute o momento Comentaacuterios
Desafios e oportunidades
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 929
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quando usadas correctamente as novas tecnologias (por ex os PDAs ldquosmartphonesrdquo laptops e outros) podem facilitar a monitoria e aumentar os benefiacutecios da monitoria das actividades A monitoria automatizada ndash dados que podem ser obtidos e processados automaticamente ndash podem produzir um resumo dos principais indicadores em uma soacute paacutegina faacutecil de ler e num formato que utiliza cores para alertar ao gestor sobre as aacutereas que precisam de maior atenccedilatildeo As informaccedilotildees obtidas em tempo haacutebil sobre alguns indicadores essenciais permitem que o gestor monitore o progresso e tome medidas correctivas
Essa apresentaccedilatildeo visual das informaccedilotildees mais importantes e necessaacuterias para gerir um projecto eacute geralmente conhecida como Painel de Indicadores de Desempenho Os paineacuteis de indicadores de desempenho podem ser usados em qualquer organizaccedilatildeo departamento ou divisatildeo Nas organizaccedilotildees de sauacutede puacuteblica os paineacuteis satildeo usados frequentemente para monitorar os indicadores financeiros e programaacuteticos bem como a cobertura produccedilatildeo eficaacutecia e qualidade de serviccedilos de sauacutede especiacuteficos Um painel de recursos humanos por exemplo incluiria indicadores relevantes para gerir o seguinte
retenccedilatildeo de funcionaacuterios rotatividade de funcionaacuterios formaccedilatildeo de funcionaacuterios lacunas de habilidades satisfaccedilatildeo dos funcionaacuterios custos benefiacutecios e despesas gerais com funcionaacuterios
A Tabela 6 mostra um painel de indicadores de desempenho criado para monitorar serviccedilos de contracepccedilatildeo ciruacutergica voluntaacuteria (CCV)
TABELA 6 Ilustraccedilatildeo de Painel de Indicadores de Desempenho para Serviccedilos de Contracepccedilatildeo Ciruacutergica Voluntaacuteria (CCV)
Serviccedilo Contracepccedilatildeo Ciruacutergica Voluntaacuteria Periacuteodo do Relatoacuterio Janeiro de 2009
No Indicador de Prestaccedilatildeo de Serviccedilos Custo Qualidade
Meta financeira ou programaacutetica
LimiarNuacutemero
alcanccedilado
Percentagem concluiacuteda
Miacuten Maacutex 10 20 30 40 50 60 70 80 90 100
1 Nuacutemero de CCVs realizadas no mecircs 8 10 7
2 Custo meacutedio das CCVs (US$) 100 120 110
3 Orccedilamento mensal da receita com CCVs realizadas (US$) 800 1200 770
4Percentagem das CCVs realizadas por pessoal
qualificadomdash 100 60
5 Percentagem das CCVs realizadas sem complicaccedilotildees 95 100 100
6
Percentagem de utentes satisfeitas com o tratamento
recebido do pessoal que realizou as CCVs
90 100 90
Adaptado de Colindres 2008 p 6
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 930
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja uma descriccedilatildeo do uso de um painel de indicadores de desempenho para a monitoria de rotina num estudo de caso estudo de caso de uma ONG da Boliacutevia o Centro de Investigaccedilatildeo Educaccedilatildeo e Serviccedilos (CIES)
Para obter mais informaccedilotildees de como criar um painel de indicadores consulte ldquoComo usar os paineacuteis de indicadores de desempenho para monitorar as realizaccedilotildees de uma organizaccedilatildeordquo Esse documento ajuda a esclarecer conceitos e define as etapas essenciais para criar paineacuteis de indicadores de desempenho
Como criar uma avaliaccedilatildeo para fins de aprendizagem
Apesar da importacircncia da monitoria de rotina apenas a monitoria natildeo basta para responder agrave pergunta ldquoE entatildeordquo Ou seja suas actividades e produtos contribuiacuteram para melhorar a cobertura dos serviccedilos aumentar o conhecimento ou encorajar comportamentos mais saudaacuteveis
Talvez uma campanha de comunicaccedilatildeo sobre planeamento familiar criada para aumentar a prevalecircncia do uso de contraceptivos tenha levado o governo a abastecer os depoacutesitos distritais com contraceptivos Para que possam aprender com essa experiecircncia e criar campanhas mais eficazes no futuro os gestores do projecto ainda querem saber que produtos foram realmente dispensados aos centros de sauacutede e distribuiacutedos aos utentes Esta secccedilatildeo discute como criar uma avaliaccedilatildeo para fins de aprendizagem
Existem dois motivos para levar a cabo uma avaliaccedilatildeo
1 A avaliaccedilatildeo fornece informaccedilotildees sobre o sucesso da sua equipa unidade ou organizaccedilatildeo para atingir seus objectivos Essas informaccedilotildees ajudam a definir que actividades expandir modificar ou eliminar Ela pode tambeacutem revelar formas de melhorar a concepccedilatildeo e gestatildeo das actividades futuras
2 A avaliaccedilatildeo pode demonstrar uma cultura de prestaccedilatildeo de contas agrave sua agecircncia doadora e a outros grupos de interesse nomeadamente o governo e os beneficiaacuterios dos seus serviccedilos
AVALIACcedilOtildeES FORMATIVAS E SUMATIVAS
Os gestores podem realizar dois amplos tipos de avaliaccedilotildees formativas e sumativas
Avaliaccedilatildeo formativa Este tipo de avaliaccedilatildeo eacute realizada durante o desenvolvimento e implementaccedilatildeo de um programa Seu objectivo eacute orientar o desenho e a implementaccedilatildeo de actividades que incluam as melhores e mais promissoras praacuteticas que aumentaratildeo as chances de sucesso A avaliaccedilatildeo formativa eacute mais comummente utilizada por projectos de grande porte ou de longo prazo em vez de projectos menores e de curto prazo Poreacutem os projectos menores devem pelo menos realizar uma avaliaccedilatildeo raacutepida das melhores praacuteticas durante a fase de planeamento para apoiar a loacutegica e o conteuacutedo proposto para as actividades
A avaliaccedilatildeo formativa inclui uma avaliaccedilatildeo de necessidades para discernir os desejos e requisitos de um grupo da populaccedilatildeo e determinar a melhor forma de atendecirc-los Inclui tambeacutem uma avaliaccedilatildeo de processo para investigar o processo utilizado para executar uma intervenccedilatildeo Pode-se usar a avaliaccedilatildeo do processo para determinar se as actividades foram realizadas de acordo com o plano ndash em termos de sua concepccedilatildeo original estimativas de custos e nuacutemero de pessoas a serem atendidas ndash e se a qualidade dos processos usados estaacute de acordo com as melhores praacuteticas conhecidas
A avaliaccedilatildeo de processo geralmente inclui vaacuterias abordagens Pode incluir uma avaliaccedilatildeo dos dados referentes aos produtos (por ex nuacutemero de redes mosquiteiras fornecidas nuacutemero
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 931
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
de workshops de formaccedilatildeo realizados nuacutemero de participantes dos workshops) assim como entrevistas individuais ou grupos de enfoque entre os beneficiaacuterios Nas intervenccedilotildees de menor porte eacute uma boa praacutetica realizar uma avaliaccedilatildeo de processo mesmo se limitada agrave retroinformaccedilatildeo dos participantes
Avaliaccedilatildeo somativa Este tipo de avaliaccedilatildeo eacute realizada apoacutes a conclusatildeo de um grupo de actividades ou da intervenccedilatildeo para avaliar a qualidade da intervenccedilatildeo e os seus principais resultados A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo a avaliaccedilatildeo do impacto a anaacutelise de custo-benefiacutecio e custo-eficaacutecia e a investigaccedilatildeo operacional
A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo que avalia em que medida uma equipa unidade ou organizaccedilatildeo inteira atingiram seus resultados esperados A avaliaccedilatildeo dos resultados eacute usada para demonstrar que existe uma cultura de prestaccedilatildeo de contas para aperfeiccediloar o projecto de actividades organizacionais para melhorar a distribuiccedilatildeo dos recursos e para promover intervenccedilotildees futuras bem-sucedidas As principais perguntas satildeo Que modificaccedilotildees ocorreram na vida das pessoas das famiacutelias ou da comunidade como resultado do nosso trabalho Que diferenccedila fizemos
Como observamos anteriormente neste capiacutetulo os resultados a meacutedio e longo prazo satildeo geralmente mudanccedilas mensuraacuteveis eou observaacuteveis em duas dimensotildees A primeira dimensatildeo abrange a conscientizaccedilatildeo o conhecimento as atitudes os valores e as habilidades dos participantes de um programa ou dos beneficiaacuterios dos serviccedilos durante ou depois de seu envolvimento na intervenccedilatildeo A segunda dimensatildeo implica mudanccedilas no comportamento desses mesmos grupos
Idealmente as duas dimensotildees deveriam ser medidas em trecircs pontos no comeccedilo e no final do periacuteodo de implementaccedilatildeo e se possiacutevel apoacutes um periacuteodo de acompanhamento adequado Se a mediccedilatildeo do acompanhamento natildeo for viaacutevel pelo menos devem ser comparadas as mediccedilotildees de base e poacutes-intervenccedilatildeo Muitas vezes as mudanccedilas podem ser pequenas mas deve haver alguma melhoria em pelo menos um ou dois resultados para que a intervenccedilatildeo seja considerada um sucesso
A avaliaccedilatildeo dos resultados tenta distinguir entre a influecircncia da intervenccedilatildeo nessas mudanccedilas e a influecircncia de outros factores externos Mas geralmente os avaliadores teratildeo que optar pela atribuiccedilatildeo parcial de um resultado a uma intervenccedilatildeo ou serviccedilo especiacutefico devido agrave dificuldade em determinar uma relaccedilatildeo directa e causal entre o serviccedilo prestado e uma determinada mudanccedila
As avaliaccedilotildees de resultados utilizam geralmente um desenho natildeo experimental (geralmente denominado ldquopreacute e poacutes-avaliaccedilatildeordquo) que simplesmente mede as mudanccedilas antes e depois de uma intervenccedilatildeo ou seja diferente do desenho experimental (que compara os participantes com um grupo de controlo com designaccedilatildeo aleatoacuteria a ambos os grupos) ou do desenho semi-experimental (que compara os participantes com um grupo de controlo mas sem a designaccedilatildeo aleatoacuteria)
O desenho natildeo experimental eacute aceitaacutevel para as mediccedilotildees e relatoacuterios padratildeo dos resultados a meacutedio e longo prazo As ONGs raramente usam os desenhos experimentais Apesar de uma organizaccedilatildeo de grande porte e com muitos recursos poder ocasionalmente receber assistecircncia de especialistas para um desenho experimental a maioria delas acha que as consideraccedilotildees eacuteticas e logiacutesticas impedem a designaccedilatildeo aleatoacuteria dos participantes aos grupos de intervenccedilatildeo e de controlo Aleacutem disso o custo de recolher dados de um grupo de controlo seraacute provavelmente muito elevado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 932
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A avaliaccedilatildeo do impacto eacute outro componente da avaliaccedilatildeo somativa Eacute mais ampla do que a avaliaccedilatildeo de resultados e avalia os efeitos liacutequidos ou gerais ndash tanto intencionais como natildeo intencionais ndash de todo um programa grupo de programas ou grupo de organizaccedilotildees As avaliaccedilotildees de impacto geralmente se estendem por um periacuteodo de 3 a 5 anos
OUTROS TIPOS DE AVALIACcedilOtildeES
Anaacutelise de custo-benefiacutecio e custo-eficaacutecia Estes tipos de anaacutelise tratam da eficiecircncia da intervenccedilatildeo ao analisar os resultados em termos dos seus custos financeiros e do seu valor
Investigaccedilatildeo operacional Trata-se de um balanccedilo ou avaliaccedilatildeo de uma intervenccedilatildeo especiacutefica no contexto de um programa mais amplo que estaacute a fazer vaacuterias intervenccedilotildees A investigaccedilatildeo operacional eacute usada para testar e avaliar novas abordagens de prestaccedilatildeo de serviccedilos de sauacutede Eacute tambeacutem usada para identificar problemas na prestaccedilatildeo de serviccedilos e oferecer soluccedilotildees
A investigaccedilatildeo operacional eacute uma ferramenta poderosa que os gestores de programas e os tomadores de decisotildees podem usar para melhorar e expandir os serviccedilos Os estudos de investigaccedilatildeo operacional comparam intervenccedilotildees que estatildeo dentro da esfera de influecircncia do gestor Os exemplos incluem a avaliaccedilatildeo da eficaacutecia de uma nova estrateacutegia de prevenccedilatildeo de VIHSIDA um novo curso de formaccedilatildeo um novo conjunto de procedimentos para gerir medicamentos um novo meacutetodo contraceptivo ou um novo serviccedilo de sauacutede reprodutiva
O Toolkit de Investigaccedilatildeo Operacional do Programa Horizons sobre VIHSIDA do Population Council fornece informaccedilotildees detalhadas para criar um estudo de investigaccedilatildeo operacional
CONSIDERACcedilOtildeES PARA A FORMULACcedilAtildeO DE UMA AVALIACcedilAtildeO
O que avaliar para responder agrave pergunta ldquoE entatildeordquo Se quiser saber como gestor se as suas actividades tiveram realmente sucesso precisa preparar todas as intervenccedilotildees tendo em mente a avaliaccedilatildeo e incorporar a avaliaccedilatildeo ao seu planeamento organizacional geral Ao definir objectivos deve se perguntar Como saberemos se estamos a atingir esses objectivos Este eacute o ponto de partida para a avaliaccedilatildeo
Seja qual for o porte da sua intervenccedilatildeo ou serviccedilo e o alcance da avaliaccedilatildeo precisaraacute responder a trecircs perguntas durante a fase de desenho e planeamento
1 O que a sua intervenccedilatildeo ou serviccedilo conseguiraacute realizar a curto e longo prazo Se implementar um conjunto de actividades com sucesso ao longo do tempo o que seraacute diferente
2 Como conceptualiza as suas actividades ndash qual eacute a loacutegica subjacente Duas abordagens para identificar a loacutegica do programa satildeo discutidas neste capiacutetulo na secccedilatildeo intitulada Ferramentas e Abordagens Praacuteticas para MampA
3 Que indicadores pode usar para identificar o progresso no alcance dos resultados
Para responder agrave pergunta ldquoE entatildeordquo vocecirc precisa avaliar os factores sobre os quais tem um niacutevel razoaacutevel de controlo Por exemplo um novo serviccedilo criado para oferecer alojamento a pessoas que vivem com SIDA natildeo pode controlar ou afectar a expectativa de vida das pessoas agraves quais atende Mas ao fornecer um ambiente estaacutevel para elas viverem o serviccedilo pode diminuir o niacutevel de stresse e melhorar a qualidade de vida dessas pessoas que antes eram forccediladas a se mudar com frequecircncia
Depois de tratar da pergunta ldquoE entatildeordquo deve tambeacutem se certificar de que a avaliaccedilatildeo seja concebida de forma que quando o processo estiver concluiacutedo vocecirc possa abordar os cinco toacutepicos principais da avaliaccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 933
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
1 Relevacircncia Foi uma boa ideia fazer a intervenccedilatildeo considerando-se a situaccedilatildeo e a necessidade de melhorias Ela tratou das prioridades do grupo alvo ou beneficiaacuterio Por que sim ou por que natildeo
2 Eficaacutecia Os resultados produtos e actividades foram realizados Por que sim ou por que natildeo A loacutegica da intervenccedilatildeo eacute correcta
3 Eficiecircncia Os insumos (recursos e tempo) foram usados da melhor forma possiacutevel para atingir os resultados a meacutedio e longo prazo Por que sim ou por que natildeo O que vocecirc e sua equipa poderiam fazer de modo diferente no futuro para maximizar os resultados a um custo aceitaacutevel
4 Impacto Em que medida a sua intervenccedilatildeo contribuiu para as metas nacionais ou de longo prazo Que consequecircncias natildeo intencionais (positivas ou negativas) suas actividades tiveram Por que essas consequecircncias aconteceram
5 Sustentabilidade Eacute provaacutevel que os resultados positivos continuem depois que sua intervenccedilatildeo terminar Por que sim ou por que natildeo
Uma uacuteltima advertecircncia assim como a monitoria pode-se complicar demasiado a avaliaccedilatildeo Ao preparar um plano de avaliaccedilatildeo o melhor eacute seleccionar um grupo pequeno de indicadores e resistir agrave tentaccedilatildeo de avaliar todos os aspectos da sua intervenccedilatildeo
Assim como a monitoria a avaliaccedilatildeo soacute eacute uacutetil se as informaccedilotildees forem repassadas em tempo haacutebil para o gestor e outros tomadores de decisotildees e grupos de interesse Um problema comum com as avaliaccedilotildees intercalares eacute que os resultados geralmente soacute satildeo informados de 6 a 8 meses mais tarde o que deixa apenas 1 ou 2 anos para fazer mudanccedilas mais permanentes antes que se esgotem os fundos do governo ou da agecircncia doadora
COMO SELECCIONAR SUAS FONTES DE DADOS
Esta secccedilatildeo descreve trecircs tipos de fontes de dados que satildeo comummente usadas para uma avaliaccedilatildeo dados recolhidos rotineiramente inqueacuteritos de grande escala e teacutecnicas de avaliaccedilatildeo raacutepida inclusive a avaliaccedilatildeo participativa
Dados de rotina Os dados recolhidos e analisados rotineiramente por um SIS satildeo denominados ldquoestatiacutesticas de serviccedilordquo Pode-se utilizar vaacuterios sistemas de informaccedilatildeo de serviccedilos de rotina para monitorar os serviccedilos Alguns deles satildeo o sistema baacutesico de registo e relatoacuterio de SIS os sistemas especiais de relatoacuterios sobre programas (por ex tuberculose malaacuteria imunizaccedilatildeo VIH planeamento familiar etc) os sistemas de relatoacuterios sobre agentes comunitaacuterios especiais (por ex registos de agentes comunitaacuterios de sauacutede) o sistema de informaccedilotildees para a vigilacircncia de doenccedilas e o controlo notificaccedilatildeo e resposta a surtos e os relatoacuterios para os sistemas de suporte especiais (por ex medicamentos encaminhamentos e gestatildeo financeira e de recursos humanos)
Esses sistemas fornecem dados que estatildeo imediatamente disponiacuteveis e cujo objectivo eacute informar o que estaacute a acontecer no sector de sauacutede Os dados de rotina incluem por exemplo o nuacutemero de consultas de preacute-natal em uma cliacutenica o nuacutemero e tipo de vacinaccedilotildees fornecidas no local ou o nuacutemero e tipos de contraceptivos fornecidos mensalmente
Os dados sobre os serviccedilos satildeo geralmente recolhidos pelos centros de sauacutede ou postos de sauacutede e enviados para o proacuteximo niacutevel superior do sistema (geralmente o distrito) para serem agregados Esses dados podem entatildeo ser enviados ao proacuteximo niacutevel superior (regional ou provincial) para posterior agregaccedilatildeo antes que cheguem finalmente ao niacutevel central do Ministeacuterio da Sauacutede
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 934
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Idealmente os gestores de centros de sauacutede e ao niacutevel do distrito usam esses dados para orientar as operaccedilotildees diaacuterias acompanhar o desempenho e a prestaccedilatildeo de contas e tomar decisotildees que continuem a melhorar o desempenho Mas haacute vaacuterios obstaacuteculos a essa utilizaccedilatildeo
Muito frequentemente os dados de rotina satildeo imprecisos ou incompletos Apesar dos que utilizam o SIS tentarem produzir informaccedilotildees de alta qualidade e em tempo haacutebil haacute muitas oportunidades de introduzir erros Pode haver pouco apoio para que os gestores e seu pessoal se concentrem nos procedimentos correctos de recolha registo e agregaccedilatildeo dos dados
Os sistemas de sauacutede de vaacuterios paiacuteses enfatizam a importacircncia de apresentar relatoacuterios para os niacuteveis superiores mas natildeo estabeleceram procedimentos e incentivos para encorajar aqueles que fornecem informaccedilotildees a utilizaacute-las mesmo quando os dados satildeo de boa qualidade
Outra dificuldade eacute que as estatiacutesticas sobre serviccedilos fornecem informaccedilotildees apenas sobre os utentes que utilizam os serviccedilos de sauacutede Natildeo podem fornecer informaccedilotildees sobre as muitas pessoas que natildeo utilizam os serviccedilos
Por tudo isso natildeo se pode confiar apenas nas estatiacutesticas sobre serviccedilos para fazer uma avaliaccedilatildeo Elas satildeo melhor utilizadas para a monitoria de rotina dos problemas de sauacutede puacuteblica e dos serviccedilos essenciais relacionados
Inqueacuteritos em grande escala Os inqueacuteritos em grande escala satildeo outra fonte de informaccedilotildees imediatamente disponiacuteveis Incluem inqueacuteritos de base populacional tais como as Inqueacuterito Demograacutefico e de Sauacutede (IDS) dos EUA avaliaccedilotildees completas de centros de sauacutede como a Anaacutelise de Situaccedilatildeo do Population Council e os censos nacionais Em vaacuterios casos os gestores podem usar os dados de um inqueacuterito em grande escala existente para fornecer o contexto para a interpretaccedilatildeo dos dados capturados atraveacutes das suas proacuteprias avaliaccedilotildees
Por exemplo as IDS satildeo realizadas periodicamente para caracterizar a situaccedilatildeo de sauacutede em um paiacutes ou regiatildeo geograacutefica de grande extensatildeo para vaacuterios grupos populacionais homens mulheres crianccedilas bebeacutes e assim por diante Mas os dados das IDS natildeo podem normalmente ser desagregados para uso pelos gestores no niacutevel de distrito ou comunidade
Aleacutem disso como as IDS satildeo realizadas apenas a cada trecircs ou cinco anos as informaccedilotildees que fornecem podem natildeo estar suficientemente actualizadas para as necessidades de avaliaccedilatildeo dos gestores Apesar dessas dificuldades os dados das IDS satildeo uacuteteis para compreender tendecircncias regionais ou nacionais que podem ajudar a explicar dados recolhidos em uma avaliaccedilatildeo de foco especiacutefico
Avaliaccedilotildees raacutepidas Satildeo formas raacutepidas e econoacutemicas de obter informaccedilotildees para a tomada de decisotildees principalmente ao niacutevel da actividade Os exemplos incluem entrevistas quando os utentes saem de suas consultas as avaliaccedilotildees de pequena escala dos centros de sauacutede os inqueacuteritos raacutepidos por amostragem o exame analiacutetico de registos as entrevistas com grupos de enfoque e outros meacutetodos participativos
Poderaacute usar teacutecnicas de avaliaccedilatildeo raacutepida para complementar as informaccedilotildees obtidas com dados de rotina ou inqueacuteritos de grande escala As avaliaccedilotildees raacutepidas podem-lhe fornecer informaccedilotildees valiosas sobre sua aacuterea de captaccedilatildeo e sua aacuterea de responsabilidade mais ampla ndash ou seja as comunidades e as populaccedilotildees que deveriam ter acesso aos serviccedilos essenciais prestados por um centro de sauacutede determinado Elas podem tambeacutem fornecer contexto e uma compreensatildeo qualitativa dos dados quantitativos recolhidos pelos meacutetodos mais formais
Dentro da categoria de avaliaccedilotildees raacutepidas os meacutetodos participativos e os inqueacuteritos raacutepidos por amostragem merecem a sua atenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 935
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Meacutetodos participativos (tambeacutem chamados de aprendizagem e acccedilatildeo participativas) Essas teacutecnicas e meacutetodos visam incorporar o conhecimento e as opiniotildees dos membros da comunidade no planeamento e gestatildeo de projectos de desenvolvimento no esforccedilo para influenciar as poliacuteticas e na implementaccedilatildeo de programas Eles permitem incluir vozes da comunidade nas poliacuteticas no planeamento e nos inqueacuteritos e criam um senso de propriedade e participaccedilatildeo nos resultados de MampA e nas recomendaccedilotildees feitas pela organizaccedilatildeo e por seus beneficiaacuterios
Ao contraacuterio de outras teacutecnicas de avaliaccedilatildeo raacutepida os meacutetodos participativos natildeo se baseiam em amostragens Eles usam entrevistas individuais ou com informantes essenciais (inclusive entrevistas com utentes ao saiacuterem de suas consultas) entrevistas em grupo estudos de caso e outros meacutetodos qualitativos para identificar as condiccedilotildees locais e entender as perspectivas e prioridades locais
Em vaacuterios locais haacute membros da comunidade que natildeo podem ler nem escrever e por isso os meacutetodos participativos dependem frequentemente da comunicaccedilatildeo oral com apoio de imagens siacutembolos objectos fiacutesicos e memoacuteria colectiva
Os meacutetodos participativos podem ser usados antes durante e apoacutes a implementaccedilatildeo de uma intervenccedilatildeo ou um conjunto de actividades Eles fornecem informaccedilotildees para o projecto e a avaliaccedilatildeo e permitem a participaccedilatildeo activa das partes interessadas na tomada de decisotildees Durante a implementaccedilatildeo os meacutetodos participativos satildeo uacuteteis para identificar e solucionar problemas
Aproveite para examinar e utilizar uma lista de recursos online sobre inqueacuterito qualitativo e directrizes sobre discussotildees em grupos de enfoque no Community Tool Box da Universidade de Kansas
Inqueacuteritos raacutepidos por amostragem Estes inqueacuteritos podem ser utilizados para recolher informaccedilotildees padronizadas de uma amostra pequena e cuidadosamente seleccionada de pessoas ou domiciacutelios em uma aacuterea beneficiaacuteria Eles podem descrever as condiccedilotildees em uma comunidade particular ou grupo-alvo e permitem comparar grupos diferentes em um determinado momento ou mudanccedilas no mesmo grupo ao longo do tempo Permitem tambeacutem comparar condiccedilotildees actuais com os resultados planeados
Um dos inqueacuteritos mais comuns de pequena amostragem eacute o inqueacuterito CAP (Conhecimentos Atitudes e Praacuteticas) baseado em uma amostra de 30 agrupamentos
Amostragem para Garantia de Qualidade de Lotes (Lot Quality Sampling - LQAS) Essa eacute outra teacutecnica de avaliaccedilatildeo raacutepida que se usa cada vez mais na aacuterea de sauacutede puacuteblica A LQAS utiliza amostragens muito pequenas para obter informaccedilotildees confiaacuteveis em uma pequena aacuterea geograacutefica ou unidade administrativa Pode ser usada para detectar de forma precisa os extremos do desempenho ndash para determinar se uma intervenccedilatildeo foi mais aleacutem de um limiar superior de desempenho ou natildeo conseguiu atingir um limiar inferior de desempenho em termos de qualidade ou cobertura As amostras de lotes podem tambeacutem ser combinadas para fornecer estimativas de cobertura em uma aacuterea geograacutefica mais ampla
Uma busca na Web revelaraacute recursos uacuteteis aqui temos um sobre os inqueacuteritos CAP e outro sobre LQAS A aacuterea de MampA do website do CORE Group inclui ligaccedilotildees com ferramentas e recursos importantes para a avaliaccedilatildeo raacutepida criados pelo Grupo de Trabalho de MampA do CORE Group
Como gestor deve revisar todas as fontes de dados jaacute existentes antes de planear a sua avaliaccedilatildeo A Tabela 7 apresenta as vantagens e desvantagens das trecircs principais fontes de
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 936
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 7 Resumo das trecircs fontes de dados mais comuns para uma avaliaccedilatildeo
Fonte de dados Vantagens Limitaccedilotildees
Estatiacutesticas de serviccedilo Dados sobre a populaccedilatildeo de utentes e serviccedilos cliacutenicos que satildeo recolhidos rotineiramente nos registos dos utentes e nos registos cliacutenicos
Disponiacuteveis imediatamente
Cobrem todos os tipos de serviccedilos de sauacutede e todas as aacutereas do paiacutes
Podem ser desagregados para os niacuteveis local e de distrito
Uso econoacutemico
Soacute lhe informam sobre clientes actuais sem informaccedilotildees sobre as pessoas que natildeo usam os serviccedilos de sauacutede e podem ser utentes em potencial
Natildeo fornecem informaccedilotildees sobre valores percepccedilotildees ou comportamentos da comunidade
Natildeo reflectem as pessoas que optam por fontes privadas de serviccedilos
Podem ser inexactas se os locais de prestaccedilatildeo de serviccedilos natildeo registarem os dados correctamente de forma legiacutevel e em tempo haacutebil
Inqueacuteritos de grande escala Inqueacuteritos de base populacional e avaliaccedilotildees de grande escala dos centros de sauacutede
Dados relevantes precisos e confiaacuteveis
Podem medir as tendecircncias nacionais de sauacutede identificar aacutereas com problemas e ajudar a concentrar os recursos do paiacutes em aacutereas de maior carecircncia
Geram valores meacutedios para as aacutereas urbanas e rurais regiotildees e proviacutencias
Fornecem um contexto para interpretar os dados recolhidos localmente
Podem gerar informaccedilotildees adicionais a partir dos seus conjuntos de dados informatizados
Geralmente natildeo podem desagregar os dados para fornecer meacutedias para as aacutereas sub-regionais (distritos ou municipalidades)
Geralmente natildeo satildeo realizadas anualmente os dados se tornam desactualizados rapidamente se as populaccedilotildees ou condiccedilotildees de sauacutede se modificarem rapidamente
Avaliaccedilotildees raacutepidas Meacutetodos focados para avaliar as necessidades locais e tomar decisotildees em acircmbito local
Raacutepidas e econoacutemicas
Resultam em acccedilatildeo local
Haacute directrizes para ajudar os gestores em vaacuterias dessas teacutecnicas
Fornecem aos gestores a capacidade de recolher os dados necessaacuterios
Os inqueacuteritos domiciliares (por ex LQAS ou CAP) podem obter precisatildeo suficiente para fins de avaliaccedilatildeo
Equilibra a necessidade de resultados representativos e objectivos com a necessidade de usar projectos levemente menos rigorosos que satildeo mais viaacuteveis em aacutereas locais
Usam escala e acircmbito reduzidos para produzir resultados em tempo haacutebil e de baixo custo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 937
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
dados que foram discutidas acima estatiacutesticas rotineiras de serviccedilos inqueacuteritos em grande escala e teacutecnicas de avaliaccedilatildeo raacutepida
Que niacutevel de qualidade os dados do SIS precisam ter para serem uacuteteis ndash que niacutevel de abrangecircncia precisatildeo e apresentaccedilatildeo em tempo haacutebil Para as suas necessidades de gestatildeo mesmo que natildeo sejam perfeitos os dados podem ser suficientemente bons para ter um efeito poderoso como nos mostra o exemplo de Madagascar
Dados do SIS pontos fortes e limitaccedilotildees
Subestimar o valor e a utilidade do SIS eacute infelizmente uma tendecircncia Eacute verdade que o SIS tem problemas frequentemente mas tambeacutem eacute grande o seu potencial Como vimos em
Como usar e melhorar dados imperfeitos do SIS ndash Um exemplo de Madagascar
Um SIS de base comunitaacuteria mais preciso e mais oportuno Um projecto de Madagascar implementou um meacutetodo baseado na comunidade para aumentar o uso de meacutetodos de planeamento familiar denominado ldquoComunidades Campeatildesrdquo em 50 dos 110 distritos do paiacutes O meacutetodo utilizou exclusivamente os dados do SIS para monitorar e avaliar as realizaccedilotildees das comunidades participantes
Em primeiro lugar foi estabelecida uma base de referecircncia para cada comunidade ao usar os dados do seu centro de sauacutede Em seguida o pessoal do centro de sauacutede e os representantes da comunidade identificaram metas para 10 indicadores que determinariam se uma comunidade tinha alcanccedilado a posiccedilatildeo de campeatilde apoacutes 12 meses de implementaccedilatildeo Cada comunidade monitorava seu proacuteprio progresso em uma reuniatildeo trimestral de verificaccedilatildeo
Apoacutes 12 meses o pessoal do projecto voltou a cada comunidade para avaliar os resultados Examinaram os dados do relatoacuterio de monitoria de rotina de cada centro de sauacutede e para cada indicador Prepararam tambeacutem um relatoacuterio sobre os dados de cada comunidade e o enviaram para o supervisor de niacutevel distrital para a sua confirmaccedilatildeo com base nos registos informatizados do distrito As fontes de dados para os relatoacuterios do centro de sauacutede e registos de distrito foram as mesmas (registos dos centros de sauacutede) e por isso raramente ocorreu uma discrepacircncia Mas o que interessava era envolver o supervisor distrital no exame dos dados do centro de sauacutede para mostrar a utilidade de se usar ateacute mesmo dados simples nesse niacutevel
O projecto tambeacutem cooperou com o Ministeacuterio da Sauacutede a niacutevel distrital para melhorar a precisatildeo a abrangecircncia e a prontidatildeo do SIS A ecircnfase era obter dados mais completos dos centros de sauacutede e reduzir o tempo gasto pelo escritoacuterio distrital para receber o relatoacuterio do centro de sauacutede apreciaacute-lo devolvecirc-lo ao centro para qualquer correcccedilatildeo recebecirc-lo novamente dar entrada dos dados no sistema e finalmente enviaacute-los ao niacutevel central Os distritos satildeo responsaacuteveis por cooperar com os centros de sauacutede para melhorar o registo de dados e actualizar suas proacuteprias teacutecnicas de processamento de dados
Apoacutes dois anos de assistecircncia teacutecnica o SIS tinha realmente melhorado segundo os indicadores de precisatildeo abrangecircncia e prontidatildeo As melhorias mais notaacuteveis foram em prontidatildeo o tempo gasto pelo escritoacuterio distrital no processo descrito acima reduziu-se de 12 para 3 meses
Imperfeitas mais mesmo assim valiosos Deve-se lembrar que o projecto ldquoComunidades Campeatildesrdquo teve oacuteptimo resultado apesar dos dados imperfeitos Seu numerador (o nuacutemero de utentes regulares de planeamento familiar) era detalhado e preciso Mas suas estimativas das taxas de prevalecircncia do uso de contraceptivos natildeo eram muito precisas porque o denominador (nuacutemero de mulheres em idade reprodutiva) era apenas uma estimativa baseada num censo desactualizado e em estimativas anuais do governo sobre percentagens de crescimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 938
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Madagascar o projecto Comunidades Campeatildes melhorou o sistema substancialmente num periacuteodo de dois anos Nesse caso o sistema jaacute se encontrava relativamente funcional porque projectos anteriores haviam feito um grande esforccedilo para implantar o sistema e tornaacute-lo mais soacutelido Ao aprimorar a forma como o sistema era administrado e os dados eram usados o projecto posterior conseguiu fazer uma grande diferenccedila por meio de pequenas modificaccedilotildees
Os dados do SIS natildeo satildeo 100 exactos e nunca seratildeo Esta eacute a realidade com a qual todos os gestores tecircm que trabalhar Mas os dados natildeo precisam ser perfeitos para serem uacuteteis Eacute possiacutevel fazer a monitoria e a gestatildeo com dados imperfeitos Informaccedilotildees obtidas em tempo
(continuaccedilatildeo)
No entanto o projecto constatou que as taxas de prevalecircncia de uso de contraceptivos eram suficientemente boas para acompanhar o desempenho das comunidades que participavam do meacutetodo de Comunidades Campeatildes O pessoal do projecto tambeacutem complementou as comparaccedilotildees dessas taxas com as comparaccedilotildees dos valores do numerador nuacutemeros simples que faziam sentido para o pessoal do centro de sauacutede e tambeacutem para as comunidades
O niacutevel central comeccedilou a organizar workshops regionais trimestrais para divulgar os resultados ao niacutevel distrital Juntos os gestores dos niacuteveis distritais regionais e centrais analisaram o progresso e classificaram os distritos com base no seu desempenho Usaram a anaacutelise de causa-raiz ndash um processo que identifica as causas subjacentes de um problema ndash para entender os obstaacuteculos enfrentados pelos distritos que apresentavam baixo desempenho (Consulte o Apecircndice A no Capiacutetulo 2 deste guia para obter mais informaccedilotildees sobre a anaacutelise de causa-raiz) Finalmente o Ministeacuterio de Sauacutede mobilizou o apoio de agecircncias doadoras e de organizaccedilotildees parceiras para ajudaacute-los a melhorar
O ministeacuterio comeccedilou a usar as informaccedilotildees de sauacutede para administrar realmente o sistema de sauacutede Antes dessa intervenccedilatildeo poucas organizaccedilotildees confiavam ou utilizavam os dados do SIS Mas quando ficou claro que o sistema funcionava as agecircncias doadoras passaram a confiar as organizaccedilotildees parceiras passaram a utilizaacute-lo e o ministeacuterio se orgulhou do trabalho Pela primeira vez tinham uma visatildeo mais niacutetida do que acontecia em todo o paiacutes e podiam usar essas informaccedilotildees para buscar o apoio de agecircncias doadoras se necessaacuterio
Do mesmo modo os centros de sauacutede raramente usavam seus proacuteprios dados Eles simplesmente faziam os registos e os enviavam para o escritoacuterio distrital sem nem mesmo receber retroinformaccedilatildeo do mesmo Apoacutes a conclusatildeo do projecto perceberam como os dados mais precisos podiam ser usados em seu benefiacutecio e das comunidades
Os distritos tambeacutem actuavam antes de uma forma pouco informada Cada distrito dependia apenas dos seus proacuteprios dados e funcionava num vaacutecuo As mudanccedilas no SIS e o encorajamento do governo central forneceram aos distritos oportunidades para comparar seu trabalho e aprender uns com os outros
Aprendizagem com dados mais precisos completos e oportunos Os dados satildeo geralmente utilizados para fazer comparaccedilotildees mas satildeo menos frequentemente utilizados como ferramenta de aprendizagem Nesse caso depois que os relatoacuterios comeccedilaram a chegar dentro do prazo o Ministeacuterio da Sauacutede usou os dados ndash inclusive dados imperfeitos ndash para descobrir que distritos tinham um desempenho ruim e que distritos estavam melhor que os outros Assim aprenderam com os de melhor desempenho ao perguntar Por que seus resultados satildeo tatildeo bons O que estavam a fazer de diferente O que poderia ser replicado Finalmente aplicaram a aprendizagem ao usar esses distritos como modelos e ao oferecer mais apoio aos de pior desempenho
Todo o sistema de sauacutede se entusiasmou com as informaccedilotildees que podiam produzir e usar A comeccedilar do topo esse entusiasmo chegou aos niacuteveis inferiores e os motivou a melhorar sua recolha e processamento de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 939
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
haacutebil e com 75 de precisatildeo satildeo melhores que as informaccedilotildees com 95 de precisatildeo que chegam com vaacuterios meses de atraso
Apesar do seu grande valor por si soacutes os dados do SIS natildeo atenderatildeo a todas as necessidades de informaccedilatildeo de muitas organizaccedilotildees Algumas organizaccedilotildees e agecircncias doadoras precisam de dados que exigem avaliaccedilotildees ou sistemas especiais Aleacutem disso vaacuterias intervenccedilotildees foram projectadas para modificar o conhecimento as atitudes e as praacuteticas dos beneficiaacuterios factores que natildeo satildeo capturados nos dados de serviccedilo Eacute importante usar os dados do SIS sempre que possiacutevel e complementaacute-los com avaliaccedilotildees locais quando necessaacuterio
Como gestor de um programa de sauacutede ou de serviccedilos de sauacutede parte do seu trabalho deveria ser o de melhorar o SIS em seu paiacutes Ele eacute o uacutenico sistema de informaccedilotildees sustentaacutevel na maioria dos paiacuteses Os sistemas de informaccedilatildeo criados e mantidos por agecircncias doadoras ou organizaccedilotildees externas tecircm duraccedilatildeo limitada mas o SIS eacute parte permanente do seu legado
Se todos os parceiros e agecircncias doadoras trabalharem com o Ministeacuterio de Sauacutede para prestar assistecircncia teacutecnica e financeira ao SIS ele poderaacute render informaccedilotildees que trazem grandes melhorias para os serviccedilos de sauacutede e que justificam plenamente o investimento no mesmo
Praacuteticas comprovadas
Um sistema de MampA deveria proporcionar aos gestores o que eles precisam saber para agir Deve se basear em indicadores relevantes faacuteceis de usar e que possam ser fornecidos em tempo haacutebil para os ciclos de planeamento e apresentaccedilatildeo de relatoacuterios
Os resultados de MampA natildeo se destinam apenas ao pessoal de MampA da sua organizaccedilatildeo ou agrave agecircncia doadora As informaccedilotildees de MampA satildeo um recurso fundamental para as acccedilotildees e a aprendizagem Se o seu processo de MampA tiver mecanismos de retroinformaccedilatildeo que permitam aos tomadores de decisotildees reflectirem sobre os resultados e absorverem o que precisam para seus proacuteprios fins eles assumiratildeo o controlo do processo e utilizaratildeo o que ele oferecer
Se vocecirc define suas actividades de MampA no comeccedilo de uma intervenccedilatildeo ou projecto junto com o plano de acccedilatildeo para o projecto teraacute mais oportunidades de orientar e acompanhar a implementaccedilatildeo das actividades
Quando satildeo demasiado elaborados e complicados os planos de MampA natildeo satildeo usados Elabore um plano de MampA simples escolha ferramentas de monitoria faacuteceis de usar e seleccione a menor quantidade possiacutevel de indicadores para acompanhar o progresso e introduzir as mudanccedilas necessaacuterias ao longo do caminho
Para fortalecer um SIS eacute preciso trabalhar com as pessoas envolvidas os responsaacuteveis pelo sistema que registam transferem analisam comunicam e utilizam os dados e as informaccedilotildees para a gestatildeo dos serviccedilos
Ao fornecer os dados do SIS para os tomadores de decisotildees vocecirc deve reconhecer as diferenccedilas na frequecircncia dos relatoacuterios e nas quantidades de dados agregados e desagregados necessaacuterios aos niacuteveis diferentes de governo ou agraves organizaccedilotildees natildeo governamentais
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 917
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
sequecircncia) e define a meta da organizaccedilatildeo a longo prazo ou o resultado esperado de uma intervenccedilatildeo Em seguida preenche o mapa ao trabalhar de cima para baixo onde identifica finalmente as actividades principais os primeiros elementos do seu plano de implementaccedilatildeo
Enquanto se desloca pelo caminho faccedila trecircs perguntas Que resultados precisam acontecer para contribuir agrave meta de longo prazo Que produtos precisam ser obtidos antes disso para alcanccedilar os resultados Que actividades precisam acontecer antes disso para conseguir os produtos
O desenho de uma intervenccedilatildeo dessa forma pode ajudar a revelar as condiccedilotildees necessaacuterias para atingir os resultados a meacutedio e longo prazo e a meta de longo prazo Talvez sejam necessaacuterias vaacuterias tentativas para criar um Caminho de Mudanccedila com o qual todos estejam de acordo Os resultados produtos e acccedilotildees podem ser acrescentados modificados e eliminados ateacute que eventualmente surja um mapa que conte a histoacuteria com a qual sua equipa pode concordar O debate eacute frequentemente a parte mais importante da experiecircncia porque a equipa junta define as expectativas pressupostos e caracteriacutesticas do processo de mudanccedila
Uso da sequecircncia ldquopara querdquo como forma de verificar as vias de um Caminho de Mudanccedila Uma boa forma de verificar a loacutegica do mapa do seu caminho eacute inverter o processo e criar uma sequecircncia de ldquopara querdquo para cada actividade O exemplo na Figura 7 mostra como fazer isso para a Actividade 5 da Figura 6 O movimento na sequecircncia ldquopara querdquo eacute o
FIGURA 7 Sequecircncia ldquopara querdquo para uma actividade de um Caminho de Mudanccedila
Dar formaccedilatildeo agraves voluntaacuterias da comunidade e equipaacute-las com os materiais de informaccedilatildeo educaccedilatildeo e comunicaccedilatildeo necessaacuterios
para que
As voluntaacuterias realizem sessotildees educativas sobre sauacutede sobre temas de planeamento familiar na aacuterea especiacutefica do centro de sauacutede
para que
As mulheres em idade reprodutiva na aacuterea especiacutefica se sintam agrave vontade para participar de sessotildees apresentadas pelas voluntaacuterias
para que
As mulheres participem das sessotildees e aprendam sobre a importacircncia do planeamento familiar para o espaccedilamento dos nascimentos
para que
Mais mulheres em idade reprodutiva busquem meacutetodos de planeamento familiar no centro de sauacutede e a percentagem de mulheres que recebem os meacutetodos aumentem 2 durante o periacuteodo do projecto (o resultado esperado)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 918
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
oposto exacto do Caminho de Mudanccedila Vocecirc coloca cada actividade no topo da sua proacutepria sequecircncia e desce pela sequecircncia ateacute a meta ou resultado esperado Essa sequecircncia ajuda a confirmar que cada rota individual no Caminho de Mudanccedila faz sentido em termos loacutegicos
Para usar essa teacutecnica eacute preciso criar uma sequecircncia ldquopara querdquo para cada actividade no seu Caminho de Mudanccedila Comece por descrever cada actividade e segui-la da frase ldquopara querdquo seguida de uma descriccedilatildeo do que aconteceraacute se essa actividade for realizada Continue a fazer isto ateacute atingir a sua meta de longo prazo ou resultado esperado
Etapas do desenvolvimento de um plano de MampA
Uma das suas tarefas essenciais de MampA como gestor que exerce lideranccedila eacute a de elaborar um plano que ajude vocecirc e sua equipa a determinar se atingiram ou natildeo os resultados esperados e a acompanhar o progresso no alcance desses resultados durante a implementaccedilatildeo Isso exige que vocecirc natildeo soacute escolha indicadores confiaacuteveis mas tambeacutem que meccedila esses indicadores de forma organizada Seu plano de MampA deve especificar que indicadores seratildeo medidos como e quando seratildeo medidos e por quem
Um plano de MampA bem formulado responde a cinco perguntas
1 Seu resultado esperado eacute mensuraacutevel2 Que indicadores utilizaraacute para monitorar seus produtos e para avaliar seus
resultados 3 Quais satildeo as suas fontes de dados e como recolheraacute os dados dessas fontes 4 Quais satildeo os periacuteodos cobertos de cada indicador 5 Quem recolheraacute os dados
Essas perguntas satildeo importantes porque sem um plano vaacutelido de MampA vocecirc poderaacute interpretar erroneamente os efeitos da sua intervenccedilatildeo Poderaacute concluir que ela natildeo teve efeito algum quando na verdade ela teve alguns resultados positivos ou poderaacute concluir que ela teve um efeito positivo quando na verdade natildeo obteve resultado algum o que eacute um erro comum e mais destrutivo
Elaborar e utilizar um plano de MampA garante que dados comparaacuteveis seratildeo recolhidos regularmente e em tempo haacutebil mesmo quando houver mudanccedilas de pessoal A Tabela 3 resume as etapas no desenvolvimento e implementaccedilatildeo de um plano de MampA O resto desta secccedilatildeo descreve cada etapa detalhadamente
ETAPA 1 DEFINA OS RESULTADOS ESPERADOS
A primeira etapa no desenvolvimento do plano de MampA eacute determinar um niacutevel apropriado de resultados Juntos o tipo e o acircmbito da intervenccedilatildeo os recursos disponiacuteveis e o prazo de implementaccedilatildeo determinam um resultado viaacutevel
Como jaacute vimos antes neste capiacutetulo as intervenccedilotildees dirigidas por organizaccedilotildees com fundos de agecircncias doadoras e por serviccedilos governamentais geralmente levam a produtos ou resultados a meacutedio e longo prazo Apesar de o impacto demorar a ser obtido e geralmente estar fora do acircmbito de um uacutenico conjunto de actividades eacute importante incluiacute-lo no seu plano de MampA para que fique clara qual seraacute a contribuiccedilatildeo da sua intervenccedilatildeo a longo prazo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 919
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 3 Etapas para elaborar e usar um Plano de MampA
Etapas Recomendaccedilotildees
1 Definir os resultados esperados
Os resultados devem ser identificados de acordo com o acircmbito e o periacuteodo de tempo da sua intervenccedilatildeo
Os resultados devem atender aos criteacuterios SMART (Especiacuteficos Mensuraacuteveis Apropriados Realistas de Prazo Definido)
2 Seleccionar os indicadores
Os indicadores devem possuir as qualidades de um bom indicador
Os indicadores devem ser acessiacuteveis faacuteceis de recolher e comparaacuteveis ao longo do tempo e em diferentes locais
Para os problemas de sauacutede prioritaacuterios e os serviccedilos essenciais use indicadores criacuteticos nacionais ou padratildeo
Seleccione um nuacutemero miacutenimo de indicadores essenciais e procure garantir que os indicadores seleccionados sejam realmente necessaacuterios para medir seus resultados esperados
3 Identificar as fontes de dados
Identifique de onde viratildeo os dados para cada indicador Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos organizacionais utentes ou a comunidade
4 Definir os meacutetodos de recolha dos dados
Seleccione o meacutetodo mais apropriado e confiaacutevel para a recolha de dados para cada indicador Estes meacutetodos podem incluir a anaacutelise de registos ou diaacuterios de estatiacutesticas de serviccedilo o uso de listas de verificaccedilatildeo para fins de observaccedilatildeo as entrevistas de utentes ao saiacuterem da cliacutenica ou um modelo de inqueacuterito de dados comunitaacuterios
Decida sobre a frequecircncia da recolha de dados Poderaacute recolher apenas os dados de base ou referecircncia e os dados apoacutes a intervenccedilatildeo ou talvez precise recolher dados diaacuterios mensais ou trimestrais dependendo do tipo de indicador
Para cada indicador designe a responsabilidade pela recolha a um escritoacuterio equipa ou pessoa especiacuteficos
5 Recolher os dados de base (ou referecircncia) e os dados apoacutes a intervenccedilatildeo
Entenda que os resultados de base seratildeo usados para definir os seus alvos
Defina claramente a duraccedilatildeo coberta pelos dados de base jaacute que precisa de um periacuteodo semelhante para a comparaccedilatildeo ao final do periacuteodo de implementaccedilatildeo
Use a mesma metodologia e ferramentas para a recolha de dados que as usadas para os dados de base e as medidas poacutes-intervenccedilatildeo
6 Compartilhar e utilizar os seus resultados
Marque reuniotildees workshops e apresentaccedilatildeo de relatoacuterios para mostrar os resultados ao pessoal do projecto agrave direcccedilatildeo da organizaccedilatildeo e a outros grupos de interesse importantes
Apresente as opccedilotildees de aprendizado e acccedilatildeo com base nos resultados de MampA
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 920
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para determinar em que niacutevel deve monitorar e avaliar seus resultados eacute uacutetil examinar novamente e expandir a cadeia de resultados a comeccedilar da direita pelo resultado final (impacto) e voltar ateacute os materiais e recursos (insumos) necessaacuterios
Insumos rarr Processos rarr Produtos rarr Resultados rarr Impacto
Impacto Esses resultados satildeo medidos ao niacutevel da populaccedilatildeo levam um tempo relativamente longo para serem alcanccedilados (geralmente 3 a 5 cinco anos) e exigem o esforccedilo conjunto de vaacuterias intervenccedilotildees e mesmo de vaacuterias organizaccedilotildees Como gestor vocecirc poderaacute ser responsaacutevel por medir o impacto mas deve incluiacute-lo na loacutegica do seu plano de MampA para saber o que a sua organizaccedilatildeo e os parceiros da organizaccedilatildeo pretendem alcanccedilar a longo prazo
Resultados a meacutedio e longo prazo Na maioria dos casos os gestores satildeo responsaacuteveis por medir os resultados nos niacuteveis de produtos eou resultados a meacutedio e longo prazo Os resultados a meacutedio e longo prazo satildeo obtidos pelas actividades criadas para produzir uma mudanccedila de comportamento nos profissionais de sauacutede ou nos utentes Satildeo geralmente medidos em termos de mudanccedilas na cobertura de serviccedilos e mudanccedilas nos conhecimentos atitudes e praacuteticas de uma populaccedilatildeo beneficiaacuteria Um resultado a meacutedio e longo prazo pode ser o iniacutecio de uma praacutetica comprovada de prestaccedilatildeo de serviccedilos a adopccedilatildeo de novas estrateacutegias de gestatildeo ou a elaboraccedilatildeo bem-sucedida de uma poliacutetica de promoccedilatildeo da sauacutede Pode tambeacutem ser um aumento no nuacutemero de mulheres que datildeo agrave luz em um centro de sauacutede ou no nuacutemero de crianccedilas totalmente imunizadas Na maioria dos casos eacute possiacutevel estabelecer uma relaccedilatildeo clara entre produtos e resultados a meacutedio e longo prazo
Produtos Os produtos ou resultados imediatos satildeo fruto directo das actividades Devem ser monitorados durante toda a implementaccedilatildeo como um elemento essencial da boa gestatildeo Os planos de MampA devem definir o produto esperado de cada actividade Para as unidades de prestaccedilatildeo de serviccedilos isso geralmente significa os resultados imediatos em termos dos serviccedilos (por exemplo nuacutemero de utentes atendidos ou tempo de espera dos clientes ou utentes) Para as organizaccedilotildees que natildeo prestam serviccedilos de sauacutede directamente isso pode significar a distribuiccedilatildeo de produtos de sauacutede ou serviccedilos de formaccedilatildeo (por exemplo quantidade de produtos para planeamento familiar distribuiacutedos ou nuacutemero de participantes formados)
Processos A monitoria de processos ou actividades eacute em grande parte uma medida da cultura de prestaccedilatildeo de contas (ou grau de responsabilizaccedilatildeo) ao garantir que as actividades sejam realizadas dentro do prazo e com recursos suficientes A monitoria nesse niacutevel acompanha o progresso da implementaccedilatildeo tendo como referecircncia os prazos propostos e o uso dos recursos tendo como referecircncia os orccedilamentos Eacute geralmente executada atraveacutes da apresentaccedilatildeo de relatoacuterios tradicionais trimestrais semestrais e anuais
Insumos Ao preparar uma intervenccedilatildeo deve identificar a quantidade e os tipos de recursos necessaacuterios para implementar as actividades O desempenho pode ser monitorado em termos da quantidade e dos tipos de insumos fornecidos e do nuacutemero e timing das actividades realizadas
A etapa seguinte na definiccedilatildeo dos resultados esperados eacute garantir que cumpram os criteacuterios SMART (consulte a Tabela 4) Eacute possiacutevel monitorar e avaliar o progresso no alcance de um resultado apenas se esse resultado tiver sido definido em termos mensuraacuteveis
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 921
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja a seguir um exemplo de um resultado mensuraacutevel para uma intervenccedilatildeo cujo propoacutesito eacute promover a cobertura de imunizaccedilatildeo em crianccedilas de 12 a 24 meses de idade A percentagem de crianccedilas de 12 a 24 meses totalmente vacinadas na aacuterea de captaccedilatildeo aumentaraacute para 70 dentro de um ano
ETAPA 2 IDENTIFIQUE OS INDICADORES E SUAS DEFINICcedilOtildeES
Os indicadores satildeo geralmente percentagens ou proporccedilotildees que representam o alcance de uma condiccedilatildeo especiacutefica de sauacutede na populaccedilatildeo de interesse Podem tambeacutem ser um valor absoluto tal como o nuacutemero de ocorrecircncias de um evento de sauacutede (por ex um oacutebito materno ou um caso de malaacuteria)
Todos os indicadores pedem uma definiccedilatildeo detalhada Trata-se de um indicador qualitativo ou quantitativo Se for uma percentagem qual eacute o numerador e qual eacute o denominador A definiccedilatildeo deve ser suficientemente detalhada para garantir que pessoas diferentes em momentos diferentes possam recolher tipos idecircnticos de dados para o indicador
Veja o que caracteriza um bom indicador no Quadro 2 Os indicadores podem ser classificados como indicadores do estado de sauacutede ou do desempenho de serviccedilos
Os indicadores do estado de sauacutede podem incluir o seguinte
nuacutemero de casos e mortes causados por doenccedilas especiacuteficas em um determinado periacuteodo
proporccedilatildeo da populaccedilatildeo com uma doenccedila ou condiccedilatildeo de sauacutede num momento particular ou ao longo de um periacuteodo de tempo
proporccedilatildeo da populaccedilatildeo com um factor ou condiccedilatildeo de sauacutede que os coloca em risco de contrair doenccedilas tal como a falta de conhecimento ou um comportamento de risco
Os indicadores de desempenho podem incluir o seguinte
proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que recebeu um serviccedilo especiacutefico proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que demonstra comportamentos e
conhecimentos especiacuteficos de sauacutede
TABELA 4 Criteacuterios de um resultado SMART
Criteacuterio Descriccedilatildeo
Especiacutefico (S ndash Smart)
Claramente escrito e compreendido O resultado esperado eacute suficientemente especiacutefico para ser medido por uma frequecircncia percentagem ou nuacutemero
Mensuraacutevel (M ndash Measurable)
Eacute possiacutevel monitorar o progresso e avaliar os resultados O resultado esperado eacute definido em termos que sejam mensuraacuteveis
Apropriado (A ndash Appropriate)
O resultado esperado eacute apropriado ao acircmbito do seu trabalho e agrave missatildeo da sua organizaccedilatildeo
Realista (R ndash Realistic)
O resultado esperado pode ser alcanccedilado e estaacute dentro do controlo da sua organizaccedilatildeo Pode ser realisticamente alcanccedilado ao usar os recursos disponiacuteveis e dentro do prazo do seu plano de implementaccedilatildeo
de Tiempo limitado (T ndash Time Bound)
Foi estabelecido um prazo especiacutefico para obter o resultado esperado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 922
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
proporccedilatildeo de centros e pessoal de sauacutede que demonstram adesatildeo a padrotildees especiacuteficos de serviccedilo ou que atingiram objectivo definido
proporccedilatildeo de centros de sauacutede que seguem padrotildees definidos de gestatildeo funcional (por ex em termos de pessoal disponibilidade de medicamentos registo e apresentaccedilatildeo de relatoacuterios)
Orientaccedilatildeo adicional sobre os indicadores pode ser obtida em ldquoCompecircndio de indicadores para avaliaccedilatildeo de programas de sauacutede reprodutivardquo e ldquoLista dos indicadores sobre desenvolvimento da capacidade de gestatildeo e lideranccedilardquo
ETAPA 3 IDENTIFIQUE AS FONTES DE DADOS
Agora precisa identificar uma fonte de dados para cada indicador incluiacutedo no plano de MampA ao seleccionar dados que estejam prontamente disponiacuteveis em uma fonte confiaacutevel e dentro das possibilidades financeiras de sua organizaccedilatildeo O ideal seria escolher os dados imediatamente disponiacuteveis atraveacutes da organizaccedilatildeo em vez de dar iniacutecio a uma nova estrateacutegia de recolha de dados o que poderia ser oneroso e demorado
Uma boa forma de comeccedilar eacute com a seguinte pergunta Que dados jaacute recolhemos de forma rotineira e sistemaacutetica Vocecirc deve sempre levar em consideraccedilatildeo as vantagens e desvantagens de cada fonte de dados Consulte a secccedilatildeo ldquoComo seleccionar suas fontes de dadosrdquo para obter mais informaccedilotildees sobre as vantagens e desvantagens de algumas fontes de dados mais comuns
Vocecirc deve ser o mais especiacutefico possiacutevel sobre as fontes de dados para que a mesma fonte possa ser utilizada de forma coerente durante toda a intervenccedilatildeo Mudar as fontes de dados para o mesmo indicador pode resultar em incoerecircncias e erros de interpretaccedilatildeo Por exemplo se estiver a medir as taxas de mortalidade infantil passar de estimativas baseadas num inqueacuterito de grande escala para estimativas baseadas em estatiacutesticas hospitalares pode resultar dar a falsa impressatildeo de que houve uma mudanccedila
QUADRO 2 Qualidades de um bom indicador
Vaacutelido O indicador mede o que se pretende medir
Confiaacutevel A medida do indicador deve ser igual natildeo importa quantas vezes a medida seja feita
Preciso O indicador eacute definido em termos claros e especiacuteficos para que possa ser medido O indicador pode ser qualitativo (descritivo) discreto (SimNatildeo) ou baseado em niacuteveis quantitativos ou proporccedilotildees desde que seja claramente mensuraacutevel
Faacutecil de entender Tanto especialistas como natildeo especialistas devem poder entender o significado do indicador
Discreto O indicador captura um uacutenico componente ou aspecto de um resultado mais complexo Mede apenas uma coisa natildeo um conjunto de coisas
Em tempo haacutebil O indicador pode ser medido em intervalos temporais apropriados de acordo com a disponibilidade dos dados
Comparaacutevel Quando possiacutevel o indicador evita definiccedilotildees limitadas ou singulares cujos valores seriam difiacuteceis de comparar com outros resultados
Viaacutevel para utilizar Os dados para o indicador satildeo faacuteceis de obter de uma fonte confiaacutevel e relativamente econoacutemica ndash acessiacutevel tendo em vista os recursos da sua organizaccedilatildeo Se esses dados natildeo estiverem disponiacuteveis existem meacutetodos para obtecirc-los no futuro
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 923
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 4 DEFINA OS MEacuteTODOS DE RECOLHA DE DADOS
A etapa seguinte eacute a de definir os meacutetodos ou ferramentas que utilizaraacute para cada indicador Para os indicadores baseados em dados primaacuterios (dados que vocecirc mesmo recolhe) deve descrever o tipo de instrumento necessaacuterio para recolher os dados Os exemplos podem incluir questionaacuterios estruturados listas de verificaccedilatildeo de observaccedilatildeo directa ou balanccedilas para pesar bebeacutes
Para os dados secundaacuterios (dados recolhidos por terceiros e que estatildeo disponiacuteveis para vocecirc usar) deve explicar o meacutetodo para calcular o indicador e a fonte dos dados e fornecer detalhes suficientes sobre o meacutetodo de caacutelculo para que outros possam replicaacute-lo Lembre-se de que eacute mais faacutecil e mais barato usar dados secundaacuterios mas sua qualidade eacute menos confiaacutevel do que a dos dados primaacuterios
Tambeacutem eacute importante observar a frequecircncia da recolha dos dados para cada indicador A depender do tipo de indicador vocecirc poderaacute recolher os dados mensalmente trimestralmente anualmente ou ateacute com menos frequecircncia Ao definir o programa de recolha de dados para cada indicador leve em consideraccedilatildeo a necessidade de fornecer informaccedilotildees em tempo haacutebil aos responsaacuteveis por tomar decisotildees na sua organizaccedilatildeo Atribuir responsabilidades pela recolha de dados a indiviacuteduos ou grupos do seu pessoal garantiraacute que os dados sejam recolhidos dentro do prazo necessaacuterio
As informaccedilotildees das Etapas 1 a 4 fornecem o conteuacutedo do seu plano de monitoria e avaliaccedilatildeo A Tabela 5 mostra os elementos de um plano de MampA para um programa de mentoria cliacutenica para centros de orientaccedilatildeo e testes voluntaacuterios
ETAPA 5 RECOLHA OS DADOS DE BASE E DE ACOMPANHAMENTO
Recolher dados de base precisos eacute uma das tarefas mais importantes de MampA Os dados de base ou referecircncia satildeo o ponto de partida para definir as metas que vocecirc e sua equipa pretendem atingir e para acompanhar as mudanccedilas dos indicadores durante todo o periacuteodo de sua intervenccedilatildeo Dessa forma os dados de base ajudam a definir melhor um resultado final esperado
Vocecirc precisaraacute recolher dados de base para cada indicador antes que suas actividades comecem Esses dados identificam o ponto de partida de onde poderaacute avaliar o progresso Depois em pontos variados durante a implementaccedilatildeo vocecirc recolheraacute dados de acompanhamento sobre cada indicador para comparaacute-los com os niacuteveis de base e os resultados previstos Isto permite que vocecirc e outros tomadores de decisotildees em sua organizaccedilatildeo avaliem o progresso de cada intervenccedilatildeo ou serviccedilo e faccedilam as mudanccedilas necessaacuterias ao longo do caminho Examine o exemplo no Quadro 3
Por que acompanhar as mudanccedilas dos indicadores durante a implementaccedilatildeo Os indicadores de um plano de MampA estatildeo relacionados aos resultados imediatos (produtos) e aos resultados de meacutedio e longo prazo que os gestores precisam monitorar As mudanccedilas nos valores do indicador ao longo do tempo mostram se esses resultados estatildeo a subir ou a baixar ou se permanecem iguais Isto mostra ao gestor se as intervenccedilotildees e estrateacutegias estatildeo a funcionar conforme planeado para atingir os resultados esperados
Ao final do periacuteodo de implementaccedilatildeo precisaraacute recolher dados sobre os seus indicadores para comparar os niacuteveis finais com os niacuteveis de base e com os seus resultados esperados A depender dos seus indicadores precisaraacute tambeacutem recolher dados de acompanhamento a uma altura acordada previamente para determinar se as mudanccedilas seratildeo mantidas apoacutes o teacutermino da sua intervenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 924
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 5 Exemplo de um Plano de Monitoria e Avaliaccedilatildeo
Objectivo Os profissionais de sauacutede que receberam formaccedilatildeo aumentam sua capacidade de fornecer tratamento anti-retroviral de acordo com as directrizes nacionais
ActividadeProduto Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
CronogramaPrazo final
Cliacutenicos experientes em VIH recrutados para servir como mentores cliacutenicos em cinco hospitais regionais
Nuacutemero de mentores recrutados e designados a hospitais regionais
Registos de emprego
Como concluiacutedo Director adjunto para programas cliacutenicos
Setembro de 2008
Pessoal meacutedico em cinco hospitais regionais que recebem mentoria individual sobre terapia anti-retroviral
Nuacutemero de locais que recebem mentoria cliacutenica
Nuacutemero de meacutedicos que recebem mentoria individual
Nuacutemero de dias de mentoria cliacutenica realizados
Relatoacuterios mensais do mentor
Mensalmente Mentores Marccedilo de 2009
Resultados a meacutedio e longo prazo Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
Trabalhadores de sauacutede aumentam seu conhecimento sobre terapia anti-retroviral
80 dos participantes obtecircm 85 ou mais de pontuaccedilatildeo correcta no teste posterior
Trabalhadores de sauacutede melhoram suas habilidades no fornecimento de terapia anti-retroviral
Percentagem de habilidades demonstradas na lista de verificaccedilatildeo de competecircncia
Estudo especial Datas a definir Director adjunto para programas cliacutenicos
Fonte Centro Internacional de Formaccedilatildeo e Ensino sobre VIH p 2
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 925
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Observaccedilatildeo sobre o uso de indicadores para uma avaliaccedilatildeo A maioria dos esforccedilos de MampA enfatizam a selecccedilatildeo de indicadores bem definidos para estabelecer metas e medir as mudanccedilas nas condiccedilotildees e nos serviccedilos de sauacutede
Mas eacute importante lembrar que os indicadores servem apenas como marcadores Os dados dos indicadores fornecem pistas para saber se uma intervenccedilatildeo ou um grupo de actividades estaacute dentro do cronograma e se os resultados esperados estatildeo a ser alcanccedilados Eles natildeo respondem agraves perguntas de por que os resultados estatildeo ou natildeo a ser alcanccedilados Natildeo explicam os resultados fortuitos as relaccedilotildees entre intervenccedilotildees e resultados ou as causas de resultados percebidos que podem ocorrer fora da intervenccedilatildeo Assim natildeo podem recomendar medidas a tomar para melhorar os resultados
Os dados de indicadores devem portanto ser interpretados com cuidado Eles simplesmente indicam resultados que precisam ser melhor explorados em vez de fornecer uma avaliaccedilatildeo definitiva do sucesso ou fracasso Um estudo de avaliaccedilatildeo eacute geralmente executado para determinar se uma intervenccedilatildeo pode ser considerada um sucesso e por quecirc
Em geral agrave medida que sobe na hierarquia e passa das actividades para os resultados a longo prazo a MampA se torna mais complicada Nos niacuteveis de processo e produtos pode-se facilmente rastrear que actividades foram concluiacutedas e seus resultados imediatos Essas informaccedilotildees satildeo operacionais ndash informaccedilotildees que vocecirc pode usar para decisotildees quotidianas de gestatildeo Poreacutem para identificar e medir os resultados da sinergia dos produtos provavelmente teraacute que integrar as informaccedilotildees qualitativas e quantitativas e confiar menos em indicadores quantitativos singulares
Lembre-se de que quando uma melhoria desejada ndash seja na eficiecircncia do serviccedilo no conhecimento e comportamento dos provedores de serviccedilos ou dos beneficiaacuterios ou na tendecircncia de um problema de sauacutede ndash eacute confirmada atraveacutes de MampA isto natildeo prova que foi a intervenccedilatildeo que provocou a mudanccedila Outras coisas podem estar a se passar no serviccedilo ou no ambiente geral que causam essa mudanccedila Eacute claro que o mesmo se aplica aos resultados negativos ou resultados que indicam natildeo haver nenhuma mudanccedila nos resultados a meacutedio e longo prazo
QUADRO 3 Como usar dados de base para ajustar os resultados
Uma equipa de sobrevivecircncia infantil estaacute a propor uma intervenccedilatildeo com o seguinte resultado mensuraacutevel e especiacutefico ldquoNos proacuteximos 12 meses 40 das crianccedilas entre 12 e 24 meses de idade na aacuterea de captaccedilatildeo seratildeo completamente imunizadasrdquo
Para determinar se seu programa pode realmente atingir esse resultado o pessoal precisa medir os niacuteveis actuais de vacinaccedilatildeo Ao examinar os dados vecircem que apenas 10 das crianccedilas na aacuterea de captaccedilatildeo estatildeo completamente imunizadas ao completarem 24 meses Estes satildeo portanto seus dados de base
A gestora entende que natildeo seraacute possiacutevel atingir o objectivo de 40 de cobertura de imunizaccedilatildeo em apenas 12 meses Por isso ela e sua equipa revisam o resultado esperado e o modificam para que seja mais razoaacutevel e realista mas continue sendo significativo ldquoNos proacuteximos 12 meses 20 das crianccedilas de 12 a 24 meses na aacuterea de de actuaccedilatildeo seratildeo completamente imunizadas
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 926
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 6 COMPARTILHE E USE SEUS DADOS
Na pressa para comeccedilar a recolher dados alguns gestores se esquecem de planear um processo para reflectir sobre as informaccedilotildees e fazer mudanccedilas para aumentar a eficiecircncia das actividades Para garantir que os dados sejam natildeo soacute recolhidos mas tambeacutem utilizados pense como vocecirc e sua equipa divulgaratildeo as informaccedilotildees sobre MampA e obteratildeo retroinformaccedilatildeo dos diversos grupos de interesse Algumas perguntas baacutesicas serviratildeo para lhe orientar
Quem precisa de que tipo de informaccedilotildees e quando precisam delas Que tipo de formato deve usar para comunicar os resultados ao pessoal
aos gestores de niacutevel superior e a outros grupos de interesse importantes Eacute suficiente fazer circular um relatoacuterio ou deveria organizar uma reuniatildeo ou workshop
Deveria tambeacutem organizar reuniotildees com a comunidade para solicitar retroinformaccedilatildeo dos seus beneficiaacuterios sobre os primeiros resultados da MampA
Como deve apresentar as informaccedilotildees para que sejam uacuteteis aos diferentes tomadores de decisotildees As informaccedilotildees devem ser apresentadas visualmente em diagramas graacuteficos ou mapas Para obter orientaccedilatildeo sobre dados e resultados consulte o Guiatildeo de MampA para Facilitadores de Programas de Desenvolvimento da Lideranccedila
Uso dos resultados para melhorar os dados de rotina em acccedilatildeo ndash Um exemplo do Paquistatildeo
No Paquistatildeo com o apoio do projecto PRIDE 10 equipas de subdistritos aplicaram o Processo de Avaliaccedilatildeo e Melhoria do Desempenho em Sauacutede Puacuteblica (PIP-PH) um conjunto de procedimentos e formatos para tratar dos problemas de sauacutede que identificaram como os mais graves para as suas populaccedilotildees Usaram o PIP-PH para priorizar os problemas e serviccedilos que mais precisavam de atenccedilatildeo a curto prazo para obter melhorias
Como parte do processo PIP-PH as equipas tambeacutem conceberam um formato de Estrutura de Vigilacircncia de Sauacutede (ldquoHealth Watch Frameworkrdquo) para os seus subdistritos como um todo e para os centros de sauacutede dentro deles Cada equipa seleccionou indicadores para medir a situaccedilatildeo de dois problemas de sauacutede puacuteblica os serviccedilos essenciais a eles relacionados e as limitaccedilotildees que afectavam esses serviccedilos
As equipas usaram os formulaacuterios Health Watch para estabelecer valores de base para os indicadores e depois para monitorar esses valores agrave medida que as intervenccedilotildees prosseguiam ao longo do tempo Os centros de sauacutede revisavam e actualizavam o formulaacuterio todo mecircs as equipas do subdistrito inclusive gestores de centros de sauacutede revisavam e discutiam os formulaacuterios trimestralmente os formulaacuterios revisados
As equipas de subdistrito usaram as informaccedilotildees para analisar os motivos do progresso ou falta de progresso para poderem prestar apoio aos gestores dos centros de sauacutede O processo estimulou os gestores dos centros de sauacutede a melhorarem a integridade e precisatildeo dos dados de rotina para poderem usar as informaccedilotildees e monitorarem mais eficazmente os eventos e os serviccedilos essenciais e introduzirem as melhorias necessaacuterias
Exemplos e informaccedilotildees detalhadas sobre o PIP-PH e o Health Watch Framework aparecem no Relatoacuterio Anual do Projecto PRIDE 2007
Para se informar mais sobre meacutetodos adicionais de utilizaccedilatildeo dos dados para melhorar o desempenho de uma organizaccedilatildeo equipa serviccedilo de sauacutede ou intervenccedilatildeo consulte o processo de Avaliaccedilatildeo e Melhoria de Desempenho (Performance Assessment and Improvement ndash PAI) no website de Programa de Lideranccedila Gestatildeo e Sustentabilidade (Leadership Management and Sustainability ndash LMS)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 927
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O processo de Monitoria e Avaliaccedilatildeo deve ser executado com o objectivo de usar imediatamente os resultados para identificar as falhas de desempenho e tomar medidas para reduzir ou eliminar essas falhas Vocecirc deve sempre planear formas de usar os resultados de MampA para o aprendizado e a acccedilatildeo Por exemplo o que deve fazer se as actividades do projecto natildeo trouxerem os resultados esperados O que precisa mudar se os serviccedilos essenciais natildeo estiverem a fornecer os niacuteveis de cobertura previstos ou a alcanccedilar grupos especiacuteficos de pessoas E como vocecirc pode levar esses fatos agrave atenccedilatildeo das pessoas certas para obter uma resposta raacutepida
Desenho de uma ferramenta de MampA
ARMADILHAS DA MONITORIA E AVALIACcedilAtildeO
Haacute vaacuterias armadilhas comuns que impedem que vocecirc como gestor aperfeiccediloe a funccedilatildeo de MampA na sua organizaccedilatildeo
Planeamento excessivo ou insuficienteAlguns gestores podem gastar tempo demais a preparar o plano de MampA do que resultam planos muito elaborados e complicados de usar Outros ficam muito ansiosos por implementar as intervenccedilotildees de MampA e comeccedilam antes de concluir o plano de MampA Isso significa que quando o plano fica pronto eacute geralmente tarde demais para obter dados de base viaacuteveis e a MampA tem que ser adiada Nesses casos o gestor talvez tenha que aceitar fazer a avaliaccedilatildeo mais tarde sem os dados de base que poderia usar para a comparaccedilatildeo
Descuidar-se da monitoria contiacutenua Outra armadilha frequente eacute a falha em incluir a monitoria contiacutenua na implementaccedilatildeo das actividades Isto ocorre frequentemente por falta de experiecircncia Muitos gestores natildeo tiveram acesso a ferramentas de monitoria uacuteteis (que satildeo raras) Talvez natildeo tenham recebido prontamente os resultados ou a retroinformaccedilatildeo do sistema de MampA no passado e por isso natildeo percebem como eacute importante realizar a monitoria de rotina Aleacutem disso gestores podem facilmente se emaranhar nos detalhes da implementaccedilatildeo e descuidar-se da monitoria de rotina
Exagerar Outra armadilha relacionada agrave monitoria eacute tentar rastrear os dados de todos os indicadores possiacuteveis Tentar obter os dados sobre um nuacutemero excessivo de factores torna o processo de monitoria tatildeo complicado que se torna impreciso Isso tambeacutem torna o processo mais lento de modo que no momento em que os dados satildeo recolhidos e analisados eles jaacute natildeo satildeo mais uacuteteis As ferramentas de monitoria muito demoradas e complicadas acabam por natildeo ser usadas O que acontece entatildeo O gestor deixa totalmente de fazer a monitoria e tem que recorrer agrave avaliaccedilatildeo
Se jaacute se deparou com esses problemas eacute hora de mudar a sua taacutectica Vocecirc pode criar um plano de MampA simples e usar ferramentas de monitoria simples Descubra o que tem que medir para obter os dados dentro de 3 a 6 meses o prazo vai depender dos ciclos de planeamento e apresentaccedilatildeo de relatoacuterios da sua organizaccedilatildeo Entenda tambeacutem qual eacute o miacutenimo que deve ser medido em uma avaliaccedilatildeo de longo prazo Busque a simplicidade mesmo se estiver diante de um conjunto complexo de actividades
Tente incluir apenas o que realmente precisa saber Pode testar todos os indicadores propostos antes de incluiacute-los no planeamento de MampA ao perguntar Quem precisa usar essas informaccedilotildees quando e com que finalidade Se um uacutenico indicador de produtos for suficiente perfeito Natildeo sobrecarregue a monitoria com indicadores desnecessaacuterios Muitas vezes menos dados fornecem mais informaccedilotildees
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 928
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
CARACTERIacuteSTICAS DE UMA BOA FERRAMENTA DE MONITORIA
Como gestor natildeo precisa saber tudo para gerir um serviccedilo ou dirigir uma intervenccedilatildeo mas precisa das informaccedilotildees imediatamente Portanto precisa de uma ferramenta de monitoria que possa fornecer informaccedilotildees suficientes e em tempo haacutebil para identificar e corrigir problemas assim que eles surgirem
Uma ferramenta de monitoria deve ser faacutecil de montar e utilizar As tabelas listas de verificaccedilatildeo e diagramas simples satildeo meacutetodos particularmente uacuteteis de recolher organizar e apresentar informaccedilotildees de monitoria
No miacutenimo sua ferramenta de monitoria deve permitir que vocecirc e sua equipa acompanhem
o progresso da implementaccedilatildeo da actividade a entrega de produtos ou resultados imediatos a situaccedilatildeo dos principais indicadores de resultados comparados aos resultados
esperados se for o caso as despesas orccedilamentais a disponibilidade de recursos humanos e financeiros os obstaacuteculos agrave implementaccedilatildeo e o que tem sido feito para superaacute-los
Vocecirc teraacute que responder agraves seguintes perguntas periodicamente
As actividades foram implementadas conforme planeado dentro do prazo e do orccedilamento
Que actividades adicionais natildeo planeadas foram realizadas Que serviccedilos ou produtos directos e tangiacuteveis foram oferecidos como resultado
das actividades que implementamos Estamos dentro do cronograma para atingir nossos resultados a meacutedio e longo
prazo Possuiacutemos os recursos necessaacuterios (pessoal dinheiro medicamentos e
suprimentos etc) para cumprirmos o cronograma
O Quadro 4 apresenta os componentes baacutesicos de uma ferramenta simples de monitoria
QUADRO 4 Uma ferramenta simples de monitoria
Data de exame Metas de resultados
Actividades (segundo o plano de implementaccedilatildeo)
Situaccedilatildeo ateacute o momento
Resultados esperados
Datas para conclusatildeo
Situaccedilatildeo ateacute o momento Comentaacuterios
Desafios e oportunidades
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 929
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quando usadas correctamente as novas tecnologias (por ex os PDAs ldquosmartphonesrdquo laptops e outros) podem facilitar a monitoria e aumentar os benefiacutecios da monitoria das actividades A monitoria automatizada ndash dados que podem ser obtidos e processados automaticamente ndash podem produzir um resumo dos principais indicadores em uma soacute paacutegina faacutecil de ler e num formato que utiliza cores para alertar ao gestor sobre as aacutereas que precisam de maior atenccedilatildeo As informaccedilotildees obtidas em tempo haacutebil sobre alguns indicadores essenciais permitem que o gestor monitore o progresso e tome medidas correctivas
Essa apresentaccedilatildeo visual das informaccedilotildees mais importantes e necessaacuterias para gerir um projecto eacute geralmente conhecida como Painel de Indicadores de Desempenho Os paineacuteis de indicadores de desempenho podem ser usados em qualquer organizaccedilatildeo departamento ou divisatildeo Nas organizaccedilotildees de sauacutede puacuteblica os paineacuteis satildeo usados frequentemente para monitorar os indicadores financeiros e programaacuteticos bem como a cobertura produccedilatildeo eficaacutecia e qualidade de serviccedilos de sauacutede especiacuteficos Um painel de recursos humanos por exemplo incluiria indicadores relevantes para gerir o seguinte
retenccedilatildeo de funcionaacuterios rotatividade de funcionaacuterios formaccedilatildeo de funcionaacuterios lacunas de habilidades satisfaccedilatildeo dos funcionaacuterios custos benefiacutecios e despesas gerais com funcionaacuterios
A Tabela 6 mostra um painel de indicadores de desempenho criado para monitorar serviccedilos de contracepccedilatildeo ciruacutergica voluntaacuteria (CCV)
TABELA 6 Ilustraccedilatildeo de Painel de Indicadores de Desempenho para Serviccedilos de Contracepccedilatildeo Ciruacutergica Voluntaacuteria (CCV)
Serviccedilo Contracepccedilatildeo Ciruacutergica Voluntaacuteria Periacuteodo do Relatoacuterio Janeiro de 2009
No Indicador de Prestaccedilatildeo de Serviccedilos Custo Qualidade
Meta financeira ou programaacutetica
LimiarNuacutemero
alcanccedilado
Percentagem concluiacuteda
Miacuten Maacutex 10 20 30 40 50 60 70 80 90 100
1 Nuacutemero de CCVs realizadas no mecircs 8 10 7
2 Custo meacutedio das CCVs (US$) 100 120 110
3 Orccedilamento mensal da receita com CCVs realizadas (US$) 800 1200 770
4Percentagem das CCVs realizadas por pessoal
qualificadomdash 100 60
5 Percentagem das CCVs realizadas sem complicaccedilotildees 95 100 100
6
Percentagem de utentes satisfeitas com o tratamento
recebido do pessoal que realizou as CCVs
90 100 90
Adaptado de Colindres 2008 p 6
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 930
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja uma descriccedilatildeo do uso de um painel de indicadores de desempenho para a monitoria de rotina num estudo de caso estudo de caso de uma ONG da Boliacutevia o Centro de Investigaccedilatildeo Educaccedilatildeo e Serviccedilos (CIES)
Para obter mais informaccedilotildees de como criar um painel de indicadores consulte ldquoComo usar os paineacuteis de indicadores de desempenho para monitorar as realizaccedilotildees de uma organizaccedilatildeordquo Esse documento ajuda a esclarecer conceitos e define as etapas essenciais para criar paineacuteis de indicadores de desempenho
Como criar uma avaliaccedilatildeo para fins de aprendizagem
Apesar da importacircncia da monitoria de rotina apenas a monitoria natildeo basta para responder agrave pergunta ldquoE entatildeordquo Ou seja suas actividades e produtos contribuiacuteram para melhorar a cobertura dos serviccedilos aumentar o conhecimento ou encorajar comportamentos mais saudaacuteveis
Talvez uma campanha de comunicaccedilatildeo sobre planeamento familiar criada para aumentar a prevalecircncia do uso de contraceptivos tenha levado o governo a abastecer os depoacutesitos distritais com contraceptivos Para que possam aprender com essa experiecircncia e criar campanhas mais eficazes no futuro os gestores do projecto ainda querem saber que produtos foram realmente dispensados aos centros de sauacutede e distribuiacutedos aos utentes Esta secccedilatildeo discute como criar uma avaliaccedilatildeo para fins de aprendizagem
Existem dois motivos para levar a cabo uma avaliaccedilatildeo
1 A avaliaccedilatildeo fornece informaccedilotildees sobre o sucesso da sua equipa unidade ou organizaccedilatildeo para atingir seus objectivos Essas informaccedilotildees ajudam a definir que actividades expandir modificar ou eliminar Ela pode tambeacutem revelar formas de melhorar a concepccedilatildeo e gestatildeo das actividades futuras
2 A avaliaccedilatildeo pode demonstrar uma cultura de prestaccedilatildeo de contas agrave sua agecircncia doadora e a outros grupos de interesse nomeadamente o governo e os beneficiaacuterios dos seus serviccedilos
AVALIACcedilOtildeES FORMATIVAS E SUMATIVAS
Os gestores podem realizar dois amplos tipos de avaliaccedilotildees formativas e sumativas
Avaliaccedilatildeo formativa Este tipo de avaliaccedilatildeo eacute realizada durante o desenvolvimento e implementaccedilatildeo de um programa Seu objectivo eacute orientar o desenho e a implementaccedilatildeo de actividades que incluam as melhores e mais promissoras praacuteticas que aumentaratildeo as chances de sucesso A avaliaccedilatildeo formativa eacute mais comummente utilizada por projectos de grande porte ou de longo prazo em vez de projectos menores e de curto prazo Poreacutem os projectos menores devem pelo menos realizar uma avaliaccedilatildeo raacutepida das melhores praacuteticas durante a fase de planeamento para apoiar a loacutegica e o conteuacutedo proposto para as actividades
A avaliaccedilatildeo formativa inclui uma avaliaccedilatildeo de necessidades para discernir os desejos e requisitos de um grupo da populaccedilatildeo e determinar a melhor forma de atendecirc-los Inclui tambeacutem uma avaliaccedilatildeo de processo para investigar o processo utilizado para executar uma intervenccedilatildeo Pode-se usar a avaliaccedilatildeo do processo para determinar se as actividades foram realizadas de acordo com o plano ndash em termos de sua concepccedilatildeo original estimativas de custos e nuacutemero de pessoas a serem atendidas ndash e se a qualidade dos processos usados estaacute de acordo com as melhores praacuteticas conhecidas
A avaliaccedilatildeo de processo geralmente inclui vaacuterias abordagens Pode incluir uma avaliaccedilatildeo dos dados referentes aos produtos (por ex nuacutemero de redes mosquiteiras fornecidas nuacutemero
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 931
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
de workshops de formaccedilatildeo realizados nuacutemero de participantes dos workshops) assim como entrevistas individuais ou grupos de enfoque entre os beneficiaacuterios Nas intervenccedilotildees de menor porte eacute uma boa praacutetica realizar uma avaliaccedilatildeo de processo mesmo se limitada agrave retroinformaccedilatildeo dos participantes
Avaliaccedilatildeo somativa Este tipo de avaliaccedilatildeo eacute realizada apoacutes a conclusatildeo de um grupo de actividades ou da intervenccedilatildeo para avaliar a qualidade da intervenccedilatildeo e os seus principais resultados A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo a avaliaccedilatildeo do impacto a anaacutelise de custo-benefiacutecio e custo-eficaacutecia e a investigaccedilatildeo operacional
A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo que avalia em que medida uma equipa unidade ou organizaccedilatildeo inteira atingiram seus resultados esperados A avaliaccedilatildeo dos resultados eacute usada para demonstrar que existe uma cultura de prestaccedilatildeo de contas para aperfeiccediloar o projecto de actividades organizacionais para melhorar a distribuiccedilatildeo dos recursos e para promover intervenccedilotildees futuras bem-sucedidas As principais perguntas satildeo Que modificaccedilotildees ocorreram na vida das pessoas das famiacutelias ou da comunidade como resultado do nosso trabalho Que diferenccedila fizemos
Como observamos anteriormente neste capiacutetulo os resultados a meacutedio e longo prazo satildeo geralmente mudanccedilas mensuraacuteveis eou observaacuteveis em duas dimensotildees A primeira dimensatildeo abrange a conscientizaccedilatildeo o conhecimento as atitudes os valores e as habilidades dos participantes de um programa ou dos beneficiaacuterios dos serviccedilos durante ou depois de seu envolvimento na intervenccedilatildeo A segunda dimensatildeo implica mudanccedilas no comportamento desses mesmos grupos
Idealmente as duas dimensotildees deveriam ser medidas em trecircs pontos no comeccedilo e no final do periacuteodo de implementaccedilatildeo e se possiacutevel apoacutes um periacuteodo de acompanhamento adequado Se a mediccedilatildeo do acompanhamento natildeo for viaacutevel pelo menos devem ser comparadas as mediccedilotildees de base e poacutes-intervenccedilatildeo Muitas vezes as mudanccedilas podem ser pequenas mas deve haver alguma melhoria em pelo menos um ou dois resultados para que a intervenccedilatildeo seja considerada um sucesso
A avaliaccedilatildeo dos resultados tenta distinguir entre a influecircncia da intervenccedilatildeo nessas mudanccedilas e a influecircncia de outros factores externos Mas geralmente os avaliadores teratildeo que optar pela atribuiccedilatildeo parcial de um resultado a uma intervenccedilatildeo ou serviccedilo especiacutefico devido agrave dificuldade em determinar uma relaccedilatildeo directa e causal entre o serviccedilo prestado e uma determinada mudanccedila
As avaliaccedilotildees de resultados utilizam geralmente um desenho natildeo experimental (geralmente denominado ldquopreacute e poacutes-avaliaccedilatildeordquo) que simplesmente mede as mudanccedilas antes e depois de uma intervenccedilatildeo ou seja diferente do desenho experimental (que compara os participantes com um grupo de controlo com designaccedilatildeo aleatoacuteria a ambos os grupos) ou do desenho semi-experimental (que compara os participantes com um grupo de controlo mas sem a designaccedilatildeo aleatoacuteria)
O desenho natildeo experimental eacute aceitaacutevel para as mediccedilotildees e relatoacuterios padratildeo dos resultados a meacutedio e longo prazo As ONGs raramente usam os desenhos experimentais Apesar de uma organizaccedilatildeo de grande porte e com muitos recursos poder ocasionalmente receber assistecircncia de especialistas para um desenho experimental a maioria delas acha que as consideraccedilotildees eacuteticas e logiacutesticas impedem a designaccedilatildeo aleatoacuteria dos participantes aos grupos de intervenccedilatildeo e de controlo Aleacutem disso o custo de recolher dados de um grupo de controlo seraacute provavelmente muito elevado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 932
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A avaliaccedilatildeo do impacto eacute outro componente da avaliaccedilatildeo somativa Eacute mais ampla do que a avaliaccedilatildeo de resultados e avalia os efeitos liacutequidos ou gerais ndash tanto intencionais como natildeo intencionais ndash de todo um programa grupo de programas ou grupo de organizaccedilotildees As avaliaccedilotildees de impacto geralmente se estendem por um periacuteodo de 3 a 5 anos
OUTROS TIPOS DE AVALIACcedilOtildeES
Anaacutelise de custo-benefiacutecio e custo-eficaacutecia Estes tipos de anaacutelise tratam da eficiecircncia da intervenccedilatildeo ao analisar os resultados em termos dos seus custos financeiros e do seu valor
Investigaccedilatildeo operacional Trata-se de um balanccedilo ou avaliaccedilatildeo de uma intervenccedilatildeo especiacutefica no contexto de um programa mais amplo que estaacute a fazer vaacuterias intervenccedilotildees A investigaccedilatildeo operacional eacute usada para testar e avaliar novas abordagens de prestaccedilatildeo de serviccedilos de sauacutede Eacute tambeacutem usada para identificar problemas na prestaccedilatildeo de serviccedilos e oferecer soluccedilotildees
A investigaccedilatildeo operacional eacute uma ferramenta poderosa que os gestores de programas e os tomadores de decisotildees podem usar para melhorar e expandir os serviccedilos Os estudos de investigaccedilatildeo operacional comparam intervenccedilotildees que estatildeo dentro da esfera de influecircncia do gestor Os exemplos incluem a avaliaccedilatildeo da eficaacutecia de uma nova estrateacutegia de prevenccedilatildeo de VIHSIDA um novo curso de formaccedilatildeo um novo conjunto de procedimentos para gerir medicamentos um novo meacutetodo contraceptivo ou um novo serviccedilo de sauacutede reprodutiva
O Toolkit de Investigaccedilatildeo Operacional do Programa Horizons sobre VIHSIDA do Population Council fornece informaccedilotildees detalhadas para criar um estudo de investigaccedilatildeo operacional
CONSIDERACcedilOtildeES PARA A FORMULACcedilAtildeO DE UMA AVALIACcedilAtildeO
O que avaliar para responder agrave pergunta ldquoE entatildeordquo Se quiser saber como gestor se as suas actividades tiveram realmente sucesso precisa preparar todas as intervenccedilotildees tendo em mente a avaliaccedilatildeo e incorporar a avaliaccedilatildeo ao seu planeamento organizacional geral Ao definir objectivos deve se perguntar Como saberemos se estamos a atingir esses objectivos Este eacute o ponto de partida para a avaliaccedilatildeo
Seja qual for o porte da sua intervenccedilatildeo ou serviccedilo e o alcance da avaliaccedilatildeo precisaraacute responder a trecircs perguntas durante a fase de desenho e planeamento
1 O que a sua intervenccedilatildeo ou serviccedilo conseguiraacute realizar a curto e longo prazo Se implementar um conjunto de actividades com sucesso ao longo do tempo o que seraacute diferente
2 Como conceptualiza as suas actividades ndash qual eacute a loacutegica subjacente Duas abordagens para identificar a loacutegica do programa satildeo discutidas neste capiacutetulo na secccedilatildeo intitulada Ferramentas e Abordagens Praacuteticas para MampA
3 Que indicadores pode usar para identificar o progresso no alcance dos resultados
Para responder agrave pergunta ldquoE entatildeordquo vocecirc precisa avaliar os factores sobre os quais tem um niacutevel razoaacutevel de controlo Por exemplo um novo serviccedilo criado para oferecer alojamento a pessoas que vivem com SIDA natildeo pode controlar ou afectar a expectativa de vida das pessoas agraves quais atende Mas ao fornecer um ambiente estaacutevel para elas viverem o serviccedilo pode diminuir o niacutevel de stresse e melhorar a qualidade de vida dessas pessoas que antes eram forccediladas a se mudar com frequecircncia
Depois de tratar da pergunta ldquoE entatildeordquo deve tambeacutem se certificar de que a avaliaccedilatildeo seja concebida de forma que quando o processo estiver concluiacutedo vocecirc possa abordar os cinco toacutepicos principais da avaliaccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 933
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
1 Relevacircncia Foi uma boa ideia fazer a intervenccedilatildeo considerando-se a situaccedilatildeo e a necessidade de melhorias Ela tratou das prioridades do grupo alvo ou beneficiaacuterio Por que sim ou por que natildeo
2 Eficaacutecia Os resultados produtos e actividades foram realizados Por que sim ou por que natildeo A loacutegica da intervenccedilatildeo eacute correcta
3 Eficiecircncia Os insumos (recursos e tempo) foram usados da melhor forma possiacutevel para atingir os resultados a meacutedio e longo prazo Por que sim ou por que natildeo O que vocecirc e sua equipa poderiam fazer de modo diferente no futuro para maximizar os resultados a um custo aceitaacutevel
4 Impacto Em que medida a sua intervenccedilatildeo contribuiu para as metas nacionais ou de longo prazo Que consequecircncias natildeo intencionais (positivas ou negativas) suas actividades tiveram Por que essas consequecircncias aconteceram
5 Sustentabilidade Eacute provaacutevel que os resultados positivos continuem depois que sua intervenccedilatildeo terminar Por que sim ou por que natildeo
Uma uacuteltima advertecircncia assim como a monitoria pode-se complicar demasiado a avaliaccedilatildeo Ao preparar um plano de avaliaccedilatildeo o melhor eacute seleccionar um grupo pequeno de indicadores e resistir agrave tentaccedilatildeo de avaliar todos os aspectos da sua intervenccedilatildeo
Assim como a monitoria a avaliaccedilatildeo soacute eacute uacutetil se as informaccedilotildees forem repassadas em tempo haacutebil para o gestor e outros tomadores de decisotildees e grupos de interesse Um problema comum com as avaliaccedilotildees intercalares eacute que os resultados geralmente soacute satildeo informados de 6 a 8 meses mais tarde o que deixa apenas 1 ou 2 anos para fazer mudanccedilas mais permanentes antes que se esgotem os fundos do governo ou da agecircncia doadora
COMO SELECCIONAR SUAS FONTES DE DADOS
Esta secccedilatildeo descreve trecircs tipos de fontes de dados que satildeo comummente usadas para uma avaliaccedilatildeo dados recolhidos rotineiramente inqueacuteritos de grande escala e teacutecnicas de avaliaccedilatildeo raacutepida inclusive a avaliaccedilatildeo participativa
Dados de rotina Os dados recolhidos e analisados rotineiramente por um SIS satildeo denominados ldquoestatiacutesticas de serviccedilordquo Pode-se utilizar vaacuterios sistemas de informaccedilatildeo de serviccedilos de rotina para monitorar os serviccedilos Alguns deles satildeo o sistema baacutesico de registo e relatoacuterio de SIS os sistemas especiais de relatoacuterios sobre programas (por ex tuberculose malaacuteria imunizaccedilatildeo VIH planeamento familiar etc) os sistemas de relatoacuterios sobre agentes comunitaacuterios especiais (por ex registos de agentes comunitaacuterios de sauacutede) o sistema de informaccedilotildees para a vigilacircncia de doenccedilas e o controlo notificaccedilatildeo e resposta a surtos e os relatoacuterios para os sistemas de suporte especiais (por ex medicamentos encaminhamentos e gestatildeo financeira e de recursos humanos)
Esses sistemas fornecem dados que estatildeo imediatamente disponiacuteveis e cujo objectivo eacute informar o que estaacute a acontecer no sector de sauacutede Os dados de rotina incluem por exemplo o nuacutemero de consultas de preacute-natal em uma cliacutenica o nuacutemero e tipo de vacinaccedilotildees fornecidas no local ou o nuacutemero e tipos de contraceptivos fornecidos mensalmente
Os dados sobre os serviccedilos satildeo geralmente recolhidos pelos centros de sauacutede ou postos de sauacutede e enviados para o proacuteximo niacutevel superior do sistema (geralmente o distrito) para serem agregados Esses dados podem entatildeo ser enviados ao proacuteximo niacutevel superior (regional ou provincial) para posterior agregaccedilatildeo antes que cheguem finalmente ao niacutevel central do Ministeacuterio da Sauacutede
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 934
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Idealmente os gestores de centros de sauacutede e ao niacutevel do distrito usam esses dados para orientar as operaccedilotildees diaacuterias acompanhar o desempenho e a prestaccedilatildeo de contas e tomar decisotildees que continuem a melhorar o desempenho Mas haacute vaacuterios obstaacuteculos a essa utilizaccedilatildeo
Muito frequentemente os dados de rotina satildeo imprecisos ou incompletos Apesar dos que utilizam o SIS tentarem produzir informaccedilotildees de alta qualidade e em tempo haacutebil haacute muitas oportunidades de introduzir erros Pode haver pouco apoio para que os gestores e seu pessoal se concentrem nos procedimentos correctos de recolha registo e agregaccedilatildeo dos dados
Os sistemas de sauacutede de vaacuterios paiacuteses enfatizam a importacircncia de apresentar relatoacuterios para os niacuteveis superiores mas natildeo estabeleceram procedimentos e incentivos para encorajar aqueles que fornecem informaccedilotildees a utilizaacute-las mesmo quando os dados satildeo de boa qualidade
Outra dificuldade eacute que as estatiacutesticas sobre serviccedilos fornecem informaccedilotildees apenas sobre os utentes que utilizam os serviccedilos de sauacutede Natildeo podem fornecer informaccedilotildees sobre as muitas pessoas que natildeo utilizam os serviccedilos
Por tudo isso natildeo se pode confiar apenas nas estatiacutesticas sobre serviccedilos para fazer uma avaliaccedilatildeo Elas satildeo melhor utilizadas para a monitoria de rotina dos problemas de sauacutede puacuteblica e dos serviccedilos essenciais relacionados
Inqueacuteritos em grande escala Os inqueacuteritos em grande escala satildeo outra fonte de informaccedilotildees imediatamente disponiacuteveis Incluem inqueacuteritos de base populacional tais como as Inqueacuterito Demograacutefico e de Sauacutede (IDS) dos EUA avaliaccedilotildees completas de centros de sauacutede como a Anaacutelise de Situaccedilatildeo do Population Council e os censos nacionais Em vaacuterios casos os gestores podem usar os dados de um inqueacuterito em grande escala existente para fornecer o contexto para a interpretaccedilatildeo dos dados capturados atraveacutes das suas proacuteprias avaliaccedilotildees
Por exemplo as IDS satildeo realizadas periodicamente para caracterizar a situaccedilatildeo de sauacutede em um paiacutes ou regiatildeo geograacutefica de grande extensatildeo para vaacuterios grupos populacionais homens mulheres crianccedilas bebeacutes e assim por diante Mas os dados das IDS natildeo podem normalmente ser desagregados para uso pelos gestores no niacutevel de distrito ou comunidade
Aleacutem disso como as IDS satildeo realizadas apenas a cada trecircs ou cinco anos as informaccedilotildees que fornecem podem natildeo estar suficientemente actualizadas para as necessidades de avaliaccedilatildeo dos gestores Apesar dessas dificuldades os dados das IDS satildeo uacuteteis para compreender tendecircncias regionais ou nacionais que podem ajudar a explicar dados recolhidos em uma avaliaccedilatildeo de foco especiacutefico
Avaliaccedilotildees raacutepidas Satildeo formas raacutepidas e econoacutemicas de obter informaccedilotildees para a tomada de decisotildees principalmente ao niacutevel da actividade Os exemplos incluem entrevistas quando os utentes saem de suas consultas as avaliaccedilotildees de pequena escala dos centros de sauacutede os inqueacuteritos raacutepidos por amostragem o exame analiacutetico de registos as entrevistas com grupos de enfoque e outros meacutetodos participativos
Poderaacute usar teacutecnicas de avaliaccedilatildeo raacutepida para complementar as informaccedilotildees obtidas com dados de rotina ou inqueacuteritos de grande escala As avaliaccedilotildees raacutepidas podem-lhe fornecer informaccedilotildees valiosas sobre sua aacuterea de captaccedilatildeo e sua aacuterea de responsabilidade mais ampla ndash ou seja as comunidades e as populaccedilotildees que deveriam ter acesso aos serviccedilos essenciais prestados por um centro de sauacutede determinado Elas podem tambeacutem fornecer contexto e uma compreensatildeo qualitativa dos dados quantitativos recolhidos pelos meacutetodos mais formais
Dentro da categoria de avaliaccedilotildees raacutepidas os meacutetodos participativos e os inqueacuteritos raacutepidos por amostragem merecem a sua atenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 935
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Meacutetodos participativos (tambeacutem chamados de aprendizagem e acccedilatildeo participativas) Essas teacutecnicas e meacutetodos visam incorporar o conhecimento e as opiniotildees dos membros da comunidade no planeamento e gestatildeo de projectos de desenvolvimento no esforccedilo para influenciar as poliacuteticas e na implementaccedilatildeo de programas Eles permitem incluir vozes da comunidade nas poliacuteticas no planeamento e nos inqueacuteritos e criam um senso de propriedade e participaccedilatildeo nos resultados de MampA e nas recomendaccedilotildees feitas pela organizaccedilatildeo e por seus beneficiaacuterios
Ao contraacuterio de outras teacutecnicas de avaliaccedilatildeo raacutepida os meacutetodos participativos natildeo se baseiam em amostragens Eles usam entrevistas individuais ou com informantes essenciais (inclusive entrevistas com utentes ao saiacuterem de suas consultas) entrevistas em grupo estudos de caso e outros meacutetodos qualitativos para identificar as condiccedilotildees locais e entender as perspectivas e prioridades locais
Em vaacuterios locais haacute membros da comunidade que natildeo podem ler nem escrever e por isso os meacutetodos participativos dependem frequentemente da comunicaccedilatildeo oral com apoio de imagens siacutembolos objectos fiacutesicos e memoacuteria colectiva
Os meacutetodos participativos podem ser usados antes durante e apoacutes a implementaccedilatildeo de uma intervenccedilatildeo ou um conjunto de actividades Eles fornecem informaccedilotildees para o projecto e a avaliaccedilatildeo e permitem a participaccedilatildeo activa das partes interessadas na tomada de decisotildees Durante a implementaccedilatildeo os meacutetodos participativos satildeo uacuteteis para identificar e solucionar problemas
Aproveite para examinar e utilizar uma lista de recursos online sobre inqueacuterito qualitativo e directrizes sobre discussotildees em grupos de enfoque no Community Tool Box da Universidade de Kansas
Inqueacuteritos raacutepidos por amostragem Estes inqueacuteritos podem ser utilizados para recolher informaccedilotildees padronizadas de uma amostra pequena e cuidadosamente seleccionada de pessoas ou domiciacutelios em uma aacuterea beneficiaacuteria Eles podem descrever as condiccedilotildees em uma comunidade particular ou grupo-alvo e permitem comparar grupos diferentes em um determinado momento ou mudanccedilas no mesmo grupo ao longo do tempo Permitem tambeacutem comparar condiccedilotildees actuais com os resultados planeados
Um dos inqueacuteritos mais comuns de pequena amostragem eacute o inqueacuterito CAP (Conhecimentos Atitudes e Praacuteticas) baseado em uma amostra de 30 agrupamentos
Amostragem para Garantia de Qualidade de Lotes (Lot Quality Sampling - LQAS) Essa eacute outra teacutecnica de avaliaccedilatildeo raacutepida que se usa cada vez mais na aacuterea de sauacutede puacuteblica A LQAS utiliza amostragens muito pequenas para obter informaccedilotildees confiaacuteveis em uma pequena aacuterea geograacutefica ou unidade administrativa Pode ser usada para detectar de forma precisa os extremos do desempenho ndash para determinar se uma intervenccedilatildeo foi mais aleacutem de um limiar superior de desempenho ou natildeo conseguiu atingir um limiar inferior de desempenho em termos de qualidade ou cobertura As amostras de lotes podem tambeacutem ser combinadas para fornecer estimativas de cobertura em uma aacuterea geograacutefica mais ampla
Uma busca na Web revelaraacute recursos uacuteteis aqui temos um sobre os inqueacuteritos CAP e outro sobre LQAS A aacuterea de MampA do website do CORE Group inclui ligaccedilotildees com ferramentas e recursos importantes para a avaliaccedilatildeo raacutepida criados pelo Grupo de Trabalho de MampA do CORE Group
Como gestor deve revisar todas as fontes de dados jaacute existentes antes de planear a sua avaliaccedilatildeo A Tabela 7 apresenta as vantagens e desvantagens das trecircs principais fontes de
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 936
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 7 Resumo das trecircs fontes de dados mais comuns para uma avaliaccedilatildeo
Fonte de dados Vantagens Limitaccedilotildees
Estatiacutesticas de serviccedilo Dados sobre a populaccedilatildeo de utentes e serviccedilos cliacutenicos que satildeo recolhidos rotineiramente nos registos dos utentes e nos registos cliacutenicos
Disponiacuteveis imediatamente
Cobrem todos os tipos de serviccedilos de sauacutede e todas as aacutereas do paiacutes
Podem ser desagregados para os niacuteveis local e de distrito
Uso econoacutemico
Soacute lhe informam sobre clientes actuais sem informaccedilotildees sobre as pessoas que natildeo usam os serviccedilos de sauacutede e podem ser utentes em potencial
Natildeo fornecem informaccedilotildees sobre valores percepccedilotildees ou comportamentos da comunidade
Natildeo reflectem as pessoas que optam por fontes privadas de serviccedilos
Podem ser inexactas se os locais de prestaccedilatildeo de serviccedilos natildeo registarem os dados correctamente de forma legiacutevel e em tempo haacutebil
Inqueacuteritos de grande escala Inqueacuteritos de base populacional e avaliaccedilotildees de grande escala dos centros de sauacutede
Dados relevantes precisos e confiaacuteveis
Podem medir as tendecircncias nacionais de sauacutede identificar aacutereas com problemas e ajudar a concentrar os recursos do paiacutes em aacutereas de maior carecircncia
Geram valores meacutedios para as aacutereas urbanas e rurais regiotildees e proviacutencias
Fornecem um contexto para interpretar os dados recolhidos localmente
Podem gerar informaccedilotildees adicionais a partir dos seus conjuntos de dados informatizados
Geralmente natildeo podem desagregar os dados para fornecer meacutedias para as aacutereas sub-regionais (distritos ou municipalidades)
Geralmente natildeo satildeo realizadas anualmente os dados se tornam desactualizados rapidamente se as populaccedilotildees ou condiccedilotildees de sauacutede se modificarem rapidamente
Avaliaccedilotildees raacutepidas Meacutetodos focados para avaliar as necessidades locais e tomar decisotildees em acircmbito local
Raacutepidas e econoacutemicas
Resultam em acccedilatildeo local
Haacute directrizes para ajudar os gestores em vaacuterias dessas teacutecnicas
Fornecem aos gestores a capacidade de recolher os dados necessaacuterios
Os inqueacuteritos domiciliares (por ex LQAS ou CAP) podem obter precisatildeo suficiente para fins de avaliaccedilatildeo
Equilibra a necessidade de resultados representativos e objectivos com a necessidade de usar projectos levemente menos rigorosos que satildeo mais viaacuteveis em aacutereas locais
Usam escala e acircmbito reduzidos para produzir resultados em tempo haacutebil e de baixo custo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 937
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
dados que foram discutidas acima estatiacutesticas rotineiras de serviccedilos inqueacuteritos em grande escala e teacutecnicas de avaliaccedilatildeo raacutepida
Que niacutevel de qualidade os dados do SIS precisam ter para serem uacuteteis ndash que niacutevel de abrangecircncia precisatildeo e apresentaccedilatildeo em tempo haacutebil Para as suas necessidades de gestatildeo mesmo que natildeo sejam perfeitos os dados podem ser suficientemente bons para ter um efeito poderoso como nos mostra o exemplo de Madagascar
Dados do SIS pontos fortes e limitaccedilotildees
Subestimar o valor e a utilidade do SIS eacute infelizmente uma tendecircncia Eacute verdade que o SIS tem problemas frequentemente mas tambeacutem eacute grande o seu potencial Como vimos em
Como usar e melhorar dados imperfeitos do SIS ndash Um exemplo de Madagascar
Um SIS de base comunitaacuteria mais preciso e mais oportuno Um projecto de Madagascar implementou um meacutetodo baseado na comunidade para aumentar o uso de meacutetodos de planeamento familiar denominado ldquoComunidades Campeatildesrdquo em 50 dos 110 distritos do paiacutes O meacutetodo utilizou exclusivamente os dados do SIS para monitorar e avaliar as realizaccedilotildees das comunidades participantes
Em primeiro lugar foi estabelecida uma base de referecircncia para cada comunidade ao usar os dados do seu centro de sauacutede Em seguida o pessoal do centro de sauacutede e os representantes da comunidade identificaram metas para 10 indicadores que determinariam se uma comunidade tinha alcanccedilado a posiccedilatildeo de campeatilde apoacutes 12 meses de implementaccedilatildeo Cada comunidade monitorava seu proacuteprio progresso em uma reuniatildeo trimestral de verificaccedilatildeo
Apoacutes 12 meses o pessoal do projecto voltou a cada comunidade para avaliar os resultados Examinaram os dados do relatoacuterio de monitoria de rotina de cada centro de sauacutede e para cada indicador Prepararam tambeacutem um relatoacuterio sobre os dados de cada comunidade e o enviaram para o supervisor de niacutevel distrital para a sua confirmaccedilatildeo com base nos registos informatizados do distrito As fontes de dados para os relatoacuterios do centro de sauacutede e registos de distrito foram as mesmas (registos dos centros de sauacutede) e por isso raramente ocorreu uma discrepacircncia Mas o que interessava era envolver o supervisor distrital no exame dos dados do centro de sauacutede para mostrar a utilidade de se usar ateacute mesmo dados simples nesse niacutevel
O projecto tambeacutem cooperou com o Ministeacuterio da Sauacutede a niacutevel distrital para melhorar a precisatildeo a abrangecircncia e a prontidatildeo do SIS A ecircnfase era obter dados mais completos dos centros de sauacutede e reduzir o tempo gasto pelo escritoacuterio distrital para receber o relatoacuterio do centro de sauacutede apreciaacute-lo devolvecirc-lo ao centro para qualquer correcccedilatildeo recebecirc-lo novamente dar entrada dos dados no sistema e finalmente enviaacute-los ao niacutevel central Os distritos satildeo responsaacuteveis por cooperar com os centros de sauacutede para melhorar o registo de dados e actualizar suas proacuteprias teacutecnicas de processamento de dados
Apoacutes dois anos de assistecircncia teacutecnica o SIS tinha realmente melhorado segundo os indicadores de precisatildeo abrangecircncia e prontidatildeo As melhorias mais notaacuteveis foram em prontidatildeo o tempo gasto pelo escritoacuterio distrital no processo descrito acima reduziu-se de 12 para 3 meses
Imperfeitas mais mesmo assim valiosos Deve-se lembrar que o projecto ldquoComunidades Campeatildesrdquo teve oacuteptimo resultado apesar dos dados imperfeitos Seu numerador (o nuacutemero de utentes regulares de planeamento familiar) era detalhado e preciso Mas suas estimativas das taxas de prevalecircncia do uso de contraceptivos natildeo eram muito precisas porque o denominador (nuacutemero de mulheres em idade reprodutiva) era apenas uma estimativa baseada num censo desactualizado e em estimativas anuais do governo sobre percentagens de crescimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 938
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Madagascar o projecto Comunidades Campeatildes melhorou o sistema substancialmente num periacuteodo de dois anos Nesse caso o sistema jaacute se encontrava relativamente funcional porque projectos anteriores haviam feito um grande esforccedilo para implantar o sistema e tornaacute-lo mais soacutelido Ao aprimorar a forma como o sistema era administrado e os dados eram usados o projecto posterior conseguiu fazer uma grande diferenccedila por meio de pequenas modificaccedilotildees
Os dados do SIS natildeo satildeo 100 exactos e nunca seratildeo Esta eacute a realidade com a qual todos os gestores tecircm que trabalhar Mas os dados natildeo precisam ser perfeitos para serem uacuteteis Eacute possiacutevel fazer a monitoria e a gestatildeo com dados imperfeitos Informaccedilotildees obtidas em tempo
(continuaccedilatildeo)
No entanto o projecto constatou que as taxas de prevalecircncia de uso de contraceptivos eram suficientemente boas para acompanhar o desempenho das comunidades que participavam do meacutetodo de Comunidades Campeatildes O pessoal do projecto tambeacutem complementou as comparaccedilotildees dessas taxas com as comparaccedilotildees dos valores do numerador nuacutemeros simples que faziam sentido para o pessoal do centro de sauacutede e tambeacutem para as comunidades
O niacutevel central comeccedilou a organizar workshops regionais trimestrais para divulgar os resultados ao niacutevel distrital Juntos os gestores dos niacuteveis distritais regionais e centrais analisaram o progresso e classificaram os distritos com base no seu desempenho Usaram a anaacutelise de causa-raiz ndash um processo que identifica as causas subjacentes de um problema ndash para entender os obstaacuteculos enfrentados pelos distritos que apresentavam baixo desempenho (Consulte o Apecircndice A no Capiacutetulo 2 deste guia para obter mais informaccedilotildees sobre a anaacutelise de causa-raiz) Finalmente o Ministeacuterio de Sauacutede mobilizou o apoio de agecircncias doadoras e de organizaccedilotildees parceiras para ajudaacute-los a melhorar
O ministeacuterio comeccedilou a usar as informaccedilotildees de sauacutede para administrar realmente o sistema de sauacutede Antes dessa intervenccedilatildeo poucas organizaccedilotildees confiavam ou utilizavam os dados do SIS Mas quando ficou claro que o sistema funcionava as agecircncias doadoras passaram a confiar as organizaccedilotildees parceiras passaram a utilizaacute-lo e o ministeacuterio se orgulhou do trabalho Pela primeira vez tinham uma visatildeo mais niacutetida do que acontecia em todo o paiacutes e podiam usar essas informaccedilotildees para buscar o apoio de agecircncias doadoras se necessaacuterio
Do mesmo modo os centros de sauacutede raramente usavam seus proacuteprios dados Eles simplesmente faziam os registos e os enviavam para o escritoacuterio distrital sem nem mesmo receber retroinformaccedilatildeo do mesmo Apoacutes a conclusatildeo do projecto perceberam como os dados mais precisos podiam ser usados em seu benefiacutecio e das comunidades
Os distritos tambeacutem actuavam antes de uma forma pouco informada Cada distrito dependia apenas dos seus proacuteprios dados e funcionava num vaacutecuo As mudanccedilas no SIS e o encorajamento do governo central forneceram aos distritos oportunidades para comparar seu trabalho e aprender uns com os outros
Aprendizagem com dados mais precisos completos e oportunos Os dados satildeo geralmente utilizados para fazer comparaccedilotildees mas satildeo menos frequentemente utilizados como ferramenta de aprendizagem Nesse caso depois que os relatoacuterios comeccedilaram a chegar dentro do prazo o Ministeacuterio da Sauacutede usou os dados ndash inclusive dados imperfeitos ndash para descobrir que distritos tinham um desempenho ruim e que distritos estavam melhor que os outros Assim aprenderam com os de melhor desempenho ao perguntar Por que seus resultados satildeo tatildeo bons O que estavam a fazer de diferente O que poderia ser replicado Finalmente aplicaram a aprendizagem ao usar esses distritos como modelos e ao oferecer mais apoio aos de pior desempenho
Todo o sistema de sauacutede se entusiasmou com as informaccedilotildees que podiam produzir e usar A comeccedilar do topo esse entusiasmo chegou aos niacuteveis inferiores e os motivou a melhorar sua recolha e processamento de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 939
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
haacutebil e com 75 de precisatildeo satildeo melhores que as informaccedilotildees com 95 de precisatildeo que chegam com vaacuterios meses de atraso
Apesar do seu grande valor por si soacutes os dados do SIS natildeo atenderatildeo a todas as necessidades de informaccedilatildeo de muitas organizaccedilotildees Algumas organizaccedilotildees e agecircncias doadoras precisam de dados que exigem avaliaccedilotildees ou sistemas especiais Aleacutem disso vaacuterias intervenccedilotildees foram projectadas para modificar o conhecimento as atitudes e as praacuteticas dos beneficiaacuterios factores que natildeo satildeo capturados nos dados de serviccedilo Eacute importante usar os dados do SIS sempre que possiacutevel e complementaacute-los com avaliaccedilotildees locais quando necessaacuterio
Como gestor de um programa de sauacutede ou de serviccedilos de sauacutede parte do seu trabalho deveria ser o de melhorar o SIS em seu paiacutes Ele eacute o uacutenico sistema de informaccedilotildees sustentaacutevel na maioria dos paiacuteses Os sistemas de informaccedilatildeo criados e mantidos por agecircncias doadoras ou organizaccedilotildees externas tecircm duraccedilatildeo limitada mas o SIS eacute parte permanente do seu legado
Se todos os parceiros e agecircncias doadoras trabalharem com o Ministeacuterio de Sauacutede para prestar assistecircncia teacutecnica e financeira ao SIS ele poderaacute render informaccedilotildees que trazem grandes melhorias para os serviccedilos de sauacutede e que justificam plenamente o investimento no mesmo
Praacuteticas comprovadas
Um sistema de MampA deveria proporcionar aos gestores o que eles precisam saber para agir Deve se basear em indicadores relevantes faacuteceis de usar e que possam ser fornecidos em tempo haacutebil para os ciclos de planeamento e apresentaccedilatildeo de relatoacuterios
Os resultados de MampA natildeo se destinam apenas ao pessoal de MampA da sua organizaccedilatildeo ou agrave agecircncia doadora As informaccedilotildees de MampA satildeo um recurso fundamental para as acccedilotildees e a aprendizagem Se o seu processo de MampA tiver mecanismos de retroinformaccedilatildeo que permitam aos tomadores de decisotildees reflectirem sobre os resultados e absorverem o que precisam para seus proacuteprios fins eles assumiratildeo o controlo do processo e utilizaratildeo o que ele oferecer
Se vocecirc define suas actividades de MampA no comeccedilo de uma intervenccedilatildeo ou projecto junto com o plano de acccedilatildeo para o projecto teraacute mais oportunidades de orientar e acompanhar a implementaccedilatildeo das actividades
Quando satildeo demasiado elaborados e complicados os planos de MampA natildeo satildeo usados Elabore um plano de MampA simples escolha ferramentas de monitoria faacuteceis de usar e seleccione a menor quantidade possiacutevel de indicadores para acompanhar o progresso e introduzir as mudanccedilas necessaacuterias ao longo do caminho
Para fortalecer um SIS eacute preciso trabalhar com as pessoas envolvidas os responsaacuteveis pelo sistema que registam transferem analisam comunicam e utilizam os dados e as informaccedilotildees para a gestatildeo dos serviccedilos
Ao fornecer os dados do SIS para os tomadores de decisotildees vocecirc deve reconhecer as diferenccedilas na frequecircncia dos relatoacuterios e nas quantidades de dados agregados e desagregados necessaacuterios aos niacuteveis diferentes de governo ou agraves organizaccedilotildees natildeo governamentais
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 918
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
oposto exacto do Caminho de Mudanccedila Vocecirc coloca cada actividade no topo da sua proacutepria sequecircncia e desce pela sequecircncia ateacute a meta ou resultado esperado Essa sequecircncia ajuda a confirmar que cada rota individual no Caminho de Mudanccedila faz sentido em termos loacutegicos
Para usar essa teacutecnica eacute preciso criar uma sequecircncia ldquopara querdquo para cada actividade no seu Caminho de Mudanccedila Comece por descrever cada actividade e segui-la da frase ldquopara querdquo seguida de uma descriccedilatildeo do que aconteceraacute se essa actividade for realizada Continue a fazer isto ateacute atingir a sua meta de longo prazo ou resultado esperado
Etapas do desenvolvimento de um plano de MampA
Uma das suas tarefas essenciais de MampA como gestor que exerce lideranccedila eacute a de elaborar um plano que ajude vocecirc e sua equipa a determinar se atingiram ou natildeo os resultados esperados e a acompanhar o progresso no alcance desses resultados durante a implementaccedilatildeo Isso exige que vocecirc natildeo soacute escolha indicadores confiaacuteveis mas tambeacutem que meccedila esses indicadores de forma organizada Seu plano de MampA deve especificar que indicadores seratildeo medidos como e quando seratildeo medidos e por quem
Um plano de MampA bem formulado responde a cinco perguntas
1 Seu resultado esperado eacute mensuraacutevel2 Que indicadores utilizaraacute para monitorar seus produtos e para avaliar seus
resultados 3 Quais satildeo as suas fontes de dados e como recolheraacute os dados dessas fontes 4 Quais satildeo os periacuteodos cobertos de cada indicador 5 Quem recolheraacute os dados
Essas perguntas satildeo importantes porque sem um plano vaacutelido de MampA vocecirc poderaacute interpretar erroneamente os efeitos da sua intervenccedilatildeo Poderaacute concluir que ela natildeo teve efeito algum quando na verdade ela teve alguns resultados positivos ou poderaacute concluir que ela teve um efeito positivo quando na verdade natildeo obteve resultado algum o que eacute um erro comum e mais destrutivo
Elaborar e utilizar um plano de MampA garante que dados comparaacuteveis seratildeo recolhidos regularmente e em tempo haacutebil mesmo quando houver mudanccedilas de pessoal A Tabela 3 resume as etapas no desenvolvimento e implementaccedilatildeo de um plano de MampA O resto desta secccedilatildeo descreve cada etapa detalhadamente
ETAPA 1 DEFINA OS RESULTADOS ESPERADOS
A primeira etapa no desenvolvimento do plano de MampA eacute determinar um niacutevel apropriado de resultados Juntos o tipo e o acircmbito da intervenccedilatildeo os recursos disponiacuteveis e o prazo de implementaccedilatildeo determinam um resultado viaacutevel
Como jaacute vimos antes neste capiacutetulo as intervenccedilotildees dirigidas por organizaccedilotildees com fundos de agecircncias doadoras e por serviccedilos governamentais geralmente levam a produtos ou resultados a meacutedio e longo prazo Apesar de o impacto demorar a ser obtido e geralmente estar fora do acircmbito de um uacutenico conjunto de actividades eacute importante incluiacute-lo no seu plano de MampA para que fique clara qual seraacute a contribuiccedilatildeo da sua intervenccedilatildeo a longo prazo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 919
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 3 Etapas para elaborar e usar um Plano de MampA
Etapas Recomendaccedilotildees
1 Definir os resultados esperados
Os resultados devem ser identificados de acordo com o acircmbito e o periacuteodo de tempo da sua intervenccedilatildeo
Os resultados devem atender aos criteacuterios SMART (Especiacuteficos Mensuraacuteveis Apropriados Realistas de Prazo Definido)
2 Seleccionar os indicadores
Os indicadores devem possuir as qualidades de um bom indicador
Os indicadores devem ser acessiacuteveis faacuteceis de recolher e comparaacuteveis ao longo do tempo e em diferentes locais
Para os problemas de sauacutede prioritaacuterios e os serviccedilos essenciais use indicadores criacuteticos nacionais ou padratildeo
Seleccione um nuacutemero miacutenimo de indicadores essenciais e procure garantir que os indicadores seleccionados sejam realmente necessaacuterios para medir seus resultados esperados
3 Identificar as fontes de dados
Identifique de onde viratildeo os dados para cada indicador Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos organizacionais utentes ou a comunidade
4 Definir os meacutetodos de recolha dos dados
Seleccione o meacutetodo mais apropriado e confiaacutevel para a recolha de dados para cada indicador Estes meacutetodos podem incluir a anaacutelise de registos ou diaacuterios de estatiacutesticas de serviccedilo o uso de listas de verificaccedilatildeo para fins de observaccedilatildeo as entrevistas de utentes ao saiacuterem da cliacutenica ou um modelo de inqueacuterito de dados comunitaacuterios
Decida sobre a frequecircncia da recolha de dados Poderaacute recolher apenas os dados de base ou referecircncia e os dados apoacutes a intervenccedilatildeo ou talvez precise recolher dados diaacuterios mensais ou trimestrais dependendo do tipo de indicador
Para cada indicador designe a responsabilidade pela recolha a um escritoacuterio equipa ou pessoa especiacuteficos
5 Recolher os dados de base (ou referecircncia) e os dados apoacutes a intervenccedilatildeo
Entenda que os resultados de base seratildeo usados para definir os seus alvos
Defina claramente a duraccedilatildeo coberta pelos dados de base jaacute que precisa de um periacuteodo semelhante para a comparaccedilatildeo ao final do periacuteodo de implementaccedilatildeo
Use a mesma metodologia e ferramentas para a recolha de dados que as usadas para os dados de base e as medidas poacutes-intervenccedilatildeo
6 Compartilhar e utilizar os seus resultados
Marque reuniotildees workshops e apresentaccedilatildeo de relatoacuterios para mostrar os resultados ao pessoal do projecto agrave direcccedilatildeo da organizaccedilatildeo e a outros grupos de interesse importantes
Apresente as opccedilotildees de aprendizado e acccedilatildeo com base nos resultados de MampA
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 920
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para determinar em que niacutevel deve monitorar e avaliar seus resultados eacute uacutetil examinar novamente e expandir a cadeia de resultados a comeccedilar da direita pelo resultado final (impacto) e voltar ateacute os materiais e recursos (insumos) necessaacuterios
Insumos rarr Processos rarr Produtos rarr Resultados rarr Impacto
Impacto Esses resultados satildeo medidos ao niacutevel da populaccedilatildeo levam um tempo relativamente longo para serem alcanccedilados (geralmente 3 a 5 cinco anos) e exigem o esforccedilo conjunto de vaacuterias intervenccedilotildees e mesmo de vaacuterias organizaccedilotildees Como gestor vocecirc poderaacute ser responsaacutevel por medir o impacto mas deve incluiacute-lo na loacutegica do seu plano de MampA para saber o que a sua organizaccedilatildeo e os parceiros da organizaccedilatildeo pretendem alcanccedilar a longo prazo
Resultados a meacutedio e longo prazo Na maioria dos casos os gestores satildeo responsaacuteveis por medir os resultados nos niacuteveis de produtos eou resultados a meacutedio e longo prazo Os resultados a meacutedio e longo prazo satildeo obtidos pelas actividades criadas para produzir uma mudanccedila de comportamento nos profissionais de sauacutede ou nos utentes Satildeo geralmente medidos em termos de mudanccedilas na cobertura de serviccedilos e mudanccedilas nos conhecimentos atitudes e praacuteticas de uma populaccedilatildeo beneficiaacuteria Um resultado a meacutedio e longo prazo pode ser o iniacutecio de uma praacutetica comprovada de prestaccedilatildeo de serviccedilos a adopccedilatildeo de novas estrateacutegias de gestatildeo ou a elaboraccedilatildeo bem-sucedida de uma poliacutetica de promoccedilatildeo da sauacutede Pode tambeacutem ser um aumento no nuacutemero de mulheres que datildeo agrave luz em um centro de sauacutede ou no nuacutemero de crianccedilas totalmente imunizadas Na maioria dos casos eacute possiacutevel estabelecer uma relaccedilatildeo clara entre produtos e resultados a meacutedio e longo prazo
Produtos Os produtos ou resultados imediatos satildeo fruto directo das actividades Devem ser monitorados durante toda a implementaccedilatildeo como um elemento essencial da boa gestatildeo Os planos de MampA devem definir o produto esperado de cada actividade Para as unidades de prestaccedilatildeo de serviccedilos isso geralmente significa os resultados imediatos em termos dos serviccedilos (por exemplo nuacutemero de utentes atendidos ou tempo de espera dos clientes ou utentes) Para as organizaccedilotildees que natildeo prestam serviccedilos de sauacutede directamente isso pode significar a distribuiccedilatildeo de produtos de sauacutede ou serviccedilos de formaccedilatildeo (por exemplo quantidade de produtos para planeamento familiar distribuiacutedos ou nuacutemero de participantes formados)
Processos A monitoria de processos ou actividades eacute em grande parte uma medida da cultura de prestaccedilatildeo de contas (ou grau de responsabilizaccedilatildeo) ao garantir que as actividades sejam realizadas dentro do prazo e com recursos suficientes A monitoria nesse niacutevel acompanha o progresso da implementaccedilatildeo tendo como referecircncia os prazos propostos e o uso dos recursos tendo como referecircncia os orccedilamentos Eacute geralmente executada atraveacutes da apresentaccedilatildeo de relatoacuterios tradicionais trimestrais semestrais e anuais
Insumos Ao preparar uma intervenccedilatildeo deve identificar a quantidade e os tipos de recursos necessaacuterios para implementar as actividades O desempenho pode ser monitorado em termos da quantidade e dos tipos de insumos fornecidos e do nuacutemero e timing das actividades realizadas
A etapa seguinte na definiccedilatildeo dos resultados esperados eacute garantir que cumpram os criteacuterios SMART (consulte a Tabela 4) Eacute possiacutevel monitorar e avaliar o progresso no alcance de um resultado apenas se esse resultado tiver sido definido em termos mensuraacuteveis
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 921
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja a seguir um exemplo de um resultado mensuraacutevel para uma intervenccedilatildeo cujo propoacutesito eacute promover a cobertura de imunizaccedilatildeo em crianccedilas de 12 a 24 meses de idade A percentagem de crianccedilas de 12 a 24 meses totalmente vacinadas na aacuterea de captaccedilatildeo aumentaraacute para 70 dentro de um ano
ETAPA 2 IDENTIFIQUE OS INDICADORES E SUAS DEFINICcedilOtildeES
Os indicadores satildeo geralmente percentagens ou proporccedilotildees que representam o alcance de uma condiccedilatildeo especiacutefica de sauacutede na populaccedilatildeo de interesse Podem tambeacutem ser um valor absoluto tal como o nuacutemero de ocorrecircncias de um evento de sauacutede (por ex um oacutebito materno ou um caso de malaacuteria)
Todos os indicadores pedem uma definiccedilatildeo detalhada Trata-se de um indicador qualitativo ou quantitativo Se for uma percentagem qual eacute o numerador e qual eacute o denominador A definiccedilatildeo deve ser suficientemente detalhada para garantir que pessoas diferentes em momentos diferentes possam recolher tipos idecircnticos de dados para o indicador
Veja o que caracteriza um bom indicador no Quadro 2 Os indicadores podem ser classificados como indicadores do estado de sauacutede ou do desempenho de serviccedilos
Os indicadores do estado de sauacutede podem incluir o seguinte
nuacutemero de casos e mortes causados por doenccedilas especiacuteficas em um determinado periacuteodo
proporccedilatildeo da populaccedilatildeo com uma doenccedila ou condiccedilatildeo de sauacutede num momento particular ou ao longo de um periacuteodo de tempo
proporccedilatildeo da populaccedilatildeo com um factor ou condiccedilatildeo de sauacutede que os coloca em risco de contrair doenccedilas tal como a falta de conhecimento ou um comportamento de risco
Os indicadores de desempenho podem incluir o seguinte
proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que recebeu um serviccedilo especiacutefico proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que demonstra comportamentos e
conhecimentos especiacuteficos de sauacutede
TABELA 4 Criteacuterios de um resultado SMART
Criteacuterio Descriccedilatildeo
Especiacutefico (S ndash Smart)
Claramente escrito e compreendido O resultado esperado eacute suficientemente especiacutefico para ser medido por uma frequecircncia percentagem ou nuacutemero
Mensuraacutevel (M ndash Measurable)
Eacute possiacutevel monitorar o progresso e avaliar os resultados O resultado esperado eacute definido em termos que sejam mensuraacuteveis
Apropriado (A ndash Appropriate)
O resultado esperado eacute apropriado ao acircmbito do seu trabalho e agrave missatildeo da sua organizaccedilatildeo
Realista (R ndash Realistic)
O resultado esperado pode ser alcanccedilado e estaacute dentro do controlo da sua organizaccedilatildeo Pode ser realisticamente alcanccedilado ao usar os recursos disponiacuteveis e dentro do prazo do seu plano de implementaccedilatildeo
de Tiempo limitado (T ndash Time Bound)
Foi estabelecido um prazo especiacutefico para obter o resultado esperado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 922
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
proporccedilatildeo de centros e pessoal de sauacutede que demonstram adesatildeo a padrotildees especiacuteficos de serviccedilo ou que atingiram objectivo definido
proporccedilatildeo de centros de sauacutede que seguem padrotildees definidos de gestatildeo funcional (por ex em termos de pessoal disponibilidade de medicamentos registo e apresentaccedilatildeo de relatoacuterios)
Orientaccedilatildeo adicional sobre os indicadores pode ser obtida em ldquoCompecircndio de indicadores para avaliaccedilatildeo de programas de sauacutede reprodutivardquo e ldquoLista dos indicadores sobre desenvolvimento da capacidade de gestatildeo e lideranccedilardquo
ETAPA 3 IDENTIFIQUE AS FONTES DE DADOS
Agora precisa identificar uma fonte de dados para cada indicador incluiacutedo no plano de MampA ao seleccionar dados que estejam prontamente disponiacuteveis em uma fonte confiaacutevel e dentro das possibilidades financeiras de sua organizaccedilatildeo O ideal seria escolher os dados imediatamente disponiacuteveis atraveacutes da organizaccedilatildeo em vez de dar iniacutecio a uma nova estrateacutegia de recolha de dados o que poderia ser oneroso e demorado
Uma boa forma de comeccedilar eacute com a seguinte pergunta Que dados jaacute recolhemos de forma rotineira e sistemaacutetica Vocecirc deve sempre levar em consideraccedilatildeo as vantagens e desvantagens de cada fonte de dados Consulte a secccedilatildeo ldquoComo seleccionar suas fontes de dadosrdquo para obter mais informaccedilotildees sobre as vantagens e desvantagens de algumas fontes de dados mais comuns
Vocecirc deve ser o mais especiacutefico possiacutevel sobre as fontes de dados para que a mesma fonte possa ser utilizada de forma coerente durante toda a intervenccedilatildeo Mudar as fontes de dados para o mesmo indicador pode resultar em incoerecircncias e erros de interpretaccedilatildeo Por exemplo se estiver a medir as taxas de mortalidade infantil passar de estimativas baseadas num inqueacuterito de grande escala para estimativas baseadas em estatiacutesticas hospitalares pode resultar dar a falsa impressatildeo de que houve uma mudanccedila
QUADRO 2 Qualidades de um bom indicador
Vaacutelido O indicador mede o que se pretende medir
Confiaacutevel A medida do indicador deve ser igual natildeo importa quantas vezes a medida seja feita
Preciso O indicador eacute definido em termos claros e especiacuteficos para que possa ser medido O indicador pode ser qualitativo (descritivo) discreto (SimNatildeo) ou baseado em niacuteveis quantitativos ou proporccedilotildees desde que seja claramente mensuraacutevel
Faacutecil de entender Tanto especialistas como natildeo especialistas devem poder entender o significado do indicador
Discreto O indicador captura um uacutenico componente ou aspecto de um resultado mais complexo Mede apenas uma coisa natildeo um conjunto de coisas
Em tempo haacutebil O indicador pode ser medido em intervalos temporais apropriados de acordo com a disponibilidade dos dados
Comparaacutevel Quando possiacutevel o indicador evita definiccedilotildees limitadas ou singulares cujos valores seriam difiacuteceis de comparar com outros resultados
Viaacutevel para utilizar Os dados para o indicador satildeo faacuteceis de obter de uma fonte confiaacutevel e relativamente econoacutemica ndash acessiacutevel tendo em vista os recursos da sua organizaccedilatildeo Se esses dados natildeo estiverem disponiacuteveis existem meacutetodos para obtecirc-los no futuro
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 923
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 4 DEFINA OS MEacuteTODOS DE RECOLHA DE DADOS
A etapa seguinte eacute a de definir os meacutetodos ou ferramentas que utilizaraacute para cada indicador Para os indicadores baseados em dados primaacuterios (dados que vocecirc mesmo recolhe) deve descrever o tipo de instrumento necessaacuterio para recolher os dados Os exemplos podem incluir questionaacuterios estruturados listas de verificaccedilatildeo de observaccedilatildeo directa ou balanccedilas para pesar bebeacutes
Para os dados secundaacuterios (dados recolhidos por terceiros e que estatildeo disponiacuteveis para vocecirc usar) deve explicar o meacutetodo para calcular o indicador e a fonte dos dados e fornecer detalhes suficientes sobre o meacutetodo de caacutelculo para que outros possam replicaacute-lo Lembre-se de que eacute mais faacutecil e mais barato usar dados secundaacuterios mas sua qualidade eacute menos confiaacutevel do que a dos dados primaacuterios
Tambeacutem eacute importante observar a frequecircncia da recolha dos dados para cada indicador A depender do tipo de indicador vocecirc poderaacute recolher os dados mensalmente trimestralmente anualmente ou ateacute com menos frequecircncia Ao definir o programa de recolha de dados para cada indicador leve em consideraccedilatildeo a necessidade de fornecer informaccedilotildees em tempo haacutebil aos responsaacuteveis por tomar decisotildees na sua organizaccedilatildeo Atribuir responsabilidades pela recolha de dados a indiviacuteduos ou grupos do seu pessoal garantiraacute que os dados sejam recolhidos dentro do prazo necessaacuterio
As informaccedilotildees das Etapas 1 a 4 fornecem o conteuacutedo do seu plano de monitoria e avaliaccedilatildeo A Tabela 5 mostra os elementos de um plano de MampA para um programa de mentoria cliacutenica para centros de orientaccedilatildeo e testes voluntaacuterios
ETAPA 5 RECOLHA OS DADOS DE BASE E DE ACOMPANHAMENTO
Recolher dados de base precisos eacute uma das tarefas mais importantes de MampA Os dados de base ou referecircncia satildeo o ponto de partida para definir as metas que vocecirc e sua equipa pretendem atingir e para acompanhar as mudanccedilas dos indicadores durante todo o periacuteodo de sua intervenccedilatildeo Dessa forma os dados de base ajudam a definir melhor um resultado final esperado
Vocecirc precisaraacute recolher dados de base para cada indicador antes que suas actividades comecem Esses dados identificam o ponto de partida de onde poderaacute avaliar o progresso Depois em pontos variados durante a implementaccedilatildeo vocecirc recolheraacute dados de acompanhamento sobre cada indicador para comparaacute-los com os niacuteveis de base e os resultados previstos Isto permite que vocecirc e outros tomadores de decisotildees em sua organizaccedilatildeo avaliem o progresso de cada intervenccedilatildeo ou serviccedilo e faccedilam as mudanccedilas necessaacuterias ao longo do caminho Examine o exemplo no Quadro 3
Por que acompanhar as mudanccedilas dos indicadores durante a implementaccedilatildeo Os indicadores de um plano de MampA estatildeo relacionados aos resultados imediatos (produtos) e aos resultados de meacutedio e longo prazo que os gestores precisam monitorar As mudanccedilas nos valores do indicador ao longo do tempo mostram se esses resultados estatildeo a subir ou a baixar ou se permanecem iguais Isto mostra ao gestor se as intervenccedilotildees e estrateacutegias estatildeo a funcionar conforme planeado para atingir os resultados esperados
Ao final do periacuteodo de implementaccedilatildeo precisaraacute recolher dados sobre os seus indicadores para comparar os niacuteveis finais com os niacuteveis de base e com os seus resultados esperados A depender dos seus indicadores precisaraacute tambeacutem recolher dados de acompanhamento a uma altura acordada previamente para determinar se as mudanccedilas seratildeo mantidas apoacutes o teacutermino da sua intervenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 924
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 5 Exemplo de um Plano de Monitoria e Avaliaccedilatildeo
Objectivo Os profissionais de sauacutede que receberam formaccedilatildeo aumentam sua capacidade de fornecer tratamento anti-retroviral de acordo com as directrizes nacionais
ActividadeProduto Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
CronogramaPrazo final
Cliacutenicos experientes em VIH recrutados para servir como mentores cliacutenicos em cinco hospitais regionais
Nuacutemero de mentores recrutados e designados a hospitais regionais
Registos de emprego
Como concluiacutedo Director adjunto para programas cliacutenicos
Setembro de 2008
Pessoal meacutedico em cinco hospitais regionais que recebem mentoria individual sobre terapia anti-retroviral
Nuacutemero de locais que recebem mentoria cliacutenica
Nuacutemero de meacutedicos que recebem mentoria individual
Nuacutemero de dias de mentoria cliacutenica realizados
Relatoacuterios mensais do mentor
Mensalmente Mentores Marccedilo de 2009
Resultados a meacutedio e longo prazo Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
Trabalhadores de sauacutede aumentam seu conhecimento sobre terapia anti-retroviral
80 dos participantes obtecircm 85 ou mais de pontuaccedilatildeo correcta no teste posterior
Trabalhadores de sauacutede melhoram suas habilidades no fornecimento de terapia anti-retroviral
Percentagem de habilidades demonstradas na lista de verificaccedilatildeo de competecircncia
Estudo especial Datas a definir Director adjunto para programas cliacutenicos
Fonte Centro Internacional de Formaccedilatildeo e Ensino sobre VIH p 2
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 925
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Observaccedilatildeo sobre o uso de indicadores para uma avaliaccedilatildeo A maioria dos esforccedilos de MampA enfatizam a selecccedilatildeo de indicadores bem definidos para estabelecer metas e medir as mudanccedilas nas condiccedilotildees e nos serviccedilos de sauacutede
Mas eacute importante lembrar que os indicadores servem apenas como marcadores Os dados dos indicadores fornecem pistas para saber se uma intervenccedilatildeo ou um grupo de actividades estaacute dentro do cronograma e se os resultados esperados estatildeo a ser alcanccedilados Eles natildeo respondem agraves perguntas de por que os resultados estatildeo ou natildeo a ser alcanccedilados Natildeo explicam os resultados fortuitos as relaccedilotildees entre intervenccedilotildees e resultados ou as causas de resultados percebidos que podem ocorrer fora da intervenccedilatildeo Assim natildeo podem recomendar medidas a tomar para melhorar os resultados
Os dados de indicadores devem portanto ser interpretados com cuidado Eles simplesmente indicam resultados que precisam ser melhor explorados em vez de fornecer uma avaliaccedilatildeo definitiva do sucesso ou fracasso Um estudo de avaliaccedilatildeo eacute geralmente executado para determinar se uma intervenccedilatildeo pode ser considerada um sucesso e por quecirc
Em geral agrave medida que sobe na hierarquia e passa das actividades para os resultados a longo prazo a MampA se torna mais complicada Nos niacuteveis de processo e produtos pode-se facilmente rastrear que actividades foram concluiacutedas e seus resultados imediatos Essas informaccedilotildees satildeo operacionais ndash informaccedilotildees que vocecirc pode usar para decisotildees quotidianas de gestatildeo Poreacutem para identificar e medir os resultados da sinergia dos produtos provavelmente teraacute que integrar as informaccedilotildees qualitativas e quantitativas e confiar menos em indicadores quantitativos singulares
Lembre-se de que quando uma melhoria desejada ndash seja na eficiecircncia do serviccedilo no conhecimento e comportamento dos provedores de serviccedilos ou dos beneficiaacuterios ou na tendecircncia de um problema de sauacutede ndash eacute confirmada atraveacutes de MampA isto natildeo prova que foi a intervenccedilatildeo que provocou a mudanccedila Outras coisas podem estar a se passar no serviccedilo ou no ambiente geral que causam essa mudanccedila Eacute claro que o mesmo se aplica aos resultados negativos ou resultados que indicam natildeo haver nenhuma mudanccedila nos resultados a meacutedio e longo prazo
QUADRO 3 Como usar dados de base para ajustar os resultados
Uma equipa de sobrevivecircncia infantil estaacute a propor uma intervenccedilatildeo com o seguinte resultado mensuraacutevel e especiacutefico ldquoNos proacuteximos 12 meses 40 das crianccedilas entre 12 e 24 meses de idade na aacuterea de captaccedilatildeo seratildeo completamente imunizadasrdquo
Para determinar se seu programa pode realmente atingir esse resultado o pessoal precisa medir os niacuteveis actuais de vacinaccedilatildeo Ao examinar os dados vecircem que apenas 10 das crianccedilas na aacuterea de captaccedilatildeo estatildeo completamente imunizadas ao completarem 24 meses Estes satildeo portanto seus dados de base
A gestora entende que natildeo seraacute possiacutevel atingir o objectivo de 40 de cobertura de imunizaccedilatildeo em apenas 12 meses Por isso ela e sua equipa revisam o resultado esperado e o modificam para que seja mais razoaacutevel e realista mas continue sendo significativo ldquoNos proacuteximos 12 meses 20 das crianccedilas de 12 a 24 meses na aacuterea de de actuaccedilatildeo seratildeo completamente imunizadas
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 926
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 6 COMPARTILHE E USE SEUS DADOS
Na pressa para comeccedilar a recolher dados alguns gestores se esquecem de planear um processo para reflectir sobre as informaccedilotildees e fazer mudanccedilas para aumentar a eficiecircncia das actividades Para garantir que os dados sejam natildeo soacute recolhidos mas tambeacutem utilizados pense como vocecirc e sua equipa divulgaratildeo as informaccedilotildees sobre MampA e obteratildeo retroinformaccedilatildeo dos diversos grupos de interesse Algumas perguntas baacutesicas serviratildeo para lhe orientar
Quem precisa de que tipo de informaccedilotildees e quando precisam delas Que tipo de formato deve usar para comunicar os resultados ao pessoal
aos gestores de niacutevel superior e a outros grupos de interesse importantes Eacute suficiente fazer circular um relatoacuterio ou deveria organizar uma reuniatildeo ou workshop
Deveria tambeacutem organizar reuniotildees com a comunidade para solicitar retroinformaccedilatildeo dos seus beneficiaacuterios sobre os primeiros resultados da MampA
Como deve apresentar as informaccedilotildees para que sejam uacuteteis aos diferentes tomadores de decisotildees As informaccedilotildees devem ser apresentadas visualmente em diagramas graacuteficos ou mapas Para obter orientaccedilatildeo sobre dados e resultados consulte o Guiatildeo de MampA para Facilitadores de Programas de Desenvolvimento da Lideranccedila
Uso dos resultados para melhorar os dados de rotina em acccedilatildeo ndash Um exemplo do Paquistatildeo
No Paquistatildeo com o apoio do projecto PRIDE 10 equipas de subdistritos aplicaram o Processo de Avaliaccedilatildeo e Melhoria do Desempenho em Sauacutede Puacuteblica (PIP-PH) um conjunto de procedimentos e formatos para tratar dos problemas de sauacutede que identificaram como os mais graves para as suas populaccedilotildees Usaram o PIP-PH para priorizar os problemas e serviccedilos que mais precisavam de atenccedilatildeo a curto prazo para obter melhorias
Como parte do processo PIP-PH as equipas tambeacutem conceberam um formato de Estrutura de Vigilacircncia de Sauacutede (ldquoHealth Watch Frameworkrdquo) para os seus subdistritos como um todo e para os centros de sauacutede dentro deles Cada equipa seleccionou indicadores para medir a situaccedilatildeo de dois problemas de sauacutede puacuteblica os serviccedilos essenciais a eles relacionados e as limitaccedilotildees que afectavam esses serviccedilos
As equipas usaram os formulaacuterios Health Watch para estabelecer valores de base para os indicadores e depois para monitorar esses valores agrave medida que as intervenccedilotildees prosseguiam ao longo do tempo Os centros de sauacutede revisavam e actualizavam o formulaacuterio todo mecircs as equipas do subdistrito inclusive gestores de centros de sauacutede revisavam e discutiam os formulaacuterios trimestralmente os formulaacuterios revisados
As equipas de subdistrito usaram as informaccedilotildees para analisar os motivos do progresso ou falta de progresso para poderem prestar apoio aos gestores dos centros de sauacutede O processo estimulou os gestores dos centros de sauacutede a melhorarem a integridade e precisatildeo dos dados de rotina para poderem usar as informaccedilotildees e monitorarem mais eficazmente os eventos e os serviccedilos essenciais e introduzirem as melhorias necessaacuterias
Exemplos e informaccedilotildees detalhadas sobre o PIP-PH e o Health Watch Framework aparecem no Relatoacuterio Anual do Projecto PRIDE 2007
Para se informar mais sobre meacutetodos adicionais de utilizaccedilatildeo dos dados para melhorar o desempenho de uma organizaccedilatildeo equipa serviccedilo de sauacutede ou intervenccedilatildeo consulte o processo de Avaliaccedilatildeo e Melhoria de Desempenho (Performance Assessment and Improvement ndash PAI) no website de Programa de Lideranccedila Gestatildeo e Sustentabilidade (Leadership Management and Sustainability ndash LMS)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 927
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O processo de Monitoria e Avaliaccedilatildeo deve ser executado com o objectivo de usar imediatamente os resultados para identificar as falhas de desempenho e tomar medidas para reduzir ou eliminar essas falhas Vocecirc deve sempre planear formas de usar os resultados de MampA para o aprendizado e a acccedilatildeo Por exemplo o que deve fazer se as actividades do projecto natildeo trouxerem os resultados esperados O que precisa mudar se os serviccedilos essenciais natildeo estiverem a fornecer os niacuteveis de cobertura previstos ou a alcanccedilar grupos especiacuteficos de pessoas E como vocecirc pode levar esses fatos agrave atenccedilatildeo das pessoas certas para obter uma resposta raacutepida
Desenho de uma ferramenta de MampA
ARMADILHAS DA MONITORIA E AVALIACcedilAtildeO
Haacute vaacuterias armadilhas comuns que impedem que vocecirc como gestor aperfeiccediloe a funccedilatildeo de MampA na sua organizaccedilatildeo
Planeamento excessivo ou insuficienteAlguns gestores podem gastar tempo demais a preparar o plano de MampA do que resultam planos muito elaborados e complicados de usar Outros ficam muito ansiosos por implementar as intervenccedilotildees de MampA e comeccedilam antes de concluir o plano de MampA Isso significa que quando o plano fica pronto eacute geralmente tarde demais para obter dados de base viaacuteveis e a MampA tem que ser adiada Nesses casos o gestor talvez tenha que aceitar fazer a avaliaccedilatildeo mais tarde sem os dados de base que poderia usar para a comparaccedilatildeo
Descuidar-se da monitoria contiacutenua Outra armadilha frequente eacute a falha em incluir a monitoria contiacutenua na implementaccedilatildeo das actividades Isto ocorre frequentemente por falta de experiecircncia Muitos gestores natildeo tiveram acesso a ferramentas de monitoria uacuteteis (que satildeo raras) Talvez natildeo tenham recebido prontamente os resultados ou a retroinformaccedilatildeo do sistema de MampA no passado e por isso natildeo percebem como eacute importante realizar a monitoria de rotina Aleacutem disso gestores podem facilmente se emaranhar nos detalhes da implementaccedilatildeo e descuidar-se da monitoria de rotina
Exagerar Outra armadilha relacionada agrave monitoria eacute tentar rastrear os dados de todos os indicadores possiacuteveis Tentar obter os dados sobre um nuacutemero excessivo de factores torna o processo de monitoria tatildeo complicado que se torna impreciso Isso tambeacutem torna o processo mais lento de modo que no momento em que os dados satildeo recolhidos e analisados eles jaacute natildeo satildeo mais uacuteteis As ferramentas de monitoria muito demoradas e complicadas acabam por natildeo ser usadas O que acontece entatildeo O gestor deixa totalmente de fazer a monitoria e tem que recorrer agrave avaliaccedilatildeo
Se jaacute se deparou com esses problemas eacute hora de mudar a sua taacutectica Vocecirc pode criar um plano de MampA simples e usar ferramentas de monitoria simples Descubra o que tem que medir para obter os dados dentro de 3 a 6 meses o prazo vai depender dos ciclos de planeamento e apresentaccedilatildeo de relatoacuterios da sua organizaccedilatildeo Entenda tambeacutem qual eacute o miacutenimo que deve ser medido em uma avaliaccedilatildeo de longo prazo Busque a simplicidade mesmo se estiver diante de um conjunto complexo de actividades
Tente incluir apenas o que realmente precisa saber Pode testar todos os indicadores propostos antes de incluiacute-los no planeamento de MampA ao perguntar Quem precisa usar essas informaccedilotildees quando e com que finalidade Se um uacutenico indicador de produtos for suficiente perfeito Natildeo sobrecarregue a monitoria com indicadores desnecessaacuterios Muitas vezes menos dados fornecem mais informaccedilotildees
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 928
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
CARACTERIacuteSTICAS DE UMA BOA FERRAMENTA DE MONITORIA
Como gestor natildeo precisa saber tudo para gerir um serviccedilo ou dirigir uma intervenccedilatildeo mas precisa das informaccedilotildees imediatamente Portanto precisa de uma ferramenta de monitoria que possa fornecer informaccedilotildees suficientes e em tempo haacutebil para identificar e corrigir problemas assim que eles surgirem
Uma ferramenta de monitoria deve ser faacutecil de montar e utilizar As tabelas listas de verificaccedilatildeo e diagramas simples satildeo meacutetodos particularmente uacuteteis de recolher organizar e apresentar informaccedilotildees de monitoria
No miacutenimo sua ferramenta de monitoria deve permitir que vocecirc e sua equipa acompanhem
o progresso da implementaccedilatildeo da actividade a entrega de produtos ou resultados imediatos a situaccedilatildeo dos principais indicadores de resultados comparados aos resultados
esperados se for o caso as despesas orccedilamentais a disponibilidade de recursos humanos e financeiros os obstaacuteculos agrave implementaccedilatildeo e o que tem sido feito para superaacute-los
Vocecirc teraacute que responder agraves seguintes perguntas periodicamente
As actividades foram implementadas conforme planeado dentro do prazo e do orccedilamento
Que actividades adicionais natildeo planeadas foram realizadas Que serviccedilos ou produtos directos e tangiacuteveis foram oferecidos como resultado
das actividades que implementamos Estamos dentro do cronograma para atingir nossos resultados a meacutedio e longo
prazo Possuiacutemos os recursos necessaacuterios (pessoal dinheiro medicamentos e
suprimentos etc) para cumprirmos o cronograma
O Quadro 4 apresenta os componentes baacutesicos de uma ferramenta simples de monitoria
QUADRO 4 Uma ferramenta simples de monitoria
Data de exame Metas de resultados
Actividades (segundo o plano de implementaccedilatildeo)
Situaccedilatildeo ateacute o momento
Resultados esperados
Datas para conclusatildeo
Situaccedilatildeo ateacute o momento Comentaacuterios
Desafios e oportunidades
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 929
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quando usadas correctamente as novas tecnologias (por ex os PDAs ldquosmartphonesrdquo laptops e outros) podem facilitar a monitoria e aumentar os benefiacutecios da monitoria das actividades A monitoria automatizada ndash dados que podem ser obtidos e processados automaticamente ndash podem produzir um resumo dos principais indicadores em uma soacute paacutegina faacutecil de ler e num formato que utiliza cores para alertar ao gestor sobre as aacutereas que precisam de maior atenccedilatildeo As informaccedilotildees obtidas em tempo haacutebil sobre alguns indicadores essenciais permitem que o gestor monitore o progresso e tome medidas correctivas
Essa apresentaccedilatildeo visual das informaccedilotildees mais importantes e necessaacuterias para gerir um projecto eacute geralmente conhecida como Painel de Indicadores de Desempenho Os paineacuteis de indicadores de desempenho podem ser usados em qualquer organizaccedilatildeo departamento ou divisatildeo Nas organizaccedilotildees de sauacutede puacuteblica os paineacuteis satildeo usados frequentemente para monitorar os indicadores financeiros e programaacuteticos bem como a cobertura produccedilatildeo eficaacutecia e qualidade de serviccedilos de sauacutede especiacuteficos Um painel de recursos humanos por exemplo incluiria indicadores relevantes para gerir o seguinte
retenccedilatildeo de funcionaacuterios rotatividade de funcionaacuterios formaccedilatildeo de funcionaacuterios lacunas de habilidades satisfaccedilatildeo dos funcionaacuterios custos benefiacutecios e despesas gerais com funcionaacuterios
A Tabela 6 mostra um painel de indicadores de desempenho criado para monitorar serviccedilos de contracepccedilatildeo ciruacutergica voluntaacuteria (CCV)
TABELA 6 Ilustraccedilatildeo de Painel de Indicadores de Desempenho para Serviccedilos de Contracepccedilatildeo Ciruacutergica Voluntaacuteria (CCV)
Serviccedilo Contracepccedilatildeo Ciruacutergica Voluntaacuteria Periacuteodo do Relatoacuterio Janeiro de 2009
No Indicador de Prestaccedilatildeo de Serviccedilos Custo Qualidade
Meta financeira ou programaacutetica
LimiarNuacutemero
alcanccedilado
Percentagem concluiacuteda
Miacuten Maacutex 10 20 30 40 50 60 70 80 90 100
1 Nuacutemero de CCVs realizadas no mecircs 8 10 7
2 Custo meacutedio das CCVs (US$) 100 120 110
3 Orccedilamento mensal da receita com CCVs realizadas (US$) 800 1200 770
4Percentagem das CCVs realizadas por pessoal
qualificadomdash 100 60
5 Percentagem das CCVs realizadas sem complicaccedilotildees 95 100 100
6
Percentagem de utentes satisfeitas com o tratamento
recebido do pessoal que realizou as CCVs
90 100 90
Adaptado de Colindres 2008 p 6
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 930
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja uma descriccedilatildeo do uso de um painel de indicadores de desempenho para a monitoria de rotina num estudo de caso estudo de caso de uma ONG da Boliacutevia o Centro de Investigaccedilatildeo Educaccedilatildeo e Serviccedilos (CIES)
Para obter mais informaccedilotildees de como criar um painel de indicadores consulte ldquoComo usar os paineacuteis de indicadores de desempenho para monitorar as realizaccedilotildees de uma organizaccedilatildeordquo Esse documento ajuda a esclarecer conceitos e define as etapas essenciais para criar paineacuteis de indicadores de desempenho
Como criar uma avaliaccedilatildeo para fins de aprendizagem
Apesar da importacircncia da monitoria de rotina apenas a monitoria natildeo basta para responder agrave pergunta ldquoE entatildeordquo Ou seja suas actividades e produtos contribuiacuteram para melhorar a cobertura dos serviccedilos aumentar o conhecimento ou encorajar comportamentos mais saudaacuteveis
Talvez uma campanha de comunicaccedilatildeo sobre planeamento familiar criada para aumentar a prevalecircncia do uso de contraceptivos tenha levado o governo a abastecer os depoacutesitos distritais com contraceptivos Para que possam aprender com essa experiecircncia e criar campanhas mais eficazes no futuro os gestores do projecto ainda querem saber que produtos foram realmente dispensados aos centros de sauacutede e distribuiacutedos aos utentes Esta secccedilatildeo discute como criar uma avaliaccedilatildeo para fins de aprendizagem
Existem dois motivos para levar a cabo uma avaliaccedilatildeo
1 A avaliaccedilatildeo fornece informaccedilotildees sobre o sucesso da sua equipa unidade ou organizaccedilatildeo para atingir seus objectivos Essas informaccedilotildees ajudam a definir que actividades expandir modificar ou eliminar Ela pode tambeacutem revelar formas de melhorar a concepccedilatildeo e gestatildeo das actividades futuras
2 A avaliaccedilatildeo pode demonstrar uma cultura de prestaccedilatildeo de contas agrave sua agecircncia doadora e a outros grupos de interesse nomeadamente o governo e os beneficiaacuterios dos seus serviccedilos
AVALIACcedilOtildeES FORMATIVAS E SUMATIVAS
Os gestores podem realizar dois amplos tipos de avaliaccedilotildees formativas e sumativas
Avaliaccedilatildeo formativa Este tipo de avaliaccedilatildeo eacute realizada durante o desenvolvimento e implementaccedilatildeo de um programa Seu objectivo eacute orientar o desenho e a implementaccedilatildeo de actividades que incluam as melhores e mais promissoras praacuteticas que aumentaratildeo as chances de sucesso A avaliaccedilatildeo formativa eacute mais comummente utilizada por projectos de grande porte ou de longo prazo em vez de projectos menores e de curto prazo Poreacutem os projectos menores devem pelo menos realizar uma avaliaccedilatildeo raacutepida das melhores praacuteticas durante a fase de planeamento para apoiar a loacutegica e o conteuacutedo proposto para as actividades
A avaliaccedilatildeo formativa inclui uma avaliaccedilatildeo de necessidades para discernir os desejos e requisitos de um grupo da populaccedilatildeo e determinar a melhor forma de atendecirc-los Inclui tambeacutem uma avaliaccedilatildeo de processo para investigar o processo utilizado para executar uma intervenccedilatildeo Pode-se usar a avaliaccedilatildeo do processo para determinar se as actividades foram realizadas de acordo com o plano ndash em termos de sua concepccedilatildeo original estimativas de custos e nuacutemero de pessoas a serem atendidas ndash e se a qualidade dos processos usados estaacute de acordo com as melhores praacuteticas conhecidas
A avaliaccedilatildeo de processo geralmente inclui vaacuterias abordagens Pode incluir uma avaliaccedilatildeo dos dados referentes aos produtos (por ex nuacutemero de redes mosquiteiras fornecidas nuacutemero
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 931
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
de workshops de formaccedilatildeo realizados nuacutemero de participantes dos workshops) assim como entrevistas individuais ou grupos de enfoque entre os beneficiaacuterios Nas intervenccedilotildees de menor porte eacute uma boa praacutetica realizar uma avaliaccedilatildeo de processo mesmo se limitada agrave retroinformaccedilatildeo dos participantes
Avaliaccedilatildeo somativa Este tipo de avaliaccedilatildeo eacute realizada apoacutes a conclusatildeo de um grupo de actividades ou da intervenccedilatildeo para avaliar a qualidade da intervenccedilatildeo e os seus principais resultados A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo a avaliaccedilatildeo do impacto a anaacutelise de custo-benefiacutecio e custo-eficaacutecia e a investigaccedilatildeo operacional
A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo que avalia em que medida uma equipa unidade ou organizaccedilatildeo inteira atingiram seus resultados esperados A avaliaccedilatildeo dos resultados eacute usada para demonstrar que existe uma cultura de prestaccedilatildeo de contas para aperfeiccediloar o projecto de actividades organizacionais para melhorar a distribuiccedilatildeo dos recursos e para promover intervenccedilotildees futuras bem-sucedidas As principais perguntas satildeo Que modificaccedilotildees ocorreram na vida das pessoas das famiacutelias ou da comunidade como resultado do nosso trabalho Que diferenccedila fizemos
Como observamos anteriormente neste capiacutetulo os resultados a meacutedio e longo prazo satildeo geralmente mudanccedilas mensuraacuteveis eou observaacuteveis em duas dimensotildees A primeira dimensatildeo abrange a conscientizaccedilatildeo o conhecimento as atitudes os valores e as habilidades dos participantes de um programa ou dos beneficiaacuterios dos serviccedilos durante ou depois de seu envolvimento na intervenccedilatildeo A segunda dimensatildeo implica mudanccedilas no comportamento desses mesmos grupos
Idealmente as duas dimensotildees deveriam ser medidas em trecircs pontos no comeccedilo e no final do periacuteodo de implementaccedilatildeo e se possiacutevel apoacutes um periacuteodo de acompanhamento adequado Se a mediccedilatildeo do acompanhamento natildeo for viaacutevel pelo menos devem ser comparadas as mediccedilotildees de base e poacutes-intervenccedilatildeo Muitas vezes as mudanccedilas podem ser pequenas mas deve haver alguma melhoria em pelo menos um ou dois resultados para que a intervenccedilatildeo seja considerada um sucesso
A avaliaccedilatildeo dos resultados tenta distinguir entre a influecircncia da intervenccedilatildeo nessas mudanccedilas e a influecircncia de outros factores externos Mas geralmente os avaliadores teratildeo que optar pela atribuiccedilatildeo parcial de um resultado a uma intervenccedilatildeo ou serviccedilo especiacutefico devido agrave dificuldade em determinar uma relaccedilatildeo directa e causal entre o serviccedilo prestado e uma determinada mudanccedila
As avaliaccedilotildees de resultados utilizam geralmente um desenho natildeo experimental (geralmente denominado ldquopreacute e poacutes-avaliaccedilatildeordquo) que simplesmente mede as mudanccedilas antes e depois de uma intervenccedilatildeo ou seja diferente do desenho experimental (que compara os participantes com um grupo de controlo com designaccedilatildeo aleatoacuteria a ambos os grupos) ou do desenho semi-experimental (que compara os participantes com um grupo de controlo mas sem a designaccedilatildeo aleatoacuteria)
O desenho natildeo experimental eacute aceitaacutevel para as mediccedilotildees e relatoacuterios padratildeo dos resultados a meacutedio e longo prazo As ONGs raramente usam os desenhos experimentais Apesar de uma organizaccedilatildeo de grande porte e com muitos recursos poder ocasionalmente receber assistecircncia de especialistas para um desenho experimental a maioria delas acha que as consideraccedilotildees eacuteticas e logiacutesticas impedem a designaccedilatildeo aleatoacuteria dos participantes aos grupos de intervenccedilatildeo e de controlo Aleacutem disso o custo de recolher dados de um grupo de controlo seraacute provavelmente muito elevado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 932
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A avaliaccedilatildeo do impacto eacute outro componente da avaliaccedilatildeo somativa Eacute mais ampla do que a avaliaccedilatildeo de resultados e avalia os efeitos liacutequidos ou gerais ndash tanto intencionais como natildeo intencionais ndash de todo um programa grupo de programas ou grupo de organizaccedilotildees As avaliaccedilotildees de impacto geralmente se estendem por um periacuteodo de 3 a 5 anos
OUTROS TIPOS DE AVALIACcedilOtildeES
Anaacutelise de custo-benefiacutecio e custo-eficaacutecia Estes tipos de anaacutelise tratam da eficiecircncia da intervenccedilatildeo ao analisar os resultados em termos dos seus custos financeiros e do seu valor
Investigaccedilatildeo operacional Trata-se de um balanccedilo ou avaliaccedilatildeo de uma intervenccedilatildeo especiacutefica no contexto de um programa mais amplo que estaacute a fazer vaacuterias intervenccedilotildees A investigaccedilatildeo operacional eacute usada para testar e avaliar novas abordagens de prestaccedilatildeo de serviccedilos de sauacutede Eacute tambeacutem usada para identificar problemas na prestaccedilatildeo de serviccedilos e oferecer soluccedilotildees
A investigaccedilatildeo operacional eacute uma ferramenta poderosa que os gestores de programas e os tomadores de decisotildees podem usar para melhorar e expandir os serviccedilos Os estudos de investigaccedilatildeo operacional comparam intervenccedilotildees que estatildeo dentro da esfera de influecircncia do gestor Os exemplos incluem a avaliaccedilatildeo da eficaacutecia de uma nova estrateacutegia de prevenccedilatildeo de VIHSIDA um novo curso de formaccedilatildeo um novo conjunto de procedimentos para gerir medicamentos um novo meacutetodo contraceptivo ou um novo serviccedilo de sauacutede reprodutiva
O Toolkit de Investigaccedilatildeo Operacional do Programa Horizons sobre VIHSIDA do Population Council fornece informaccedilotildees detalhadas para criar um estudo de investigaccedilatildeo operacional
CONSIDERACcedilOtildeES PARA A FORMULACcedilAtildeO DE UMA AVALIACcedilAtildeO
O que avaliar para responder agrave pergunta ldquoE entatildeordquo Se quiser saber como gestor se as suas actividades tiveram realmente sucesso precisa preparar todas as intervenccedilotildees tendo em mente a avaliaccedilatildeo e incorporar a avaliaccedilatildeo ao seu planeamento organizacional geral Ao definir objectivos deve se perguntar Como saberemos se estamos a atingir esses objectivos Este eacute o ponto de partida para a avaliaccedilatildeo
Seja qual for o porte da sua intervenccedilatildeo ou serviccedilo e o alcance da avaliaccedilatildeo precisaraacute responder a trecircs perguntas durante a fase de desenho e planeamento
1 O que a sua intervenccedilatildeo ou serviccedilo conseguiraacute realizar a curto e longo prazo Se implementar um conjunto de actividades com sucesso ao longo do tempo o que seraacute diferente
2 Como conceptualiza as suas actividades ndash qual eacute a loacutegica subjacente Duas abordagens para identificar a loacutegica do programa satildeo discutidas neste capiacutetulo na secccedilatildeo intitulada Ferramentas e Abordagens Praacuteticas para MampA
3 Que indicadores pode usar para identificar o progresso no alcance dos resultados
Para responder agrave pergunta ldquoE entatildeordquo vocecirc precisa avaliar os factores sobre os quais tem um niacutevel razoaacutevel de controlo Por exemplo um novo serviccedilo criado para oferecer alojamento a pessoas que vivem com SIDA natildeo pode controlar ou afectar a expectativa de vida das pessoas agraves quais atende Mas ao fornecer um ambiente estaacutevel para elas viverem o serviccedilo pode diminuir o niacutevel de stresse e melhorar a qualidade de vida dessas pessoas que antes eram forccediladas a se mudar com frequecircncia
Depois de tratar da pergunta ldquoE entatildeordquo deve tambeacutem se certificar de que a avaliaccedilatildeo seja concebida de forma que quando o processo estiver concluiacutedo vocecirc possa abordar os cinco toacutepicos principais da avaliaccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 933
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
1 Relevacircncia Foi uma boa ideia fazer a intervenccedilatildeo considerando-se a situaccedilatildeo e a necessidade de melhorias Ela tratou das prioridades do grupo alvo ou beneficiaacuterio Por que sim ou por que natildeo
2 Eficaacutecia Os resultados produtos e actividades foram realizados Por que sim ou por que natildeo A loacutegica da intervenccedilatildeo eacute correcta
3 Eficiecircncia Os insumos (recursos e tempo) foram usados da melhor forma possiacutevel para atingir os resultados a meacutedio e longo prazo Por que sim ou por que natildeo O que vocecirc e sua equipa poderiam fazer de modo diferente no futuro para maximizar os resultados a um custo aceitaacutevel
4 Impacto Em que medida a sua intervenccedilatildeo contribuiu para as metas nacionais ou de longo prazo Que consequecircncias natildeo intencionais (positivas ou negativas) suas actividades tiveram Por que essas consequecircncias aconteceram
5 Sustentabilidade Eacute provaacutevel que os resultados positivos continuem depois que sua intervenccedilatildeo terminar Por que sim ou por que natildeo
Uma uacuteltima advertecircncia assim como a monitoria pode-se complicar demasiado a avaliaccedilatildeo Ao preparar um plano de avaliaccedilatildeo o melhor eacute seleccionar um grupo pequeno de indicadores e resistir agrave tentaccedilatildeo de avaliar todos os aspectos da sua intervenccedilatildeo
Assim como a monitoria a avaliaccedilatildeo soacute eacute uacutetil se as informaccedilotildees forem repassadas em tempo haacutebil para o gestor e outros tomadores de decisotildees e grupos de interesse Um problema comum com as avaliaccedilotildees intercalares eacute que os resultados geralmente soacute satildeo informados de 6 a 8 meses mais tarde o que deixa apenas 1 ou 2 anos para fazer mudanccedilas mais permanentes antes que se esgotem os fundos do governo ou da agecircncia doadora
COMO SELECCIONAR SUAS FONTES DE DADOS
Esta secccedilatildeo descreve trecircs tipos de fontes de dados que satildeo comummente usadas para uma avaliaccedilatildeo dados recolhidos rotineiramente inqueacuteritos de grande escala e teacutecnicas de avaliaccedilatildeo raacutepida inclusive a avaliaccedilatildeo participativa
Dados de rotina Os dados recolhidos e analisados rotineiramente por um SIS satildeo denominados ldquoestatiacutesticas de serviccedilordquo Pode-se utilizar vaacuterios sistemas de informaccedilatildeo de serviccedilos de rotina para monitorar os serviccedilos Alguns deles satildeo o sistema baacutesico de registo e relatoacuterio de SIS os sistemas especiais de relatoacuterios sobre programas (por ex tuberculose malaacuteria imunizaccedilatildeo VIH planeamento familiar etc) os sistemas de relatoacuterios sobre agentes comunitaacuterios especiais (por ex registos de agentes comunitaacuterios de sauacutede) o sistema de informaccedilotildees para a vigilacircncia de doenccedilas e o controlo notificaccedilatildeo e resposta a surtos e os relatoacuterios para os sistemas de suporte especiais (por ex medicamentos encaminhamentos e gestatildeo financeira e de recursos humanos)
Esses sistemas fornecem dados que estatildeo imediatamente disponiacuteveis e cujo objectivo eacute informar o que estaacute a acontecer no sector de sauacutede Os dados de rotina incluem por exemplo o nuacutemero de consultas de preacute-natal em uma cliacutenica o nuacutemero e tipo de vacinaccedilotildees fornecidas no local ou o nuacutemero e tipos de contraceptivos fornecidos mensalmente
Os dados sobre os serviccedilos satildeo geralmente recolhidos pelos centros de sauacutede ou postos de sauacutede e enviados para o proacuteximo niacutevel superior do sistema (geralmente o distrito) para serem agregados Esses dados podem entatildeo ser enviados ao proacuteximo niacutevel superior (regional ou provincial) para posterior agregaccedilatildeo antes que cheguem finalmente ao niacutevel central do Ministeacuterio da Sauacutede
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 934
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Idealmente os gestores de centros de sauacutede e ao niacutevel do distrito usam esses dados para orientar as operaccedilotildees diaacuterias acompanhar o desempenho e a prestaccedilatildeo de contas e tomar decisotildees que continuem a melhorar o desempenho Mas haacute vaacuterios obstaacuteculos a essa utilizaccedilatildeo
Muito frequentemente os dados de rotina satildeo imprecisos ou incompletos Apesar dos que utilizam o SIS tentarem produzir informaccedilotildees de alta qualidade e em tempo haacutebil haacute muitas oportunidades de introduzir erros Pode haver pouco apoio para que os gestores e seu pessoal se concentrem nos procedimentos correctos de recolha registo e agregaccedilatildeo dos dados
Os sistemas de sauacutede de vaacuterios paiacuteses enfatizam a importacircncia de apresentar relatoacuterios para os niacuteveis superiores mas natildeo estabeleceram procedimentos e incentivos para encorajar aqueles que fornecem informaccedilotildees a utilizaacute-las mesmo quando os dados satildeo de boa qualidade
Outra dificuldade eacute que as estatiacutesticas sobre serviccedilos fornecem informaccedilotildees apenas sobre os utentes que utilizam os serviccedilos de sauacutede Natildeo podem fornecer informaccedilotildees sobre as muitas pessoas que natildeo utilizam os serviccedilos
Por tudo isso natildeo se pode confiar apenas nas estatiacutesticas sobre serviccedilos para fazer uma avaliaccedilatildeo Elas satildeo melhor utilizadas para a monitoria de rotina dos problemas de sauacutede puacuteblica e dos serviccedilos essenciais relacionados
Inqueacuteritos em grande escala Os inqueacuteritos em grande escala satildeo outra fonte de informaccedilotildees imediatamente disponiacuteveis Incluem inqueacuteritos de base populacional tais como as Inqueacuterito Demograacutefico e de Sauacutede (IDS) dos EUA avaliaccedilotildees completas de centros de sauacutede como a Anaacutelise de Situaccedilatildeo do Population Council e os censos nacionais Em vaacuterios casos os gestores podem usar os dados de um inqueacuterito em grande escala existente para fornecer o contexto para a interpretaccedilatildeo dos dados capturados atraveacutes das suas proacuteprias avaliaccedilotildees
Por exemplo as IDS satildeo realizadas periodicamente para caracterizar a situaccedilatildeo de sauacutede em um paiacutes ou regiatildeo geograacutefica de grande extensatildeo para vaacuterios grupos populacionais homens mulheres crianccedilas bebeacutes e assim por diante Mas os dados das IDS natildeo podem normalmente ser desagregados para uso pelos gestores no niacutevel de distrito ou comunidade
Aleacutem disso como as IDS satildeo realizadas apenas a cada trecircs ou cinco anos as informaccedilotildees que fornecem podem natildeo estar suficientemente actualizadas para as necessidades de avaliaccedilatildeo dos gestores Apesar dessas dificuldades os dados das IDS satildeo uacuteteis para compreender tendecircncias regionais ou nacionais que podem ajudar a explicar dados recolhidos em uma avaliaccedilatildeo de foco especiacutefico
Avaliaccedilotildees raacutepidas Satildeo formas raacutepidas e econoacutemicas de obter informaccedilotildees para a tomada de decisotildees principalmente ao niacutevel da actividade Os exemplos incluem entrevistas quando os utentes saem de suas consultas as avaliaccedilotildees de pequena escala dos centros de sauacutede os inqueacuteritos raacutepidos por amostragem o exame analiacutetico de registos as entrevistas com grupos de enfoque e outros meacutetodos participativos
Poderaacute usar teacutecnicas de avaliaccedilatildeo raacutepida para complementar as informaccedilotildees obtidas com dados de rotina ou inqueacuteritos de grande escala As avaliaccedilotildees raacutepidas podem-lhe fornecer informaccedilotildees valiosas sobre sua aacuterea de captaccedilatildeo e sua aacuterea de responsabilidade mais ampla ndash ou seja as comunidades e as populaccedilotildees que deveriam ter acesso aos serviccedilos essenciais prestados por um centro de sauacutede determinado Elas podem tambeacutem fornecer contexto e uma compreensatildeo qualitativa dos dados quantitativos recolhidos pelos meacutetodos mais formais
Dentro da categoria de avaliaccedilotildees raacutepidas os meacutetodos participativos e os inqueacuteritos raacutepidos por amostragem merecem a sua atenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 935
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Meacutetodos participativos (tambeacutem chamados de aprendizagem e acccedilatildeo participativas) Essas teacutecnicas e meacutetodos visam incorporar o conhecimento e as opiniotildees dos membros da comunidade no planeamento e gestatildeo de projectos de desenvolvimento no esforccedilo para influenciar as poliacuteticas e na implementaccedilatildeo de programas Eles permitem incluir vozes da comunidade nas poliacuteticas no planeamento e nos inqueacuteritos e criam um senso de propriedade e participaccedilatildeo nos resultados de MampA e nas recomendaccedilotildees feitas pela organizaccedilatildeo e por seus beneficiaacuterios
Ao contraacuterio de outras teacutecnicas de avaliaccedilatildeo raacutepida os meacutetodos participativos natildeo se baseiam em amostragens Eles usam entrevistas individuais ou com informantes essenciais (inclusive entrevistas com utentes ao saiacuterem de suas consultas) entrevistas em grupo estudos de caso e outros meacutetodos qualitativos para identificar as condiccedilotildees locais e entender as perspectivas e prioridades locais
Em vaacuterios locais haacute membros da comunidade que natildeo podem ler nem escrever e por isso os meacutetodos participativos dependem frequentemente da comunicaccedilatildeo oral com apoio de imagens siacutembolos objectos fiacutesicos e memoacuteria colectiva
Os meacutetodos participativos podem ser usados antes durante e apoacutes a implementaccedilatildeo de uma intervenccedilatildeo ou um conjunto de actividades Eles fornecem informaccedilotildees para o projecto e a avaliaccedilatildeo e permitem a participaccedilatildeo activa das partes interessadas na tomada de decisotildees Durante a implementaccedilatildeo os meacutetodos participativos satildeo uacuteteis para identificar e solucionar problemas
Aproveite para examinar e utilizar uma lista de recursos online sobre inqueacuterito qualitativo e directrizes sobre discussotildees em grupos de enfoque no Community Tool Box da Universidade de Kansas
Inqueacuteritos raacutepidos por amostragem Estes inqueacuteritos podem ser utilizados para recolher informaccedilotildees padronizadas de uma amostra pequena e cuidadosamente seleccionada de pessoas ou domiciacutelios em uma aacuterea beneficiaacuteria Eles podem descrever as condiccedilotildees em uma comunidade particular ou grupo-alvo e permitem comparar grupos diferentes em um determinado momento ou mudanccedilas no mesmo grupo ao longo do tempo Permitem tambeacutem comparar condiccedilotildees actuais com os resultados planeados
Um dos inqueacuteritos mais comuns de pequena amostragem eacute o inqueacuterito CAP (Conhecimentos Atitudes e Praacuteticas) baseado em uma amostra de 30 agrupamentos
Amostragem para Garantia de Qualidade de Lotes (Lot Quality Sampling - LQAS) Essa eacute outra teacutecnica de avaliaccedilatildeo raacutepida que se usa cada vez mais na aacuterea de sauacutede puacuteblica A LQAS utiliza amostragens muito pequenas para obter informaccedilotildees confiaacuteveis em uma pequena aacuterea geograacutefica ou unidade administrativa Pode ser usada para detectar de forma precisa os extremos do desempenho ndash para determinar se uma intervenccedilatildeo foi mais aleacutem de um limiar superior de desempenho ou natildeo conseguiu atingir um limiar inferior de desempenho em termos de qualidade ou cobertura As amostras de lotes podem tambeacutem ser combinadas para fornecer estimativas de cobertura em uma aacuterea geograacutefica mais ampla
Uma busca na Web revelaraacute recursos uacuteteis aqui temos um sobre os inqueacuteritos CAP e outro sobre LQAS A aacuterea de MampA do website do CORE Group inclui ligaccedilotildees com ferramentas e recursos importantes para a avaliaccedilatildeo raacutepida criados pelo Grupo de Trabalho de MampA do CORE Group
Como gestor deve revisar todas as fontes de dados jaacute existentes antes de planear a sua avaliaccedilatildeo A Tabela 7 apresenta as vantagens e desvantagens das trecircs principais fontes de
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 936
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 7 Resumo das trecircs fontes de dados mais comuns para uma avaliaccedilatildeo
Fonte de dados Vantagens Limitaccedilotildees
Estatiacutesticas de serviccedilo Dados sobre a populaccedilatildeo de utentes e serviccedilos cliacutenicos que satildeo recolhidos rotineiramente nos registos dos utentes e nos registos cliacutenicos
Disponiacuteveis imediatamente
Cobrem todos os tipos de serviccedilos de sauacutede e todas as aacutereas do paiacutes
Podem ser desagregados para os niacuteveis local e de distrito
Uso econoacutemico
Soacute lhe informam sobre clientes actuais sem informaccedilotildees sobre as pessoas que natildeo usam os serviccedilos de sauacutede e podem ser utentes em potencial
Natildeo fornecem informaccedilotildees sobre valores percepccedilotildees ou comportamentos da comunidade
Natildeo reflectem as pessoas que optam por fontes privadas de serviccedilos
Podem ser inexactas se os locais de prestaccedilatildeo de serviccedilos natildeo registarem os dados correctamente de forma legiacutevel e em tempo haacutebil
Inqueacuteritos de grande escala Inqueacuteritos de base populacional e avaliaccedilotildees de grande escala dos centros de sauacutede
Dados relevantes precisos e confiaacuteveis
Podem medir as tendecircncias nacionais de sauacutede identificar aacutereas com problemas e ajudar a concentrar os recursos do paiacutes em aacutereas de maior carecircncia
Geram valores meacutedios para as aacutereas urbanas e rurais regiotildees e proviacutencias
Fornecem um contexto para interpretar os dados recolhidos localmente
Podem gerar informaccedilotildees adicionais a partir dos seus conjuntos de dados informatizados
Geralmente natildeo podem desagregar os dados para fornecer meacutedias para as aacutereas sub-regionais (distritos ou municipalidades)
Geralmente natildeo satildeo realizadas anualmente os dados se tornam desactualizados rapidamente se as populaccedilotildees ou condiccedilotildees de sauacutede se modificarem rapidamente
Avaliaccedilotildees raacutepidas Meacutetodos focados para avaliar as necessidades locais e tomar decisotildees em acircmbito local
Raacutepidas e econoacutemicas
Resultam em acccedilatildeo local
Haacute directrizes para ajudar os gestores em vaacuterias dessas teacutecnicas
Fornecem aos gestores a capacidade de recolher os dados necessaacuterios
Os inqueacuteritos domiciliares (por ex LQAS ou CAP) podem obter precisatildeo suficiente para fins de avaliaccedilatildeo
Equilibra a necessidade de resultados representativos e objectivos com a necessidade de usar projectos levemente menos rigorosos que satildeo mais viaacuteveis em aacutereas locais
Usam escala e acircmbito reduzidos para produzir resultados em tempo haacutebil e de baixo custo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 937
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
dados que foram discutidas acima estatiacutesticas rotineiras de serviccedilos inqueacuteritos em grande escala e teacutecnicas de avaliaccedilatildeo raacutepida
Que niacutevel de qualidade os dados do SIS precisam ter para serem uacuteteis ndash que niacutevel de abrangecircncia precisatildeo e apresentaccedilatildeo em tempo haacutebil Para as suas necessidades de gestatildeo mesmo que natildeo sejam perfeitos os dados podem ser suficientemente bons para ter um efeito poderoso como nos mostra o exemplo de Madagascar
Dados do SIS pontos fortes e limitaccedilotildees
Subestimar o valor e a utilidade do SIS eacute infelizmente uma tendecircncia Eacute verdade que o SIS tem problemas frequentemente mas tambeacutem eacute grande o seu potencial Como vimos em
Como usar e melhorar dados imperfeitos do SIS ndash Um exemplo de Madagascar
Um SIS de base comunitaacuteria mais preciso e mais oportuno Um projecto de Madagascar implementou um meacutetodo baseado na comunidade para aumentar o uso de meacutetodos de planeamento familiar denominado ldquoComunidades Campeatildesrdquo em 50 dos 110 distritos do paiacutes O meacutetodo utilizou exclusivamente os dados do SIS para monitorar e avaliar as realizaccedilotildees das comunidades participantes
Em primeiro lugar foi estabelecida uma base de referecircncia para cada comunidade ao usar os dados do seu centro de sauacutede Em seguida o pessoal do centro de sauacutede e os representantes da comunidade identificaram metas para 10 indicadores que determinariam se uma comunidade tinha alcanccedilado a posiccedilatildeo de campeatilde apoacutes 12 meses de implementaccedilatildeo Cada comunidade monitorava seu proacuteprio progresso em uma reuniatildeo trimestral de verificaccedilatildeo
Apoacutes 12 meses o pessoal do projecto voltou a cada comunidade para avaliar os resultados Examinaram os dados do relatoacuterio de monitoria de rotina de cada centro de sauacutede e para cada indicador Prepararam tambeacutem um relatoacuterio sobre os dados de cada comunidade e o enviaram para o supervisor de niacutevel distrital para a sua confirmaccedilatildeo com base nos registos informatizados do distrito As fontes de dados para os relatoacuterios do centro de sauacutede e registos de distrito foram as mesmas (registos dos centros de sauacutede) e por isso raramente ocorreu uma discrepacircncia Mas o que interessava era envolver o supervisor distrital no exame dos dados do centro de sauacutede para mostrar a utilidade de se usar ateacute mesmo dados simples nesse niacutevel
O projecto tambeacutem cooperou com o Ministeacuterio da Sauacutede a niacutevel distrital para melhorar a precisatildeo a abrangecircncia e a prontidatildeo do SIS A ecircnfase era obter dados mais completos dos centros de sauacutede e reduzir o tempo gasto pelo escritoacuterio distrital para receber o relatoacuterio do centro de sauacutede apreciaacute-lo devolvecirc-lo ao centro para qualquer correcccedilatildeo recebecirc-lo novamente dar entrada dos dados no sistema e finalmente enviaacute-los ao niacutevel central Os distritos satildeo responsaacuteveis por cooperar com os centros de sauacutede para melhorar o registo de dados e actualizar suas proacuteprias teacutecnicas de processamento de dados
Apoacutes dois anos de assistecircncia teacutecnica o SIS tinha realmente melhorado segundo os indicadores de precisatildeo abrangecircncia e prontidatildeo As melhorias mais notaacuteveis foram em prontidatildeo o tempo gasto pelo escritoacuterio distrital no processo descrito acima reduziu-se de 12 para 3 meses
Imperfeitas mais mesmo assim valiosos Deve-se lembrar que o projecto ldquoComunidades Campeatildesrdquo teve oacuteptimo resultado apesar dos dados imperfeitos Seu numerador (o nuacutemero de utentes regulares de planeamento familiar) era detalhado e preciso Mas suas estimativas das taxas de prevalecircncia do uso de contraceptivos natildeo eram muito precisas porque o denominador (nuacutemero de mulheres em idade reprodutiva) era apenas uma estimativa baseada num censo desactualizado e em estimativas anuais do governo sobre percentagens de crescimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 938
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Madagascar o projecto Comunidades Campeatildes melhorou o sistema substancialmente num periacuteodo de dois anos Nesse caso o sistema jaacute se encontrava relativamente funcional porque projectos anteriores haviam feito um grande esforccedilo para implantar o sistema e tornaacute-lo mais soacutelido Ao aprimorar a forma como o sistema era administrado e os dados eram usados o projecto posterior conseguiu fazer uma grande diferenccedila por meio de pequenas modificaccedilotildees
Os dados do SIS natildeo satildeo 100 exactos e nunca seratildeo Esta eacute a realidade com a qual todos os gestores tecircm que trabalhar Mas os dados natildeo precisam ser perfeitos para serem uacuteteis Eacute possiacutevel fazer a monitoria e a gestatildeo com dados imperfeitos Informaccedilotildees obtidas em tempo
(continuaccedilatildeo)
No entanto o projecto constatou que as taxas de prevalecircncia de uso de contraceptivos eram suficientemente boas para acompanhar o desempenho das comunidades que participavam do meacutetodo de Comunidades Campeatildes O pessoal do projecto tambeacutem complementou as comparaccedilotildees dessas taxas com as comparaccedilotildees dos valores do numerador nuacutemeros simples que faziam sentido para o pessoal do centro de sauacutede e tambeacutem para as comunidades
O niacutevel central comeccedilou a organizar workshops regionais trimestrais para divulgar os resultados ao niacutevel distrital Juntos os gestores dos niacuteveis distritais regionais e centrais analisaram o progresso e classificaram os distritos com base no seu desempenho Usaram a anaacutelise de causa-raiz ndash um processo que identifica as causas subjacentes de um problema ndash para entender os obstaacuteculos enfrentados pelos distritos que apresentavam baixo desempenho (Consulte o Apecircndice A no Capiacutetulo 2 deste guia para obter mais informaccedilotildees sobre a anaacutelise de causa-raiz) Finalmente o Ministeacuterio de Sauacutede mobilizou o apoio de agecircncias doadoras e de organizaccedilotildees parceiras para ajudaacute-los a melhorar
O ministeacuterio comeccedilou a usar as informaccedilotildees de sauacutede para administrar realmente o sistema de sauacutede Antes dessa intervenccedilatildeo poucas organizaccedilotildees confiavam ou utilizavam os dados do SIS Mas quando ficou claro que o sistema funcionava as agecircncias doadoras passaram a confiar as organizaccedilotildees parceiras passaram a utilizaacute-lo e o ministeacuterio se orgulhou do trabalho Pela primeira vez tinham uma visatildeo mais niacutetida do que acontecia em todo o paiacutes e podiam usar essas informaccedilotildees para buscar o apoio de agecircncias doadoras se necessaacuterio
Do mesmo modo os centros de sauacutede raramente usavam seus proacuteprios dados Eles simplesmente faziam os registos e os enviavam para o escritoacuterio distrital sem nem mesmo receber retroinformaccedilatildeo do mesmo Apoacutes a conclusatildeo do projecto perceberam como os dados mais precisos podiam ser usados em seu benefiacutecio e das comunidades
Os distritos tambeacutem actuavam antes de uma forma pouco informada Cada distrito dependia apenas dos seus proacuteprios dados e funcionava num vaacutecuo As mudanccedilas no SIS e o encorajamento do governo central forneceram aos distritos oportunidades para comparar seu trabalho e aprender uns com os outros
Aprendizagem com dados mais precisos completos e oportunos Os dados satildeo geralmente utilizados para fazer comparaccedilotildees mas satildeo menos frequentemente utilizados como ferramenta de aprendizagem Nesse caso depois que os relatoacuterios comeccedilaram a chegar dentro do prazo o Ministeacuterio da Sauacutede usou os dados ndash inclusive dados imperfeitos ndash para descobrir que distritos tinham um desempenho ruim e que distritos estavam melhor que os outros Assim aprenderam com os de melhor desempenho ao perguntar Por que seus resultados satildeo tatildeo bons O que estavam a fazer de diferente O que poderia ser replicado Finalmente aplicaram a aprendizagem ao usar esses distritos como modelos e ao oferecer mais apoio aos de pior desempenho
Todo o sistema de sauacutede se entusiasmou com as informaccedilotildees que podiam produzir e usar A comeccedilar do topo esse entusiasmo chegou aos niacuteveis inferiores e os motivou a melhorar sua recolha e processamento de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 939
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
haacutebil e com 75 de precisatildeo satildeo melhores que as informaccedilotildees com 95 de precisatildeo que chegam com vaacuterios meses de atraso
Apesar do seu grande valor por si soacutes os dados do SIS natildeo atenderatildeo a todas as necessidades de informaccedilatildeo de muitas organizaccedilotildees Algumas organizaccedilotildees e agecircncias doadoras precisam de dados que exigem avaliaccedilotildees ou sistemas especiais Aleacutem disso vaacuterias intervenccedilotildees foram projectadas para modificar o conhecimento as atitudes e as praacuteticas dos beneficiaacuterios factores que natildeo satildeo capturados nos dados de serviccedilo Eacute importante usar os dados do SIS sempre que possiacutevel e complementaacute-los com avaliaccedilotildees locais quando necessaacuterio
Como gestor de um programa de sauacutede ou de serviccedilos de sauacutede parte do seu trabalho deveria ser o de melhorar o SIS em seu paiacutes Ele eacute o uacutenico sistema de informaccedilotildees sustentaacutevel na maioria dos paiacuteses Os sistemas de informaccedilatildeo criados e mantidos por agecircncias doadoras ou organizaccedilotildees externas tecircm duraccedilatildeo limitada mas o SIS eacute parte permanente do seu legado
Se todos os parceiros e agecircncias doadoras trabalharem com o Ministeacuterio de Sauacutede para prestar assistecircncia teacutecnica e financeira ao SIS ele poderaacute render informaccedilotildees que trazem grandes melhorias para os serviccedilos de sauacutede e que justificam plenamente o investimento no mesmo
Praacuteticas comprovadas
Um sistema de MampA deveria proporcionar aos gestores o que eles precisam saber para agir Deve se basear em indicadores relevantes faacuteceis de usar e que possam ser fornecidos em tempo haacutebil para os ciclos de planeamento e apresentaccedilatildeo de relatoacuterios
Os resultados de MampA natildeo se destinam apenas ao pessoal de MampA da sua organizaccedilatildeo ou agrave agecircncia doadora As informaccedilotildees de MampA satildeo um recurso fundamental para as acccedilotildees e a aprendizagem Se o seu processo de MampA tiver mecanismos de retroinformaccedilatildeo que permitam aos tomadores de decisotildees reflectirem sobre os resultados e absorverem o que precisam para seus proacuteprios fins eles assumiratildeo o controlo do processo e utilizaratildeo o que ele oferecer
Se vocecirc define suas actividades de MampA no comeccedilo de uma intervenccedilatildeo ou projecto junto com o plano de acccedilatildeo para o projecto teraacute mais oportunidades de orientar e acompanhar a implementaccedilatildeo das actividades
Quando satildeo demasiado elaborados e complicados os planos de MampA natildeo satildeo usados Elabore um plano de MampA simples escolha ferramentas de monitoria faacuteceis de usar e seleccione a menor quantidade possiacutevel de indicadores para acompanhar o progresso e introduzir as mudanccedilas necessaacuterias ao longo do caminho
Para fortalecer um SIS eacute preciso trabalhar com as pessoas envolvidas os responsaacuteveis pelo sistema que registam transferem analisam comunicam e utilizam os dados e as informaccedilotildees para a gestatildeo dos serviccedilos
Ao fornecer os dados do SIS para os tomadores de decisotildees vocecirc deve reconhecer as diferenccedilas na frequecircncia dos relatoacuterios e nas quantidades de dados agregados e desagregados necessaacuterios aos niacuteveis diferentes de governo ou agraves organizaccedilotildees natildeo governamentais
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 919
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 3 Etapas para elaborar e usar um Plano de MampA
Etapas Recomendaccedilotildees
1 Definir os resultados esperados
Os resultados devem ser identificados de acordo com o acircmbito e o periacuteodo de tempo da sua intervenccedilatildeo
Os resultados devem atender aos criteacuterios SMART (Especiacuteficos Mensuraacuteveis Apropriados Realistas de Prazo Definido)
2 Seleccionar os indicadores
Os indicadores devem possuir as qualidades de um bom indicador
Os indicadores devem ser acessiacuteveis faacuteceis de recolher e comparaacuteveis ao longo do tempo e em diferentes locais
Para os problemas de sauacutede prioritaacuterios e os serviccedilos essenciais use indicadores criacuteticos nacionais ou padratildeo
Seleccione um nuacutemero miacutenimo de indicadores essenciais e procure garantir que os indicadores seleccionados sejam realmente necessaacuterios para medir seus resultados esperados
3 Identificar as fontes de dados
Identifique de onde viratildeo os dados para cada indicador Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos organizacionais utentes ou a comunidade
4 Definir os meacutetodos de recolha dos dados
Seleccione o meacutetodo mais apropriado e confiaacutevel para a recolha de dados para cada indicador Estes meacutetodos podem incluir a anaacutelise de registos ou diaacuterios de estatiacutesticas de serviccedilo o uso de listas de verificaccedilatildeo para fins de observaccedilatildeo as entrevistas de utentes ao saiacuterem da cliacutenica ou um modelo de inqueacuterito de dados comunitaacuterios
Decida sobre a frequecircncia da recolha de dados Poderaacute recolher apenas os dados de base ou referecircncia e os dados apoacutes a intervenccedilatildeo ou talvez precise recolher dados diaacuterios mensais ou trimestrais dependendo do tipo de indicador
Para cada indicador designe a responsabilidade pela recolha a um escritoacuterio equipa ou pessoa especiacuteficos
5 Recolher os dados de base (ou referecircncia) e os dados apoacutes a intervenccedilatildeo
Entenda que os resultados de base seratildeo usados para definir os seus alvos
Defina claramente a duraccedilatildeo coberta pelos dados de base jaacute que precisa de um periacuteodo semelhante para a comparaccedilatildeo ao final do periacuteodo de implementaccedilatildeo
Use a mesma metodologia e ferramentas para a recolha de dados que as usadas para os dados de base e as medidas poacutes-intervenccedilatildeo
6 Compartilhar e utilizar os seus resultados
Marque reuniotildees workshops e apresentaccedilatildeo de relatoacuterios para mostrar os resultados ao pessoal do projecto agrave direcccedilatildeo da organizaccedilatildeo e a outros grupos de interesse importantes
Apresente as opccedilotildees de aprendizado e acccedilatildeo com base nos resultados de MampA
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 920
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para determinar em que niacutevel deve monitorar e avaliar seus resultados eacute uacutetil examinar novamente e expandir a cadeia de resultados a comeccedilar da direita pelo resultado final (impacto) e voltar ateacute os materiais e recursos (insumos) necessaacuterios
Insumos rarr Processos rarr Produtos rarr Resultados rarr Impacto
Impacto Esses resultados satildeo medidos ao niacutevel da populaccedilatildeo levam um tempo relativamente longo para serem alcanccedilados (geralmente 3 a 5 cinco anos) e exigem o esforccedilo conjunto de vaacuterias intervenccedilotildees e mesmo de vaacuterias organizaccedilotildees Como gestor vocecirc poderaacute ser responsaacutevel por medir o impacto mas deve incluiacute-lo na loacutegica do seu plano de MampA para saber o que a sua organizaccedilatildeo e os parceiros da organizaccedilatildeo pretendem alcanccedilar a longo prazo
Resultados a meacutedio e longo prazo Na maioria dos casos os gestores satildeo responsaacuteveis por medir os resultados nos niacuteveis de produtos eou resultados a meacutedio e longo prazo Os resultados a meacutedio e longo prazo satildeo obtidos pelas actividades criadas para produzir uma mudanccedila de comportamento nos profissionais de sauacutede ou nos utentes Satildeo geralmente medidos em termos de mudanccedilas na cobertura de serviccedilos e mudanccedilas nos conhecimentos atitudes e praacuteticas de uma populaccedilatildeo beneficiaacuteria Um resultado a meacutedio e longo prazo pode ser o iniacutecio de uma praacutetica comprovada de prestaccedilatildeo de serviccedilos a adopccedilatildeo de novas estrateacutegias de gestatildeo ou a elaboraccedilatildeo bem-sucedida de uma poliacutetica de promoccedilatildeo da sauacutede Pode tambeacutem ser um aumento no nuacutemero de mulheres que datildeo agrave luz em um centro de sauacutede ou no nuacutemero de crianccedilas totalmente imunizadas Na maioria dos casos eacute possiacutevel estabelecer uma relaccedilatildeo clara entre produtos e resultados a meacutedio e longo prazo
Produtos Os produtos ou resultados imediatos satildeo fruto directo das actividades Devem ser monitorados durante toda a implementaccedilatildeo como um elemento essencial da boa gestatildeo Os planos de MampA devem definir o produto esperado de cada actividade Para as unidades de prestaccedilatildeo de serviccedilos isso geralmente significa os resultados imediatos em termos dos serviccedilos (por exemplo nuacutemero de utentes atendidos ou tempo de espera dos clientes ou utentes) Para as organizaccedilotildees que natildeo prestam serviccedilos de sauacutede directamente isso pode significar a distribuiccedilatildeo de produtos de sauacutede ou serviccedilos de formaccedilatildeo (por exemplo quantidade de produtos para planeamento familiar distribuiacutedos ou nuacutemero de participantes formados)
Processos A monitoria de processos ou actividades eacute em grande parte uma medida da cultura de prestaccedilatildeo de contas (ou grau de responsabilizaccedilatildeo) ao garantir que as actividades sejam realizadas dentro do prazo e com recursos suficientes A monitoria nesse niacutevel acompanha o progresso da implementaccedilatildeo tendo como referecircncia os prazos propostos e o uso dos recursos tendo como referecircncia os orccedilamentos Eacute geralmente executada atraveacutes da apresentaccedilatildeo de relatoacuterios tradicionais trimestrais semestrais e anuais
Insumos Ao preparar uma intervenccedilatildeo deve identificar a quantidade e os tipos de recursos necessaacuterios para implementar as actividades O desempenho pode ser monitorado em termos da quantidade e dos tipos de insumos fornecidos e do nuacutemero e timing das actividades realizadas
A etapa seguinte na definiccedilatildeo dos resultados esperados eacute garantir que cumpram os criteacuterios SMART (consulte a Tabela 4) Eacute possiacutevel monitorar e avaliar o progresso no alcance de um resultado apenas se esse resultado tiver sido definido em termos mensuraacuteveis
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 921
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja a seguir um exemplo de um resultado mensuraacutevel para uma intervenccedilatildeo cujo propoacutesito eacute promover a cobertura de imunizaccedilatildeo em crianccedilas de 12 a 24 meses de idade A percentagem de crianccedilas de 12 a 24 meses totalmente vacinadas na aacuterea de captaccedilatildeo aumentaraacute para 70 dentro de um ano
ETAPA 2 IDENTIFIQUE OS INDICADORES E SUAS DEFINICcedilOtildeES
Os indicadores satildeo geralmente percentagens ou proporccedilotildees que representam o alcance de uma condiccedilatildeo especiacutefica de sauacutede na populaccedilatildeo de interesse Podem tambeacutem ser um valor absoluto tal como o nuacutemero de ocorrecircncias de um evento de sauacutede (por ex um oacutebito materno ou um caso de malaacuteria)
Todos os indicadores pedem uma definiccedilatildeo detalhada Trata-se de um indicador qualitativo ou quantitativo Se for uma percentagem qual eacute o numerador e qual eacute o denominador A definiccedilatildeo deve ser suficientemente detalhada para garantir que pessoas diferentes em momentos diferentes possam recolher tipos idecircnticos de dados para o indicador
Veja o que caracteriza um bom indicador no Quadro 2 Os indicadores podem ser classificados como indicadores do estado de sauacutede ou do desempenho de serviccedilos
Os indicadores do estado de sauacutede podem incluir o seguinte
nuacutemero de casos e mortes causados por doenccedilas especiacuteficas em um determinado periacuteodo
proporccedilatildeo da populaccedilatildeo com uma doenccedila ou condiccedilatildeo de sauacutede num momento particular ou ao longo de um periacuteodo de tempo
proporccedilatildeo da populaccedilatildeo com um factor ou condiccedilatildeo de sauacutede que os coloca em risco de contrair doenccedilas tal como a falta de conhecimento ou um comportamento de risco
Os indicadores de desempenho podem incluir o seguinte
proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que recebeu um serviccedilo especiacutefico proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que demonstra comportamentos e
conhecimentos especiacuteficos de sauacutede
TABELA 4 Criteacuterios de um resultado SMART
Criteacuterio Descriccedilatildeo
Especiacutefico (S ndash Smart)
Claramente escrito e compreendido O resultado esperado eacute suficientemente especiacutefico para ser medido por uma frequecircncia percentagem ou nuacutemero
Mensuraacutevel (M ndash Measurable)
Eacute possiacutevel monitorar o progresso e avaliar os resultados O resultado esperado eacute definido em termos que sejam mensuraacuteveis
Apropriado (A ndash Appropriate)
O resultado esperado eacute apropriado ao acircmbito do seu trabalho e agrave missatildeo da sua organizaccedilatildeo
Realista (R ndash Realistic)
O resultado esperado pode ser alcanccedilado e estaacute dentro do controlo da sua organizaccedilatildeo Pode ser realisticamente alcanccedilado ao usar os recursos disponiacuteveis e dentro do prazo do seu plano de implementaccedilatildeo
de Tiempo limitado (T ndash Time Bound)
Foi estabelecido um prazo especiacutefico para obter o resultado esperado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 922
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
proporccedilatildeo de centros e pessoal de sauacutede que demonstram adesatildeo a padrotildees especiacuteficos de serviccedilo ou que atingiram objectivo definido
proporccedilatildeo de centros de sauacutede que seguem padrotildees definidos de gestatildeo funcional (por ex em termos de pessoal disponibilidade de medicamentos registo e apresentaccedilatildeo de relatoacuterios)
Orientaccedilatildeo adicional sobre os indicadores pode ser obtida em ldquoCompecircndio de indicadores para avaliaccedilatildeo de programas de sauacutede reprodutivardquo e ldquoLista dos indicadores sobre desenvolvimento da capacidade de gestatildeo e lideranccedilardquo
ETAPA 3 IDENTIFIQUE AS FONTES DE DADOS
Agora precisa identificar uma fonte de dados para cada indicador incluiacutedo no plano de MampA ao seleccionar dados que estejam prontamente disponiacuteveis em uma fonte confiaacutevel e dentro das possibilidades financeiras de sua organizaccedilatildeo O ideal seria escolher os dados imediatamente disponiacuteveis atraveacutes da organizaccedilatildeo em vez de dar iniacutecio a uma nova estrateacutegia de recolha de dados o que poderia ser oneroso e demorado
Uma boa forma de comeccedilar eacute com a seguinte pergunta Que dados jaacute recolhemos de forma rotineira e sistemaacutetica Vocecirc deve sempre levar em consideraccedilatildeo as vantagens e desvantagens de cada fonte de dados Consulte a secccedilatildeo ldquoComo seleccionar suas fontes de dadosrdquo para obter mais informaccedilotildees sobre as vantagens e desvantagens de algumas fontes de dados mais comuns
Vocecirc deve ser o mais especiacutefico possiacutevel sobre as fontes de dados para que a mesma fonte possa ser utilizada de forma coerente durante toda a intervenccedilatildeo Mudar as fontes de dados para o mesmo indicador pode resultar em incoerecircncias e erros de interpretaccedilatildeo Por exemplo se estiver a medir as taxas de mortalidade infantil passar de estimativas baseadas num inqueacuterito de grande escala para estimativas baseadas em estatiacutesticas hospitalares pode resultar dar a falsa impressatildeo de que houve uma mudanccedila
QUADRO 2 Qualidades de um bom indicador
Vaacutelido O indicador mede o que se pretende medir
Confiaacutevel A medida do indicador deve ser igual natildeo importa quantas vezes a medida seja feita
Preciso O indicador eacute definido em termos claros e especiacuteficos para que possa ser medido O indicador pode ser qualitativo (descritivo) discreto (SimNatildeo) ou baseado em niacuteveis quantitativos ou proporccedilotildees desde que seja claramente mensuraacutevel
Faacutecil de entender Tanto especialistas como natildeo especialistas devem poder entender o significado do indicador
Discreto O indicador captura um uacutenico componente ou aspecto de um resultado mais complexo Mede apenas uma coisa natildeo um conjunto de coisas
Em tempo haacutebil O indicador pode ser medido em intervalos temporais apropriados de acordo com a disponibilidade dos dados
Comparaacutevel Quando possiacutevel o indicador evita definiccedilotildees limitadas ou singulares cujos valores seriam difiacuteceis de comparar com outros resultados
Viaacutevel para utilizar Os dados para o indicador satildeo faacuteceis de obter de uma fonte confiaacutevel e relativamente econoacutemica ndash acessiacutevel tendo em vista os recursos da sua organizaccedilatildeo Se esses dados natildeo estiverem disponiacuteveis existem meacutetodos para obtecirc-los no futuro
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 923
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 4 DEFINA OS MEacuteTODOS DE RECOLHA DE DADOS
A etapa seguinte eacute a de definir os meacutetodos ou ferramentas que utilizaraacute para cada indicador Para os indicadores baseados em dados primaacuterios (dados que vocecirc mesmo recolhe) deve descrever o tipo de instrumento necessaacuterio para recolher os dados Os exemplos podem incluir questionaacuterios estruturados listas de verificaccedilatildeo de observaccedilatildeo directa ou balanccedilas para pesar bebeacutes
Para os dados secundaacuterios (dados recolhidos por terceiros e que estatildeo disponiacuteveis para vocecirc usar) deve explicar o meacutetodo para calcular o indicador e a fonte dos dados e fornecer detalhes suficientes sobre o meacutetodo de caacutelculo para que outros possam replicaacute-lo Lembre-se de que eacute mais faacutecil e mais barato usar dados secundaacuterios mas sua qualidade eacute menos confiaacutevel do que a dos dados primaacuterios
Tambeacutem eacute importante observar a frequecircncia da recolha dos dados para cada indicador A depender do tipo de indicador vocecirc poderaacute recolher os dados mensalmente trimestralmente anualmente ou ateacute com menos frequecircncia Ao definir o programa de recolha de dados para cada indicador leve em consideraccedilatildeo a necessidade de fornecer informaccedilotildees em tempo haacutebil aos responsaacuteveis por tomar decisotildees na sua organizaccedilatildeo Atribuir responsabilidades pela recolha de dados a indiviacuteduos ou grupos do seu pessoal garantiraacute que os dados sejam recolhidos dentro do prazo necessaacuterio
As informaccedilotildees das Etapas 1 a 4 fornecem o conteuacutedo do seu plano de monitoria e avaliaccedilatildeo A Tabela 5 mostra os elementos de um plano de MampA para um programa de mentoria cliacutenica para centros de orientaccedilatildeo e testes voluntaacuterios
ETAPA 5 RECOLHA OS DADOS DE BASE E DE ACOMPANHAMENTO
Recolher dados de base precisos eacute uma das tarefas mais importantes de MampA Os dados de base ou referecircncia satildeo o ponto de partida para definir as metas que vocecirc e sua equipa pretendem atingir e para acompanhar as mudanccedilas dos indicadores durante todo o periacuteodo de sua intervenccedilatildeo Dessa forma os dados de base ajudam a definir melhor um resultado final esperado
Vocecirc precisaraacute recolher dados de base para cada indicador antes que suas actividades comecem Esses dados identificam o ponto de partida de onde poderaacute avaliar o progresso Depois em pontos variados durante a implementaccedilatildeo vocecirc recolheraacute dados de acompanhamento sobre cada indicador para comparaacute-los com os niacuteveis de base e os resultados previstos Isto permite que vocecirc e outros tomadores de decisotildees em sua organizaccedilatildeo avaliem o progresso de cada intervenccedilatildeo ou serviccedilo e faccedilam as mudanccedilas necessaacuterias ao longo do caminho Examine o exemplo no Quadro 3
Por que acompanhar as mudanccedilas dos indicadores durante a implementaccedilatildeo Os indicadores de um plano de MampA estatildeo relacionados aos resultados imediatos (produtos) e aos resultados de meacutedio e longo prazo que os gestores precisam monitorar As mudanccedilas nos valores do indicador ao longo do tempo mostram se esses resultados estatildeo a subir ou a baixar ou se permanecem iguais Isto mostra ao gestor se as intervenccedilotildees e estrateacutegias estatildeo a funcionar conforme planeado para atingir os resultados esperados
Ao final do periacuteodo de implementaccedilatildeo precisaraacute recolher dados sobre os seus indicadores para comparar os niacuteveis finais com os niacuteveis de base e com os seus resultados esperados A depender dos seus indicadores precisaraacute tambeacutem recolher dados de acompanhamento a uma altura acordada previamente para determinar se as mudanccedilas seratildeo mantidas apoacutes o teacutermino da sua intervenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 924
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 5 Exemplo de um Plano de Monitoria e Avaliaccedilatildeo
Objectivo Os profissionais de sauacutede que receberam formaccedilatildeo aumentam sua capacidade de fornecer tratamento anti-retroviral de acordo com as directrizes nacionais
ActividadeProduto Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
CronogramaPrazo final
Cliacutenicos experientes em VIH recrutados para servir como mentores cliacutenicos em cinco hospitais regionais
Nuacutemero de mentores recrutados e designados a hospitais regionais
Registos de emprego
Como concluiacutedo Director adjunto para programas cliacutenicos
Setembro de 2008
Pessoal meacutedico em cinco hospitais regionais que recebem mentoria individual sobre terapia anti-retroviral
Nuacutemero de locais que recebem mentoria cliacutenica
Nuacutemero de meacutedicos que recebem mentoria individual
Nuacutemero de dias de mentoria cliacutenica realizados
Relatoacuterios mensais do mentor
Mensalmente Mentores Marccedilo de 2009
Resultados a meacutedio e longo prazo Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
Trabalhadores de sauacutede aumentam seu conhecimento sobre terapia anti-retroviral
80 dos participantes obtecircm 85 ou mais de pontuaccedilatildeo correcta no teste posterior
Trabalhadores de sauacutede melhoram suas habilidades no fornecimento de terapia anti-retroviral
Percentagem de habilidades demonstradas na lista de verificaccedilatildeo de competecircncia
Estudo especial Datas a definir Director adjunto para programas cliacutenicos
Fonte Centro Internacional de Formaccedilatildeo e Ensino sobre VIH p 2
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 925
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Observaccedilatildeo sobre o uso de indicadores para uma avaliaccedilatildeo A maioria dos esforccedilos de MampA enfatizam a selecccedilatildeo de indicadores bem definidos para estabelecer metas e medir as mudanccedilas nas condiccedilotildees e nos serviccedilos de sauacutede
Mas eacute importante lembrar que os indicadores servem apenas como marcadores Os dados dos indicadores fornecem pistas para saber se uma intervenccedilatildeo ou um grupo de actividades estaacute dentro do cronograma e se os resultados esperados estatildeo a ser alcanccedilados Eles natildeo respondem agraves perguntas de por que os resultados estatildeo ou natildeo a ser alcanccedilados Natildeo explicam os resultados fortuitos as relaccedilotildees entre intervenccedilotildees e resultados ou as causas de resultados percebidos que podem ocorrer fora da intervenccedilatildeo Assim natildeo podem recomendar medidas a tomar para melhorar os resultados
Os dados de indicadores devem portanto ser interpretados com cuidado Eles simplesmente indicam resultados que precisam ser melhor explorados em vez de fornecer uma avaliaccedilatildeo definitiva do sucesso ou fracasso Um estudo de avaliaccedilatildeo eacute geralmente executado para determinar se uma intervenccedilatildeo pode ser considerada um sucesso e por quecirc
Em geral agrave medida que sobe na hierarquia e passa das actividades para os resultados a longo prazo a MampA se torna mais complicada Nos niacuteveis de processo e produtos pode-se facilmente rastrear que actividades foram concluiacutedas e seus resultados imediatos Essas informaccedilotildees satildeo operacionais ndash informaccedilotildees que vocecirc pode usar para decisotildees quotidianas de gestatildeo Poreacutem para identificar e medir os resultados da sinergia dos produtos provavelmente teraacute que integrar as informaccedilotildees qualitativas e quantitativas e confiar menos em indicadores quantitativos singulares
Lembre-se de que quando uma melhoria desejada ndash seja na eficiecircncia do serviccedilo no conhecimento e comportamento dos provedores de serviccedilos ou dos beneficiaacuterios ou na tendecircncia de um problema de sauacutede ndash eacute confirmada atraveacutes de MampA isto natildeo prova que foi a intervenccedilatildeo que provocou a mudanccedila Outras coisas podem estar a se passar no serviccedilo ou no ambiente geral que causam essa mudanccedila Eacute claro que o mesmo se aplica aos resultados negativos ou resultados que indicam natildeo haver nenhuma mudanccedila nos resultados a meacutedio e longo prazo
QUADRO 3 Como usar dados de base para ajustar os resultados
Uma equipa de sobrevivecircncia infantil estaacute a propor uma intervenccedilatildeo com o seguinte resultado mensuraacutevel e especiacutefico ldquoNos proacuteximos 12 meses 40 das crianccedilas entre 12 e 24 meses de idade na aacuterea de captaccedilatildeo seratildeo completamente imunizadasrdquo
Para determinar se seu programa pode realmente atingir esse resultado o pessoal precisa medir os niacuteveis actuais de vacinaccedilatildeo Ao examinar os dados vecircem que apenas 10 das crianccedilas na aacuterea de captaccedilatildeo estatildeo completamente imunizadas ao completarem 24 meses Estes satildeo portanto seus dados de base
A gestora entende que natildeo seraacute possiacutevel atingir o objectivo de 40 de cobertura de imunizaccedilatildeo em apenas 12 meses Por isso ela e sua equipa revisam o resultado esperado e o modificam para que seja mais razoaacutevel e realista mas continue sendo significativo ldquoNos proacuteximos 12 meses 20 das crianccedilas de 12 a 24 meses na aacuterea de de actuaccedilatildeo seratildeo completamente imunizadas
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 926
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 6 COMPARTILHE E USE SEUS DADOS
Na pressa para comeccedilar a recolher dados alguns gestores se esquecem de planear um processo para reflectir sobre as informaccedilotildees e fazer mudanccedilas para aumentar a eficiecircncia das actividades Para garantir que os dados sejam natildeo soacute recolhidos mas tambeacutem utilizados pense como vocecirc e sua equipa divulgaratildeo as informaccedilotildees sobre MampA e obteratildeo retroinformaccedilatildeo dos diversos grupos de interesse Algumas perguntas baacutesicas serviratildeo para lhe orientar
Quem precisa de que tipo de informaccedilotildees e quando precisam delas Que tipo de formato deve usar para comunicar os resultados ao pessoal
aos gestores de niacutevel superior e a outros grupos de interesse importantes Eacute suficiente fazer circular um relatoacuterio ou deveria organizar uma reuniatildeo ou workshop
Deveria tambeacutem organizar reuniotildees com a comunidade para solicitar retroinformaccedilatildeo dos seus beneficiaacuterios sobre os primeiros resultados da MampA
Como deve apresentar as informaccedilotildees para que sejam uacuteteis aos diferentes tomadores de decisotildees As informaccedilotildees devem ser apresentadas visualmente em diagramas graacuteficos ou mapas Para obter orientaccedilatildeo sobre dados e resultados consulte o Guiatildeo de MampA para Facilitadores de Programas de Desenvolvimento da Lideranccedila
Uso dos resultados para melhorar os dados de rotina em acccedilatildeo ndash Um exemplo do Paquistatildeo
No Paquistatildeo com o apoio do projecto PRIDE 10 equipas de subdistritos aplicaram o Processo de Avaliaccedilatildeo e Melhoria do Desempenho em Sauacutede Puacuteblica (PIP-PH) um conjunto de procedimentos e formatos para tratar dos problemas de sauacutede que identificaram como os mais graves para as suas populaccedilotildees Usaram o PIP-PH para priorizar os problemas e serviccedilos que mais precisavam de atenccedilatildeo a curto prazo para obter melhorias
Como parte do processo PIP-PH as equipas tambeacutem conceberam um formato de Estrutura de Vigilacircncia de Sauacutede (ldquoHealth Watch Frameworkrdquo) para os seus subdistritos como um todo e para os centros de sauacutede dentro deles Cada equipa seleccionou indicadores para medir a situaccedilatildeo de dois problemas de sauacutede puacuteblica os serviccedilos essenciais a eles relacionados e as limitaccedilotildees que afectavam esses serviccedilos
As equipas usaram os formulaacuterios Health Watch para estabelecer valores de base para os indicadores e depois para monitorar esses valores agrave medida que as intervenccedilotildees prosseguiam ao longo do tempo Os centros de sauacutede revisavam e actualizavam o formulaacuterio todo mecircs as equipas do subdistrito inclusive gestores de centros de sauacutede revisavam e discutiam os formulaacuterios trimestralmente os formulaacuterios revisados
As equipas de subdistrito usaram as informaccedilotildees para analisar os motivos do progresso ou falta de progresso para poderem prestar apoio aos gestores dos centros de sauacutede O processo estimulou os gestores dos centros de sauacutede a melhorarem a integridade e precisatildeo dos dados de rotina para poderem usar as informaccedilotildees e monitorarem mais eficazmente os eventos e os serviccedilos essenciais e introduzirem as melhorias necessaacuterias
Exemplos e informaccedilotildees detalhadas sobre o PIP-PH e o Health Watch Framework aparecem no Relatoacuterio Anual do Projecto PRIDE 2007
Para se informar mais sobre meacutetodos adicionais de utilizaccedilatildeo dos dados para melhorar o desempenho de uma organizaccedilatildeo equipa serviccedilo de sauacutede ou intervenccedilatildeo consulte o processo de Avaliaccedilatildeo e Melhoria de Desempenho (Performance Assessment and Improvement ndash PAI) no website de Programa de Lideranccedila Gestatildeo e Sustentabilidade (Leadership Management and Sustainability ndash LMS)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 927
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O processo de Monitoria e Avaliaccedilatildeo deve ser executado com o objectivo de usar imediatamente os resultados para identificar as falhas de desempenho e tomar medidas para reduzir ou eliminar essas falhas Vocecirc deve sempre planear formas de usar os resultados de MampA para o aprendizado e a acccedilatildeo Por exemplo o que deve fazer se as actividades do projecto natildeo trouxerem os resultados esperados O que precisa mudar se os serviccedilos essenciais natildeo estiverem a fornecer os niacuteveis de cobertura previstos ou a alcanccedilar grupos especiacuteficos de pessoas E como vocecirc pode levar esses fatos agrave atenccedilatildeo das pessoas certas para obter uma resposta raacutepida
Desenho de uma ferramenta de MampA
ARMADILHAS DA MONITORIA E AVALIACcedilAtildeO
Haacute vaacuterias armadilhas comuns que impedem que vocecirc como gestor aperfeiccediloe a funccedilatildeo de MampA na sua organizaccedilatildeo
Planeamento excessivo ou insuficienteAlguns gestores podem gastar tempo demais a preparar o plano de MampA do que resultam planos muito elaborados e complicados de usar Outros ficam muito ansiosos por implementar as intervenccedilotildees de MampA e comeccedilam antes de concluir o plano de MampA Isso significa que quando o plano fica pronto eacute geralmente tarde demais para obter dados de base viaacuteveis e a MampA tem que ser adiada Nesses casos o gestor talvez tenha que aceitar fazer a avaliaccedilatildeo mais tarde sem os dados de base que poderia usar para a comparaccedilatildeo
Descuidar-se da monitoria contiacutenua Outra armadilha frequente eacute a falha em incluir a monitoria contiacutenua na implementaccedilatildeo das actividades Isto ocorre frequentemente por falta de experiecircncia Muitos gestores natildeo tiveram acesso a ferramentas de monitoria uacuteteis (que satildeo raras) Talvez natildeo tenham recebido prontamente os resultados ou a retroinformaccedilatildeo do sistema de MampA no passado e por isso natildeo percebem como eacute importante realizar a monitoria de rotina Aleacutem disso gestores podem facilmente se emaranhar nos detalhes da implementaccedilatildeo e descuidar-se da monitoria de rotina
Exagerar Outra armadilha relacionada agrave monitoria eacute tentar rastrear os dados de todos os indicadores possiacuteveis Tentar obter os dados sobre um nuacutemero excessivo de factores torna o processo de monitoria tatildeo complicado que se torna impreciso Isso tambeacutem torna o processo mais lento de modo que no momento em que os dados satildeo recolhidos e analisados eles jaacute natildeo satildeo mais uacuteteis As ferramentas de monitoria muito demoradas e complicadas acabam por natildeo ser usadas O que acontece entatildeo O gestor deixa totalmente de fazer a monitoria e tem que recorrer agrave avaliaccedilatildeo
Se jaacute se deparou com esses problemas eacute hora de mudar a sua taacutectica Vocecirc pode criar um plano de MampA simples e usar ferramentas de monitoria simples Descubra o que tem que medir para obter os dados dentro de 3 a 6 meses o prazo vai depender dos ciclos de planeamento e apresentaccedilatildeo de relatoacuterios da sua organizaccedilatildeo Entenda tambeacutem qual eacute o miacutenimo que deve ser medido em uma avaliaccedilatildeo de longo prazo Busque a simplicidade mesmo se estiver diante de um conjunto complexo de actividades
Tente incluir apenas o que realmente precisa saber Pode testar todos os indicadores propostos antes de incluiacute-los no planeamento de MampA ao perguntar Quem precisa usar essas informaccedilotildees quando e com que finalidade Se um uacutenico indicador de produtos for suficiente perfeito Natildeo sobrecarregue a monitoria com indicadores desnecessaacuterios Muitas vezes menos dados fornecem mais informaccedilotildees
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 928
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
CARACTERIacuteSTICAS DE UMA BOA FERRAMENTA DE MONITORIA
Como gestor natildeo precisa saber tudo para gerir um serviccedilo ou dirigir uma intervenccedilatildeo mas precisa das informaccedilotildees imediatamente Portanto precisa de uma ferramenta de monitoria que possa fornecer informaccedilotildees suficientes e em tempo haacutebil para identificar e corrigir problemas assim que eles surgirem
Uma ferramenta de monitoria deve ser faacutecil de montar e utilizar As tabelas listas de verificaccedilatildeo e diagramas simples satildeo meacutetodos particularmente uacuteteis de recolher organizar e apresentar informaccedilotildees de monitoria
No miacutenimo sua ferramenta de monitoria deve permitir que vocecirc e sua equipa acompanhem
o progresso da implementaccedilatildeo da actividade a entrega de produtos ou resultados imediatos a situaccedilatildeo dos principais indicadores de resultados comparados aos resultados
esperados se for o caso as despesas orccedilamentais a disponibilidade de recursos humanos e financeiros os obstaacuteculos agrave implementaccedilatildeo e o que tem sido feito para superaacute-los
Vocecirc teraacute que responder agraves seguintes perguntas periodicamente
As actividades foram implementadas conforme planeado dentro do prazo e do orccedilamento
Que actividades adicionais natildeo planeadas foram realizadas Que serviccedilos ou produtos directos e tangiacuteveis foram oferecidos como resultado
das actividades que implementamos Estamos dentro do cronograma para atingir nossos resultados a meacutedio e longo
prazo Possuiacutemos os recursos necessaacuterios (pessoal dinheiro medicamentos e
suprimentos etc) para cumprirmos o cronograma
O Quadro 4 apresenta os componentes baacutesicos de uma ferramenta simples de monitoria
QUADRO 4 Uma ferramenta simples de monitoria
Data de exame Metas de resultados
Actividades (segundo o plano de implementaccedilatildeo)
Situaccedilatildeo ateacute o momento
Resultados esperados
Datas para conclusatildeo
Situaccedilatildeo ateacute o momento Comentaacuterios
Desafios e oportunidades
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 929
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quando usadas correctamente as novas tecnologias (por ex os PDAs ldquosmartphonesrdquo laptops e outros) podem facilitar a monitoria e aumentar os benefiacutecios da monitoria das actividades A monitoria automatizada ndash dados que podem ser obtidos e processados automaticamente ndash podem produzir um resumo dos principais indicadores em uma soacute paacutegina faacutecil de ler e num formato que utiliza cores para alertar ao gestor sobre as aacutereas que precisam de maior atenccedilatildeo As informaccedilotildees obtidas em tempo haacutebil sobre alguns indicadores essenciais permitem que o gestor monitore o progresso e tome medidas correctivas
Essa apresentaccedilatildeo visual das informaccedilotildees mais importantes e necessaacuterias para gerir um projecto eacute geralmente conhecida como Painel de Indicadores de Desempenho Os paineacuteis de indicadores de desempenho podem ser usados em qualquer organizaccedilatildeo departamento ou divisatildeo Nas organizaccedilotildees de sauacutede puacuteblica os paineacuteis satildeo usados frequentemente para monitorar os indicadores financeiros e programaacuteticos bem como a cobertura produccedilatildeo eficaacutecia e qualidade de serviccedilos de sauacutede especiacuteficos Um painel de recursos humanos por exemplo incluiria indicadores relevantes para gerir o seguinte
retenccedilatildeo de funcionaacuterios rotatividade de funcionaacuterios formaccedilatildeo de funcionaacuterios lacunas de habilidades satisfaccedilatildeo dos funcionaacuterios custos benefiacutecios e despesas gerais com funcionaacuterios
A Tabela 6 mostra um painel de indicadores de desempenho criado para monitorar serviccedilos de contracepccedilatildeo ciruacutergica voluntaacuteria (CCV)
TABELA 6 Ilustraccedilatildeo de Painel de Indicadores de Desempenho para Serviccedilos de Contracepccedilatildeo Ciruacutergica Voluntaacuteria (CCV)
Serviccedilo Contracepccedilatildeo Ciruacutergica Voluntaacuteria Periacuteodo do Relatoacuterio Janeiro de 2009
No Indicador de Prestaccedilatildeo de Serviccedilos Custo Qualidade
Meta financeira ou programaacutetica
LimiarNuacutemero
alcanccedilado
Percentagem concluiacuteda
Miacuten Maacutex 10 20 30 40 50 60 70 80 90 100
1 Nuacutemero de CCVs realizadas no mecircs 8 10 7
2 Custo meacutedio das CCVs (US$) 100 120 110
3 Orccedilamento mensal da receita com CCVs realizadas (US$) 800 1200 770
4Percentagem das CCVs realizadas por pessoal
qualificadomdash 100 60
5 Percentagem das CCVs realizadas sem complicaccedilotildees 95 100 100
6
Percentagem de utentes satisfeitas com o tratamento
recebido do pessoal que realizou as CCVs
90 100 90
Adaptado de Colindres 2008 p 6
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 930
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja uma descriccedilatildeo do uso de um painel de indicadores de desempenho para a monitoria de rotina num estudo de caso estudo de caso de uma ONG da Boliacutevia o Centro de Investigaccedilatildeo Educaccedilatildeo e Serviccedilos (CIES)
Para obter mais informaccedilotildees de como criar um painel de indicadores consulte ldquoComo usar os paineacuteis de indicadores de desempenho para monitorar as realizaccedilotildees de uma organizaccedilatildeordquo Esse documento ajuda a esclarecer conceitos e define as etapas essenciais para criar paineacuteis de indicadores de desempenho
Como criar uma avaliaccedilatildeo para fins de aprendizagem
Apesar da importacircncia da monitoria de rotina apenas a monitoria natildeo basta para responder agrave pergunta ldquoE entatildeordquo Ou seja suas actividades e produtos contribuiacuteram para melhorar a cobertura dos serviccedilos aumentar o conhecimento ou encorajar comportamentos mais saudaacuteveis
Talvez uma campanha de comunicaccedilatildeo sobre planeamento familiar criada para aumentar a prevalecircncia do uso de contraceptivos tenha levado o governo a abastecer os depoacutesitos distritais com contraceptivos Para que possam aprender com essa experiecircncia e criar campanhas mais eficazes no futuro os gestores do projecto ainda querem saber que produtos foram realmente dispensados aos centros de sauacutede e distribuiacutedos aos utentes Esta secccedilatildeo discute como criar uma avaliaccedilatildeo para fins de aprendizagem
Existem dois motivos para levar a cabo uma avaliaccedilatildeo
1 A avaliaccedilatildeo fornece informaccedilotildees sobre o sucesso da sua equipa unidade ou organizaccedilatildeo para atingir seus objectivos Essas informaccedilotildees ajudam a definir que actividades expandir modificar ou eliminar Ela pode tambeacutem revelar formas de melhorar a concepccedilatildeo e gestatildeo das actividades futuras
2 A avaliaccedilatildeo pode demonstrar uma cultura de prestaccedilatildeo de contas agrave sua agecircncia doadora e a outros grupos de interesse nomeadamente o governo e os beneficiaacuterios dos seus serviccedilos
AVALIACcedilOtildeES FORMATIVAS E SUMATIVAS
Os gestores podem realizar dois amplos tipos de avaliaccedilotildees formativas e sumativas
Avaliaccedilatildeo formativa Este tipo de avaliaccedilatildeo eacute realizada durante o desenvolvimento e implementaccedilatildeo de um programa Seu objectivo eacute orientar o desenho e a implementaccedilatildeo de actividades que incluam as melhores e mais promissoras praacuteticas que aumentaratildeo as chances de sucesso A avaliaccedilatildeo formativa eacute mais comummente utilizada por projectos de grande porte ou de longo prazo em vez de projectos menores e de curto prazo Poreacutem os projectos menores devem pelo menos realizar uma avaliaccedilatildeo raacutepida das melhores praacuteticas durante a fase de planeamento para apoiar a loacutegica e o conteuacutedo proposto para as actividades
A avaliaccedilatildeo formativa inclui uma avaliaccedilatildeo de necessidades para discernir os desejos e requisitos de um grupo da populaccedilatildeo e determinar a melhor forma de atendecirc-los Inclui tambeacutem uma avaliaccedilatildeo de processo para investigar o processo utilizado para executar uma intervenccedilatildeo Pode-se usar a avaliaccedilatildeo do processo para determinar se as actividades foram realizadas de acordo com o plano ndash em termos de sua concepccedilatildeo original estimativas de custos e nuacutemero de pessoas a serem atendidas ndash e se a qualidade dos processos usados estaacute de acordo com as melhores praacuteticas conhecidas
A avaliaccedilatildeo de processo geralmente inclui vaacuterias abordagens Pode incluir uma avaliaccedilatildeo dos dados referentes aos produtos (por ex nuacutemero de redes mosquiteiras fornecidas nuacutemero
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 931
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
de workshops de formaccedilatildeo realizados nuacutemero de participantes dos workshops) assim como entrevistas individuais ou grupos de enfoque entre os beneficiaacuterios Nas intervenccedilotildees de menor porte eacute uma boa praacutetica realizar uma avaliaccedilatildeo de processo mesmo se limitada agrave retroinformaccedilatildeo dos participantes
Avaliaccedilatildeo somativa Este tipo de avaliaccedilatildeo eacute realizada apoacutes a conclusatildeo de um grupo de actividades ou da intervenccedilatildeo para avaliar a qualidade da intervenccedilatildeo e os seus principais resultados A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo a avaliaccedilatildeo do impacto a anaacutelise de custo-benefiacutecio e custo-eficaacutecia e a investigaccedilatildeo operacional
A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo que avalia em que medida uma equipa unidade ou organizaccedilatildeo inteira atingiram seus resultados esperados A avaliaccedilatildeo dos resultados eacute usada para demonstrar que existe uma cultura de prestaccedilatildeo de contas para aperfeiccediloar o projecto de actividades organizacionais para melhorar a distribuiccedilatildeo dos recursos e para promover intervenccedilotildees futuras bem-sucedidas As principais perguntas satildeo Que modificaccedilotildees ocorreram na vida das pessoas das famiacutelias ou da comunidade como resultado do nosso trabalho Que diferenccedila fizemos
Como observamos anteriormente neste capiacutetulo os resultados a meacutedio e longo prazo satildeo geralmente mudanccedilas mensuraacuteveis eou observaacuteveis em duas dimensotildees A primeira dimensatildeo abrange a conscientizaccedilatildeo o conhecimento as atitudes os valores e as habilidades dos participantes de um programa ou dos beneficiaacuterios dos serviccedilos durante ou depois de seu envolvimento na intervenccedilatildeo A segunda dimensatildeo implica mudanccedilas no comportamento desses mesmos grupos
Idealmente as duas dimensotildees deveriam ser medidas em trecircs pontos no comeccedilo e no final do periacuteodo de implementaccedilatildeo e se possiacutevel apoacutes um periacuteodo de acompanhamento adequado Se a mediccedilatildeo do acompanhamento natildeo for viaacutevel pelo menos devem ser comparadas as mediccedilotildees de base e poacutes-intervenccedilatildeo Muitas vezes as mudanccedilas podem ser pequenas mas deve haver alguma melhoria em pelo menos um ou dois resultados para que a intervenccedilatildeo seja considerada um sucesso
A avaliaccedilatildeo dos resultados tenta distinguir entre a influecircncia da intervenccedilatildeo nessas mudanccedilas e a influecircncia de outros factores externos Mas geralmente os avaliadores teratildeo que optar pela atribuiccedilatildeo parcial de um resultado a uma intervenccedilatildeo ou serviccedilo especiacutefico devido agrave dificuldade em determinar uma relaccedilatildeo directa e causal entre o serviccedilo prestado e uma determinada mudanccedila
As avaliaccedilotildees de resultados utilizam geralmente um desenho natildeo experimental (geralmente denominado ldquopreacute e poacutes-avaliaccedilatildeordquo) que simplesmente mede as mudanccedilas antes e depois de uma intervenccedilatildeo ou seja diferente do desenho experimental (que compara os participantes com um grupo de controlo com designaccedilatildeo aleatoacuteria a ambos os grupos) ou do desenho semi-experimental (que compara os participantes com um grupo de controlo mas sem a designaccedilatildeo aleatoacuteria)
O desenho natildeo experimental eacute aceitaacutevel para as mediccedilotildees e relatoacuterios padratildeo dos resultados a meacutedio e longo prazo As ONGs raramente usam os desenhos experimentais Apesar de uma organizaccedilatildeo de grande porte e com muitos recursos poder ocasionalmente receber assistecircncia de especialistas para um desenho experimental a maioria delas acha que as consideraccedilotildees eacuteticas e logiacutesticas impedem a designaccedilatildeo aleatoacuteria dos participantes aos grupos de intervenccedilatildeo e de controlo Aleacutem disso o custo de recolher dados de um grupo de controlo seraacute provavelmente muito elevado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 932
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A avaliaccedilatildeo do impacto eacute outro componente da avaliaccedilatildeo somativa Eacute mais ampla do que a avaliaccedilatildeo de resultados e avalia os efeitos liacutequidos ou gerais ndash tanto intencionais como natildeo intencionais ndash de todo um programa grupo de programas ou grupo de organizaccedilotildees As avaliaccedilotildees de impacto geralmente se estendem por um periacuteodo de 3 a 5 anos
OUTROS TIPOS DE AVALIACcedilOtildeES
Anaacutelise de custo-benefiacutecio e custo-eficaacutecia Estes tipos de anaacutelise tratam da eficiecircncia da intervenccedilatildeo ao analisar os resultados em termos dos seus custos financeiros e do seu valor
Investigaccedilatildeo operacional Trata-se de um balanccedilo ou avaliaccedilatildeo de uma intervenccedilatildeo especiacutefica no contexto de um programa mais amplo que estaacute a fazer vaacuterias intervenccedilotildees A investigaccedilatildeo operacional eacute usada para testar e avaliar novas abordagens de prestaccedilatildeo de serviccedilos de sauacutede Eacute tambeacutem usada para identificar problemas na prestaccedilatildeo de serviccedilos e oferecer soluccedilotildees
A investigaccedilatildeo operacional eacute uma ferramenta poderosa que os gestores de programas e os tomadores de decisotildees podem usar para melhorar e expandir os serviccedilos Os estudos de investigaccedilatildeo operacional comparam intervenccedilotildees que estatildeo dentro da esfera de influecircncia do gestor Os exemplos incluem a avaliaccedilatildeo da eficaacutecia de uma nova estrateacutegia de prevenccedilatildeo de VIHSIDA um novo curso de formaccedilatildeo um novo conjunto de procedimentos para gerir medicamentos um novo meacutetodo contraceptivo ou um novo serviccedilo de sauacutede reprodutiva
O Toolkit de Investigaccedilatildeo Operacional do Programa Horizons sobre VIHSIDA do Population Council fornece informaccedilotildees detalhadas para criar um estudo de investigaccedilatildeo operacional
CONSIDERACcedilOtildeES PARA A FORMULACcedilAtildeO DE UMA AVALIACcedilAtildeO
O que avaliar para responder agrave pergunta ldquoE entatildeordquo Se quiser saber como gestor se as suas actividades tiveram realmente sucesso precisa preparar todas as intervenccedilotildees tendo em mente a avaliaccedilatildeo e incorporar a avaliaccedilatildeo ao seu planeamento organizacional geral Ao definir objectivos deve se perguntar Como saberemos se estamos a atingir esses objectivos Este eacute o ponto de partida para a avaliaccedilatildeo
Seja qual for o porte da sua intervenccedilatildeo ou serviccedilo e o alcance da avaliaccedilatildeo precisaraacute responder a trecircs perguntas durante a fase de desenho e planeamento
1 O que a sua intervenccedilatildeo ou serviccedilo conseguiraacute realizar a curto e longo prazo Se implementar um conjunto de actividades com sucesso ao longo do tempo o que seraacute diferente
2 Como conceptualiza as suas actividades ndash qual eacute a loacutegica subjacente Duas abordagens para identificar a loacutegica do programa satildeo discutidas neste capiacutetulo na secccedilatildeo intitulada Ferramentas e Abordagens Praacuteticas para MampA
3 Que indicadores pode usar para identificar o progresso no alcance dos resultados
Para responder agrave pergunta ldquoE entatildeordquo vocecirc precisa avaliar os factores sobre os quais tem um niacutevel razoaacutevel de controlo Por exemplo um novo serviccedilo criado para oferecer alojamento a pessoas que vivem com SIDA natildeo pode controlar ou afectar a expectativa de vida das pessoas agraves quais atende Mas ao fornecer um ambiente estaacutevel para elas viverem o serviccedilo pode diminuir o niacutevel de stresse e melhorar a qualidade de vida dessas pessoas que antes eram forccediladas a se mudar com frequecircncia
Depois de tratar da pergunta ldquoE entatildeordquo deve tambeacutem se certificar de que a avaliaccedilatildeo seja concebida de forma que quando o processo estiver concluiacutedo vocecirc possa abordar os cinco toacutepicos principais da avaliaccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 933
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
1 Relevacircncia Foi uma boa ideia fazer a intervenccedilatildeo considerando-se a situaccedilatildeo e a necessidade de melhorias Ela tratou das prioridades do grupo alvo ou beneficiaacuterio Por que sim ou por que natildeo
2 Eficaacutecia Os resultados produtos e actividades foram realizados Por que sim ou por que natildeo A loacutegica da intervenccedilatildeo eacute correcta
3 Eficiecircncia Os insumos (recursos e tempo) foram usados da melhor forma possiacutevel para atingir os resultados a meacutedio e longo prazo Por que sim ou por que natildeo O que vocecirc e sua equipa poderiam fazer de modo diferente no futuro para maximizar os resultados a um custo aceitaacutevel
4 Impacto Em que medida a sua intervenccedilatildeo contribuiu para as metas nacionais ou de longo prazo Que consequecircncias natildeo intencionais (positivas ou negativas) suas actividades tiveram Por que essas consequecircncias aconteceram
5 Sustentabilidade Eacute provaacutevel que os resultados positivos continuem depois que sua intervenccedilatildeo terminar Por que sim ou por que natildeo
Uma uacuteltima advertecircncia assim como a monitoria pode-se complicar demasiado a avaliaccedilatildeo Ao preparar um plano de avaliaccedilatildeo o melhor eacute seleccionar um grupo pequeno de indicadores e resistir agrave tentaccedilatildeo de avaliar todos os aspectos da sua intervenccedilatildeo
Assim como a monitoria a avaliaccedilatildeo soacute eacute uacutetil se as informaccedilotildees forem repassadas em tempo haacutebil para o gestor e outros tomadores de decisotildees e grupos de interesse Um problema comum com as avaliaccedilotildees intercalares eacute que os resultados geralmente soacute satildeo informados de 6 a 8 meses mais tarde o que deixa apenas 1 ou 2 anos para fazer mudanccedilas mais permanentes antes que se esgotem os fundos do governo ou da agecircncia doadora
COMO SELECCIONAR SUAS FONTES DE DADOS
Esta secccedilatildeo descreve trecircs tipos de fontes de dados que satildeo comummente usadas para uma avaliaccedilatildeo dados recolhidos rotineiramente inqueacuteritos de grande escala e teacutecnicas de avaliaccedilatildeo raacutepida inclusive a avaliaccedilatildeo participativa
Dados de rotina Os dados recolhidos e analisados rotineiramente por um SIS satildeo denominados ldquoestatiacutesticas de serviccedilordquo Pode-se utilizar vaacuterios sistemas de informaccedilatildeo de serviccedilos de rotina para monitorar os serviccedilos Alguns deles satildeo o sistema baacutesico de registo e relatoacuterio de SIS os sistemas especiais de relatoacuterios sobre programas (por ex tuberculose malaacuteria imunizaccedilatildeo VIH planeamento familiar etc) os sistemas de relatoacuterios sobre agentes comunitaacuterios especiais (por ex registos de agentes comunitaacuterios de sauacutede) o sistema de informaccedilotildees para a vigilacircncia de doenccedilas e o controlo notificaccedilatildeo e resposta a surtos e os relatoacuterios para os sistemas de suporte especiais (por ex medicamentos encaminhamentos e gestatildeo financeira e de recursos humanos)
Esses sistemas fornecem dados que estatildeo imediatamente disponiacuteveis e cujo objectivo eacute informar o que estaacute a acontecer no sector de sauacutede Os dados de rotina incluem por exemplo o nuacutemero de consultas de preacute-natal em uma cliacutenica o nuacutemero e tipo de vacinaccedilotildees fornecidas no local ou o nuacutemero e tipos de contraceptivos fornecidos mensalmente
Os dados sobre os serviccedilos satildeo geralmente recolhidos pelos centros de sauacutede ou postos de sauacutede e enviados para o proacuteximo niacutevel superior do sistema (geralmente o distrito) para serem agregados Esses dados podem entatildeo ser enviados ao proacuteximo niacutevel superior (regional ou provincial) para posterior agregaccedilatildeo antes que cheguem finalmente ao niacutevel central do Ministeacuterio da Sauacutede
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 934
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Idealmente os gestores de centros de sauacutede e ao niacutevel do distrito usam esses dados para orientar as operaccedilotildees diaacuterias acompanhar o desempenho e a prestaccedilatildeo de contas e tomar decisotildees que continuem a melhorar o desempenho Mas haacute vaacuterios obstaacuteculos a essa utilizaccedilatildeo
Muito frequentemente os dados de rotina satildeo imprecisos ou incompletos Apesar dos que utilizam o SIS tentarem produzir informaccedilotildees de alta qualidade e em tempo haacutebil haacute muitas oportunidades de introduzir erros Pode haver pouco apoio para que os gestores e seu pessoal se concentrem nos procedimentos correctos de recolha registo e agregaccedilatildeo dos dados
Os sistemas de sauacutede de vaacuterios paiacuteses enfatizam a importacircncia de apresentar relatoacuterios para os niacuteveis superiores mas natildeo estabeleceram procedimentos e incentivos para encorajar aqueles que fornecem informaccedilotildees a utilizaacute-las mesmo quando os dados satildeo de boa qualidade
Outra dificuldade eacute que as estatiacutesticas sobre serviccedilos fornecem informaccedilotildees apenas sobre os utentes que utilizam os serviccedilos de sauacutede Natildeo podem fornecer informaccedilotildees sobre as muitas pessoas que natildeo utilizam os serviccedilos
Por tudo isso natildeo se pode confiar apenas nas estatiacutesticas sobre serviccedilos para fazer uma avaliaccedilatildeo Elas satildeo melhor utilizadas para a monitoria de rotina dos problemas de sauacutede puacuteblica e dos serviccedilos essenciais relacionados
Inqueacuteritos em grande escala Os inqueacuteritos em grande escala satildeo outra fonte de informaccedilotildees imediatamente disponiacuteveis Incluem inqueacuteritos de base populacional tais como as Inqueacuterito Demograacutefico e de Sauacutede (IDS) dos EUA avaliaccedilotildees completas de centros de sauacutede como a Anaacutelise de Situaccedilatildeo do Population Council e os censos nacionais Em vaacuterios casos os gestores podem usar os dados de um inqueacuterito em grande escala existente para fornecer o contexto para a interpretaccedilatildeo dos dados capturados atraveacutes das suas proacuteprias avaliaccedilotildees
Por exemplo as IDS satildeo realizadas periodicamente para caracterizar a situaccedilatildeo de sauacutede em um paiacutes ou regiatildeo geograacutefica de grande extensatildeo para vaacuterios grupos populacionais homens mulheres crianccedilas bebeacutes e assim por diante Mas os dados das IDS natildeo podem normalmente ser desagregados para uso pelos gestores no niacutevel de distrito ou comunidade
Aleacutem disso como as IDS satildeo realizadas apenas a cada trecircs ou cinco anos as informaccedilotildees que fornecem podem natildeo estar suficientemente actualizadas para as necessidades de avaliaccedilatildeo dos gestores Apesar dessas dificuldades os dados das IDS satildeo uacuteteis para compreender tendecircncias regionais ou nacionais que podem ajudar a explicar dados recolhidos em uma avaliaccedilatildeo de foco especiacutefico
Avaliaccedilotildees raacutepidas Satildeo formas raacutepidas e econoacutemicas de obter informaccedilotildees para a tomada de decisotildees principalmente ao niacutevel da actividade Os exemplos incluem entrevistas quando os utentes saem de suas consultas as avaliaccedilotildees de pequena escala dos centros de sauacutede os inqueacuteritos raacutepidos por amostragem o exame analiacutetico de registos as entrevistas com grupos de enfoque e outros meacutetodos participativos
Poderaacute usar teacutecnicas de avaliaccedilatildeo raacutepida para complementar as informaccedilotildees obtidas com dados de rotina ou inqueacuteritos de grande escala As avaliaccedilotildees raacutepidas podem-lhe fornecer informaccedilotildees valiosas sobre sua aacuterea de captaccedilatildeo e sua aacuterea de responsabilidade mais ampla ndash ou seja as comunidades e as populaccedilotildees que deveriam ter acesso aos serviccedilos essenciais prestados por um centro de sauacutede determinado Elas podem tambeacutem fornecer contexto e uma compreensatildeo qualitativa dos dados quantitativos recolhidos pelos meacutetodos mais formais
Dentro da categoria de avaliaccedilotildees raacutepidas os meacutetodos participativos e os inqueacuteritos raacutepidos por amostragem merecem a sua atenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 935
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Meacutetodos participativos (tambeacutem chamados de aprendizagem e acccedilatildeo participativas) Essas teacutecnicas e meacutetodos visam incorporar o conhecimento e as opiniotildees dos membros da comunidade no planeamento e gestatildeo de projectos de desenvolvimento no esforccedilo para influenciar as poliacuteticas e na implementaccedilatildeo de programas Eles permitem incluir vozes da comunidade nas poliacuteticas no planeamento e nos inqueacuteritos e criam um senso de propriedade e participaccedilatildeo nos resultados de MampA e nas recomendaccedilotildees feitas pela organizaccedilatildeo e por seus beneficiaacuterios
Ao contraacuterio de outras teacutecnicas de avaliaccedilatildeo raacutepida os meacutetodos participativos natildeo se baseiam em amostragens Eles usam entrevistas individuais ou com informantes essenciais (inclusive entrevistas com utentes ao saiacuterem de suas consultas) entrevistas em grupo estudos de caso e outros meacutetodos qualitativos para identificar as condiccedilotildees locais e entender as perspectivas e prioridades locais
Em vaacuterios locais haacute membros da comunidade que natildeo podem ler nem escrever e por isso os meacutetodos participativos dependem frequentemente da comunicaccedilatildeo oral com apoio de imagens siacutembolos objectos fiacutesicos e memoacuteria colectiva
Os meacutetodos participativos podem ser usados antes durante e apoacutes a implementaccedilatildeo de uma intervenccedilatildeo ou um conjunto de actividades Eles fornecem informaccedilotildees para o projecto e a avaliaccedilatildeo e permitem a participaccedilatildeo activa das partes interessadas na tomada de decisotildees Durante a implementaccedilatildeo os meacutetodos participativos satildeo uacuteteis para identificar e solucionar problemas
Aproveite para examinar e utilizar uma lista de recursos online sobre inqueacuterito qualitativo e directrizes sobre discussotildees em grupos de enfoque no Community Tool Box da Universidade de Kansas
Inqueacuteritos raacutepidos por amostragem Estes inqueacuteritos podem ser utilizados para recolher informaccedilotildees padronizadas de uma amostra pequena e cuidadosamente seleccionada de pessoas ou domiciacutelios em uma aacuterea beneficiaacuteria Eles podem descrever as condiccedilotildees em uma comunidade particular ou grupo-alvo e permitem comparar grupos diferentes em um determinado momento ou mudanccedilas no mesmo grupo ao longo do tempo Permitem tambeacutem comparar condiccedilotildees actuais com os resultados planeados
Um dos inqueacuteritos mais comuns de pequena amostragem eacute o inqueacuterito CAP (Conhecimentos Atitudes e Praacuteticas) baseado em uma amostra de 30 agrupamentos
Amostragem para Garantia de Qualidade de Lotes (Lot Quality Sampling - LQAS) Essa eacute outra teacutecnica de avaliaccedilatildeo raacutepida que se usa cada vez mais na aacuterea de sauacutede puacuteblica A LQAS utiliza amostragens muito pequenas para obter informaccedilotildees confiaacuteveis em uma pequena aacuterea geograacutefica ou unidade administrativa Pode ser usada para detectar de forma precisa os extremos do desempenho ndash para determinar se uma intervenccedilatildeo foi mais aleacutem de um limiar superior de desempenho ou natildeo conseguiu atingir um limiar inferior de desempenho em termos de qualidade ou cobertura As amostras de lotes podem tambeacutem ser combinadas para fornecer estimativas de cobertura em uma aacuterea geograacutefica mais ampla
Uma busca na Web revelaraacute recursos uacuteteis aqui temos um sobre os inqueacuteritos CAP e outro sobre LQAS A aacuterea de MampA do website do CORE Group inclui ligaccedilotildees com ferramentas e recursos importantes para a avaliaccedilatildeo raacutepida criados pelo Grupo de Trabalho de MampA do CORE Group
Como gestor deve revisar todas as fontes de dados jaacute existentes antes de planear a sua avaliaccedilatildeo A Tabela 7 apresenta as vantagens e desvantagens das trecircs principais fontes de
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 936
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 7 Resumo das trecircs fontes de dados mais comuns para uma avaliaccedilatildeo
Fonte de dados Vantagens Limitaccedilotildees
Estatiacutesticas de serviccedilo Dados sobre a populaccedilatildeo de utentes e serviccedilos cliacutenicos que satildeo recolhidos rotineiramente nos registos dos utentes e nos registos cliacutenicos
Disponiacuteveis imediatamente
Cobrem todos os tipos de serviccedilos de sauacutede e todas as aacutereas do paiacutes
Podem ser desagregados para os niacuteveis local e de distrito
Uso econoacutemico
Soacute lhe informam sobre clientes actuais sem informaccedilotildees sobre as pessoas que natildeo usam os serviccedilos de sauacutede e podem ser utentes em potencial
Natildeo fornecem informaccedilotildees sobre valores percepccedilotildees ou comportamentos da comunidade
Natildeo reflectem as pessoas que optam por fontes privadas de serviccedilos
Podem ser inexactas se os locais de prestaccedilatildeo de serviccedilos natildeo registarem os dados correctamente de forma legiacutevel e em tempo haacutebil
Inqueacuteritos de grande escala Inqueacuteritos de base populacional e avaliaccedilotildees de grande escala dos centros de sauacutede
Dados relevantes precisos e confiaacuteveis
Podem medir as tendecircncias nacionais de sauacutede identificar aacutereas com problemas e ajudar a concentrar os recursos do paiacutes em aacutereas de maior carecircncia
Geram valores meacutedios para as aacutereas urbanas e rurais regiotildees e proviacutencias
Fornecem um contexto para interpretar os dados recolhidos localmente
Podem gerar informaccedilotildees adicionais a partir dos seus conjuntos de dados informatizados
Geralmente natildeo podem desagregar os dados para fornecer meacutedias para as aacutereas sub-regionais (distritos ou municipalidades)
Geralmente natildeo satildeo realizadas anualmente os dados se tornam desactualizados rapidamente se as populaccedilotildees ou condiccedilotildees de sauacutede se modificarem rapidamente
Avaliaccedilotildees raacutepidas Meacutetodos focados para avaliar as necessidades locais e tomar decisotildees em acircmbito local
Raacutepidas e econoacutemicas
Resultam em acccedilatildeo local
Haacute directrizes para ajudar os gestores em vaacuterias dessas teacutecnicas
Fornecem aos gestores a capacidade de recolher os dados necessaacuterios
Os inqueacuteritos domiciliares (por ex LQAS ou CAP) podem obter precisatildeo suficiente para fins de avaliaccedilatildeo
Equilibra a necessidade de resultados representativos e objectivos com a necessidade de usar projectos levemente menos rigorosos que satildeo mais viaacuteveis em aacutereas locais
Usam escala e acircmbito reduzidos para produzir resultados em tempo haacutebil e de baixo custo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 937
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
dados que foram discutidas acima estatiacutesticas rotineiras de serviccedilos inqueacuteritos em grande escala e teacutecnicas de avaliaccedilatildeo raacutepida
Que niacutevel de qualidade os dados do SIS precisam ter para serem uacuteteis ndash que niacutevel de abrangecircncia precisatildeo e apresentaccedilatildeo em tempo haacutebil Para as suas necessidades de gestatildeo mesmo que natildeo sejam perfeitos os dados podem ser suficientemente bons para ter um efeito poderoso como nos mostra o exemplo de Madagascar
Dados do SIS pontos fortes e limitaccedilotildees
Subestimar o valor e a utilidade do SIS eacute infelizmente uma tendecircncia Eacute verdade que o SIS tem problemas frequentemente mas tambeacutem eacute grande o seu potencial Como vimos em
Como usar e melhorar dados imperfeitos do SIS ndash Um exemplo de Madagascar
Um SIS de base comunitaacuteria mais preciso e mais oportuno Um projecto de Madagascar implementou um meacutetodo baseado na comunidade para aumentar o uso de meacutetodos de planeamento familiar denominado ldquoComunidades Campeatildesrdquo em 50 dos 110 distritos do paiacutes O meacutetodo utilizou exclusivamente os dados do SIS para monitorar e avaliar as realizaccedilotildees das comunidades participantes
Em primeiro lugar foi estabelecida uma base de referecircncia para cada comunidade ao usar os dados do seu centro de sauacutede Em seguida o pessoal do centro de sauacutede e os representantes da comunidade identificaram metas para 10 indicadores que determinariam se uma comunidade tinha alcanccedilado a posiccedilatildeo de campeatilde apoacutes 12 meses de implementaccedilatildeo Cada comunidade monitorava seu proacuteprio progresso em uma reuniatildeo trimestral de verificaccedilatildeo
Apoacutes 12 meses o pessoal do projecto voltou a cada comunidade para avaliar os resultados Examinaram os dados do relatoacuterio de monitoria de rotina de cada centro de sauacutede e para cada indicador Prepararam tambeacutem um relatoacuterio sobre os dados de cada comunidade e o enviaram para o supervisor de niacutevel distrital para a sua confirmaccedilatildeo com base nos registos informatizados do distrito As fontes de dados para os relatoacuterios do centro de sauacutede e registos de distrito foram as mesmas (registos dos centros de sauacutede) e por isso raramente ocorreu uma discrepacircncia Mas o que interessava era envolver o supervisor distrital no exame dos dados do centro de sauacutede para mostrar a utilidade de se usar ateacute mesmo dados simples nesse niacutevel
O projecto tambeacutem cooperou com o Ministeacuterio da Sauacutede a niacutevel distrital para melhorar a precisatildeo a abrangecircncia e a prontidatildeo do SIS A ecircnfase era obter dados mais completos dos centros de sauacutede e reduzir o tempo gasto pelo escritoacuterio distrital para receber o relatoacuterio do centro de sauacutede apreciaacute-lo devolvecirc-lo ao centro para qualquer correcccedilatildeo recebecirc-lo novamente dar entrada dos dados no sistema e finalmente enviaacute-los ao niacutevel central Os distritos satildeo responsaacuteveis por cooperar com os centros de sauacutede para melhorar o registo de dados e actualizar suas proacuteprias teacutecnicas de processamento de dados
Apoacutes dois anos de assistecircncia teacutecnica o SIS tinha realmente melhorado segundo os indicadores de precisatildeo abrangecircncia e prontidatildeo As melhorias mais notaacuteveis foram em prontidatildeo o tempo gasto pelo escritoacuterio distrital no processo descrito acima reduziu-se de 12 para 3 meses
Imperfeitas mais mesmo assim valiosos Deve-se lembrar que o projecto ldquoComunidades Campeatildesrdquo teve oacuteptimo resultado apesar dos dados imperfeitos Seu numerador (o nuacutemero de utentes regulares de planeamento familiar) era detalhado e preciso Mas suas estimativas das taxas de prevalecircncia do uso de contraceptivos natildeo eram muito precisas porque o denominador (nuacutemero de mulheres em idade reprodutiva) era apenas uma estimativa baseada num censo desactualizado e em estimativas anuais do governo sobre percentagens de crescimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 938
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Madagascar o projecto Comunidades Campeatildes melhorou o sistema substancialmente num periacuteodo de dois anos Nesse caso o sistema jaacute se encontrava relativamente funcional porque projectos anteriores haviam feito um grande esforccedilo para implantar o sistema e tornaacute-lo mais soacutelido Ao aprimorar a forma como o sistema era administrado e os dados eram usados o projecto posterior conseguiu fazer uma grande diferenccedila por meio de pequenas modificaccedilotildees
Os dados do SIS natildeo satildeo 100 exactos e nunca seratildeo Esta eacute a realidade com a qual todos os gestores tecircm que trabalhar Mas os dados natildeo precisam ser perfeitos para serem uacuteteis Eacute possiacutevel fazer a monitoria e a gestatildeo com dados imperfeitos Informaccedilotildees obtidas em tempo
(continuaccedilatildeo)
No entanto o projecto constatou que as taxas de prevalecircncia de uso de contraceptivos eram suficientemente boas para acompanhar o desempenho das comunidades que participavam do meacutetodo de Comunidades Campeatildes O pessoal do projecto tambeacutem complementou as comparaccedilotildees dessas taxas com as comparaccedilotildees dos valores do numerador nuacutemeros simples que faziam sentido para o pessoal do centro de sauacutede e tambeacutem para as comunidades
O niacutevel central comeccedilou a organizar workshops regionais trimestrais para divulgar os resultados ao niacutevel distrital Juntos os gestores dos niacuteveis distritais regionais e centrais analisaram o progresso e classificaram os distritos com base no seu desempenho Usaram a anaacutelise de causa-raiz ndash um processo que identifica as causas subjacentes de um problema ndash para entender os obstaacuteculos enfrentados pelos distritos que apresentavam baixo desempenho (Consulte o Apecircndice A no Capiacutetulo 2 deste guia para obter mais informaccedilotildees sobre a anaacutelise de causa-raiz) Finalmente o Ministeacuterio de Sauacutede mobilizou o apoio de agecircncias doadoras e de organizaccedilotildees parceiras para ajudaacute-los a melhorar
O ministeacuterio comeccedilou a usar as informaccedilotildees de sauacutede para administrar realmente o sistema de sauacutede Antes dessa intervenccedilatildeo poucas organizaccedilotildees confiavam ou utilizavam os dados do SIS Mas quando ficou claro que o sistema funcionava as agecircncias doadoras passaram a confiar as organizaccedilotildees parceiras passaram a utilizaacute-lo e o ministeacuterio se orgulhou do trabalho Pela primeira vez tinham uma visatildeo mais niacutetida do que acontecia em todo o paiacutes e podiam usar essas informaccedilotildees para buscar o apoio de agecircncias doadoras se necessaacuterio
Do mesmo modo os centros de sauacutede raramente usavam seus proacuteprios dados Eles simplesmente faziam os registos e os enviavam para o escritoacuterio distrital sem nem mesmo receber retroinformaccedilatildeo do mesmo Apoacutes a conclusatildeo do projecto perceberam como os dados mais precisos podiam ser usados em seu benefiacutecio e das comunidades
Os distritos tambeacutem actuavam antes de uma forma pouco informada Cada distrito dependia apenas dos seus proacuteprios dados e funcionava num vaacutecuo As mudanccedilas no SIS e o encorajamento do governo central forneceram aos distritos oportunidades para comparar seu trabalho e aprender uns com os outros
Aprendizagem com dados mais precisos completos e oportunos Os dados satildeo geralmente utilizados para fazer comparaccedilotildees mas satildeo menos frequentemente utilizados como ferramenta de aprendizagem Nesse caso depois que os relatoacuterios comeccedilaram a chegar dentro do prazo o Ministeacuterio da Sauacutede usou os dados ndash inclusive dados imperfeitos ndash para descobrir que distritos tinham um desempenho ruim e que distritos estavam melhor que os outros Assim aprenderam com os de melhor desempenho ao perguntar Por que seus resultados satildeo tatildeo bons O que estavam a fazer de diferente O que poderia ser replicado Finalmente aplicaram a aprendizagem ao usar esses distritos como modelos e ao oferecer mais apoio aos de pior desempenho
Todo o sistema de sauacutede se entusiasmou com as informaccedilotildees que podiam produzir e usar A comeccedilar do topo esse entusiasmo chegou aos niacuteveis inferiores e os motivou a melhorar sua recolha e processamento de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 939
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
haacutebil e com 75 de precisatildeo satildeo melhores que as informaccedilotildees com 95 de precisatildeo que chegam com vaacuterios meses de atraso
Apesar do seu grande valor por si soacutes os dados do SIS natildeo atenderatildeo a todas as necessidades de informaccedilatildeo de muitas organizaccedilotildees Algumas organizaccedilotildees e agecircncias doadoras precisam de dados que exigem avaliaccedilotildees ou sistemas especiais Aleacutem disso vaacuterias intervenccedilotildees foram projectadas para modificar o conhecimento as atitudes e as praacuteticas dos beneficiaacuterios factores que natildeo satildeo capturados nos dados de serviccedilo Eacute importante usar os dados do SIS sempre que possiacutevel e complementaacute-los com avaliaccedilotildees locais quando necessaacuterio
Como gestor de um programa de sauacutede ou de serviccedilos de sauacutede parte do seu trabalho deveria ser o de melhorar o SIS em seu paiacutes Ele eacute o uacutenico sistema de informaccedilotildees sustentaacutevel na maioria dos paiacuteses Os sistemas de informaccedilatildeo criados e mantidos por agecircncias doadoras ou organizaccedilotildees externas tecircm duraccedilatildeo limitada mas o SIS eacute parte permanente do seu legado
Se todos os parceiros e agecircncias doadoras trabalharem com o Ministeacuterio de Sauacutede para prestar assistecircncia teacutecnica e financeira ao SIS ele poderaacute render informaccedilotildees que trazem grandes melhorias para os serviccedilos de sauacutede e que justificam plenamente o investimento no mesmo
Praacuteticas comprovadas
Um sistema de MampA deveria proporcionar aos gestores o que eles precisam saber para agir Deve se basear em indicadores relevantes faacuteceis de usar e que possam ser fornecidos em tempo haacutebil para os ciclos de planeamento e apresentaccedilatildeo de relatoacuterios
Os resultados de MampA natildeo se destinam apenas ao pessoal de MampA da sua organizaccedilatildeo ou agrave agecircncia doadora As informaccedilotildees de MampA satildeo um recurso fundamental para as acccedilotildees e a aprendizagem Se o seu processo de MampA tiver mecanismos de retroinformaccedilatildeo que permitam aos tomadores de decisotildees reflectirem sobre os resultados e absorverem o que precisam para seus proacuteprios fins eles assumiratildeo o controlo do processo e utilizaratildeo o que ele oferecer
Se vocecirc define suas actividades de MampA no comeccedilo de uma intervenccedilatildeo ou projecto junto com o plano de acccedilatildeo para o projecto teraacute mais oportunidades de orientar e acompanhar a implementaccedilatildeo das actividades
Quando satildeo demasiado elaborados e complicados os planos de MampA natildeo satildeo usados Elabore um plano de MampA simples escolha ferramentas de monitoria faacuteceis de usar e seleccione a menor quantidade possiacutevel de indicadores para acompanhar o progresso e introduzir as mudanccedilas necessaacuterias ao longo do caminho
Para fortalecer um SIS eacute preciso trabalhar com as pessoas envolvidas os responsaacuteveis pelo sistema que registam transferem analisam comunicam e utilizam os dados e as informaccedilotildees para a gestatildeo dos serviccedilos
Ao fornecer os dados do SIS para os tomadores de decisotildees vocecirc deve reconhecer as diferenccedilas na frequecircncia dos relatoacuterios e nas quantidades de dados agregados e desagregados necessaacuterios aos niacuteveis diferentes de governo ou agraves organizaccedilotildees natildeo governamentais
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 920
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Para determinar em que niacutevel deve monitorar e avaliar seus resultados eacute uacutetil examinar novamente e expandir a cadeia de resultados a comeccedilar da direita pelo resultado final (impacto) e voltar ateacute os materiais e recursos (insumos) necessaacuterios
Insumos rarr Processos rarr Produtos rarr Resultados rarr Impacto
Impacto Esses resultados satildeo medidos ao niacutevel da populaccedilatildeo levam um tempo relativamente longo para serem alcanccedilados (geralmente 3 a 5 cinco anos) e exigem o esforccedilo conjunto de vaacuterias intervenccedilotildees e mesmo de vaacuterias organizaccedilotildees Como gestor vocecirc poderaacute ser responsaacutevel por medir o impacto mas deve incluiacute-lo na loacutegica do seu plano de MampA para saber o que a sua organizaccedilatildeo e os parceiros da organizaccedilatildeo pretendem alcanccedilar a longo prazo
Resultados a meacutedio e longo prazo Na maioria dos casos os gestores satildeo responsaacuteveis por medir os resultados nos niacuteveis de produtos eou resultados a meacutedio e longo prazo Os resultados a meacutedio e longo prazo satildeo obtidos pelas actividades criadas para produzir uma mudanccedila de comportamento nos profissionais de sauacutede ou nos utentes Satildeo geralmente medidos em termos de mudanccedilas na cobertura de serviccedilos e mudanccedilas nos conhecimentos atitudes e praacuteticas de uma populaccedilatildeo beneficiaacuteria Um resultado a meacutedio e longo prazo pode ser o iniacutecio de uma praacutetica comprovada de prestaccedilatildeo de serviccedilos a adopccedilatildeo de novas estrateacutegias de gestatildeo ou a elaboraccedilatildeo bem-sucedida de uma poliacutetica de promoccedilatildeo da sauacutede Pode tambeacutem ser um aumento no nuacutemero de mulheres que datildeo agrave luz em um centro de sauacutede ou no nuacutemero de crianccedilas totalmente imunizadas Na maioria dos casos eacute possiacutevel estabelecer uma relaccedilatildeo clara entre produtos e resultados a meacutedio e longo prazo
Produtos Os produtos ou resultados imediatos satildeo fruto directo das actividades Devem ser monitorados durante toda a implementaccedilatildeo como um elemento essencial da boa gestatildeo Os planos de MampA devem definir o produto esperado de cada actividade Para as unidades de prestaccedilatildeo de serviccedilos isso geralmente significa os resultados imediatos em termos dos serviccedilos (por exemplo nuacutemero de utentes atendidos ou tempo de espera dos clientes ou utentes) Para as organizaccedilotildees que natildeo prestam serviccedilos de sauacutede directamente isso pode significar a distribuiccedilatildeo de produtos de sauacutede ou serviccedilos de formaccedilatildeo (por exemplo quantidade de produtos para planeamento familiar distribuiacutedos ou nuacutemero de participantes formados)
Processos A monitoria de processos ou actividades eacute em grande parte uma medida da cultura de prestaccedilatildeo de contas (ou grau de responsabilizaccedilatildeo) ao garantir que as actividades sejam realizadas dentro do prazo e com recursos suficientes A monitoria nesse niacutevel acompanha o progresso da implementaccedilatildeo tendo como referecircncia os prazos propostos e o uso dos recursos tendo como referecircncia os orccedilamentos Eacute geralmente executada atraveacutes da apresentaccedilatildeo de relatoacuterios tradicionais trimestrais semestrais e anuais
Insumos Ao preparar uma intervenccedilatildeo deve identificar a quantidade e os tipos de recursos necessaacuterios para implementar as actividades O desempenho pode ser monitorado em termos da quantidade e dos tipos de insumos fornecidos e do nuacutemero e timing das actividades realizadas
A etapa seguinte na definiccedilatildeo dos resultados esperados eacute garantir que cumpram os criteacuterios SMART (consulte a Tabela 4) Eacute possiacutevel monitorar e avaliar o progresso no alcance de um resultado apenas se esse resultado tiver sido definido em termos mensuraacuteveis
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 921
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja a seguir um exemplo de um resultado mensuraacutevel para uma intervenccedilatildeo cujo propoacutesito eacute promover a cobertura de imunizaccedilatildeo em crianccedilas de 12 a 24 meses de idade A percentagem de crianccedilas de 12 a 24 meses totalmente vacinadas na aacuterea de captaccedilatildeo aumentaraacute para 70 dentro de um ano
ETAPA 2 IDENTIFIQUE OS INDICADORES E SUAS DEFINICcedilOtildeES
Os indicadores satildeo geralmente percentagens ou proporccedilotildees que representam o alcance de uma condiccedilatildeo especiacutefica de sauacutede na populaccedilatildeo de interesse Podem tambeacutem ser um valor absoluto tal como o nuacutemero de ocorrecircncias de um evento de sauacutede (por ex um oacutebito materno ou um caso de malaacuteria)
Todos os indicadores pedem uma definiccedilatildeo detalhada Trata-se de um indicador qualitativo ou quantitativo Se for uma percentagem qual eacute o numerador e qual eacute o denominador A definiccedilatildeo deve ser suficientemente detalhada para garantir que pessoas diferentes em momentos diferentes possam recolher tipos idecircnticos de dados para o indicador
Veja o que caracteriza um bom indicador no Quadro 2 Os indicadores podem ser classificados como indicadores do estado de sauacutede ou do desempenho de serviccedilos
Os indicadores do estado de sauacutede podem incluir o seguinte
nuacutemero de casos e mortes causados por doenccedilas especiacuteficas em um determinado periacuteodo
proporccedilatildeo da populaccedilatildeo com uma doenccedila ou condiccedilatildeo de sauacutede num momento particular ou ao longo de um periacuteodo de tempo
proporccedilatildeo da populaccedilatildeo com um factor ou condiccedilatildeo de sauacutede que os coloca em risco de contrair doenccedilas tal como a falta de conhecimento ou um comportamento de risco
Os indicadores de desempenho podem incluir o seguinte
proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que recebeu um serviccedilo especiacutefico proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que demonstra comportamentos e
conhecimentos especiacuteficos de sauacutede
TABELA 4 Criteacuterios de um resultado SMART
Criteacuterio Descriccedilatildeo
Especiacutefico (S ndash Smart)
Claramente escrito e compreendido O resultado esperado eacute suficientemente especiacutefico para ser medido por uma frequecircncia percentagem ou nuacutemero
Mensuraacutevel (M ndash Measurable)
Eacute possiacutevel monitorar o progresso e avaliar os resultados O resultado esperado eacute definido em termos que sejam mensuraacuteveis
Apropriado (A ndash Appropriate)
O resultado esperado eacute apropriado ao acircmbito do seu trabalho e agrave missatildeo da sua organizaccedilatildeo
Realista (R ndash Realistic)
O resultado esperado pode ser alcanccedilado e estaacute dentro do controlo da sua organizaccedilatildeo Pode ser realisticamente alcanccedilado ao usar os recursos disponiacuteveis e dentro do prazo do seu plano de implementaccedilatildeo
de Tiempo limitado (T ndash Time Bound)
Foi estabelecido um prazo especiacutefico para obter o resultado esperado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 922
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
proporccedilatildeo de centros e pessoal de sauacutede que demonstram adesatildeo a padrotildees especiacuteficos de serviccedilo ou que atingiram objectivo definido
proporccedilatildeo de centros de sauacutede que seguem padrotildees definidos de gestatildeo funcional (por ex em termos de pessoal disponibilidade de medicamentos registo e apresentaccedilatildeo de relatoacuterios)
Orientaccedilatildeo adicional sobre os indicadores pode ser obtida em ldquoCompecircndio de indicadores para avaliaccedilatildeo de programas de sauacutede reprodutivardquo e ldquoLista dos indicadores sobre desenvolvimento da capacidade de gestatildeo e lideranccedilardquo
ETAPA 3 IDENTIFIQUE AS FONTES DE DADOS
Agora precisa identificar uma fonte de dados para cada indicador incluiacutedo no plano de MampA ao seleccionar dados que estejam prontamente disponiacuteveis em uma fonte confiaacutevel e dentro das possibilidades financeiras de sua organizaccedilatildeo O ideal seria escolher os dados imediatamente disponiacuteveis atraveacutes da organizaccedilatildeo em vez de dar iniacutecio a uma nova estrateacutegia de recolha de dados o que poderia ser oneroso e demorado
Uma boa forma de comeccedilar eacute com a seguinte pergunta Que dados jaacute recolhemos de forma rotineira e sistemaacutetica Vocecirc deve sempre levar em consideraccedilatildeo as vantagens e desvantagens de cada fonte de dados Consulte a secccedilatildeo ldquoComo seleccionar suas fontes de dadosrdquo para obter mais informaccedilotildees sobre as vantagens e desvantagens de algumas fontes de dados mais comuns
Vocecirc deve ser o mais especiacutefico possiacutevel sobre as fontes de dados para que a mesma fonte possa ser utilizada de forma coerente durante toda a intervenccedilatildeo Mudar as fontes de dados para o mesmo indicador pode resultar em incoerecircncias e erros de interpretaccedilatildeo Por exemplo se estiver a medir as taxas de mortalidade infantil passar de estimativas baseadas num inqueacuterito de grande escala para estimativas baseadas em estatiacutesticas hospitalares pode resultar dar a falsa impressatildeo de que houve uma mudanccedila
QUADRO 2 Qualidades de um bom indicador
Vaacutelido O indicador mede o que se pretende medir
Confiaacutevel A medida do indicador deve ser igual natildeo importa quantas vezes a medida seja feita
Preciso O indicador eacute definido em termos claros e especiacuteficos para que possa ser medido O indicador pode ser qualitativo (descritivo) discreto (SimNatildeo) ou baseado em niacuteveis quantitativos ou proporccedilotildees desde que seja claramente mensuraacutevel
Faacutecil de entender Tanto especialistas como natildeo especialistas devem poder entender o significado do indicador
Discreto O indicador captura um uacutenico componente ou aspecto de um resultado mais complexo Mede apenas uma coisa natildeo um conjunto de coisas
Em tempo haacutebil O indicador pode ser medido em intervalos temporais apropriados de acordo com a disponibilidade dos dados
Comparaacutevel Quando possiacutevel o indicador evita definiccedilotildees limitadas ou singulares cujos valores seriam difiacuteceis de comparar com outros resultados
Viaacutevel para utilizar Os dados para o indicador satildeo faacuteceis de obter de uma fonte confiaacutevel e relativamente econoacutemica ndash acessiacutevel tendo em vista os recursos da sua organizaccedilatildeo Se esses dados natildeo estiverem disponiacuteveis existem meacutetodos para obtecirc-los no futuro
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 923
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 4 DEFINA OS MEacuteTODOS DE RECOLHA DE DADOS
A etapa seguinte eacute a de definir os meacutetodos ou ferramentas que utilizaraacute para cada indicador Para os indicadores baseados em dados primaacuterios (dados que vocecirc mesmo recolhe) deve descrever o tipo de instrumento necessaacuterio para recolher os dados Os exemplos podem incluir questionaacuterios estruturados listas de verificaccedilatildeo de observaccedilatildeo directa ou balanccedilas para pesar bebeacutes
Para os dados secundaacuterios (dados recolhidos por terceiros e que estatildeo disponiacuteveis para vocecirc usar) deve explicar o meacutetodo para calcular o indicador e a fonte dos dados e fornecer detalhes suficientes sobre o meacutetodo de caacutelculo para que outros possam replicaacute-lo Lembre-se de que eacute mais faacutecil e mais barato usar dados secundaacuterios mas sua qualidade eacute menos confiaacutevel do que a dos dados primaacuterios
Tambeacutem eacute importante observar a frequecircncia da recolha dos dados para cada indicador A depender do tipo de indicador vocecirc poderaacute recolher os dados mensalmente trimestralmente anualmente ou ateacute com menos frequecircncia Ao definir o programa de recolha de dados para cada indicador leve em consideraccedilatildeo a necessidade de fornecer informaccedilotildees em tempo haacutebil aos responsaacuteveis por tomar decisotildees na sua organizaccedilatildeo Atribuir responsabilidades pela recolha de dados a indiviacuteduos ou grupos do seu pessoal garantiraacute que os dados sejam recolhidos dentro do prazo necessaacuterio
As informaccedilotildees das Etapas 1 a 4 fornecem o conteuacutedo do seu plano de monitoria e avaliaccedilatildeo A Tabela 5 mostra os elementos de um plano de MampA para um programa de mentoria cliacutenica para centros de orientaccedilatildeo e testes voluntaacuterios
ETAPA 5 RECOLHA OS DADOS DE BASE E DE ACOMPANHAMENTO
Recolher dados de base precisos eacute uma das tarefas mais importantes de MampA Os dados de base ou referecircncia satildeo o ponto de partida para definir as metas que vocecirc e sua equipa pretendem atingir e para acompanhar as mudanccedilas dos indicadores durante todo o periacuteodo de sua intervenccedilatildeo Dessa forma os dados de base ajudam a definir melhor um resultado final esperado
Vocecirc precisaraacute recolher dados de base para cada indicador antes que suas actividades comecem Esses dados identificam o ponto de partida de onde poderaacute avaliar o progresso Depois em pontos variados durante a implementaccedilatildeo vocecirc recolheraacute dados de acompanhamento sobre cada indicador para comparaacute-los com os niacuteveis de base e os resultados previstos Isto permite que vocecirc e outros tomadores de decisotildees em sua organizaccedilatildeo avaliem o progresso de cada intervenccedilatildeo ou serviccedilo e faccedilam as mudanccedilas necessaacuterias ao longo do caminho Examine o exemplo no Quadro 3
Por que acompanhar as mudanccedilas dos indicadores durante a implementaccedilatildeo Os indicadores de um plano de MampA estatildeo relacionados aos resultados imediatos (produtos) e aos resultados de meacutedio e longo prazo que os gestores precisam monitorar As mudanccedilas nos valores do indicador ao longo do tempo mostram se esses resultados estatildeo a subir ou a baixar ou se permanecem iguais Isto mostra ao gestor se as intervenccedilotildees e estrateacutegias estatildeo a funcionar conforme planeado para atingir os resultados esperados
Ao final do periacuteodo de implementaccedilatildeo precisaraacute recolher dados sobre os seus indicadores para comparar os niacuteveis finais com os niacuteveis de base e com os seus resultados esperados A depender dos seus indicadores precisaraacute tambeacutem recolher dados de acompanhamento a uma altura acordada previamente para determinar se as mudanccedilas seratildeo mantidas apoacutes o teacutermino da sua intervenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 924
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 5 Exemplo de um Plano de Monitoria e Avaliaccedilatildeo
Objectivo Os profissionais de sauacutede que receberam formaccedilatildeo aumentam sua capacidade de fornecer tratamento anti-retroviral de acordo com as directrizes nacionais
ActividadeProduto Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
CronogramaPrazo final
Cliacutenicos experientes em VIH recrutados para servir como mentores cliacutenicos em cinco hospitais regionais
Nuacutemero de mentores recrutados e designados a hospitais regionais
Registos de emprego
Como concluiacutedo Director adjunto para programas cliacutenicos
Setembro de 2008
Pessoal meacutedico em cinco hospitais regionais que recebem mentoria individual sobre terapia anti-retroviral
Nuacutemero de locais que recebem mentoria cliacutenica
Nuacutemero de meacutedicos que recebem mentoria individual
Nuacutemero de dias de mentoria cliacutenica realizados
Relatoacuterios mensais do mentor
Mensalmente Mentores Marccedilo de 2009
Resultados a meacutedio e longo prazo Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
Trabalhadores de sauacutede aumentam seu conhecimento sobre terapia anti-retroviral
80 dos participantes obtecircm 85 ou mais de pontuaccedilatildeo correcta no teste posterior
Trabalhadores de sauacutede melhoram suas habilidades no fornecimento de terapia anti-retroviral
Percentagem de habilidades demonstradas na lista de verificaccedilatildeo de competecircncia
Estudo especial Datas a definir Director adjunto para programas cliacutenicos
Fonte Centro Internacional de Formaccedilatildeo e Ensino sobre VIH p 2
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 925
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Observaccedilatildeo sobre o uso de indicadores para uma avaliaccedilatildeo A maioria dos esforccedilos de MampA enfatizam a selecccedilatildeo de indicadores bem definidos para estabelecer metas e medir as mudanccedilas nas condiccedilotildees e nos serviccedilos de sauacutede
Mas eacute importante lembrar que os indicadores servem apenas como marcadores Os dados dos indicadores fornecem pistas para saber se uma intervenccedilatildeo ou um grupo de actividades estaacute dentro do cronograma e se os resultados esperados estatildeo a ser alcanccedilados Eles natildeo respondem agraves perguntas de por que os resultados estatildeo ou natildeo a ser alcanccedilados Natildeo explicam os resultados fortuitos as relaccedilotildees entre intervenccedilotildees e resultados ou as causas de resultados percebidos que podem ocorrer fora da intervenccedilatildeo Assim natildeo podem recomendar medidas a tomar para melhorar os resultados
Os dados de indicadores devem portanto ser interpretados com cuidado Eles simplesmente indicam resultados que precisam ser melhor explorados em vez de fornecer uma avaliaccedilatildeo definitiva do sucesso ou fracasso Um estudo de avaliaccedilatildeo eacute geralmente executado para determinar se uma intervenccedilatildeo pode ser considerada um sucesso e por quecirc
Em geral agrave medida que sobe na hierarquia e passa das actividades para os resultados a longo prazo a MampA se torna mais complicada Nos niacuteveis de processo e produtos pode-se facilmente rastrear que actividades foram concluiacutedas e seus resultados imediatos Essas informaccedilotildees satildeo operacionais ndash informaccedilotildees que vocecirc pode usar para decisotildees quotidianas de gestatildeo Poreacutem para identificar e medir os resultados da sinergia dos produtos provavelmente teraacute que integrar as informaccedilotildees qualitativas e quantitativas e confiar menos em indicadores quantitativos singulares
Lembre-se de que quando uma melhoria desejada ndash seja na eficiecircncia do serviccedilo no conhecimento e comportamento dos provedores de serviccedilos ou dos beneficiaacuterios ou na tendecircncia de um problema de sauacutede ndash eacute confirmada atraveacutes de MampA isto natildeo prova que foi a intervenccedilatildeo que provocou a mudanccedila Outras coisas podem estar a se passar no serviccedilo ou no ambiente geral que causam essa mudanccedila Eacute claro que o mesmo se aplica aos resultados negativos ou resultados que indicam natildeo haver nenhuma mudanccedila nos resultados a meacutedio e longo prazo
QUADRO 3 Como usar dados de base para ajustar os resultados
Uma equipa de sobrevivecircncia infantil estaacute a propor uma intervenccedilatildeo com o seguinte resultado mensuraacutevel e especiacutefico ldquoNos proacuteximos 12 meses 40 das crianccedilas entre 12 e 24 meses de idade na aacuterea de captaccedilatildeo seratildeo completamente imunizadasrdquo
Para determinar se seu programa pode realmente atingir esse resultado o pessoal precisa medir os niacuteveis actuais de vacinaccedilatildeo Ao examinar os dados vecircem que apenas 10 das crianccedilas na aacuterea de captaccedilatildeo estatildeo completamente imunizadas ao completarem 24 meses Estes satildeo portanto seus dados de base
A gestora entende que natildeo seraacute possiacutevel atingir o objectivo de 40 de cobertura de imunizaccedilatildeo em apenas 12 meses Por isso ela e sua equipa revisam o resultado esperado e o modificam para que seja mais razoaacutevel e realista mas continue sendo significativo ldquoNos proacuteximos 12 meses 20 das crianccedilas de 12 a 24 meses na aacuterea de de actuaccedilatildeo seratildeo completamente imunizadas
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 926
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 6 COMPARTILHE E USE SEUS DADOS
Na pressa para comeccedilar a recolher dados alguns gestores se esquecem de planear um processo para reflectir sobre as informaccedilotildees e fazer mudanccedilas para aumentar a eficiecircncia das actividades Para garantir que os dados sejam natildeo soacute recolhidos mas tambeacutem utilizados pense como vocecirc e sua equipa divulgaratildeo as informaccedilotildees sobre MampA e obteratildeo retroinformaccedilatildeo dos diversos grupos de interesse Algumas perguntas baacutesicas serviratildeo para lhe orientar
Quem precisa de que tipo de informaccedilotildees e quando precisam delas Que tipo de formato deve usar para comunicar os resultados ao pessoal
aos gestores de niacutevel superior e a outros grupos de interesse importantes Eacute suficiente fazer circular um relatoacuterio ou deveria organizar uma reuniatildeo ou workshop
Deveria tambeacutem organizar reuniotildees com a comunidade para solicitar retroinformaccedilatildeo dos seus beneficiaacuterios sobre os primeiros resultados da MampA
Como deve apresentar as informaccedilotildees para que sejam uacuteteis aos diferentes tomadores de decisotildees As informaccedilotildees devem ser apresentadas visualmente em diagramas graacuteficos ou mapas Para obter orientaccedilatildeo sobre dados e resultados consulte o Guiatildeo de MampA para Facilitadores de Programas de Desenvolvimento da Lideranccedila
Uso dos resultados para melhorar os dados de rotina em acccedilatildeo ndash Um exemplo do Paquistatildeo
No Paquistatildeo com o apoio do projecto PRIDE 10 equipas de subdistritos aplicaram o Processo de Avaliaccedilatildeo e Melhoria do Desempenho em Sauacutede Puacuteblica (PIP-PH) um conjunto de procedimentos e formatos para tratar dos problemas de sauacutede que identificaram como os mais graves para as suas populaccedilotildees Usaram o PIP-PH para priorizar os problemas e serviccedilos que mais precisavam de atenccedilatildeo a curto prazo para obter melhorias
Como parte do processo PIP-PH as equipas tambeacutem conceberam um formato de Estrutura de Vigilacircncia de Sauacutede (ldquoHealth Watch Frameworkrdquo) para os seus subdistritos como um todo e para os centros de sauacutede dentro deles Cada equipa seleccionou indicadores para medir a situaccedilatildeo de dois problemas de sauacutede puacuteblica os serviccedilos essenciais a eles relacionados e as limitaccedilotildees que afectavam esses serviccedilos
As equipas usaram os formulaacuterios Health Watch para estabelecer valores de base para os indicadores e depois para monitorar esses valores agrave medida que as intervenccedilotildees prosseguiam ao longo do tempo Os centros de sauacutede revisavam e actualizavam o formulaacuterio todo mecircs as equipas do subdistrito inclusive gestores de centros de sauacutede revisavam e discutiam os formulaacuterios trimestralmente os formulaacuterios revisados
As equipas de subdistrito usaram as informaccedilotildees para analisar os motivos do progresso ou falta de progresso para poderem prestar apoio aos gestores dos centros de sauacutede O processo estimulou os gestores dos centros de sauacutede a melhorarem a integridade e precisatildeo dos dados de rotina para poderem usar as informaccedilotildees e monitorarem mais eficazmente os eventos e os serviccedilos essenciais e introduzirem as melhorias necessaacuterias
Exemplos e informaccedilotildees detalhadas sobre o PIP-PH e o Health Watch Framework aparecem no Relatoacuterio Anual do Projecto PRIDE 2007
Para se informar mais sobre meacutetodos adicionais de utilizaccedilatildeo dos dados para melhorar o desempenho de uma organizaccedilatildeo equipa serviccedilo de sauacutede ou intervenccedilatildeo consulte o processo de Avaliaccedilatildeo e Melhoria de Desempenho (Performance Assessment and Improvement ndash PAI) no website de Programa de Lideranccedila Gestatildeo e Sustentabilidade (Leadership Management and Sustainability ndash LMS)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 927
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O processo de Monitoria e Avaliaccedilatildeo deve ser executado com o objectivo de usar imediatamente os resultados para identificar as falhas de desempenho e tomar medidas para reduzir ou eliminar essas falhas Vocecirc deve sempre planear formas de usar os resultados de MampA para o aprendizado e a acccedilatildeo Por exemplo o que deve fazer se as actividades do projecto natildeo trouxerem os resultados esperados O que precisa mudar se os serviccedilos essenciais natildeo estiverem a fornecer os niacuteveis de cobertura previstos ou a alcanccedilar grupos especiacuteficos de pessoas E como vocecirc pode levar esses fatos agrave atenccedilatildeo das pessoas certas para obter uma resposta raacutepida
Desenho de uma ferramenta de MampA
ARMADILHAS DA MONITORIA E AVALIACcedilAtildeO
Haacute vaacuterias armadilhas comuns que impedem que vocecirc como gestor aperfeiccediloe a funccedilatildeo de MampA na sua organizaccedilatildeo
Planeamento excessivo ou insuficienteAlguns gestores podem gastar tempo demais a preparar o plano de MampA do que resultam planos muito elaborados e complicados de usar Outros ficam muito ansiosos por implementar as intervenccedilotildees de MampA e comeccedilam antes de concluir o plano de MampA Isso significa que quando o plano fica pronto eacute geralmente tarde demais para obter dados de base viaacuteveis e a MampA tem que ser adiada Nesses casos o gestor talvez tenha que aceitar fazer a avaliaccedilatildeo mais tarde sem os dados de base que poderia usar para a comparaccedilatildeo
Descuidar-se da monitoria contiacutenua Outra armadilha frequente eacute a falha em incluir a monitoria contiacutenua na implementaccedilatildeo das actividades Isto ocorre frequentemente por falta de experiecircncia Muitos gestores natildeo tiveram acesso a ferramentas de monitoria uacuteteis (que satildeo raras) Talvez natildeo tenham recebido prontamente os resultados ou a retroinformaccedilatildeo do sistema de MampA no passado e por isso natildeo percebem como eacute importante realizar a monitoria de rotina Aleacutem disso gestores podem facilmente se emaranhar nos detalhes da implementaccedilatildeo e descuidar-se da monitoria de rotina
Exagerar Outra armadilha relacionada agrave monitoria eacute tentar rastrear os dados de todos os indicadores possiacuteveis Tentar obter os dados sobre um nuacutemero excessivo de factores torna o processo de monitoria tatildeo complicado que se torna impreciso Isso tambeacutem torna o processo mais lento de modo que no momento em que os dados satildeo recolhidos e analisados eles jaacute natildeo satildeo mais uacuteteis As ferramentas de monitoria muito demoradas e complicadas acabam por natildeo ser usadas O que acontece entatildeo O gestor deixa totalmente de fazer a monitoria e tem que recorrer agrave avaliaccedilatildeo
Se jaacute se deparou com esses problemas eacute hora de mudar a sua taacutectica Vocecirc pode criar um plano de MampA simples e usar ferramentas de monitoria simples Descubra o que tem que medir para obter os dados dentro de 3 a 6 meses o prazo vai depender dos ciclos de planeamento e apresentaccedilatildeo de relatoacuterios da sua organizaccedilatildeo Entenda tambeacutem qual eacute o miacutenimo que deve ser medido em uma avaliaccedilatildeo de longo prazo Busque a simplicidade mesmo se estiver diante de um conjunto complexo de actividades
Tente incluir apenas o que realmente precisa saber Pode testar todos os indicadores propostos antes de incluiacute-los no planeamento de MampA ao perguntar Quem precisa usar essas informaccedilotildees quando e com que finalidade Se um uacutenico indicador de produtos for suficiente perfeito Natildeo sobrecarregue a monitoria com indicadores desnecessaacuterios Muitas vezes menos dados fornecem mais informaccedilotildees
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 928
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
CARACTERIacuteSTICAS DE UMA BOA FERRAMENTA DE MONITORIA
Como gestor natildeo precisa saber tudo para gerir um serviccedilo ou dirigir uma intervenccedilatildeo mas precisa das informaccedilotildees imediatamente Portanto precisa de uma ferramenta de monitoria que possa fornecer informaccedilotildees suficientes e em tempo haacutebil para identificar e corrigir problemas assim que eles surgirem
Uma ferramenta de monitoria deve ser faacutecil de montar e utilizar As tabelas listas de verificaccedilatildeo e diagramas simples satildeo meacutetodos particularmente uacuteteis de recolher organizar e apresentar informaccedilotildees de monitoria
No miacutenimo sua ferramenta de monitoria deve permitir que vocecirc e sua equipa acompanhem
o progresso da implementaccedilatildeo da actividade a entrega de produtos ou resultados imediatos a situaccedilatildeo dos principais indicadores de resultados comparados aos resultados
esperados se for o caso as despesas orccedilamentais a disponibilidade de recursos humanos e financeiros os obstaacuteculos agrave implementaccedilatildeo e o que tem sido feito para superaacute-los
Vocecirc teraacute que responder agraves seguintes perguntas periodicamente
As actividades foram implementadas conforme planeado dentro do prazo e do orccedilamento
Que actividades adicionais natildeo planeadas foram realizadas Que serviccedilos ou produtos directos e tangiacuteveis foram oferecidos como resultado
das actividades que implementamos Estamos dentro do cronograma para atingir nossos resultados a meacutedio e longo
prazo Possuiacutemos os recursos necessaacuterios (pessoal dinheiro medicamentos e
suprimentos etc) para cumprirmos o cronograma
O Quadro 4 apresenta os componentes baacutesicos de uma ferramenta simples de monitoria
QUADRO 4 Uma ferramenta simples de monitoria
Data de exame Metas de resultados
Actividades (segundo o plano de implementaccedilatildeo)
Situaccedilatildeo ateacute o momento
Resultados esperados
Datas para conclusatildeo
Situaccedilatildeo ateacute o momento Comentaacuterios
Desafios e oportunidades
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 929
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quando usadas correctamente as novas tecnologias (por ex os PDAs ldquosmartphonesrdquo laptops e outros) podem facilitar a monitoria e aumentar os benefiacutecios da monitoria das actividades A monitoria automatizada ndash dados que podem ser obtidos e processados automaticamente ndash podem produzir um resumo dos principais indicadores em uma soacute paacutegina faacutecil de ler e num formato que utiliza cores para alertar ao gestor sobre as aacutereas que precisam de maior atenccedilatildeo As informaccedilotildees obtidas em tempo haacutebil sobre alguns indicadores essenciais permitem que o gestor monitore o progresso e tome medidas correctivas
Essa apresentaccedilatildeo visual das informaccedilotildees mais importantes e necessaacuterias para gerir um projecto eacute geralmente conhecida como Painel de Indicadores de Desempenho Os paineacuteis de indicadores de desempenho podem ser usados em qualquer organizaccedilatildeo departamento ou divisatildeo Nas organizaccedilotildees de sauacutede puacuteblica os paineacuteis satildeo usados frequentemente para monitorar os indicadores financeiros e programaacuteticos bem como a cobertura produccedilatildeo eficaacutecia e qualidade de serviccedilos de sauacutede especiacuteficos Um painel de recursos humanos por exemplo incluiria indicadores relevantes para gerir o seguinte
retenccedilatildeo de funcionaacuterios rotatividade de funcionaacuterios formaccedilatildeo de funcionaacuterios lacunas de habilidades satisfaccedilatildeo dos funcionaacuterios custos benefiacutecios e despesas gerais com funcionaacuterios
A Tabela 6 mostra um painel de indicadores de desempenho criado para monitorar serviccedilos de contracepccedilatildeo ciruacutergica voluntaacuteria (CCV)
TABELA 6 Ilustraccedilatildeo de Painel de Indicadores de Desempenho para Serviccedilos de Contracepccedilatildeo Ciruacutergica Voluntaacuteria (CCV)
Serviccedilo Contracepccedilatildeo Ciruacutergica Voluntaacuteria Periacuteodo do Relatoacuterio Janeiro de 2009
No Indicador de Prestaccedilatildeo de Serviccedilos Custo Qualidade
Meta financeira ou programaacutetica
LimiarNuacutemero
alcanccedilado
Percentagem concluiacuteda
Miacuten Maacutex 10 20 30 40 50 60 70 80 90 100
1 Nuacutemero de CCVs realizadas no mecircs 8 10 7
2 Custo meacutedio das CCVs (US$) 100 120 110
3 Orccedilamento mensal da receita com CCVs realizadas (US$) 800 1200 770
4Percentagem das CCVs realizadas por pessoal
qualificadomdash 100 60
5 Percentagem das CCVs realizadas sem complicaccedilotildees 95 100 100
6
Percentagem de utentes satisfeitas com o tratamento
recebido do pessoal que realizou as CCVs
90 100 90
Adaptado de Colindres 2008 p 6
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 930
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja uma descriccedilatildeo do uso de um painel de indicadores de desempenho para a monitoria de rotina num estudo de caso estudo de caso de uma ONG da Boliacutevia o Centro de Investigaccedilatildeo Educaccedilatildeo e Serviccedilos (CIES)
Para obter mais informaccedilotildees de como criar um painel de indicadores consulte ldquoComo usar os paineacuteis de indicadores de desempenho para monitorar as realizaccedilotildees de uma organizaccedilatildeordquo Esse documento ajuda a esclarecer conceitos e define as etapas essenciais para criar paineacuteis de indicadores de desempenho
Como criar uma avaliaccedilatildeo para fins de aprendizagem
Apesar da importacircncia da monitoria de rotina apenas a monitoria natildeo basta para responder agrave pergunta ldquoE entatildeordquo Ou seja suas actividades e produtos contribuiacuteram para melhorar a cobertura dos serviccedilos aumentar o conhecimento ou encorajar comportamentos mais saudaacuteveis
Talvez uma campanha de comunicaccedilatildeo sobre planeamento familiar criada para aumentar a prevalecircncia do uso de contraceptivos tenha levado o governo a abastecer os depoacutesitos distritais com contraceptivos Para que possam aprender com essa experiecircncia e criar campanhas mais eficazes no futuro os gestores do projecto ainda querem saber que produtos foram realmente dispensados aos centros de sauacutede e distribuiacutedos aos utentes Esta secccedilatildeo discute como criar uma avaliaccedilatildeo para fins de aprendizagem
Existem dois motivos para levar a cabo uma avaliaccedilatildeo
1 A avaliaccedilatildeo fornece informaccedilotildees sobre o sucesso da sua equipa unidade ou organizaccedilatildeo para atingir seus objectivos Essas informaccedilotildees ajudam a definir que actividades expandir modificar ou eliminar Ela pode tambeacutem revelar formas de melhorar a concepccedilatildeo e gestatildeo das actividades futuras
2 A avaliaccedilatildeo pode demonstrar uma cultura de prestaccedilatildeo de contas agrave sua agecircncia doadora e a outros grupos de interesse nomeadamente o governo e os beneficiaacuterios dos seus serviccedilos
AVALIACcedilOtildeES FORMATIVAS E SUMATIVAS
Os gestores podem realizar dois amplos tipos de avaliaccedilotildees formativas e sumativas
Avaliaccedilatildeo formativa Este tipo de avaliaccedilatildeo eacute realizada durante o desenvolvimento e implementaccedilatildeo de um programa Seu objectivo eacute orientar o desenho e a implementaccedilatildeo de actividades que incluam as melhores e mais promissoras praacuteticas que aumentaratildeo as chances de sucesso A avaliaccedilatildeo formativa eacute mais comummente utilizada por projectos de grande porte ou de longo prazo em vez de projectos menores e de curto prazo Poreacutem os projectos menores devem pelo menos realizar uma avaliaccedilatildeo raacutepida das melhores praacuteticas durante a fase de planeamento para apoiar a loacutegica e o conteuacutedo proposto para as actividades
A avaliaccedilatildeo formativa inclui uma avaliaccedilatildeo de necessidades para discernir os desejos e requisitos de um grupo da populaccedilatildeo e determinar a melhor forma de atendecirc-los Inclui tambeacutem uma avaliaccedilatildeo de processo para investigar o processo utilizado para executar uma intervenccedilatildeo Pode-se usar a avaliaccedilatildeo do processo para determinar se as actividades foram realizadas de acordo com o plano ndash em termos de sua concepccedilatildeo original estimativas de custos e nuacutemero de pessoas a serem atendidas ndash e se a qualidade dos processos usados estaacute de acordo com as melhores praacuteticas conhecidas
A avaliaccedilatildeo de processo geralmente inclui vaacuterias abordagens Pode incluir uma avaliaccedilatildeo dos dados referentes aos produtos (por ex nuacutemero de redes mosquiteiras fornecidas nuacutemero
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 931
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
de workshops de formaccedilatildeo realizados nuacutemero de participantes dos workshops) assim como entrevistas individuais ou grupos de enfoque entre os beneficiaacuterios Nas intervenccedilotildees de menor porte eacute uma boa praacutetica realizar uma avaliaccedilatildeo de processo mesmo se limitada agrave retroinformaccedilatildeo dos participantes
Avaliaccedilatildeo somativa Este tipo de avaliaccedilatildeo eacute realizada apoacutes a conclusatildeo de um grupo de actividades ou da intervenccedilatildeo para avaliar a qualidade da intervenccedilatildeo e os seus principais resultados A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo a avaliaccedilatildeo do impacto a anaacutelise de custo-benefiacutecio e custo-eficaacutecia e a investigaccedilatildeo operacional
A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo que avalia em que medida uma equipa unidade ou organizaccedilatildeo inteira atingiram seus resultados esperados A avaliaccedilatildeo dos resultados eacute usada para demonstrar que existe uma cultura de prestaccedilatildeo de contas para aperfeiccediloar o projecto de actividades organizacionais para melhorar a distribuiccedilatildeo dos recursos e para promover intervenccedilotildees futuras bem-sucedidas As principais perguntas satildeo Que modificaccedilotildees ocorreram na vida das pessoas das famiacutelias ou da comunidade como resultado do nosso trabalho Que diferenccedila fizemos
Como observamos anteriormente neste capiacutetulo os resultados a meacutedio e longo prazo satildeo geralmente mudanccedilas mensuraacuteveis eou observaacuteveis em duas dimensotildees A primeira dimensatildeo abrange a conscientizaccedilatildeo o conhecimento as atitudes os valores e as habilidades dos participantes de um programa ou dos beneficiaacuterios dos serviccedilos durante ou depois de seu envolvimento na intervenccedilatildeo A segunda dimensatildeo implica mudanccedilas no comportamento desses mesmos grupos
Idealmente as duas dimensotildees deveriam ser medidas em trecircs pontos no comeccedilo e no final do periacuteodo de implementaccedilatildeo e se possiacutevel apoacutes um periacuteodo de acompanhamento adequado Se a mediccedilatildeo do acompanhamento natildeo for viaacutevel pelo menos devem ser comparadas as mediccedilotildees de base e poacutes-intervenccedilatildeo Muitas vezes as mudanccedilas podem ser pequenas mas deve haver alguma melhoria em pelo menos um ou dois resultados para que a intervenccedilatildeo seja considerada um sucesso
A avaliaccedilatildeo dos resultados tenta distinguir entre a influecircncia da intervenccedilatildeo nessas mudanccedilas e a influecircncia de outros factores externos Mas geralmente os avaliadores teratildeo que optar pela atribuiccedilatildeo parcial de um resultado a uma intervenccedilatildeo ou serviccedilo especiacutefico devido agrave dificuldade em determinar uma relaccedilatildeo directa e causal entre o serviccedilo prestado e uma determinada mudanccedila
As avaliaccedilotildees de resultados utilizam geralmente um desenho natildeo experimental (geralmente denominado ldquopreacute e poacutes-avaliaccedilatildeordquo) que simplesmente mede as mudanccedilas antes e depois de uma intervenccedilatildeo ou seja diferente do desenho experimental (que compara os participantes com um grupo de controlo com designaccedilatildeo aleatoacuteria a ambos os grupos) ou do desenho semi-experimental (que compara os participantes com um grupo de controlo mas sem a designaccedilatildeo aleatoacuteria)
O desenho natildeo experimental eacute aceitaacutevel para as mediccedilotildees e relatoacuterios padratildeo dos resultados a meacutedio e longo prazo As ONGs raramente usam os desenhos experimentais Apesar de uma organizaccedilatildeo de grande porte e com muitos recursos poder ocasionalmente receber assistecircncia de especialistas para um desenho experimental a maioria delas acha que as consideraccedilotildees eacuteticas e logiacutesticas impedem a designaccedilatildeo aleatoacuteria dos participantes aos grupos de intervenccedilatildeo e de controlo Aleacutem disso o custo de recolher dados de um grupo de controlo seraacute provavelmente muito elevado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 932
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A avaliaccedilatildeo do impacto eacute outro componente da avaliaccedilatildeo somativa Eacute mais ampla do que a avaliaccedilatildeo de resultados e avalia os efeitos liacutequidos ou gerais ndash tanto intencionais como natildeo intencionais ndash de todo um programa grupo de programas ou grupo de organizaccedilotildees As avaliaccedilotildees de impacto geralmente se estendem por um periacuteodo de 3 a 5 anos
OUTROS TIPOS DE AVALIACcedilOtildeES
Anaacutelise de custo-benefiacutecio e custo-eficaacutecia Estes tipos de anaacutelise tratam da eficiecircncia da intervenccedilatildeo ao analisar os resultados em termos dos seus custos financeiros e do seu valor
Investigaccedilatildeo operacional Trata-se de um balanccedilo ou avaliaccedilatildeo de uma intervenccedilatildeo especiacutefica no contexto de um programa mais amplo que estaacute a fazer vaacuterias intervenccedilotildees A investigaccedilatildeo operacional eacute usada para testar e avaliar novas abordagens de prestaccedilatildeo de serviccedilos de sauacutede Eacute tambeacutem usada para identificar problemas na prestaccedilatildeo de serviccedilos e oferecer soluccedilotildees
A investigaccedilatildeo operacional eacute uma ferramenta poderosa que os gestores de programas e os tomadores de decisotildees podem usar para melhorar e expandir os serviccedilos Os estudos de investigaccedilatildeo operacional comparam intervenccedilotildees que estatildeo dentro da esfera de influecircncia do gestor Os exemplos incluem a avaliaccedilatildeo da eficaacutecia de uma nova estrateacutegia de prevenccedilatildeo de VIHSIDA um novo curso de formaccedilatildeo um novo conjunto de procedimentos para gerir medicamentos um novo meacutetodo contraceptivo ou um novo serviccedilo de sauacutede reprodutiva
O Toolkit de Investigaccedilatildeo Operacional do Programa Horizons sobre VIHSIDA do Population Council fornece informaccedilotildees detalhadas para criar um estudo de investigaccedilatildeo operacional
CONSIDERACcedilOtildeES PARA A FORMULACcedilAtildeO DE UMA AVALIACcedilAtildeO
O que avaliar para responder agrave pergunta ldquoE entatildeordquo Se quiser saber como gestor se as suas actividades tiveram realmente sucesso precisa preparar todas as intervenccedilotildees tendo em mente a avaliaccedilatildeo e incorporar a avaliaccedilatildeo ao seu planeamento organizacional geral Ao definir objectivos deve se perguntar Como saberemos se estamos a atingir esses objectivos Este eacute o ponto de partida para a avaliaccedilatildeo
Seja qual for o porte da sua intervenccedilatildeo ou serviccedilo e o alcance da avaliaccedilatildeo precisaraacute responder a trecircs perguntas durante a fase de desenho e planeamento
1 O que a sua intervenccedilatildeo ou serviccedilo conseguiraacute realizar a curto e longo prazo Se implementar um conjunto de actividades com sucesso ao longo do tempo o que seraacute diferente
2 Como conceptualiza as suas actividades ndash qual eacute a loacutegica subjacente Duas abordagens para identificar a loacutegica do programa satildeo discutidas neste capiacutetulo na secccedilatildeo intitulada Ferramentas e Abordagens Praacuteticas para MampA
3 Que indicadores pode usar para identificar o progresso no alcance dos resultados
Para responder agrave pergunta ldquoE entatildeordquo vocecirc precisa avaliar os factores sobre os quais tem um niacutevel razoaacutevel de controlo Por exemplo um novo serviccedilo criado para oferecer alojamento a pessoas que vivem com SIDA natildeo pode controlar ou afectar a expectativa de vida das pessoas agraves quais atende Mas ao fornecer um ambiente estaacutevel para elas viverem o serviccedilo pode diminuir o niacutevel de stresse e melhorar a qualidade de vida dessas pessoas que antes eram forccediladas a se mudar com frequecircncia
Depois de tratar da pergunta ldquoE entatildeordquo deve tambeacutem se certificar de que a avaliaccedilatildeo seja concebida de forma que quando o processo estiver concluiacutedo vocecirc possa abordar os cinco toacutepicos principais da avaliaccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 933
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
1 Relevacircncia Foi uma boa ideia fazer a intervenccedilatildeo considerando-se a situaccedilatildeo e a necessidade de melhorias Ela tratou das prioridades do grupo alvo ou beneficiaacuterio Por que sim ou por que natildeo
2 Eficaacutecia Os resultados produtos e actividades foram realizados Por que sim ou por que natildeo A loacutegica da intervenccedilatildeo eacute correcta
3 Eficiecircncia Os insumos (recursos e tempo) foram usados da melhor forma possiacutevel para atingir os resultados a meacutedio e longo prazo Por que sim ou por que natildeo O que vocecirc e sua equipa poderiam fazer de modo diferente no futuro para maximizar os resultados a um custo aceitaacutevel
4 Impacto Em que medida a sua intervenccedilatildeo contribuiu para as metas nacionais ou de longo prazo Que consequecircncias natildeo intencionais (positivas ou negativas) suas actividades tiveram Por que essas consequecircncias aconteceram
5 Sustentabilidade Eacute provaacutevel que os resultados positivos continuem depois que sua intervenccedilatildeo terminar Por que sim ou por que natildeo
Uma uacuteltima advertecircncia assim como a monitoria pode-se complicar demasiado a avaliaccedilatildeo Ao preparar um plano de avaliaccedilatildeo o melhor eacute seleccionar um grupo pequeno de indicadores e resistir agrave tentaccedilatildeo de avaliar todos os aspectos da sua intervenccedilatildeo
Assim como a monitoria a avaliaccedilatildeo soacute eacute uacutetil se as informaccedilotildees forem repassadas em tempo haacutebil para o gestor e outros tomadores de decisotildees e grupos de interesse Um problema comum com as avaliaccedilotildees intercalares eacute que os resultados geralmente soacute satildeo informados de 6 a 8 meses mais tarde o que deixa apenas 1 ou 2 anos para fazer mudanccedilas mais permanentes antes que se esgotem os fundos do governo ou da agecircncia doadora
COMO SELECCIONAR SUAS FONTES DE DADOS
Esta secccedilatildeo descreve trecircs tipos de fontes de dados que satildeo comummente usadas para uma avaliaccedilatildeo dados recolhidos rotineiramente inqueacuteritos de grande escala e teacutecnicas de avaliaccedilatildeo raacutepida inclusive a avaliaccedilatildeo participativa
Dados de rotina Os dados recolhidos e analisados rotineiramente por um SIS satildeo denominados ldquoestatiacutesticas de serviccedilordquo Pode-se utilizar vaacuterios sistemas de informaccedilatildeo de serviccedilos de rotina para monitorar os serviccedilos Alguns deles satildeo o sistema baacutesico de registo e relatoacuterio de SIS os sistemas especiais de relatoacuterios sobre programas (por ex tuberculose malaacuteria imunizaccedilatildeo VIH planeamento familiar etc) os sistemas de relatoacuterios sobre agentes comunitaacuterios especiais (por ex registos de agentes comunitaacuterios de sauacutede) o sistema de informaccedilotildees para a vigilacircncia de doenccedilas e o controlo notificaccedilatildeo e resposta a surtos e os relatoacuterios para os sistemas de suporte especiais (por ex medicamentos encaminhamentos e gestatildeo financeira e de recursos humanos)
Esses sistemas fornecem dados que estatildeo imediatamente disponiacuteveis e cujo objectivo eacute informar o que estaacute a acontecer no sector de sauacutede Os dados de rotina incluem por exemplo o nuacutemero de consultas de preacute-natal em uma cliacutenica o nuacutemero e tipo de vacinaccedilotildees fornecidas no local ou o nuacutemero e tipos de contraceptivos fornecidos mensalmente
Os dados sobre os serviccedilos satildeo geralmente recolhidos pelos centros de sauacutede ou postos de sauacutede e enviados para o proacuteximo niacutevel superior do sistema (geralmente o distrito) para serem agregados Esses dados podem entatildeo ser enviados ao proacuteximo niacutevel superior (regional ou provincial) para posterior agregaccedilatildeo antes que cheguem finalmente ao niacutevel central do Ministeacuterio da Sauacutede
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 934
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Idealmente os gestores de centros de sauacutede e ao niacutevel do distrito usam esses dados para orientar as operaccedilotildees diaacuterias acompanhar o desempenho e a prestaccedilatildeo de contas e tomar decisotildees que continuem a melhorar o desempenho Mas haacute vaacuterios obstaacuteculos a essa utilizaccedilatildeo
Muito frequentemente os dados de rotina satildeo imprecisos ou incompletos Apesar dos que utilizam o SIS tentarem produzir informaccedilotildees de alta qualidade e em tempo haacutebil haacute muitas oportunidades de introduzir erros Pode haver pouco apoio para que os gestores e seu pessoal se concentrem nos procedimentos correctos de recolha registo e agregaccedilatildeo dos dados
Os sistemas de sauacutede de vaacuterios paiacuteses enfatizam a importacircncia de apresentar relatoacuterios para os niacuteveis superiores mas natildeo estabeleceram procedimentos e incentivos para encorajar aqueles que fornecem informaccedilotildees a utilizaacute-las mesmo quando os dados satildeo de boa qualidade
Outra dificuldade eacute que as estatiacutesticas sobre serviccedilos fornecem informaccedilotildees apenas sobre os utentes que utilizam os serviccedilos de sauacutede Natildeo podem fornecer informaccedilotildees sobre as muitas pessoas que natildeo utilizam os serviccedilos
Por tudo isso natildeo se pode confiar apenas nas estatiacutesticas sobre serviccedilos para fazer uma avaliaccedilatildeo Elas satildeo melhor utilizadas para a monitoria de rotina dos problemas de sauacutede puacuteblica e dos serviccedilos essenciais relacionados
Inqueacuteritos em grande escala Os inqueacuteritos em grande escala satildeo outra fonte de informaccedilotildees imediatamente disponiacuteveis Incluem inqueacuteritos de base populacional tais como as Inqueacuterito Demograacutefico e de Sauacutede (IDS) dos EUA avaliaccedilotildees completas de centros de sauacutede como a Anaacutelise de Situaccedilatildeo do Population Council e os censos nacionais Em vaacuterios casos os gestores podem usar os dados de um inqueacuterito em grande escala existente para fornecer o contexto para a interpretaccedilatildeo dos dados capturados atraveacutes das suas proacuteprias avaliaccedilotildees
Por exemplo as IDS satildeo realizadas periodicamente para caracterizar a situaccedilatildeo de sauacutede em um paiacutes ou regiatildeo geograacutefica de grande extensatildeo para vaacuterios grupos populacionais homens mulheres crianccedilas bebeacutes e assim por diante Mas os dados das IDS natildeo podem normalmente ser desagregados para uso pelos gestores no niacutevel de distrito ou comunidade
Aleacutem disso como as IDS satildeo realizadas apenas a cada trecircs ou cinco anos as informaccedilotildees que fornecem podem natildeo estar suficientemente actualizadas para as necessidades de avaliaccedilatildeo dos gestores Apesar dessas dificuldades os dados das IDS satildeo uacuteteis para compreender tendecircncias regionais ou nacionais que podem ajudar a explicar dados recolhidos em uma avaliaccedilatildeo de foco especiacutefico
Avaliaccedilotildees raacutepidas Satildeo formas raacutepidas e econoacutemicas de obter informaccedilotildees para a tomada de decisotildees principalmente ao niacutevel da actividade Os exemplos incluem entrevistas quando os utentes saem de suas consultas as avaliaccedilotildees de pequena escala dos centros de sauacutede os inqueacuteritos raacutepidos por amostragem o exame analiacutetico de registos as entrevistas com grupos de enfoque e outros meacutetodos participativos
Poderaacute usar teacutecnicas de avaliaccedilatildeo raacutepida para complementar as informaccedilotildees obtidas com dados de rotina ou inqueacuteritos de grande escala As avaliaccedilotildees raacutepidas podem-lhe fornecer informaccedilotildees valiosas sobre sua aacuterea de captaccedilatildeo e sua aacuterea de responsabilidade mais ampla ndash ou seja as comunidades e as populaccedilotildees que deveriam ter acesso aos serviccedilos essenciais prestados por um centro de sauacutede determinado Elas podem tambeacutem fornecer contexto e uma compreensatildeo qualitativa dos dados quantitativos recolhidos pelos meacutetodos mais formais
Dentro da categoria de avaliaccedilotildees raacutepidas os meacutetodos participativos e os inqueacuteritos raacutepidos por amostragem merecem a sua atenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 935
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Meacutetodos participativos (tambeacutem chamados de aprendizagem e acccedilatildeo participativas) Essas teacutecnicas e meacutetodos visam incorporar o conhecimento e as opiniotildees dos membros da comunidade no planeamento e gestatildeo de projectos de desenvolvimento no esforccedilo para influenciar as poliacuteticas e na implementaccedilatildeo de programas Eles permitem incluir vozes da comunidade nas poliacuteticas no planeamento e nos inqueacuteritos e criam um senso de propriedade e participaccedilatildeo nos resultados de MampA e nas recomendaccedilotildees feitas pela organizaccedilatildeo e por seus beneficiaacuterios
Ao contraacuterio de outras teacutecnicas de avaliaccedilatildeo raacutepida os meacutetodos participativos natildeo se baseiam em amostragens Eles usam entrevistas individuais ou com informantes essenciais (inclusive entrevistas com utentes ao saiacuterem de suas consultas) entrevistas em grupo estudos de caso e outros meacutetodos qualitativos para identificar as condiccedilotildees locais e entender as perspectivas e prioridades locais
Em vaacuterios locais haacute membros da comunidade que natildeo podem ler nem escrever e por isso os meacutetodos participativos dependem frequentemente da comunicaccedilatildeo oral com apoio de imagens siacutembolos objectos fiacutesicos e memoacuteria colectiva
Os meacutetodos participativos podem ser usados antes durante e apoacutes a implementaccedilatildeo de uma intervenccedilatildeo ou um conjunto de actividades Eles fornecem informaccedilotildees para o projecto e a avaliaccedilatildeo e permitem a participaccedilatildeo activa das partes interessadas na tomada de decisotildees Durante a implementaccedilatildeo os meacutetodos participativos satildeo uacuteteis para identificar e solucionar problemas
Aproveite para examinar e utilizar uma lista de recursos online sobre inqueacuterito qualitativo e directrizes sobre discussotildees em grupos de enfoque no Community Tool Box da Universidade de Kansas
Inqueacuteritos raacutepidos por amostragem Estes inqueacuteritos podem ser utilizados para recolher informaccedilotildees padronizadas de uma amostra pequena e cuidadosamente seleccionada de pessoas ou domiciacutelios em uma aacuterea beneficiaacuteria Eles podem descrever as condiccedilotildees em uma comunidade particular ou grupo-alvo e permitem comparar grupos diferentes em um determinado momento ou mudanccedilas no mesmo grupo ao longo do tempo Permitem tambeacutem comparar condiccedilotildees actuais com os resultados planeados
Um dos inqueacuteritos mais comuns de pequena amostragem eacute o inqueacuterito CAP (Conhecimentos Atitudes e Praacuteticas) baseado em uma amostra de 30 agrupamentos
Amostragem para Garantia de Qualidade de Lotes (Lot Quality Sampling - LQAS) Essa eacute outra teacutecnica de avaliaccedilatildeo raacutepida que se usa cada vez mais na aacuterea de sauacutede puacuteblica A LQAS utiliza amostragens muito pequenas para obter informaccedilotildees confiaacuteveis em uma pequena aacuterea geograacutefica ou unidade administrativa Pode ser usada para detectar de forma precisa os extremos do desempenho ndash para determinar se uma intervenccedilatildeo foi mais aleacutem de um limiar superior de desempenho ou natildeo conseguiu atingir um limiar inferior de desempenho em termos de qualidade ou cobertura As amostras de lotes podem tambeacutem ser combinadas para fornecer estimativas de cobertura em uma aacuterea geograacutefica mais ampla
Uma busca na Web revelaraacute recursos uacuteteis aqui temos um sobre os inqueacuteritos CAP e outro sobre LQAS A aacuterea de MampA do website do CORE Group inclui ligaccedilotildees com ferramentas e recursos importantes para a avaliaccedilatildeo raacutepida criados pelo Grupo de Trabalho de MampA do CORE Group
Como gestor deve revisar todas as fontes de dados jaacute existentes antes de planear a sua avaliaccedilatildeo A Tabela 7 apresenta as vantagens e desvantagens das trecircs principais fontes de
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 936
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 7 Resumo das trecircs fontes de dados mais comuns para uma avaliaccedilatildeo
Fonte de dados Vantagens Limitaccedilotildees
Estatiacutesticas de serviccedilo Dados sobre a populaccedilatildeo de utentes e serviccedilos cliacutenicos que satildeo recolhidos rotineiramente nos registos dos utentes e nos registos cliacutenicos
Disponiacuteveis imediatamente
Cobrem todos os tipos de serviccedilos de sauacutede e todas as aacutereas do paiacutes
Podem ser desagregados para os niacuteveis local e de distrito
Uso econoacutemico
Soacute lhe informam sobre clientes actuais sem informaccedilotildees sobre as pessoas que natildeo usam os serviccedilos de sauacutede e podem ser utentes em potencial
Natildeo fornecem informaccedilotildees sobre valores percepccedilotildees ou comportamentos da comunidade
Natildeo reflectem as pessoas que optam por fontes privadas de serviccedilos
Podem ser inexactas se os locais de prestaccedilatildeo de serviccedilos natildeo registarem os dados correctamente de forma legiacutevel e em tempo haacutebil
Inqueacuteritos de grande escala Inqueacuteritos de base populacional e avaliaccedilotildees de grande escala dos centros de sauacutede
Dados relevantes precisos e confiaacuteveis
Podem medir as tendecircncias nacionais de sauacutede identificar aacutereas com problemas e ajudar a concentrar os recursos do paiacutes em aacutereas de maior carecircncia
Geram valores meacutedios para as aacutereas urbanas e rurais regiotildees e proviacutencias
Fornecem um contexto para interpretar os dados recolhidos localmente
Podem gerar informaccedilotildees adicionais a partir dos seus conjuntos de dados informatizados
Geralmente natildeo podem desagregar os dados para fornecer meacutedias para as aacutereas sub-regionais (distritos ou municipalidades)
Geralmente natildeo satildeo realizadas anualmente os dados se tornam desactualizados rapidamente se as populaccedilotildees ou condiccedilotildees de sauacutede se modificarem rapidamente
Avaliaccedilotildees raacutepidas Meacutetodos focados para avaliar as necessidades locais e tomar decisotildees em acircmbito local
Raacutepidas e econoacutemicas
Resultam em acccedilatildeo local
Haacute directrizes para ajudar os gestores em vaacuterias dessas teacutecnicas
Fornecem aos gestores a capacidade de recolher os dados necessaacuterios
Os inqueacuteritos domiciliares (por ex LQAS ou CAP) podem obter precisatildeo suficiente para fins de avaliaccedilatildeo
Equilibra a necessidade de resultados representativos e objectivos com a necessidade de usar projectos levemente menos rigorosos que satildeo mais viaacuteveis em aacutereas locais
Usam escala e acircmbito reduzidos para produzir resultados em tempo haacutebil e de baixo custo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 937
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
dados que foram discutidas acima estatiacutesticas rotineiras de serviccedilos inqueacuteritos em grande escala e teacutecnicas de avaliaccedilatildeo raacutepida
Que niacutevel de qualidade os dados do SIS precisam ter para serem uacuteteis ndash que niacutevel de abrangecircncia precisatildeo e apresentaccedilatildeo em tempo haacutebil Para as suas necessidades de gestatildeo mesmo que natildeo sejam perfeitos os dados podem ser suficientemente bons para ter um efeito poderoso como nos mostra o exemplo de Madagascar
Dados do SIS pontos fortes e limitaccedilotildees
Subestimar o valor e a utilidade do SIS eacute infelizmente uma tendecircncia Eacute verdade que o SIS tem problemas frequentemente mas tambeacutem eacute grande o seu potencial Como vimos em
Como usar e melhorar dados imperfeitos do SIS ndash Um exemplo de Madagascar
Um SIS de base comunitaacuteria mais preciso e mais oportuno Um projecto de Madagascar implementou um meacutetodo baseado na comunidade para aumentar o uso de meacutetodos de planeamento familiar denominado ldquoComunidades Campeatildesrdquo em 50 dos 110 distritos do paiacutes O meacutetodo utilizou exclusivamente os dados do SIS para monitorar e avaliar as realizaccedilotildees das comunidades participantes
Em primeiro lugar foi estabelecida uma base de referecircncia para cada comunidade ao usar os dados do seu centro de sauacutede Em seguida o pessoal do centro de sauacutede e os representantes da comunidade identificaram metas para 10 indicadores que determinariam se uma comunidade tinha alcanccedilado a posiccedilatildeo de campeatilde apoacutes 12 meses de implementaccedilatildeo Cada comunidade monitorava seu proacuteprio progresso em uma reuniatildeo trimestral de verificaccedilatildeo
Apoacutes 12 meses o pessoal do projecto voltou a cada comunidade para avaliar os resultados Examinaram os dados do relatoacuterio de monitoria de rotina de cada centro de sauacutede e para cada indicador Prepararam tambeacutem um relatoacuterio sobre os dados de cada comunidade e o enviaram para o supervisor de niacutevel distrital para a sua confirmaccedilatildeo com base nos registos informatizados do distrito As fontes de dados para os relatoacuterios do centro de sauacutede e registos de distrito foram as mesmas (registos dos centros de sauacutede) e por isso raramente ocorreu uma discrepacircncia Mas o que interessava era envolver o supervisor distrital no exame dos dados do centro de sauacutede para mostrar a utilidade de se usar ateacute mesmo dados simples nesse niacutevel
O projecto tambeacutem cooperou com o Ministeacuterio da Sauacutede a niacutevel distrital para melhorar a precisatildeo a abrangecircncia e a prontidatildeo do SIS A ecircnfase era obter dados mais completos dos centros de sauacutede e reduzir o tempo gasto pelo escritoacuterio distrital para receber o relatoacuterio do centro de sauacutede apreciaacute-lo devolvecirc-lo ao centro para qualquer correcccedilatildeo recebecirc-lo novamente dar entrada dos dados no sistema e finalmente enviaacute-los ao niacutevel central Os distritos satildeo responsaacuteveis por cooperar com os centros de sauacutede para melhorar o registo de dados e actualizar suas proacuteprias teacutecnicas de processamento de dados
Apoacutes dois anos de assistecircncia teacutecnica o SIS tinha realmente melhorado segundo os indicadores de precisatildeo abrangecircncia e prontidatildeo As melhorias mais notaacuteveis foram em prontidatildeo o tempo gasto pelo escritoacuterio distrital no processo descrito acima reduziu-se de 12 para 3 meses
Imperfeitas mais mesmo assim valiosos Deve-se lembrar que o projecto ldquoComunidades Campeatildesrdquo teve oacuteptimo resultado apesar dos dados imperfeitos Seu numerador (o nuacutemero de utentes regulares de planeamento familiar) era detalhado e preciso Mas suas estimativas das taxas de prevalecircncia do uso de contraceptivos natildeo eram muito precisas porque o denominador (nuacutemero de mulheres em idade reprodutiva) era apenas uma estimativa baseada num censo desactualizado e em estimativas anuais do governo sobre percentagens de crescimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 938
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Madagascar o projecto Comunidades Campeatildes melhorou o sistema substancialmente num periacuteodo de dois anos Nesse caso o sistema jaacute se encontrava relativamente funcional porque projectos anteriores haviam feito um grande esforccedilo para implantar o sistema e tornaacute-lo mais soacutelido Ao aprimorar a forma como o sistema era administrado e os dados eram usados o projecto posterior conseguiu fazer uma grande diferenccedila por meio de pequenas modificaccedilotildees
Os dados do SIS natildeo satildeo 100 exactos e nunca seratildeo Esta eacute a realidade com a qual todos os gestores tecircm que trabalhar Mas os dados natildeo precisam ser perfeitos para serem uacuteteis Eacute possiacutevel fazer a monitoria e a gestatildeo com dados imperfeitos Informaccedilotildees obtidas em tempo
(continuaccedilatildeo)
No entanto o projecto constatou que as taxas de prevalecircncia de uso de contraceptivos eram suficientemente boas para acompanhar o desempenho das comunidades que participavam do meacutetodo de Comunidades Campeatildes O pessoal do projecto tambeacutem complementou as comparaccedilotildees dessas taxas com as comparaccedilotildees dos valores do numerador nuacutemeros simples que faziam sentido para o pessoal do centro de sauacutede e tambeacutem para as comunidades
O niacutevel central comeccedilou a organizar workshops regionais trimestrais para divulgar os resultados ao niacutevel distrital Juntos os gestores dos niacuteveis distritais regionais e centrais analisaram o progresso e classificaram os distritos com base no seu desempenho Usaram a anaacutelise de causa-raiz ndash um processo que identifica as causas subjacentes de um problema ndash para entender os obstaacuteculos enfrentados pelos distritos que apresentavam baixo desempenho (Consulte o Apecircndice A no Capiacutetulo 2 deste guia para obter mais informaccedilotildees sobre a anaacutelise de causa-raiz) Finalmente o Ministeacuterio de Sauacutede mobilizou o apoio de agecircncias doadoras e de organizaccedilotildees parceiras para ajudaacute-los a melhorar
O ministeacuterio comeccedilou a usar as informaccedilotildees de sauacutede para administrar realmente o sistema de sauacutede Antes dessa intervenccedilatildeo poucas organizaccedilotildees confiavam ou utilizavam os dados do SIS Mas quando ficou claro que o sistema funcionava as agecircncias doadoras passaram a confiar as organizaccedilotildees parceiras passaram a utilizaacute-lo e o ministeacuterio se orgulhou do trabalho Pela primeira vez tinham uma visatildeo mais niacutetida do que acontecia em todo o paiacutes e podiam usar essas informaccedilotildees para buscar o apoio de agecircncias doadoras se necessaacuterio
Do mesmo modo os centros de sauacutede raramente usavam seus proacuteprios dados Eles simplesmente faziam os registos e os enviavam para o escritoacuterio distrital sem nem mesmo receber retroinformaccedilatildeo do mesmo Apoacutes a conclusatildeo do projecto perceberam como os dados mais precisos podiam ser usados em seu benefiacutecio e das comunidades
Os distritos tambeacutem actuavam antes de uma forma pouco informada Cada distrito dependia apenas dos seus proacuteprios dados e funcionava num vaacutecuo As mudanccedilas no SIS e o encorajamento do governo central forneceram aos distritos oportunidades para comparar seu trabalho e aprender uns com os outros
Aprendizagem com dados mais precisos completos e oportunos Os dados satildeo geralmente utilizados para fazer comparaccedilotildees mas satildeo menos frequentemente utilizados como ferramenta de aprendizagem Nesse caso depois que os relatoacuterios comeccedilaram a chegar dentro do prazo o Ministeacuterio da Sauacutede usou os dados ndash inclusive dados imperfeitos ndash para descobrir que distritos tinham um desempenho ruim e que distritos estavam melhor que os outros Assim aprenderam com os de melhor desempenho ao perguntar Por que seus resultados satildeo tatildeo bons O que estavam a fazer de diferente O que poderia ser replicado Finalmente aplicaram a aprendizagem ao usar esses distritos como modelos e ao oferecer mais apoio aos de pior desempenho
Todo o sistema de sauacutede se entusiasmou com as informaccedilotildees que podiam produzir e usar A comeccedilar do topo esse entusiasmo chegou aos niacuteveis inferiores e os motivou a melhorar sua recolha e processamento de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 939
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
haacutebil e com 75 de precisatildeo satildeo melhores que as informaccedilotildees com 95 de precisatildeo que chegam com vaacuterios meses de atraso
Apesar do seu grande valor por si soacutes os dados do SIS natildeo atenderatildeo a todas as necessidades de informaccedilatildeo de muitas organizaccedilotildees Algumas organizaccedilotildees e agecircncias doadoras precisam de dados que exigem avaliaccedilotildees ou sistemas especiais Aleacutem disso vaacuterias intervenccedilotildees foram projectadas para modificar o conhecimento as atitudes e as praacuteticas dos beneficiaacuterios factores que natildeo satildeo capturados nos dados de serviccedilo Eacute importante usar os dados do SIS sempre que possiacutevel e complementaacute-los com avaliaccedilotildees locais quando necessaacuterio
Como gestor de um programa de sauacutede ou de serviccedilos de sauacutede parte do seu trabalho deveria ser o de melhorar o SIS em seu paiacutes Ele eacute o uacutenico sistema de informaccedilotildees sustentaacutevel na maioria dos paiacuteses Os sistemas de informaccedilatildeo criados e mantidos por agecircncias doadoras ou organizaccedilotildees externas tecircm duraccedilatildeo limitada mas o SIS eacute parte permanente do seu legado
Se todos os parceiros e agecircncias doadoras trabalharem com o Ministeacuterio de Sauacutede para prestar assistecircncia teacutecnica e financeira ao SIS ele poderaacute render informaccedilotildees que trazem grandes melhorias para os serviccedilos de sauacutede e que justificam plenamente o investimento no mesmo
Praacuteticas comprovadas
Um sistema de MampA deveria proporcionar aos gestores o que eles precisam saber para agir Deve se basear em indicadores relevantes faacuteceis de usar e que possam ser fornecidos em tempo haacutebil para os ciclos de planeamento e apresentaccedilatildeo de relatoacuterios
Os resultados de MampA natildeo se destinam apenas ao pessoal de MampA da sua organizaccedilatildeo ou agrave agecircncia doadora As informaccedilotildees de MampA satildeo um recurso fundamental para as acccedilotildees e a aprendizagem Se o seu processo de MampA tiver mecanismos de retroinformaccedilatildeo que permitam aos tomadores de decisotildees reflectirem sobre os resultados e absorverem o que precisam para seus proacuteprios fins eles assumiratildeo o controlo do processo e utilizaratildeo o que ele oferecer
Se vocecirc define suas actividades de MampA no comeccedilo de uma intervenccedilatildeo ou projecto junto com o plano de acccedilatildeo para o projecto teraacute mais oportunidades de orientar e acompanhar a implementaccedilatildeo das actividades
Quando satildeo demasiado elaborados e complicados os planos de MampA natildeo satildeo usados Elabore um plano de MampA simples escolha ferramentas de monitoria faacuteceis de usar e seleccione a menor quantidade possiacutevel de indicadores para acompanhar o progresso e introduzir as mudanccedilas necessaacuterias ao longo do caminho
Para fortalecer um SIS eacute preciso trabalhar com as pessoas envolvidas os responsaacuteveis pelo sistema que registam transferem analisam comunicam e utilizam os dados e as informaccedilotildees para a gestatildeo dos serviccedilos
Ao fornecer os dados do SIS para os tomadores de decisotildees vocecirc deve reconhecer as diferenccedilas na frequecircncia dos relatoacuterios e nas quantidades de dados agregados e desagregados necessaacuterios aos niacuteveis diferentes de governo ou agraves organizaccedilotildees natildeo governamentais
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 921
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja a seguir um exemplo de um resultado mensuraacutevel para uma intervenccedilatildeo cujo propoacutesito eacute promover a cobertura de imunizaccedilatildeo em crianccedilas de 12 a 24 meses de idade A percentagem de crianccedilas de 12 a 24 meses totalmente vacinadas na aacuterea de captaccedilatildeo aumentaraacute para 70 dentro de um ano
ETAPA 2 IDENTIFIQUE OS INDICADORES E SUAS DEFINICcedilOtildeES
Os indicadores satildeo geralmente percentagens ou proporccedilotildees que representam o alcance de uma condiccedilatildeo especiacutefica de sauacutede na populaccedilatildeo de interesse Podem tambeacutem ser um valor absoluto tal como o nuacutemero de ocorrecircncias de um evento de sauacutede (por ex um oacutebito materno ou um caso de malaacuteria)
Todos os indicadores pedem uma definiccedilatildeo detalhada Trata-se de um indicador qualitativo ou quantitativo Se for uma percentagem qual eacute o numerador e qual eacute o denominador A definiccedilatildeo deve ser suficientemente detalhada para garantir que pessoas diferentes em momentos diferentes possam recolher tipos idecircnticos de dados para o indicador
Veja o que caracteriza um bom indicador no Quadro 2 Os indicadores podem ser classificados como indicadores do estado de sauacutede ou do desempenho de serviccedilos
Os indicadores do estado de sauacutede podem incluir o seguinte
nuacutemero de casos e mortes causados por doenccedilas especiacuteficas em um determinado periacuteodo
proporccedilatildeo da populaccedilatildeo com uma doenccedila ou condiccedilatildeo de sauacutede num momento particular ou ao longo de um periacuteodo de tempo
proporccedilatildeo da populaccedilatildeo com um factor ou condiccedilatildeo de sauacutede que os coloca em risco de contrair doenccedilas tal como a falta de conhecimento ou um comportamento de risco
Os indicadores de desempenho podem incluir o seguinte
proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que recebeu um serviccedilo especiacutefico proporccedilatildeo de uma populaccedilatildeo beneficiaacuteria que demonstra comportamentos e
conhecimentos especiacuteficos de sauacutede
TABELA 4 Criteacuterios de um resultado SMART
Criteacuterio Descriccedilatildeo
Especiacutefico (S ndash Smart)
Claramente escrito e compreendido O resultado esperado eacute suficientemente especiacutefico para ser medido por uma frequecircncia percentagem ou nuacutemero
Mensuraacutevel (M ndash Measurable)
Eacute possiacutevel monitorar o progresso e avaliar os resultados O resultado esperado eacute definido em termos que sejam mensuraacuteveis
Apropriado (A ndash Appropriate)
O resultado esperado eacute apropriado ao acircmbito do seu trabalho e agrave missatildeo da sua organizaccedilatildeo
Realista (R ndash Realistic)
O resultado esperado pode ser alcanccedilado e estaacute dentro do controlo da sua organizaccedilatildeo Pode ser realisticamente alcanccedilado ao usar os recursos disponiacuteveis e dentro do prazo do seu plano de implementaccedilatildeo
de Tiempo limitado (T ndash Time Bound)
Foi estabelecido um prazo especiacutefico para obter o resultado esperado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 922
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
proporccedilatildeo de centros e pessoal de sauacutede que demonstram adesatildeo a padrotildees especiacuteficos de serviccedilo ou que atingiram objectivo definido
proporccedilatildeo de centros de sauacutede que seguem padrotildees definidos de gestatildeo funcional (por ex em termos de pessoal disponibilidade de medicamentos registo e apresentaccedilatildeo de relatoacuterios)
Orientaccedilatildeo adicional sobre os indicadores pode ser obtida em ldquoCompecircndio de indicadores para avaliaccedilatildeo de programas de sauacutede reprodutivardquo e ldquoLista dos indicadores sobre desenvolvimento da capacidade de gestatildeo e lideranccedilardquo
ETAPA 3 IDENTIFIQUE AS FONTES DE DADOS
Agora precisa identificar uma fonte de dados para cada indicador incluiacutedo no plano de MampA ao seleccionar dados que estejam prontamente disponiacuteveis em uma fonte confiaacutevel e dentro das possibilidades financeiras de sua organizaccedilatildeo O ideal seria escolher os dados imediatamente disponiacuteveis atraveacutes da organizaccedilatildeo em vez de dar iniacutecio a uma nova estrateacutegia de recolha de dados o que poderia ser oneroso e demorado
Uma boa forma de comeccedilar eacute com a seguinte pergunta Que dados jaacute recolhemos de forma rotineira e sistemaacutetica Vocecirc deve sempre levar em consideraccedilatildeo as vantagens e desvantagens de cada fonte de dados Consulte a secccedilatildeo ldquoComo seleccionar suas fontes de dadosrdquo para obter mais informaccedilotildees sobre as vantagens e desvantagens de algumas fontes de dados mais comuns
Vocecirc deve ser o mais especiacutefico possiacutevel sobre as fontes de dados para que a mesma fonte possa ser utilizada de forma coerente durante toda a intervenccedilatildeo Mudar as fontes de dados para o mesmo indicador pode resultar em incoerecircncias e erros de interpretaccedilatildeo Por exemplo se estiver a medir as taxas de mortalidade infantil passar de estimativas baseadas num inqueacuterito de grande escala para estimativas baseadas em estatiacutesticas hospitalares pode resultar dar a falsa impressatildeo de que houve uma mudanccedila
QUADRO 2 Qualidades de um bom indicador
Vaacutelido O indicador mede o que se pretende medir
Confiaacutevel A medida do indicador deve ser igual natildeo importa quantas vezes a medida seja feita
Preciso O indicador eacute definido em termos claros e especiacuteficos para que possa ser medido O indicador pode ser qualitativo (descritivo) discreto (SimNatildeo) ou baseado em niacuteveis quantitativos ou proporccedilotildees desde que seja claramente mensuraacutevel
Faacutecil de entender Tanto especialistas como natildeo especialistas devem poder entender o significado do indicador
Discreto O indicador captura um uacutenico componente ou aspecto de um resultado mais complexo Mede apenas uma coisa natildeo um conjunto de coisas
Em tempo haacutebil O indicador pode ser medido em intervalos temporais apropriados de acordo com a disponibilidade dos dados
Comparaacutevel Quando possiacutevel o indicador evita definiccedilotildees limitadas ou singulares cujos valores seriam difiacuteceis de comparar com outros resultados
Viaacutevel para utilizar Os dados para o indicador satildeo faacuteceis de obter de uma fonte confiaacutevel e relativamente econoacutemica ndash acessiacutevel tendo em vista os recursos da sua organizaccedilatildeo Se esses dados natildeo estiverem disponiacuteveis existem meacutetodos para obtecirc-los no futuro
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 923
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 4 DEFINA OS MEacuteTODOS DE RECOLHA DE DADOS
A etapa seguinte eacute a de definir os meacutetodos ou ferramentas que utilizaraacute para cada indicador Para os indicadores baseados em dados primaacuterios (dados que vocecirc mesmo recolhe) deve descrever o tipo de instrumento necessaacuterio para recolher os dados Os exemplos podem incluir questionaacuterios estruturados listas de verificaccedilatildeo de observaccedilatildeo directa ou balanccedilas para pesar bebeacutes
Para os dados secundaacuterios (dados recolhidos por terceiros e que estatildeo disponiacuteveis para vocecirc usar) deve explicar o meacutetodo para calcular o indicador e a fonte dos dados e fornecer detalhes suficientes sobre o meacutetodo de caacutelculo para que outros possam replicaacute-lo Lembre-se de que eacute mais faacutecil e mais barato usar dados secundaacuterios mas sua qualidade eacute menos confiaacutevel do que a dos dados primaacuterios
Tambeacutem eacute importante observar a frequecircncia da recolha dos dados para cada indicador A depender do tipo de indicador vocecirc poderaacute recolher os dados mensalmente trimestralmente anualmente ou ateacute com menos frequecircncia Ao definir o programa de recolha de dados para cada indicador leve em consideraccedilatildeo a necessidade de fornecer informaccedilotildees em tempo haacutebil aos responsaacuteveis por tomar decisotildees na sua organizaccedilatildeo Atribuir responsabilidades pela recolha de dados a indiviacuteduos ou grupos do seu pessoal garantiraacute que os dados sejam recolhidos dentro do prazo necessaacuterio
As informaccedilotildees das Etapas 1 a 4 fornecem o conteuacutedo do seu plano de monitoria e avaliaccedilatildeo A Tabela 5 mostra os elementos de um plano de MampA para um programa de mentoria cliacutenica para centros de orientaccedilatildeo e testes voluntaacuterios
ETAPA 5 RECOLHA OS DADOS DE BASE E DE ACOMPANHAMENTO
Recolher dados de base precisos eacute uma das tarefas mais importantes de MampA Os dados de base ou referecircncia satildeo o ponto de partida para definir as metas que vocecirc e sua equipa pretendem atingir e para acompanhar as mudanccedilas dos indicadores durante todo o periacuteodo de sua intervenccedilatildeo Dessa forma os dados de base ajudam a definir melhor um resultado final esperado
Vocecirc precisaraacute recolher dados de base para cada indicador antes que suas actividades comecem Esses dados identificam o ponto de partida de onde poderaacute avaliar o progresso Depois em pontos variados durante a implementaccedilatildeo vocecirc recolheraacute dados de acompanhamento sobre cada indicador para comparaacute-los com os niacuteveis de base e os resultados previstos Isto permite que vocecirc e outros tomadores de decisotildees em sua organizaccedilatildeo avaliem o progresso de cada intervenccedilatildeo ou serviccedilo e faccedilam as mudanccedilas necessaacuterias ao longo do caminho Examine o exemplo no Quadro 3
Por que acompanhar as mudanccedilas dos indicadores durante a implementaccedilatildeo Os indicadores de um plano de MampA estatildeo relacionados aos resultados imediatos (produtos) e aos resultados de meacutedio e longo prazo que os gestores precisam monitorar As mudanccedilas nos valores do indicador ao longo do tempo mostram se esses resultados estatildeo a subir ou a baixar ou se permanecem iguais Isto mostra ao gestor se as intervenccedilotildees e estrateacutegias estatildeo a funcionar conforme planeado para atingir os resultados esperados
Ao final do periacuteodo de implementaccedilatildeo precisaraacute recolher dados sobre os seus indicadores para comparar os niacuteveis finais com os niacuteveis de base e com os seus resultados esperados A depender dos seus indicadores precisaraacute tambeacutem recolher dados de acompanhamento a uma altura acordada previamente para determinar se as mudanccedilas seratildeo mantidas apoacutes o teacutermino da sua intervenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 924
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 5 Exemplo de um Plano de Monitoria e Avaliaccedilatildeo
Objectivo Os profissionais de sauacutede que receberam formaccedilatildeo aumentam sua capacidade de fornecer tratamento anti-retroviral de acordo com as directrizes nacionais
ActividadeProduto Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
CronogramaPrazo final
Cliacutenicos experientes em VIH recrutados para servir como mentores cliacutenicos em cinco hospitais regionais
Nuacutemero de mentores recrutados e designados a hospitais regionais
Registos de emprego
Como concluiacutedo Director adjunto para programas cliacutenicos
Setembro de 2008
Pessoal meacutedico em cinco hospitais regionais que recebem mentoria individual sobre terapia anti-retroviral
Nuacutemero de locais que recebem mentoria cliacutenica
Nuacutemero de meacutedicos que recebem mentoria individual
Nuacutemero de dias de mentoria cliacutenica realizados
Relatoacuterios mensais do mentor
Mensalmente Mentores Marccedilo de 2009
Resultados a meacutedio e longo prazo Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
Trabalhadores de sauacutede aumentam seu conhecimento sobre terapia anti-retroviral
80 dos participantes obtecircm 85 ou mais de pontuaccedilatildeo correcta no teste posterior
Trabalhadores de sauacutede melhoram suas habilidades no fornecimento de terapia anti-retroviral
Percentagem de habilidades demonstradas na lista de verificaccedilatildeo de competecircncia
Estudo especial Datas a definir Director adjunto para programas cliacutenicos
Fonte Centro Internacional de Formaccedilatildeo e Ensino sobre VIH p 2
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 925
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Observaccedilatildeo sobre o uso de indicadores para uma avaliaccedilatildeo A maioria dos esforccedilos de MampA enfatizam a selecccedilatildeo de indicadores bem definidos para estabelecer metas e medir as mudanccedilas nas condiccedilotildees e nos serviccedilos de sauacutede
Mas eacute importante lembrar que os indicadores servem apenas como marcadores Os dados dos indicadores fornecem pistas para saber se uma intervenccedilatildeo ou um grupo de actividades estaacute dentro do cronograma e se os resultados esperados estatildeo a ser alcanccedilados Eles natildeo respondem agraves perguntas de por que os resultados estatildeo ou natildeo a ser alcanccedilados Natildeo explicam os resultados fortuitos as relaccedilotildees entre intervenccedilotildees e resultados ou as causas de resultados percebidos que podem ocorrer fora da intervenccedilatildeo Assim natildeo podem recomendar medidas a tomar para melhorar os resultados
Os dados de indicadores devem portanto ser interpretados com cuidado Eles simplesmente indicam resultados que precisam ser melhor explorados em vez de fornecer uma avaliaccedilatildeo definitiva do sucesso ou fracasso Um estudo de avaliaccedilatildeo eacute geralmente executado para determinar se uma intervenccedilatildeo pode ser considerada um sucesso e por quecirc
Em geral agrave medida que sobe na hierarquia e passa das actividades para os resultados a longo prazo a MampA se torna mais complicada Nos niacuteveis de processo e produtos pode-se facilmente rastrear que actividades foram concluiacutedas e seus resultados imediatos Essas informaccedilotildees satildeo operacionais ndash informaccedilotildees que vocecirc pode usar para decisotildees quotidianas de gestatildeo Poreacutem para identificar e medir os resultados da sinergia dos produtos provavelmente teraacute que integrar as informaccedilotildees qualitativas e quantitativas e confiar menos em indicadores quantitativos singulares
Lembre-se de que quando uma melhoria desejada ndash seja na eficiecircncia do serviccedilo no conhecimento e comportamento dos provedores de serviccedilos ou dos beneficiaacuterios ou na tendecircncia de um problema de sauacutede ndash eacute confirmada atraveacutes de MampA isto natildeo prova que foi a intervenccedilatildeo que provocou a mudanccedila Outras coisas podem estar a se passar no serviccedilo ou no ambiente geral que causam essa mudanccedila Eacute claro que o mesmo se aplica aos resultados negativos ou resultados que indicam natildeo haver nenhuma mudanccedila nos resultados a meacutedio e longo prazo
QUADRO 3 Como usar dados de base para ajustar os resultados
Uma equipa de sobrevivecircncia infantil estaacute a propor uma intervenccedilatildeo com o seguinte resultado mensuraacutevel e especiacutefico ldquoNos proacuteximos 12 meses 40 das crianccedilas entre 12 e 24 meses de idade na aacuterea de captaccedilatildeo seratildeo completamente imunizadasrdquo
Para determinar se seu programa pode realmente atingir esse resultado o pessoal precisa medir os niacuteveis actuais de vacinaccedilatildeo Ao examinar os dados vecircem que apenas 10 das crianccedilas na aacuterea de captaccedilatildeo estatildeo completamente imunizadas ao completarem 24 meses Estes satildeo portanto seus dados de base
A gestora entende que natildeo seraacute possiacutevel atingir o objectivo de 40 de cobertura de imunizaccedilatildeo em apenas 12 meses Por isso ela e sua equipa revisam o resultado esperado e o modificam para que seja mais razoaacutevel e realista mas continue sendo significativo ldquoNos proacuteximos 12 meses 20 das crianccedilas de 12 a 24 meses na aacuterea de de actuaccedilatildeo seratildeo completamente imunizadas
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 926
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 6 COMPARTILHE E USE SEUS DADOS
Na pressa para comeccedilar a recolher dados alguns gestores se esquecem de planear um processo para reflectir sobre as informaccedilotildees e fazer mudanccedilas para aumentar a eficiecircncia das actividades Para garantir que os dados sejam natildeo soacute recolhidos mas tambeacutem utilizados pense como vocecirc e sua equipa divulgaratildeo as informaccedilotildees sobre MampA e obteratildeo retroinformaccedilatildeo dos diversos grupos de interesse Algumas perguntas baacutesicas serviratildeo para lhe orientar
Quem precisa de que tipo de informaccedilotildees e quando precisam delas Que tipo de formato deve usar para comunicar os resultados ao pessoal
aos gestores de niacutevel superior e a outros grupos de interesse importantes Eacute suficiente fazer circular um relatoacuterio ou deveria organizar uma reuniatildeo ou workshop
Deveria tambeacutem organizar reuniotildees com a comunidade para solicitar retroinformaccedilatildeo dos seus beneficiaacuterios sobre os primeiros resultados da MampA
Como deve apresentar as informaccedilotildees para que sejam uacuteteis aos diferentes tomadores de decisotildees As informaccedilotildees devem ser apresentadas visualmente em diagramas graacuteficos ou mapas Para obter orientaccedilatildeo sobre dados e resultados consulte o Guiatildeo de MampA para Facilitadores de Programas de Desenvolvimento da Lideranccedila
Uso dos resultados para melhorar os dados de rotina em acccedilatildeo ndash Um exemplo do Paquistatildeo
No Paquistatildeo com o apoio do projecto PRIDE 10 equipas de subdistritos aplicaram o Processo de Avaliaccedilatildeo e Melhoria do Desempenho em Sauacutede Puacuteblica (PIP-PH) um conjunto de procedimentos e formatos para tratar dos problemas de sauacutede que identificaram como os mais graves para as suas populaccedilotildees Usaram o PIP-PH para priorizar os problemas e serviccedilos que mais precisavam de atenccedilatildeo a curto prazo para obter melhorias
Como parte do processo PIP-PH as equipas tambeacutem conceberam um formato de Estrutura de Vigilacircncia de Sauacutede (ldquoHealth Watch Frameworkrdquo) para os seus subdistritos como um todo e para os centros de sauacutede dentro deles Cada equipa seleccionou indicadores para medir a situaccedilatildeo de dois problemas de sauacutede puacuteblica os serviccedilos essenciais a eles relacionados e as limitaccedilotildees que afectavam esses serviccedilos
As equipas usaram os formulaacuterios Health Watch para estabelecer valores de base para os indicadores e depois para monitorar esses valores agrave medida que as intervenccedilotildees prosseguiam ao longo do tempo Os centros de sauacutede revisavam e actualizavam o formulaacuterio todo mecircs as equipas do subdistrito inclusive gestores de centros de sauacutede revisavam e discutiam os formulaacuterios trimestralmente os formulaacuterios revisados
As equipas de subdistrito usaram as informaccedilotildees para analisar os motivos do progresso ou falta de progresso para poderem prestar apoio aos gestores dos centros de sauacutede O processo estimulou os gestores dos centros de sauacutede a melhorarem a integridade e precisatildeo dos dados de rotina para poderem usar as informaccedilotildees e monitorarem mais eficazmente os eventos e os serviccedilos essenciais e introduzirem as melhorias necessaacuterias
Exemplos e informaccedilotildees detalhadas sobre o PIP-PH e o Health Watch Framework aparecem no Relatoacuterio Anual do Projecto PRIDE 2007
Para se informar mais sobre meacutetodos adicionais de utilizaccedilatildeo dos dados para melhorar o desempenho de uma organizaccedilatildeo equipa serviccedilo de sauacutede ou intervenccedilatildeo consulte o processo de Avaliaccedilatildeo e Melhoria de Desempenho (Performance Assessment and Improvement ndash PAI) no website de Programa de Lideranccedila Gestatildeo e Sustentabilidade (Leadership Management and Sustainability ndash LMS)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 927
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O processo de Monitoria e Avaliaccedilatildeo deve ser executado com o objectivo de usar imediatamente os resultados para identificar as falhas de desempenho e tomar medidas para reduzir ou eliminar essas falhas Vocecirc deve sempre planear formas de usar os resultados de MampA para o aprendizado e a acccedilatildeo Por exemplo o que deve fazer se as actividades do projecto natildeo trouxerem os resultados esperados O que precisa mudar se os serviccedilos essenciais natildeo estiverem a fornecer os niacuteveis de cobertura previstos ou a alcanccedilar grupos especiacuteficos de pessoas E como vocecirc pode levar esses fatos agrave atenccedilatildeo das pessoas certas para obter uma resposta raacutepida
Desenho de uma ferramenta de MampA
ARMADILHAS DA MONITORIA E AVALIACcedilAtildeO
Haacute vaacuterias armadilhas comuns que impedem que vocecirc como gestor aperfeiccediloe a funccedilatildeo de MampA na sua organizaccedilatildeo
Planeamento excessivo ou insuficienteAlguns gestores podem gastar tempo demais a preparar o plano de MampA do que resultam planos muito elaborados e complicados de usar Outros ficam muito ansiosos por implementar as intervenccedilotildees de MampA e comeccedilam antes de concluir o plano de MampA Isso significa que quando o plano fica pronto eacute geralmente tarde demais para obter dados de base viaacuteveis e a MampA tem que ser adiada Nesses casos o gestor talvez tenha que aceitar fazer a avaliaccedilatildeo mais tarde sem os dados de base que poderia usar para a comparaccedilatildeo
Descuidar-se da monitoria contiacutenua Outra armadilha frequente eacute a falha em incluir a monitoria contiacutenua na implementaccedilatildeo das actividades Isto ocorre frequentemente por falta de experiecircncia Muitos gestores natildeo tiveram acesso a ferramentas de monitoria uacuteteis (que satildeo raras) Talvez natildeo tenham recebido prontamente os resultados ou a retroinformaccedilatildeo do sistema de MampA no passado e por isso natildeo percebem como eacute importante realizar a monitoria de rotina Aleacutem disso gestores podem facilmente se emaranhar nos detalhes da implementaccedilatildeo e descuidar-se da monitoria de rotina
Exagerar Outra armadilha relacionada agrave monitoria eacute tentar rastrear os dados de todos os indicadores possiacuteveis Tentar obter os dados sobre um nuacutemero excessivo de factores torna o processo de monitoria tatildeo complicado que se torna impreciso Isso tambeacutem torna o processo mais lento de modo que no momento em que os dados satildeo recolhidos e analisados eles jaacute natildeo satildeo mais uacuteteis As ferramentas de monitoria muito demoradas e complicadas acabam por natildeo ser usadas O que acontece entatildeo O gestor deixa totalmente de fazer a monitoria e tem que recorrer agrave avaliaccedilatildeo
Se jaacute se deparou com esses problemas eacute hora de mudar a sua taacutectica Vocecirc pode criar um plano de MampA simples e usar ferramentas de monitoria simples Descubra o que tem que medir para obter os dados dentro de 3 a 6 meses o prazo vai depender dos ciclos de planeamento e apresentaccedilatildeo de relatoacuterios da sua organizaccedilatildeo Entenda tambeacutem qual eacute o miacutenimo que deve ser medido em uma avaliaccedilatildeo de longo prazo Busque a simplicidade mesmo se estiver diante de um conjunto complexo de actividades
Tente incluir apenas o que realmente precisa saber Pode testar todos os indicadores propostos antes de incluiacute-los no planeamento de MampA ao perguntar Quem precisa usar essas informaccedilotildees quando e com que finalidade Se um uacutenico indicador de produtos for suficiente perfeito Natildeo sobrecarregue a monitoria com indicadores desnecessaacuterios Muitas vezes menos dados fornecem mais informaccedilotildees
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 928
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
CARACTERIacuteSTICAS DE UMA BOA FERRAMENTA DE MONITORIA
Como gestor natildeo precisa saber tudo para gerir um serviccedilo ou dirigir uma intervenccedilatildeo mas precisa das informaccedilotildees imediatamente Portanto precisa de uma ferramenta de monitoria que possa fornecer informaccedilotildees suficientes e em tempo haacutebil para identificar e corrigir problemas assim que eles surgirem
Uma ferramenta de monitoria deve ser faacutecil de montar e utilizar As tabelas listas de verificaccedilatildeo e diagramas simples satildeo meacutetodos particularmente uacuteteis de recolher organizar e apresentar informaccedilotildees de monitoria
No miacutenimo sua ferramenta de monitoria deve permitir que vocecirc e sua equipa acompanhem
o progresso da implementaccedilatildeo da actividade a entrega de produtos ou resultados imediatos a situaccedilatildeo dos principais indicadores de resultados comparados aos resultados
esperados se for o caso as despesas orccedilamentais a disponibilidade de recursos humanos e financeiros os obstaacuteculos agrave implementaccedilatildeo e o que tem sido feito para superaacute-los
Vocecirc teraacute que responder agraves seguintes perguntas periodicamente
As actividades foram implementadas conforme planeado dentro do prazo e do orccedilamento
Que actividades adicionais natildeo planeadas foram realizadas Que serviccedilos ou produtos directos e tangiacuteveis foram oferecidos como resultado
das actividades que implementamos Estamos dentro do cronograma para atingir nossos resultados a meacutedio e longo
prazo Possuiacutemos os recursos necessaacuterios (pessoal dinheiro medicamentos e
suprimentos etc) para cumprirmos o cronograma
O Quadro 4 apresenta os componentes baacutesicos de uma ferramenta simples de monitoria
QUADRO 4 Uma ferramenta simples de monitoria
Data de exame Metas de resultados
Actividades (segundo o plano de implementaccedilatildeo)
Situaccedilatildeo ateacute o momento
Resultados esperados
Datas para conclusatildeo
Situaccedilatildeo ateacute o momento Comentaacuterios
Desafios e oportunidades
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 929
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quando usadas correctamente as novas tecnologias (por ex os PDAs ldquosmartphonesrdquo laptops e outros) podem facilitar a monitoria e aumentar os benefiacutecios da monitoria das actividades A monitoria automatizada ndash dados que podem ser obtidos e processados automaticamente ndash podem produzir um resumo dos principais indicadores em uma soacute paacutegina faacutecil de ler e num formato que utiliza cores para alertar ao gestor sobre as aacutereas que precisam de maior atenccedilatildeo As informaccedilotildees obtidas em tempo haacutebil sobre alguns indicadores essenciais permitem que o gestor monitore o progresso e tome medidas correctivas
Essa apresentaccedilatildeo visual das informaccedilotildees mais importantes e necessaacuterias para gerir um projecto eacute geralmente conhecida como Painel de Indicadores de Desempenho Os paineacuteis de indicadores de desempenho podem ser usados em qualquer organizaccedilatildeo departamento ou divisatildeo Nas organizaccedilotildees de sauacutede puacuteblica os paineacuteis satildeo usados frequentemente para monitorar os indicadores financeiros e programaacuteticos bem como a cobertura produccedilatildeo eficaacutecia e qualidade de serviccedilos de sauacutede especiacuteficos Um painel de recursos humanos por exemplo incluiria indicadores relevantes para gerir o seguinte
retenccedilatildeo de funcionaacuterios rotatividade de funcionaacuterios formaccedilatildeo de funcionaacuterios lacunas de habilidades satisfaccedilatildeo dos funcionaacuterios custos benefiacutecios e despesas gerais com funcionaacuterios
A Tabela 6 mostra um painel de indicadores de desempenho criado para monitorar serviccedilos de contracepccedilatildeo ciruacutergica voluntaacuteria (CCV)
TABELA 6 Ilustraccedilatildeo de Painel de Indicadores de Desempenho para Serviccedilos de Contracepccedilatildeo Ciruacutergica Voluntaacuteria (CCV)
Serviccedilo Contracepccedilatildeo Ciruacutergica Voluntaacuteria Periacuteodo do Relatoacuterio Janeiro de 2009
No Indicador de Prestaccedilatildeo de Serviccedilos Custo Qualidade
Meta financeira ou programaacutetica
LimiarNuacutemero
alcanccedilado
Percentagem concluiacuteda
Miacuten Maacutex 10 20 30 40 50 60 70 80 90 100
1 Nuacutemero de CCVs realizadas no mecircs 8 10 7
2 Custo meacutedio das CCVs (US$) 100 120 110
3 Orccedilamento mensal da receita com CCVs realizadas (US$) 800 1200 770
4Percentagem das CCVs realizadas por pessoal
qualificadomdash 100 60
5 Percentagem das CCVs realizadas sem complicaccedilotildees 95 100 100
6
Percentagem de utentes satisfeitas com o tratamento
recebido do pessoal que realizou as CCVs
90 100 90
Adaptado de Colindres 2008 p 6
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 930
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja uma descriccedilatildeo do uso de um painel de indicadores de desempenho para a monitoria de rotina num estudo de caso estudo de caso de uma ONG da Boliacutevia o Centro de Investigaccedilatildeo Educaccedilatildeo e Serviccedilos (CIES)
Para obter mais informaccedilotildees de como criar um painel de indicadores consulte ldquoComo usar os paineacuteis de indicadores de desempenho para monitorar as realizaccedilotildees de uma organizaccedilatildeordquo Esse documento ajuda a esclarecer conceitos e define as etapas essenciais para criar paineacuteis de indicadores de desempenho
Como criar uma avaliaccedilatildeo para fins de aprendizagem
Apesar da importacircncia da monitoria de rotina apenas a monitoria natildeo basta para responder agrave pergunta ldquoE entatildeordquo Ou seja suas actividades e produtos contribuiacuteram para melhorar a cobertura dos serviccedilos aumentar o conhecimento ou encorajar comportamentos mais saudaacuteveis
Talvez uma campanha de comunicaccedilatildeo sobre planeamento familiar criada para aumentar a prevalecircncia do uso de contraceptivos tenha levado o governo a abastecer os depoacutesitos distritais com contraceptivos Para que possam aprender com essa experiecircncia e criar campanhas mais eficazes no futuro os gestores do projecto ainda querem saber que produtos foram realmente dispensados aos centros de sauacutede e distribuiacutedos aos utentes Esta secccedilatildeo discute como criar uma avaliaccedilatildeo para fins de aprendizagem
Existem dois motivos para levar a cabo uma avaliaccedilatildeo
1 A avaliaccedilatildeo fornece informaccedilotildees sobre o sucesso da sua equipa unidade ou organizaccedilatildeo para atingir seus objectivos Essas informaccedilotildees ajudam a definir que actividades expandir modificar ou eliminar Ela pode tambeacutem revelar formas de melhorar a concepccedilatildeo e gestatildeo das actividades futuras
2 A avaliaccedilatildeo pode demonstrar uma cultura de prestaccedilatildeo de contas agrave sua agecircncia doadora e a outros grupos de interesse nomeadamente o governo e os beneficiaacuterios dos seus serviccedilos
AVALIACcedilOtildeES FORMATIVAS E SUMATIVAS
Os gestores podem realizar dois amplos tipos de avaliaccedilotildees formativas e sumativas
Avaliaccedilatildeo formativa Este tipo de avaliaccedilatildeo eacute realizada durante o desenvolvimento e implementaccedilatildeo de um programa Seu objectivo eacute orientar o desenho e a implementaccedilatildeo de actividades que incluam as melhores e mais promissoras praacuteticas que aumentaratildeo as chances de sucesso A avaliaccedilatildeo formativa eacute mais comummente utilizada por projectos de grande porte ou de longo prazo em vez de projectos menores e de curto prazo Poreacutem os projectos menores devem pelo menos realizar uma avaliaccedilatildeo raacutepida das melhores praacuteticas durante a fase de planeamento para apoiar a loacutegica e o conteuacutedo proposto para as actividades
A avaliaccedilatildeo formativa inclui uma avaliaccedilatildeo de necessidades para discernir os desejos e requisitos de um grupo da populaccedilatildeo e determinar a melhor forma de atendecirc-los Inclui tambeacutem uma avaliaccedilatildeo de processo para investigar o processo utilizado para executar uma intervenccedilatildeo Pode-se usar a avaliaccedilatildeo do processo para determinar se as actividades foram realizadas de acordo com o plano ndash em termos de sua concepccedilatildeo original estimativas de custos e nuacutemero de pessoas a serem atendidas ndash e se a qualidade dos processos usados estaacute de acordo com as melhores praacuteticas conhecidas
A avaliaccedilatildeo de processo geralmente inclui vaacuterias abordagens Pode incluir uma avaliaccedilatildeo dos dados referentes aos produtos (por ex nuacutemero de redes mosquiteiras fornecidas nuacutemero
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 931
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
de workshops de formaccedilatildeo realizados nuacutemero de participantes dos workshops) assim como entrevistas individuais ou grupos de enfoque entre os beneficiaacuterios Nas intervenccedilotildees de menor porte eacute uma boa praacutetica realizar uma avaliaccedilatildeo de processo mesmo se limitada agrave retroinformaccedilatildeo dos participantes
Avaliaccedilatildeo somativa Este tipo de avaliaccedilatildeo eacute realizada apoacutes a conclusatildeo de um grupo de actividades ou da intervenccedilatildeo para avaliar a qualidade da intervenccedilatildeo e os seus principais resultados A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo a avaliaccedilatildeo do impacto a anaacutelise de custo-benefiacutecio e custo-eficaacutecia e a investigaccedilatildeo operacional
A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo que avalia em que medida uma equipa unidade ou organizaccedilatildeo inteira atingiram seus resultados esperados A avaliaccedilatildeo dos resultados eacute usada para demonstrar que existe uma cultura de prestaccedilatildeo de contas para aperfeiccediloar o projecto de actividades organizacionais para melhorar a distribuiccedilatildeo dos recursos e para promover intervenccedilotildees futuras bem-sucedidas As principais perguntas satildeo Que modificaccedilotildees ocorreram na vida das pessoas das famiacutelias ou da comunidade como resultado do nosso trabalho Que diferenccedila fizemos
Como observamos anteriormente neste capiacutetulo os resultados a meacutedio e longo prazo satildeo geralmente mudanccedilas mensuraacuteveis eou observaacuteveis em duas dimensotildees A primeira dimensatildeo abrange a conscientizaccedilatildeo o conhecimento as atitudes os valores e as habilidades dos participantes de um programa ou dos beneficiaacuterios dos serviccedilos durante ou depois de seu envolvimento na intervenccedilatildeo A segunda dimensatildeo implica mudanccedilas no comportamento desses mesmos grupos
Idealmente as duas dimensotildees deveriam ser medidas em trecircs pontos no comeccedilo e no final do periacuteodo de implementaccedilatildeo e se possiacutevel apoacutes um periacuteodo de acompanhamento adequado Se a mediccedilatildeo do acompanhamento natildeo for viaacutevel pelo menos devem ser comparadas as mediccedilotildees de base e poacutes-intervenccedilatildeo Muitas vezes as mudanccedilas podem ser pequenas mas deve haver alguma melhoria em pelo menos um ou dois resultados para que a intervenccedilatildeo seja considerada um sucesso
A avaliaccedilatildeo dos resultados tenta distinguir entre a influecircncia da intervenccedilatildeo nessas mudanccedilas e a influecircncia de outros factores externos Mas geralmente os avaliadores teratildeo que optar pela atribuiccedilatildeo parcial de um resultado a uma intervenccedilatildeo ou serviccedilo especiacutefico devido agrave dificuldade em determinar uma relaccedilatildeo directa e causal entre o serviccedilo prestado e uma determinada mudanccedila
As avaliaccedilotildees de resultados utilizam geralmente um desenho natildeo experimental (geralmente denominado ldquopreacute e poacutes-avaliaccedilatildeordquo) que simplesmente mede as mudanccedilas antes e depois de uma intervenccedilatildeo ou seja diferente do desenho experimental (que compara os participantes com um grupo de controlo com designaccedilatildeo aleatoacuteria a ambos os grupos) ou do desenho semi-experimental (que compara os participantes com um grupo de controlo mas sem a designaccedilatildeo aleatoacuteria)
O desenho natildeo experimental eacute aceitaacutevel para as mediccedilotildees e relatoacuterios padratildeo dos resultados a meacutedio e longo prazo As ONGs raramente usam os desenhos experimentais Apesar de uma organizaccedilatildeo de grande porte e com muitos recursos poder ocasionalmente receber assistecircncia de especialistas para um desenho experimental a maioria delas acha que as consideraccedilotildees eacuteticas e logiacutesticas impedem a designaccedilatildeo aleatoacuteria dos participantes aos grupos de intervenccedilatildeo e de controlo Aleacutem disso o custo de recolher dados de um grupo de controlo seraacute provavelmente muito elevado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 932
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A avaliaccedilatildeo do impacto eacute outro componente da avaliaccedilatildeo somativa Eacute mais ampla do que a avaliaccedilatildeo de resultados e avalia os efeitos liacutequidos ou gerais ndash tanto intencionais como natildeo intencionais ndash de todo um programa grupo de programas ou grupo de organizaccedilotildees As avaliaccedilotildees de impacto geralmente se estendem por um periacuteodo de 3 a 5 anos
OUTROS TIPOS DE AVALIACcedilOtildeES
Anaacutelise de custo-benefiacutecio e custo-eficaacutecia Estes tipos de anaacutelise tratam da eficiecircncia da intervenccedilatildeo ao analisar os resultados em termos dos seus custos financeiros e do seu valor
Investigaccedilatildeo operacional Trata-se de um balanccedilo ou avaliaccedilatildeo de uma intervenccedilatildeo especiacutefica no contexto de um programa mais amplo que estaacute a fazer vaacuterias intervenccedilotildees A investigaccedilatildeo operacional eacute usada para testar e avaliar novas abordagens de prestaccedilatildeo de serviccedilos de sauacutede Eacute tambeacutem usada para identificar problemas na prestaccedilatildeo de serviccedilos e oferecer soluccedilotildees
A investigaccedilatildeo operacional eacute uma ferramenta poderosa que os gestores de programas e os tomadores de decisotildees podem usar para melhorar e expandir os serviccedilos Os estudos de investigaccedilatildeo operacional comparam intervenccedilotildees que estatildeo dentro da esfera de influecircncia do gestor Os exemplos incluem a avaliaccedilatildeo da eficaacutecia de uma nova estrateacutegia de prevenccedilatildeo de VIHSIDA um novo curso de formaccedilatildeo um novo conjunto de procedimentos para gerir medicamentos um novo meacutetodo contraceptivo ou um novo serviccedilo de sauacutede reprodutiva
O Toolkit de Investigaccedilatildeo Operacional do Programa Horizons sobre VIHSIDA do Population Council fornece informaccedilotildees detalhadas para criar um estudo de investigaccedilatildeo operacional
CONSIDERACcedilOtildeES PARA A FORMULACcedilAtildeO DE UMA AVALIACcedilAtildeO
O que avaliar para responder agrave pergunta ldquoE entatildeordquo Se quiser saber como gestor se as suas actividades tiveram realmente sucesso precisa preparar todas as intervenccedilotildees tendo em mente a avaliaccedilatildeo e incorporar a avaliaccedilatildeo ao seu planeamento organizacional geral Ao definir objectivos deve se perguntar Como saberemos se estamos a atingir esses objectivos Este eacute o ponto de partida para a avaliaccedilatildeo
Seja qual for o porte da sua intervenccedilatildeo ou serviccedilo e o alcance da avaliaccedilatildeo precisaraacute responder a trecircs perguntas durante a fase de desenho e planeamento
1 O que a sua intervenccedilatildeo ou serviccedilo conseguiraacute realizar a curto e longo prazo Se implementar um conjunto de actividades com sucesso ao longo do tempo o que seraacute diferente
2 Como conceptualiza as suas actividades ndash qual eacute a loacutegica subjacente Duas abordagens para identificar a loacutegica do programa satildeo discutidas neste capiacutetulo na secccedilatildeo intitulada Ferramentas e Abordagens Praacuteticas para MampA
3 Que indicadores pode usar para identificar o progresso no alcance dos resultados
Para responder agrave pergunta ldquoE entatildeordquo vocecirc precisa avaliar os factores sobre os quais tem um niacutevel razoaacutevel de controlo Por exemplo um novo serviccedilo criado para oferecer alojamento a pessoas que vivem com SIDA natildeo pode controlar ou afectar a expectativa de vida das pessoas agraves quais atende Mas ao fornecer um ambiente estaacutevel para elas viverem o serviccedilo pode diminuir o niacutevel de stresse e melhorar a qualidade de vida dessas pessoas que antes eram forccediladas a se mudar com frequecircncia
Depois de tratar da pergunta ldquoE entatildeordquo deve tambeacutem se certificar de que a avaliaccedilatildeo seja concebida de forma que quando o processo estiver concluiacutedo vocecirc possa abordar os cinco toacutepicos principais da avaliaccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 933
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
1 Relevacircncia Foi uma boa ideia fazer a intervenccedilatildeo considerando-se a situaccedilatildeo e a necessidade de melhorias Ela tratou das prioridades do grupo alvo ou beneficiaacuterio Por que sim ou por que natildeo
2 Eficaacutecia Os resultados produtos e actividades foram realizados Por que sim ou por que natildeo A loacutegica da intervenccedilatildeo eacute correcta
3 Eficiecircncia Os insumos (recursos e tempo) foram usados da melhor forma possiacutevel para atingir os resultados a meacutedio e longo prazo Por que sim ou por que natildeo O que vocecirc e sua equipa poderiam fazer de modo diferente no futuro para maximizar os resultados a um custo aceitaacutevel
4 Impacto Em que medida a sua intervenccedilatildeo contribuiu para as metas nacionais ou de longo prazo Que consequecircncias natildeo intencionais (positivas ou negativas) suas actividades tiveram Por que essas consequecircncias aconteceram
5 Sustentabilidade Eacute provaacutevel que os resultados positivos continuem depois que sua intervenccedilatildeo terminar Por que sim ou por que natildeo
Uma uacuteltima advertecircncia assim como a monitoria pode-se complicar demasiado a avaliaccedilatildeo Ao preparar um plano de avaliaccedilatildeo o melhor eacute seleccionar um grupo pequeno de indicadores e resistir agrave tentaccedilatildeo de avaliar todos os aspectos da sua intervenccedilatildeo
Assim como a monitoria a avaliaccedilatildeo soacute eacute uacutetil se as informaccedilotildees forem repassadas em tempo haacutebil para o gestor e outros tomadores de decisotildees e grupos de interesse Um problema comum com as avaliaccedilotildees intercalares eacute que os resultados geralmente soacute satildeo informados de 6 a 8 meses mais tarde o que deixa apenas 1 ou 2 anos para fazer mudanccedilas mais permanentes antes que se esgotem os fundos do governo ou da agecircncia doadora
COMO SELECCIONAR SUAS FONTES DE DADOS
Esta secccedilatildeo descreve trecircs tipos de fontes de dados que satildeo comummente usadas para uma avaliaccedilatildeo dados recolhidos rotineiramente inqueacuteritos de grande escala e teacutecnicas de avaliaccedilatildeo raacutepida inclusive a avaliaccedilatildeo participativa
Dados de rotina Os dados recolhidos e analisados rotineiramente por um SIS satildeo denominados ldquoestatiacutesticas de serviccedilordquo Pode-se utilizar vaacuterios sistemas de informaccedilatildeo de serviccedilos de rotina para monitorar os serviccedilos Alguns deles satildeo o sistema baacutesico de registo e relatoacuterio de SIS os sistemas especiais de relatoacuterios sobre programas (por ex tuberculose malaacuteria imunizaccedilatildeo VIH planeamento familiar etc) os sistemas de relatoacuterios sobre agentes comunitaacuterios especiais (por ex registos de agentes comunitaacuterios de sauacutede) o sistema de informaccedilotildees para a vigilacircncia de doenccedilas e o controlo notificaccedilatildeo e resposta a surtos e os relatoacuterios para os sistemas de suporte especiais (por ex medicamentos encaminhamentos e gestatildeo financeira e de recursos humanos)
Esses sistemas fornecem dados que estatildeo imediatamente disponiacuteveis e cujo objectivo eacute informar o que estaacute a acontecer no sector de sauacutede Os dados de rotina incluem por exemplo o nuacutemero de consultas de preacute-natal em uma cliacutenica o nuacutemero e tipo de vacinaccedilotildees fornecidas no local ou o nuacutemero e tipos de contraceptivos fornecidos mensalmente
Os dados sobre os serviccedilos satildeo geralmente recolhidos pelos centros de sauacutede ou postos de sauacutede e enviados para o proacuteximo niacutevel superior do sistema (geralmente o distrito) para serem agregados Esses dados podem entatildeo ser enviados ao proacuteximo niacutevel superior (regional ou provincial) para posterior agregaccedilatildeo antes que cheguem finalmente ao niacutevel central do Ministeacuterio da Sauacutede
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 934
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Idealmente os gestores de centros de sauacutede e ao niacutevel do distrito usam esses dados para orientar as operaccedilotildees diaacuterias acompanhar o desempenho e a prestaccedilatildeo de contas e tomar decisotildees que continuem a melhorar o desempenho Mas haacute vaacuterios obstaacuteculos a essa utilizaccedilatildeo
Muito frequentemente os dados de rotina satildeo imprecisos ou incompletos Apesar dos que utilizam o SIS tentarem produzir informaccedilotildees de alta qualidade e em tempo haacutebil haacute muitas oportunidades de introduzir erros Pode haver pouco apoio para que os gestores e seu pessoal se concentrem nos procedimentos correctos de recolha registo e agregaccedilatildeo dos dados
Os sistemas de sauacutede de vaacuterios paiacuteses enfatizam a importacircncia de apresentar relatoacuterios para os niacuteveis superiores mas natildeo estabeleceram procedimentos e incentivos para encorajar aqueles que fornecem informaccedilotildees a utilizaacute-las mesmo quando os dados satildeo de boa qualidade
Outra dificuldade eacute que as estatiacutesticas sobre serviccedilos fornecem informaccedilotildees apenas sobre os utentes que utilizam os serviccedilos de sauacutede Natildeo podem fornecer informaccedilotildees sobre as muitas pessoas que natildeo utilizam os serviccedilos
Por tudo isso natildeo se pode confiar apenas nas estatiacutesticas sobre serviccedilos para fazer uma avaliaccedilatildeo Elas satildeo melhor utilizadas para a monitoria de rotina dos problemas de sauacutede puacuteblica e dos serviccedilos essenciais relacionados
Inqueacuteritos em grande escala Os inqueacuteritos em grande escala satildeo outra fonte de informaccedilotildees imediatamente disponiacuteveis Incluem inqueacuteritos de base populacional tais como as Inqueacuterito Demograacutefico e de Sauacutede (IDS) dos EUA avaliaccedilotildees completas de centros de sauacutede como a Anaacutelise de Situaccedilatildeo do Population Council e os censos nacionais Em vaacuterios casos os gestores podem usar os dados de um inqueacuterito em grande escala existente para fornecer o contexto para a interpretaccedilatildeo dos dados capturados atraveacutes das suas proacuteprias avaliaccedilotildees
Por exemplo as IDS satildeo realizadas periodicamente para caracterizar a situaccedilatildeo de sauacutede em um paiacutes ou regiatildeo geograacutefica de grande extensatildeo para vaacuterios grupos populacionais homens mulheres crianccedilas bebeacutes e assim por diante Mas os dados das IDS natildeo podem normalmente ser desagregados para uso pelos gestores no niacutevel de distrito ou comunidade
Aleacutem disso como as IDS satildeo realizadas apenas a cada trecircs ou cinco anos as informaccedilotildees que fornecem podem natildeo estar suficientemente actualizadas para as necessidades de avaliaccedilatildeo dos gestores Apesar dessas dificuldades os dados das IDS satildeo uacuteteis para compreender tendecircncias regionais ou nacionais que podem ajudar a explicar dados recolhidos em uma avaliaccedilatildeo de foco especiacutefico
Avaliaccedilotildees raacutepidas Satildeo formas raacutepidas e econoacutemicas de obter informaccedilotildees para a tomada de decisotildees principalmente ao niacutevel da actividade Os exemplos incluem entrevistas quando os utentes saem de suas consultas as avaliaccedilotildees de pequena escala dos centros de sauacutede os inqueacuteritos raacutepidos por amostragem o exame analiacutetico de registos as entrevistas com grupos de enfoque e outros meacutetodos participativos
Poderaacute usar teacutecnicas de avaliaccedilatildeo raacutepida para complementar as informaccedilotildees obtidas com dados de rotina ou inqueacuteritos de grande escala As avaliaccedilotildees raacutepidas podem-lhe fornecer informaccedilotildees valiosas sobre sua aacuterea de captaccedilatildeo e sua aacuterea de responsabilidade mais ampla ndash ou seja as comunidades e as populaccedilotildees que deveriam ter acesso aos serviccedilos essenciais prestados por um centro de sauacutede determinado Elas podem tambeacutem fornecer contexto e uma compreensatildeo qualitativa dos dados quantitativos recolhidos pelos meacutetodos mais formais
Dentro da categoria de avaliaccedilotildees raacutepidas os meacutetodos participativos e os inqueacuteritos raacutepidos por amostragem merecem a sua atenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 935
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Meacutetodos participativos (tambeacutem chamados de aprendizagem e acccedilatildeo participativas) Essas teacutecnicas e meacutetodos visam incorporar o conhecimento e as opiniotildees dos membros da comunidade no planeamento e gestatildeo de projectos de desenvolvimento no esforccedilo para influenciar as poliacuteticas e na implementaccedilatildeo de programas Eles permitem incluir vozes da comunidade nas poliacuteticas no planeamento e nos inqueacuteritos e criam um senso de propriedade e participaccedilatildeo nos resultados de MampA e nas recomendaccedilotildees feitas pela organizaccedilatildeo e por seus beneficiaacuterios
Ao contraacuterio de outras teacutecnicas de avaliaccedilatildeo raacutepida os meacutetodos participativos natildeo se baseiam em amostragens Eles usam entrevistas individuais ou com informantes essenciais (inclusive entrevistas com utentes ao saiacuterem de suas consultas) entrevistas em grupo estudos de caso e outros meacutetodos qualitativos para identificar as condiccedilotildees locais e entender as perspectivas e prioridades locais
Em vaacuterios locais haacute membros da comunidade que natildeo podem ler nem escrever e por isso os meacutetodos participativos dependem frequentemente da comunicaccedilatildeo oral com apoio de imagens siacutembolos objectos fiacutesicos e memoacuteria colectiva
Os meacutetodos participativos podem ser usados antes durante e apoacutes a implementaccedilatildeo de uma intervenccedilatildeo ou um conjunto de actividades Eles fornecem informaccedilotildees para o projecto e a avaliaccedilatildeo e permitem a participaccedilatildeo activa das partes interessadas na tomada de decisotildees Durante a implementaccedilatildeo os meacutetodos participativos satildeo uacuteteis para identificar e solucionar problemas
Aproveite para examinar e utilizar uma lista de recursos online sobre inqueacuterito qualitativo e directrizes sobre discussotildees em grupos de enfoque no Community Tool Box da Universidade de Kansas
Inqueacuteritos raacutepidos por amostragem Estes inqueacuteritos podem ser utilizados para recolher informaccedilotildees padronizadas de uma amostra pequena e cuidadosamente seleccionada de pessoas ou domiciacutelios em uma aacuterea beneficiaacuteria Eles podem descrever as condiccedilotildees em uma comunidade particular ou grupo-alvo e permitem comparar grupos diferentes em um determinado momento ou mudanccedilas no mesmo grupo ao longo do tempo Permitem tambeacutem comparar condiccedilotildees actuais com os resultados planeados
Um dos inqueacuteritos mais comuns de pequena amostragem eacute o inqueacuterito CAP (Conhecimentos Atitudes e Praacuteticas) baseado em uma amostra de 30 agrupamentos
Amostragem para Garantia de Qualidade de Lotes (Lot Quality Sampling - LQAS) Essa eacute outra teacutecnica de avaliaccedilatildeo raacutepida que se usa cada vez mais na aacuterea de sauacutede puacuteblica A LQAS utiliza amostragens muito pequenas para obter informaccedilotildees confiaacuteveis em uma pequena aacuterea geograacutefica ou unidade administrativa Pode ser usada para detectar de forma precisa os extremos do desempenho ndash para determinar se uma intervenccedilatildeo foi mais aleacutem de um limiar superior de desempenho ou natildeo conseguiu atingir um limiar inferior de desempenho em termos de qualidade ou cobertura As amostras de lotes podem tambeacutem ser combinadas para fornecer estimativas de cobertura em uma aacuterea geograacutefica mais ampla
Uma busca na Web revelaraacute recursos uacuteteis aqui temos um sobre os inqueacuteritos CAP e outro sobre LQAS A aacuterea de MampA do website do CORE Group inclui ligaccedilotildees com ferramentas e recursos importantes para a avaliaccedilatildeo raacutepida criados pelo Grupo de Trabalho de MampA do CORE Group
Como gestor deve revisar todas as fontes de dados jaacute existentes antes de planear a sua avaliaccedilatildeo A Tabela 7 apresenta as vantagens e desvantagens das trecircs principais fontes de
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 936
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 7 Resumo das trecircs fontes de dados mais comuns para uma avaliaccedilatildeo
Fonte de dados Vantagens Limitaccedilotildees
Estatiacutesticas de serviccedilo Dados sobre a populaccedilatildeo de utentes e serviccedilos cliacutenicos que satildeo recolhidos rotineiramente nos registos dos utentes e nos registos cliacutenicos
Disponiacuteveis imediatamente
Cobrem todos os tipos de serviccedilos de sauacutede e todas as aacutereas do paiacutes
Podem ser desagregados para os niacuteveis local e de distrito
Uso econoacutemico
Soacute lhe informam sobre clientes actuais sem informaccedilotildees sobre as pessoas que natildeo usam os serviccedilos de sauacutede e podem ser utentes em potencial
Natildeo fornecem informaccedilotildees sobre valores percepccedilotildees ou comportamentos da comunidade
Natildeo reflectem as pessoas que optam por fontes privadas de serviccedilos
Podem ser inexactas se os locais de prestaccedilatildeo de serviccedilos natildeo registarem os dados correctamente de forma legiacutevel e em tempo haacutebil
Inqueacuteritos de grande escala Inqueacuteritos de base populacional e avaliaccedilotildees de grande escala dos centros de sauacutede
Dados relevantes precisos e confiaacuteveis
Podem medir as tendecircncias nacionais de sauacutede identificar aacutereas com problemas e ajudar a concentrar os recursos do paiacutes em aacutereas de maior carecircncia
Geram valores meacutedios para as aacutereas urbanas e rurais regiotildees e proviacutencias
Fornecem um contexto para interpretar os dados recolhidos localmente
Podem gerar informaccedilotildees adicionais a partir dos seus conjuntos de dados informatizados
Geralmente natildeo podem desagregar os dados para fornecer meacutedias para as aacutereas sub-regionais (distritos ou municipalidades)
Geralmente natildeo satildeo realizadas anualmente os dados se tornam desactualizados rapidamente se as populaccedilotildees ou condiccedilotildees de sauacutede se modificarem rapidamente
Avaliaccedilotildees raacutepidas Meacutetodos focados para avaliar as necessidades locais e tomar decisotildees em acircmbito local
Raacutepidas e econoacutemicas
Resultam em acccedilatildeo local
Haacute directrizes para ajudar os gestores em vaacuterias dessas teacutecnicas
Fornecem aos gestores a capacidade de recolher os dados necessaacuterios
Os inqueacuteritos domiciliares (por ex LQAS ou CAP) podem obter precisatildeo suficiente para fins de avaliaccedilatildeo
Equilibra a necessidade de resultados representativos e objectivos com a necessidade de usar projectos levemente menos rigorosos que satildeo mais viaacuteveis em aacutereas locais
Usam escala e acircmbito reduzidos para produzir resultados em tempo haacutebil e de baixo custo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 937
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
dados que foram discutidas acima estatiacutesticas rotineiras de serviccedilos inqueacuteritos em grande escala e teacutecnicas de avaliaccedilatildeo raacutepida
Que niacutevel de qualidade os dados do SIS precisam ter para serem uacuteteis ndash que niacutevel de abrangecircncia precisatildeo e apresentaccedilatildeo em tempo haacutebil Para as suas necessidades de gestatildeo mesmo que natildeo sejam perfeitos os dados podem ser suficientemente bons para ter um efeito poderoso como nos mostra o exemplo de Madagascar
Dados do SIS pontos fortes e limitaccedilotildees
Subestimar o valor e a utilidade do SIS eacute infelizmente uma tendecircncia Eacute verdade que o SIS tem problemas frequentemente mas tambeacutem eacute grande o seu potencial Como vimos em
Como usar e melhorar dados imperfeitos do SIS ndash Um exemplo de Madagascar
Um SIS de base comunitaacuteria mais preciso e mais oportuno Um projecto de Madagascar implementou um meacutetodo baseado na comunidade para aumentar o uso de meacutetodos de planeamento familiar denominado ldquoComunidades Campeatildesrdquo em 50 dos 110 distritos do paiacutes O meacutetodo utilizou exclusivamente os dados do SIS para monitorar e avaliar as realizaccedilotildees das comunidades participantes
Em primeiro lugar foi estabelecida uma base de referecircncia para cada comunidade ao usar os dados do seu centro de sauacutede Em seguida o pessoal do centro de sauacutede e os representantes da comunidade identificaram metas para 10 indicadores que determinariam se uma comunidade tinha alcanccedilado a posiccedilatildeo de campeatilde apoacutes 12 meses de implementaccedilatildeo Cada comunidade monitorava seu proacuteprio progresso em uma reuniatildeo trimestral de verificaccedilatildeo
Apoacutes 12 meses o pessoal do projecto voltou a cada comunidade para avaliar os resultados Examinaram os dados do relatoacuterio de monitoria de rotina de cada centro de sauacutede e para cada indicador Prepararam tambeacutem um relatoacuterio sobre os dados de cada comunidade e o enviaram para o supervisor de niacutevel distrital para a sua confirmaccedilatildeo com base nos registos informatizados do distrito As fontes de dados para os relatoacuterios do centro de sauacutede e registos de distrito foram as mesmas (registos dos centros de sauacutede) e por isso raramente ocorreu uma discrepacircncia Mas o que interessava era envolver o supervisor distrital no exame dos dados do centro de sauacutede para mostrar a utilidade de se usar ateacute mesmo dados simples nesse niacutevel
O projecto tambeacutem cooperou com o Ministeacuterio da Sauacutede a niacutevel distrital para melhorar a precisatildeo a abrangecircncia e a prontidatildeo do SIS A ecircnfase era obter dados mais completos dos centros de sauacutede e reduzir o tempo gasto pelo escritoacuterio distrital para receber o relatoacuterio do centro de sauacutede apreciaacute-lo devolvecirc-lo ao centro para qualquer correcccedilatildeo recebecirc-lo novamente dar entrada dos dados no sistema e finalmente enviaacute-los ao niacutevel central Os distritos satildeo responsaacuteveis por cooperar com os centros de sauacutede para melhorar o registo de dados e actualizar suas proacuteprias teacutecnicas de processamento de dados
Apoacutes dois anos de assistecircncia teacutecnica o SIS tinha realmente melhorado segundo os indicadores de precisatildeo abrangecircncia e prontidatildeo As melhorias mais notaacuteveis foram em prontidatildeo o tempo gasto pelo escritoacuterio distrital no processo descrito acima reduziu-se de 12 para 3 meses
Imperfeitas mais mesmo assim valiosos Deve-se lembrar que o projecto ldquoComunidades Campeatildesrdquo teve oacuteptimo resultado apesar dos dados imperfeitos Seu numerador (o nuacutemero de utentes regulares de planeamento familiar) era detalhado e preciso Mas suas estimativas das taxas de prevalecircncia do uso de contraceptivos natildeo eram muito precisas porque o denominador (nuacutemero de mulheres em idade reprodutiva) era apenas uma estimativa baseada num censo desactualizado e em estimativas anuais do governo sobre percentagens de crescimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 938
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Madagascar o projecto Comunidades Campeatildes melhorou o sistema substancialmente num periacuteodo de dois anos Nesse caso o sistema jaacute se encontrava relativamente funcional porque projectos anteriores haviam feito um grande esforccedilo para implantar o sistema e tornaacute-lo mais soacutelido Ao aprimorar a forma como o sistema era administrado e os dados eram usados o projecto posterior conseguiu fazer uma grande diferenccedila por meio de pequenas modificaccedilotildees
Os dados do SIS natildeo satildeo 100 exactos e nunca seratildeo Esta eacute a realidade com a qual todos os gestores tecircm que trabalhar Mas os dados natildeo precisam ser perfeitos para serem uacuteteis Eacute possiacutevel fazer a monitoria e a gestatildeo com dados imperfeitos Informaccedilotildees obtidas em tempo
(continuaccedilatildeo)
No entanto o projecto constatou que as taxas de prevalecircncia de uso de contraceptivos eram suficientemente boas para acompanhar o desempenho das comunidades que participavam do meacutetodo de Comunidades Campeatildes O pessoal do projecto tambeacutem complementou as comparaccedilotildees dessas taxas com as comparaccedilotildees dos valores do numerador nuacutemeros simples que faziam sentido para o pessoal do centro de sauacutede e tambeacutem para as comunidades
O niacutevel central comeccedilou a organizar workshops regionais trimestrais para divulgar os resultados ao niacutevel distrital Juntos os gestores dos niacuteveis distritais regionais e centrais analisaram o progresso e classificaram os distritos com base no seu desempenho Usaram a anaacutelise de causa-raiz ndash um processo que identifica as causas subjacentes de um problema ndash para entender os obstaacuteculos enfrentados pelos distritos que apresentavam baixo desempenho (Consulte o Apecircndice A no Capiacutetulo 2 deste guia para obter mais informaccedilotildees sobre a anaacutelise de causa-raiz) Finalmente o Ministeacuterio de Sauacutede mobilizou o apoio de agecircncias doadoras e de organizaccedilotildees parceiras para ajudaacute-los a melhorar
O ministeacuterio comeccedilou a usar as informaccedilotildees de sauacutede para administrar realmente o sistema de sauacutede Antes dessa intervenccedilatildeo poucas organizaccedilotildees confiavam ou utilizavam os dados do SIS Mas quando ficou claro que o sistema funcionava as agecircncias doadoras passaram a confiar as organizaccedilotildees parceiras passaram a utilizaacute-lo e o ministeacuterio se orgulhou do trabalho Pela primeira vez tinham uma visatildeo mais niacutetida do que acontecia em todo o paiacutes e podiam usar essas informaccedilotildees para buscar o apoio de agecircncias doadoras se necessaacuterio
Do mesmo modo os centros de sauacutede raramente usavam seus proacuteprios dados Eles simplesmente faziam os registos e os enviavam para o escritoacuterio distrital sem nem mesmo receber retroinformaccedilatildeo do mesmo Apoacutes a conclusatildeo do projecto perceberam como os dados mais precisos podiam ser usados em seu benefiacutecio e das comunidades
Os distritos tambeacutem actuavam antes de uma forma pouco informada Cada distrito dependia apenas dos seus proacuteprios dados e funcionava num vaacutecuo As mudanccedilas no SIS e o encorajamento do governo central forneceram aos distritos oportunidades para comparar seu trabalho e aprender uns com os outros
Aprendizagem com dados mais precisos completos e oportunos Os dados satildeo geralmente utilizados para fazer comparaccedilotildees mas satildeo menos frequentemente utilizados como ferramenta de aprendizagem Nesse caso depois que os relatoacuterios comeccedilaram a chegar dentro do prazo o Ministeacuterio da Sauacutede usou os dados ndash inclusive dados imperfeitos ndash para descobrir que distritos tinham um desempenho ruim e que distritos estavam melhor que os outros Assim aprenderam com os de melhor desempenho ao perguntar Por que seus resultados satildeo tatildeo bons O que estavam a fazer de diferente O que poderia ser replicado Finalmente aplicaram a aprendizagem ao usar esses distritos como modelos e ao oferecer mais apoio aos de pior desempenho
Todo o sistema de sauacutede se entusiasmou com as informaccedilotildees que podiam produzir e usar A comeccedilar do topo esse entusiasmo chegou aos niacuteveis inferiores e os motivou a melhorar sua recolha e processamento de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 939
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
haacutebil e com 75 de precisatildeo satildeo melhores que as informaccedilotildees com 95 de precisatildeo que chegam com vaacuterios meses de atraso
Apesar do seu grande valor por si soacutes os dados do SIS natildeo atenderatildeo a todas as necessidades de informaccedilatildeo de muitas organizaccedilotildees Algumas organizaccedilotildees e agecircncias doadoras precisam de dados que exigem avaliaccedilotildees ou sistemas especiais Aleacutem disso vaacuterias intervenccedilotildees foram projectadas para modificar o conhecimento as atitudes e as praacuteticas dos beneficiaacuterios factores que natildeo satildeo capturados nos dados de serviccedilo Eacute importante usar os dados do SIS sempre que possiacutevel e complementaacute-los com avaliaccedilotildees locais quando necessaacuterio
Como gestor de um programa de sauacutede ou de serviccedilos de sauacutede parte do seu trabalho deveria ser o de melhorar o SIS em seu paiacutes Ele eacute o uacutenico sistema de informaccedilotildees sustentaacutevel na maioria dos paiacuteses Os sistemas de informaccedilatildeo criados e mantidos por agecircncias doadoras ou organizaccedilotildees externas tecircm duraccedilatildeo limitada mas o SIS eacute parte permanente do seu legado
Se todos os parceiros e agecircncias doadoras trabalharem com o Ministeacuterio de Sauacutede para prestar assistecircncia teacutecnica e financeira ao SIS ele poderaacute render informaccedilotildees que trazem grandes melhorias para os serviccedilos de sauacutede e que justificam plenamente o investimento no mesmo
Praacuteticas comprovadas
Um sistema de MampA deveria proporcionar aos gestores o que eles precisam saber para agir Deve se basear em indicadores relevantes faacuteceis de usar e que possam ser fornecidos em tempo haacutebil para os ciclos de planeamento e apresentaccedilatildeo de relatoacuterios
Os resultados de MampA natildeo se destinam apenas ao pessoal de MampA da sua organizaccedilatildeo ou agrave agecircncia doadora As informaccedilotildees de MampA satildeo um recurso fundamental para as acccedilotildees e a aprendizagem Se o seu processo de MampA tiver mecanismos de retroinformaccedilatildeo que permitam aos tomadores de decisotildees reflectirem sobre os resultados e absorverem o que precisam para seus proacuteprios fins eles assumiratildeo o controlo do processo e utilizaratildeo o que ele oferecer
Se vocecirc define suas actividades de MampA no comeccedilo de uma intervenccedilatildeo ou projecto junto com o plano de acccedilatildeo para o projecto teraacute mais oportunidades de orientar e acompanhar a implementaccedilatildeo das actividades
Quando satildeo demasiado elaborados e complicados os planos de MampA natildeo satildeo usados Elabore um plano de MampA simples escolha ferramentas de monitoria faacuteceis de usar e seleccione a menor quantidade possiacutevel de indicadores para acompanhar o progresso e introduzir as mudanccedilas necessaacuterias ao longo do caminho
Para fortalecer um SIS eacute preciso trabalhar com as pessoas envolvidas os responsaacuteveis pelo sistema que registam transferem analisam comunicam e utilizam os dados e as informaccedilotildees para a gestatildeo dos serviccedilos
Ao fornecer os dados do SIS para os tomadores de decisotildees vocecirc deve reconhecer as diferenccedilas na frequecircncia dos relatoacuterios e nas quantidades de dados agregados e desagregados necessaacuterios aos niacuteveis diferentes de governo ou agraves organizaccedilotildees natildeo governamentais
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 922
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
proporccedilatildeo de centros e pessoal de sauacutede que demonstram adesatildeo a padrotildees especiacuteficos de serviccedilo ou que atingiram objectivo definido
proporccedilatildeo de centros de sauacutede que seguem padrotildees definidos de gestatildeo funcional (por ex em termos de pessoal disponibilidade de medicamentos registo e apresentaccedilatildeo de relatoacuterios)
Orientaccedilatildeo adicional sobre os indicadores pode ser obtida em ldquoCompecircndio de indicadores para avaliaccedilatildeo de programas de sauacutede reprodutivardquo e ldquoLista dos indicadores sobre desenvolvimento da capacidade de gestatildeo e lideranccedilardquo
ETAPA 3 IDENTIFIQUE AS FONTES DE DADOS
Agora precisa identificar uma fonte de dados para cada indicador incluiacutedo no plano de MampA ao seleccionar dados que estejam prontamente disponiacuteveis em uma fonte confiaacutevel e dentro das possibilidades financeiras de sua organizaccedilatildeo O ideal seria escolher os dados imediatamente disponiacuteveis atraveacutes da organizaccedilatildeo em vez de dar iniacutecio a uma nova estrateacutegia de recolha de dados o que poderia ser oneroso e demorado
Uma boa forma de comeccedilar eacute com a seguinte pergunta Que dados jaacute recolhemos de forma rotineira e sistemaacutetica Vocecirc deve sempre levar em consideraccedilatildeo as vantagens e desvantagens de cada fonte de dados Consulte a secccedilatildeo ldquoComo seleccionar suas fontes de dadosrdquo para obter mais informaccedilotildees sobre as vantagens e desvantagens de algumas fontes de dados mais comuns
Vocecirc deve ser o mais especiacutefico possiacutevel sobre as fontes de dados para que a mesma fonte possa ser utilizada de forma coerente durante toda a intervenccedilatildeo Mudar as fontes de dados para o mesmo indicador pode resultar em incoerecircncias e erros de interpretaccedilatildeo Por exemplo se estiver a medir as taxas de mortalidade infantil passar de estimativas baseadas num inqueacuterito de grande escala para estimativas baseadas em estatiacutesticas hospitalares pode resultar dar a falsa impressatildeo de que houve uma mudanccedila
QUADRO 2 Qualidades de um bom indicador
Vaacutelido O indicador mede o que se pretende medir
Confiaacutevel A medida do indicador deve ser igual natildeo importa quantas vezes a medida seja feita
Preciso O indicador eacute definido em termos claros e especiacuteficos para que possa ser medido O indicador pode ser qualitativo (descritivo) discreto (SimNatildeo) ou baseado em niacuteveis quantitativos ou proporccedilotildees desde que seja claramente mensuraacutevel
Faacutecil de entender Tanto especialistas como natildeo especialistas devem poder entender o significado do indicador
Discreto O indicador captura um uacutenico componente ou aspecto de um resultado mais complexo Mede apenas uma coisa natildeo um conjunto de coisas
Em tempo haacutebil O indicador pode ser medido em intervalos temporais apropriados de acordo com a disponibilidade dos dados
Comparaacutevel Quando possiacutevel o indicador evita definiccedilotildees limitadas ou singulares cujos valores seriam difiacuteceis de comparar com outros resultados
Viaacutevel para utilizar Os dados para o indicador satildeo faacuteceis de obter de uma fonte confiaacutevel e relativamente econoacutemica ndash acessiacutevel tendo em vista os recursos da sua organizaccedilatildeo Se esses dados natildeo estiverem disponiacuteveis existem meacutetodos para obtecirc-los no futuro
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 923
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 4 DEFINA OS MEacuteTODOS DE RECOLHA DE DADOS
A etapa seguinte eacute a de definir os meacutetodos ou ferramentas que utilizaraacute para cada indicador Para os indicadores baseados em dados primaacuterios (dados que vocecirc mesmo recolhe) deve descrever o tipo de instrumento necessaacuterio para recolher os dados Os exemplos podem incluir questionaacuterios estruturados listas de verificaccedilatildeo de observaccedilatildeo directa ou balanccedilas para pesar bebeacutes
Para os dados secundaacuterios (dados recolhidos por terceiros e que estatildeo disponiacuteveis para vocecirc usar) deve explicar o meacutetodo para calcular o indicador e a fonte dos dados e fornecer detalhes suficientes sobre o meacutetodo de caacutelculo para que outros possam replicaacute-lo Lembre-se de que eacute mais faacutecil e mais barato usar dados secundaacuterios mas sua qualidade eacute menos confiaacutevel do que a dos dados primaacuterios
Tambeacutem eacute importante observar a frequecircncia da recolha dos dados para cada indicador A depender do tipo de indicador vocecirc poderaacute recolher os dados mensalmente trimestralmente anualmente ou ateacute com menos frequecircncia Ao definir o programa de recolha de dados para cada indicador leve em consideraccedilatildeo a necessidade de fornecer informaccedilotildees em tempo haacutebil aos responsaacuteveis por tomar decisotildees na sua organizaccedilatildeo Atribuir responsabilidades pela recolha de dados a indiviacuteduos ou grupos do seu pessoal garantiraacute que os dados sejam recolhidos dentro do prazo necessaacuterio
As informaccedilotildees das Etapas 1 a 4 fornecem o conteuacutedo do seu plano de monitoria e avaliaccedilatildeo A Tabela 5 mostra os elementos de um plano de MampA para um programa de mentoria cliacutenica para centros de orientaccedilatildeo e testes voluntaacuterios
ETAPA 5 RECOLHA OS DADOS DE BASE E DE ACOMPANHAMENTO
Recolher dados de base precisos eacute uma das tarefas mais importantes de MampA Os dados de base ou referecircncia satildeo o ponto de partida para definir as metas que vocecirc e sua equipa pretendem atingir e para acompanhar as mudanccedilas dos indicadores durante todo o periacuteodo de sua intervenccedilatildeo Dessa forma os dados de base ajudam a definir melhor um resultado final esperado
Vocecirc precisaraacute recolher dados de base para cada indicador antes que suas actividades comecem Esses dados identificam o ponto de partida de onde poderaacute avaliar o progresso Depois em pontos variados durante a implementaccedilatildeo vocecirc recolheraacute dados de acompanhamento sobre cada indicador para comparaacute-los com os niacuteveis de base e os resultados previstos Isto permite que vocecirc e outros tomadores de decisotildees em sua organizaccedilatildeo avaliem o progresso de cada intervenccedilatildeo ou serviccedilo e faccedilam as mudanccedilas necessaacuterias ao longo do caminho Examine o exemplo no Quadro 3
Por que acompanhar as mudanccedilas dos indicadores durante a implementaccedilatildeo Os indicadores de um plano de MampA estatildeo relacionados aos resultados imediatos (produtos) e aos resultados de meacutedio e longo prazo que os gestores precisam monitorar As mudanccedilas nos valores do indicador ao longo do tempo mostram se esses resultados estatildeo a subir ou a baixar ou se permanecem iguais Isto mostra ao gestor se as intervenccedilotildees e estrateacutegias estatildeo a funcionar conforme planeado para atingir os resultados esperados
Ao final do periacuteodo de implementaccedilatildeo precisaraacute recolher dados sobre os seus indicadores para comparar os niacuteveis finais com os niacuteveis de base e com os seus resultados esperados A depender dos seus indicadores precisaraacute tambeacutem recolher dados de acompanhamento a uma altura acordada previamente para determinar se as mudanccedilas seratildeo mantidas apoacutes o teacutermino da sua intervenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 924
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 5 Exemplo de um Plano de Monitoria e Avaliaccedilatildeo
Objectivo Os profissionais de sauacutede que receberam formaccedilatildeo aumentam sua capacidade de fornecer tratamento anti-retroviral de acordo com as directrizes nacionais
ActividadeProduto Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
CronogramaPrazo final
Cliacutenicos experientes em VIH recrutados para servir como mentores cliacutenicos em cinco hospitais regionais
Nuacutemero de mentores recrutados e designados a hospitais regionais
Registos de emprego
Como concluiacutedo Director adjunto para programas cliacutenicos
Setembro de 2008
Pessoal meacutedico em cinco hospitais regionais que recebem mentoria individual sobre terapia anti-retroviral
Nuacutemero de locais que recebem mentoria cliacutenica
Nuacutemero de meacutedicos que recebem mentoria individual
Nuacutemero de dias de mentoria cliacutenica realizados
Relatoacuterios mensais do mentor
Mensalmente Mentores Marccedilo de 2009
Resultados a meacutedio e longo prazo Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
Trabalhadores de sauacutede aumentam seu conhecimento sobre terapia anti-retroviral
80 dos participantes obtecircm 85 ou mais de pontuaccedilatildeo correcta no teste posterior
Trabalhadores de sauacutede melhoram suas habilidades no fornecimento de terapia anti-retroviral
Percentagem de habilidades demonstradas na lista de verificaccedilatildeo de competecircncia
Estudo especial Datas a definir Director adjunto para programas cliacutenicos
Fonte Centro Internacional de Formaccedilatildeo e Ensino sobre VIH p 2
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 925
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Observaccedilatildeo sobre o uso de indicadores para uma avaliaccedilatildeo A maioria dos esforccedilos de MampA enfatizam a selecccedilatildeo de indicadores bem definidos para estabelecer metas e medir as mudanccedilas nas condiccedilotildees e nos serviccedilos de sauacutede
Mas eacute importante lembrar que os indicadores servem apenas como marcadores Os dados dos indicadores fornecem pistas para saber se uma intervenccedilatildeo ou um grupo de actividades estaacute dentro do cronograma e se os resultados esperados estatildeo a ser alcanccedilados Eles natildeo respondem agraves perguntas de por que os resultados estatildeo ou natildeo a ser alcanccedilados Natildeo explicam os resultados fortuitos as relaccedilotildees entre intervenccedilotildees e resultados ou as causas de resultados percebidos que podem ocorrer fora da intervenccedilatildeo Assim natildeo podem recomendar medidas a tomar para melhorar os resultados
Os dados de indicadores devem portanto ser interpretados com cuidado Eles simplesmente indicam resultados que precisam ser melhor explorados em vez de fornecer uma avaliaccedilatildeo definitiva do sucesso ou fracasso Um estudo de avaliaccedilatildeo eacute geralmente executado para determinar se uma intervenccedilatildeo pode ser considerada um sucesso e por quecirc
Em geral agrave medida que sobe na hierarquia e passa das actividades para os resultados a longo prazo a MampA se torna mais complicada Nos niacuteveis de processo e produtos pode-se facilmente rastrear que actividades foram concluiacutedas e seus resultados imediatos Essas informaccedilotildees satildeo operacionais ndash informaccedilotildees que vocecirc pode usar para decisotildees quotidianas de gestatildeo Poreacutem para identificar e medir os resultados da sinergia dos produtos provavelmente teraacute que integrar as informaccedilotildees qualitativas e quantitativas e confiar menos em indicadores quantitativos singulares
Lembre-se de que quando uma melhoria desejada ndash seja na eficiecircncia do serviccedilo no conhecimento e comportamento dos provedores de serviccedilos ou dos beneficiaacuterios ou na tendecircncia de um problema de sauacutede ndash eacute confirmada atraveacutes de MampA isto natildeo prova que foi a intervenccedilatildeo que provocou a mudanccedila Outras coisas podem estar a se passar no serviccedilo ou no ambiente geral que causam essa mudanccedila Eacute claro que o mesmo se aplica aos resultados negativos ou resultados que indicam natildeo haver nenhuma mudanccedila nos resultados a meacutedio e longo prazo
QUADRO 3 Como usar dados de base para ajustar os resultados
Uma equipa de sobrevivecircncia infantil estaacute a propor uma intervenccedilatildeo com o seguinte resultado mensuraacutevel e especiacutefico ldquoNos proacuteximos 12 meses 40 das crianccedilas entre 12 e 24 meses de idade na aacuterea de captaccedilatildeo seratildeo completamente imunizadasrdquo
Para determinar se seu programa pode realmente atingir esse resultado o pessoal precisa medir os niacuteveis actuais de vacinaccedilatildeo Ao examinar os dados vecircem que apenas 10 das crianccedilas na aacuterea de captaccedilatildeo estatildeo completamente imunizadas ao completarem 24 meses Estes satildeo portanto seus dados de base
A gestora entende que natildeo seraacute possiacutevel atingir o objectivo de 40 de cobertura de imunizaccedilatildeo em apenas 12 meses Por isso ela e sua equipa revisam o resultado esperado e o modificam para que seja mais razoaacutevel e realista mas continue sendo significativo ldquoNos proacuteximos 12 meses 20 das crianccedilas de 12 a 24 meses na aacuterea de de actuaccedilatildeo seratildeo completamente imunizadas
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 926
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 6 COMPARTILHE E USE SEUS DADOS
Na pressa para comeccedilar a recolher dados alguns gestores se esquecem de planear um processo para reflectir sobre as informaccedilotildees e fazer mudanccedilas para aumentar a eficiecircncia das actividades Para garantir que os dados sejam natildeo soacute recolhidos mas tambeacutem utilizados pense como vocecirc e sua equipa divulgaratildeo as informaccedilotildees sobre MampA e obteratildeo retroinformaccedilatildeo dos diversos grupos de interesse Algumas perguntas baacutesicas serviratildeo para lhe orientar
Quem precisa de que tipo de informaccedilotildees e quando precisam delas Que tipo de formato deve usar para comunicar os resultados ao pessoal
aos gestores de niacutevel superior e a outros grupos de interesse importantes Eacute suficiente fazer circular um relatoacuterio ou deveria organizar uma reuniatildeo ou workshop
Deveria tambeacutem organizar reuniotildees com a comunidade para solicitar retroinformaccedilatildeo dos seus beneficiaacuterios sobre os primeiros resultados da MampA
Como deve apresentar as informaccedilotildees para que sejam uacuteteis aos diferentes tomadores de decisotildees As informaccedilotildees devem ser apresentadas visualmente em diagramas graacuteficos ou mapas Para obter orientaccedilatildeo sobre dados e resultados consulte o Guiatildeo de MampA para Facilitadores de Programas de Desenvolvimento da Lideranccedila
Uso dos resultados para melhorar os dados de rotina em acccedilatildeo ndash Um exemplo do Paquistatildeo
No Paquistatildeo com o apoio do projecto PRIDE 10 equipas de subdistritos aplicaram o Processo de Avaliaccedilatildeo e Melhoria do Desempenho em Sauacutede Puacuteblica (PIP-PH) um conjunto de procedimentos e formatos para tratar dos problemas de sauacutede que identificaram como os mais graves para as suas populaccedilotildees Usaram o PIP-PH para priorizar os problemas e serviccedilos que mais precisavam de atenccedilatildeo a curto prazo para obter melhorias
Como parte do processo PIP-PH as equipas tambeacutem conceberam um formato de Estrutura de Vigilacircncia de Sauacutede (ldquoHealth Watch Frameworkrdquo) para os seus subdistritos como um todo e para os centros de sauacutede dentro deles Cada equipa seleccionou indicadores para medir a situaccedilatildeo de dois problemas de sauacutede puacuteblica os serviccedilos essenciais a eles relacionados e as limitaccedilotildees que afectavam esses serviccedilos
As equipas usaram os formulaacuterios Health Watch para estabelecer valores de base para os indicadores e depois para monitorar esses valores agrave medida que as intervenccedilotildees prosseguiam ao longo do tempo Os centros de sauacutede revisavam e actualizavam o formulaacuterio todo mecircs as equipas do subdistrito inclusive gestores de centros de sauacutede revisavam e discutiam os formulaacuterios trimestralmente os formulaacuterios revisados
As equipas de subdistrito usaram as informaccedilotildees para analisar os motivos do progresso ou falta de progresso para poderem prestar apoio aos gestores dos centros de sauacutede O processo estimulou os gestores dos centros de sauacutede a melhorarem a integridade e precisatildeo dos dados de rotina para poderem usar as informaccedilotildees e monitorarem mais eficazmente os eventos e os serviccedilos essenciais e introduzirem as melhorias necessaacuterias
Exemplos e informaccedilotildees detalhadas sobre o PIP-PH e o Health Watch Framework aparecem no Relatoacuterio Anual do Projecto PRIDE 2007
Para se informar mais sobre meacutetodos adicionais de utilizaccedilatildeo dos dados para melhorar o desempenho de uma organizaccedilatildeo equipa serviccedilo de sauacutede ou intervenccedilatildeo consulte o processo de Avaliaccedilatildeo e Melhoria de Desempenho (Performance Assessment and Improvement ndash PAI) no website de Programa de Lideranccedila Gestatildeo e Sustentabilidade (Leadership Management and Sustainability ndash LMS)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 927
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O processo de Monitoria e Avaliaccedilatildeo deve ser executado com o objectivo de usar imediatamente os resultados para identificar as falhas de desempenho e tomar medidas para reduzir ou eliminar essas falhas Vocecirc deve sempre planear formas de usar os resultados de MampA para o aprendizado e a acccedilatildeo Por exemplo o que deve fazer se as actividades do projecto natildeo trouxerem os resultados esperados O que precisa mudar se os serviccedilos essenciais natildeo estiverem a fornecer os niacuteveis de cobertura previstos ou a alcanccedilar grupos especiacuteficos de pessoas E como vocecirc pode levar esses fatos agrave atenccedilatildeo das pessoas certas para obter uma resposta raacutepida
Desenho de uma ferramenta de MampA
ARMADILHAS DA MONITORIA E AVALIACcedilAtildeO
Haacute vaacuterias armadilhas comuns que impedem que vocecirc como gestor aperfeiccediloe a funccedilatildeo de MampA na sua organizaccedilatildeo
Planeamento excessivo ou insuficienteAlguns gestores podem gastar tempo demais a preparar o plano de MampA do que resultam planos muito elaborados e complicados de usar Outros ficam muito ansiosos por implementar as intervenccedilotildees de MampA e comeccedilam antes de concluir o plano de MampA Isso significa que quando o plano fica pronto eacute geralmente tarde demais para obter dados de base viaacuteveis e a MampA tem que ser adiada Nesses casos o gestor talvez tenha que aceitar fazer a avaliaccedilatildeo mais tarde sem os dados de base que poderia usar para a comparaccedilatildeo
Descuidar-se da monitoria contiacutenua Outra armadilha frequente eacute a falha em incluir a monitoria contiacutenua na implementaccedilatildeo das actividades Isto ocorre frequentemente por falta de experiecircncia Muitos gestores natildeo tiveram acesso a ferramentas de monitoria uacuteteis (que satildeo raras) Talvez natildeo tenham recebido prontamente os resultados ou a retroinformaccedilatildeo do sistema de MampA no passado e por isso natildeo percebem como eacute importante realizar a monitoria de rotina Aleacutem disso gestores podem facilmente se emaranhar nos detalhes da implementaccedilatildeo e descuidar-se da monitoria de rotina
Exagerar Outra armadilha relacionada agrave monitoria eacute tentar rastrear os dados de todos os indicadores possiacuteveis Tentar obter os dados sobre um nuacutemero excessivo de factores torna o processo de monitoria tatildeo complicado que se torna impreciso Isso tambeacutem torna o processo mais lento de modo que no momento em que os dados satildeo recolhidos e analisados eles jaacute natildeo satildeo mais uacuteteis As ferramentas de monitoria muito demoradas e complicadas acabam por natildeo ser usadas O que acontece entatildeo O gestor deixa totalmente de fazer a monitoria e tem que recorrer agrave avaliaccedilatildeo
Se jaacute se deparou com esses problemas eacute hora de mudar a sua taacutectica Vocecirc pode criar um plano de MampA simples e usar ferramentas de monitoria simples Descubra o que tem que medir para obter os dados dentro de 3 a 6 meses o prazo vai depender dos ciclos de planeamento e apresentaccedilatildeo de relatoacuterios da sua organizaccedilatildeo Entenda tambeacutem qual eacute o miacutenimo que deve ser medido em uma avaliaccedilatildeo de longo prazo Busque a simplicidade mesmo se estiver diante de um conjunto complexo de actividades
Tente incluir apenas o que realmente precisa saber Pode testar todos os indicadores propostos antes de incluiacute-los no planeamento de MampA ao perguntar Quem precisa usar essas informaccedilotildees quando e com que finalidade Se um uacutenico indicador de produtos for suficiente perfeito Natildeo sobrecarregue a monitoria com indicadores desnecessaacuterios Muitas vezes menos dados fornecem mais informaccedilotildees
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 928
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
CARACTERIacuteSTICAS DE UMA BOA FERRAMENTA DE MONITORIA
Como gestor natildeo precisa saber tudo para gerir um serviccedilo ou dirigir uma intervenccedilatildeo mas precisa das informaccedilotildees imediatamente Portanto precisa de uma ferramenta de monitoria que possa fornecer informaccedilotildees suficientes e em tempo haacutebil para identificar e corrigir problemas assim que eles surgirem
Uma ferramenta de monitoria deve ser faacutecil de montar e utilizar As tabelas listas de verificaccedilatildeo e diagramas simples satildeo meacutetodos particularmente uacuteteis de recolher organizar e apresentar informaccedilotildees de monitoria
No miacutenimo sua ferramenta de monitoria deve permitir que vocecirc e sua equipa acompanhem
o progresso da implementaccedilatildeo da actividade a entrega de produtos ou resultados imediatos a situaccedilatildeo dos principais indicadores de resultados comparados aos resultados
esperados se for o caso as despesas orccedilamentais a disponibilidade de recursos humanos e financeiros os obstaacuteculos agrave implementaccedilatildeo e o que tem sido feito para superaacute-los
Vocecirc teraacute que responder agraves seguintes perguntas periodicamente
As actividades foram implementadas conforme planeado dentro do prazo e do orccedilamento
Que actividades adicionais natildeo planeadas foram realizadas Que serviccedilos ou produtos directos e tangiacuteveis foram oferecidos como resultado
das actividades que implementamos Estamos dentro do cronograma para atingir nossos resultados a meacutedio e longo
prazo Possuiacutemos os recursos necessaacuterios (pessoal dinheiro medicamentos e
suprimentos etc) para cumprirmos o cronograma
O Quadro 4 apresenta os componentes baacutesicos de uma ferramenta simples de monitoria
QUADRO 4 Uma ferramenta simples de monitoria
Data de exame Metas de resultados
Actividades (segundo o plano de implementaccedilatildeo)
Situaccedilatildeo ateacute o momento
Resultados esperados
Datas para conclusatildeo
Situaccedilatildeo ateacute o momento Comentaacuterios
Desafios e oportunidades
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 929
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quando usadas correctamente as novas tecnologias (por ex os PDAs ldquosmartphonesrdquo laptops e outros) podem facilitar a monitoria e aumentar os benefiacutecios da monitoria das actividades A monitoria automatizada ndash dados que podem ser obtidos e processados automaticamente ndash podem produzir um resumo dos principais indicadores em uma soacute paacutegina faacutecil de ler e num formato que utiliza cores para alertar ao gestor sobre as aacutereas que precisam de maior atenccedilatildeo As informaccedilotildees obtidas em tempo haacutebil sobre alguns indicadores essenciais permitem que o gestor monitore o progresso e tome medidas correctivas
Essa apresentaccedilatildeo visual das informaccedilotildees mais importantes e necessaacuterias para gerir um projecto eacute geralmente conhecida como Painel de Indicadores de Desempenho Os paineacuteis de indicadores de desempenho podem ser usados em qualquer organizaccedilatildeo departamento ou divisatildeo Nas organizaccedilotildees de sauacutede puacuteblica os paineacuteis satildeo usados frequentemente para monitorar os indicadores financeiros e programaacuteticos bem como a cobertura produccedilatildeo eficaacutecia e qualidade de serviccedilos de sauacutede especiacuteficos Um painel de recursos humanos por exemplo incluiria indicadores relevantes para gerir o seguinte
retenccedilatildeo de funcionaacuterios rotatividade de funcionaacuterios formaccedilatildeo de funcionaacuterios lacunas de habilidades satisfaccedilatildeo dos funcionaacuterios custos benefiacutecios e despesas gerais com funcionaacuterios
A Tabela 6 mostra um painel de indicadores de desempenho criado para monitorar serviccedilos de contracepccedilatildeo ciruacutergica voluntaacuteria (CCV)
TABELA 6 Ilustraccedilatildeo de Painel de Indicadores de Desempenho para Serviccedilos de Contracepccedilatildeo Ciruacutergica Voluntaacuteria (CCV)
Serviccedilo Contracepccedilatildeo Ciruacutergica Voluntaacuteria Periacuteodo do Relatoacuterio Janeiro de 2009
No Indicador de Prestaccedilatildeo de Serviccedilos Custo Qualidade
Meta financeira ou programaacutetica
LimiarNuacutemero
alcanccedilado
Percentagem concluiacuteda
Miacuten Maacutex 10 20 30 40 50 60 70 80 90 100
1 Nuacutemero de CCVs realizadas no mecircs 8 10 7
2 Custo meacutedio das CCVs (US$) 100 120 110
3 Orccedilamento mensal da receita com CCVs realizadas (US$) 800 1200 770
4Percentagem das CCVs realizadas por pessoal
qualificadomdash 100 60
5 Percentagem das CCVs realizadas sem complicaccedilotildees 95 100 100
6
Percentagem de utentes satisfeitas com o tratamento
recebido do pessoal que realizou as CCVs
90 100 90
Adaptado de Colindres 2008 p 6
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 930
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja uma descriccedilatildeo do uso de um painel de indicadores de desempenho para a monitoria de rotina num estudo de caso estudo de caso de uma ONG da Boliacutevia o Centro de Investigaccedilatildeo Educaccedilatildeo e Serviccedilos (CIES)
Para obter mais informaccedilotildees de como criar um painel de indicadores consulte ldquoComo usar os paineacuteis de indicadores de desempenho para monitorar as realizaccedilotildees de uma organizaccedilatildeordquo Esse documento ajuda a esclarecer conceitos e define as etapas essenciais para criar paineacuteis de indicadores de desempenho
Como criar uma avaliaccedilatildeo para fins de aprendizagem
Apesar da importacircncia da monitoria de rotina apenas a monitoria natildeo basta para responder agrave pergunta ldquoE entatildeordquo Ou seja suas actividades e produtos contribuiacuteram para melhorar a cobertura dos serviccedilos aumentar o conhecimento ou encorajar comportamentos mais saudaacuteveis
Talvez uma campanha de comunicaccedilatildeo sobre planeamento familiar criada para aumentar a prevalecircncia do uso de contraceptivos tenha levado o governo a abastecer os depoacutesitos distritais com contraceptivos Para que possam aprender com essa experiecircncia e criar campanhas mais eficazes no futuro os gestores do projecto ainda querem saber que produtos foram realmente dispensados aos centros de sauacutede e distribuiacutedos aos utentes Esta secccedilatildeo discute como criar uma avaliaccedilatildeo para fins de aprendizagem
Existem dois motivos para levar a cabo uma avaliaccedilatildeo
1 A avaliaccedilatildeo fornece informaccedilotildees sobre o sucesso da sua equipa unidade ou organizaccedilatildeo para atingir seus objectivos Essas informaccedilotildees ajudam a definir que actividades expandir modificar ou eliminar Ela pode tambeacutem revelar formas de melhorar a concepccedilatildeo e gestatildeo das actividades futuras
2 A avaliaccedilatildeo pode demonstrar uma cultura de prestaccedilatildeo de contas agrave sua agecircncia doadora e a outros grupos de interesse nomeadamente o governo e os beneficiaacuterios dos seus serviccedilos
AVALIACcedilOtildeES FORMATIVAS E SUMATIVAS
Os gestores podem realizar dois amplos tipos de avaliaccedilotildees formativas e sumativas
Avaliaccedilatildeo formativa Este tipo de avaliaccedilatildeo eacute realizada durante o desenvolvimento e implementaccedilatildeo de um programa Seu objectivo eacute orientar o desenho e a implementaccedilatildeo de actividades que incluam as melhores e mais promissoras praacuteticas que aumentaratildeo as chances de sucesso A avaliaccedilatildeo formativa eacute mais comummente utilizada por projectos de grande porte ou de longo prazo em vez de projectos menores e de curto prazo Poreacutem os projectos menores devem pelo menos realizar uma avaliaccedilatildeo raacutepida das melhores praacuteticas durante a fase de planeamento para apoiar a loacutegica e o conteuacutedo proposto para as actividades
A avaliaccedilatildeo formativa inclui uma avaliaccedilatildeo de necessidades para discernir os desejos e requisitos de um grupo da populaccedilatildeo e determinar a melhor forma de atendecirc-los Inclui tambeacutem uma avaliaccedilatildeo de processo para investigar o processo utilizado para executar uma intervenccedilatildeo Pode-se usar a avaliaccedilatildeo do processo para determinar se as actividades foram realizadas de acordo com o plano ndash em termos de sua concepccedilatildeo original estimativas de custos e nuacutemero de pessoas a serem atendidas ndash e se a qualidade dos processos usados estaacute de acordo com as melhores praacuteticas conhecidas
A avaliaccedilatildeo de processo geralmente inclui vaacuterias abordagens Pode incluir uma avaliaccedilatildeo dos dados referentes aos produtos (por ex nuacutemero de redes mosquiteiras fornecidas nuacutemero
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 931
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
de workshops de formaccedilatildeo realizados nuacutemero de participantes dos workshops) assim como entrevistas individuais ou grupos de enfoque entre os beneficiaacuterios Nas intervenccedilotildees de menor porte eacute uma boa praacutetica realizar uma avaliaccedilatildeo de processo mesmo se limitada agrave retroinformaccedilatildeo dos participantes
Avaliaccedilatildeo somativa Este tipo de avaliaccedilatildeo eacute realizada apoacutes a conclusatildeo de um grupo de actividades ou da intervenccedilatildeo para avaliar a qualidade da intervenccedilatildeo e os seus principais resultados A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo a avaliaccedilatildeo do impacto a anaacutelise de custo-benefiacutecio e custo-eficaacutecia e a investigaccedilatildeo operacional
A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo que avalia em que medida uma equipa unidade ou organizaccedilatildeo inteira atingiram seus resultados esperados A avaliaccedilatildeo dos resultados eacute usada para demonstrar que existe uma cultura de prestaccedilatildeo de contas para aperfeiccediloar o projecto de actividades organizacionais para melhorar a distribuiccedilatildeo dos recursos e para promover intervenccedilotildees futuras bem-sucedidas As principais perguntas satildeo Que modificaccedilotildees ocorreram na vida das pessoas das famiacutelias ou da comunidade como resultado do nosso trabalho Que diferenccedila fizemos
Como observamos anteriormente neste capiacutetulo os resultados a meacutedio e longo prazo satildeo geralmente mudanccedilas mensuraacuteveis eou observaacuteveis em duas dimensotildees A primeira dimensatildeo abrange a conscientizaccedilatildeo o conhecimento as atitudes os valores e as habilidades dos participantes de um programa ou dos beneficiaacuterios dos serviccedilos durante ou depois de seu envolvimento na intervenccedilatildeo A segunda dimensatildeo implica mudanccedilas no comportamento desses mesmos grupos
Idealmente as duas dimensotildees deveriam ser medidas em trecircs pontos no comeccedilo e no final do periacuteodo de implementaccedilatildeo e se possiacutevel apoacutes um periacuteodo de acompanhamento adequado Se a mediccedilatildeo do acompanhamento natildeo for viaacutevel pelo menos devem ser comparadas as mediccedilotildees de base e poacutes-intervenccedilatildeo Muitas vezes as mudanccedilas podem ser pequenas mas deve haver alguma melhoria em pelo menos um ou dois resultados para que a intervenccedilatildeo seja considerada um sucesso
A avaliaccedilatildeo dos resultados tenta distinguir entre a influecircncia da intervenccedilatildeo nessas mudanccedilas e a influecircncia de outros factores externos Mas geralmente os avaliadores teratildeo que optar pela atribuiccedilatildeo parcial de um resultado a uma intervenccedilatildeo ou serviccedilo especiacutefico devido agrave dificuldade em determinar uma relaccedilatildeo directa e causal entre o serviccedilo prestado e uma determinada mudanccedila
As avaliaccedilotildees de resultados utilizam geralmente um desenho natildeo experimental (geralmente denominado ldquopreacute e poacutes-avaliaccedilatildeordquo) que simplesmente mede as mudanccedilas antes e depois de uma intervenccedilatildeo ou seja diferente do desenho experimental (que compara os participantes com um grupo de controlo com designaccedilatildeo aleatoacuteria a ambos os grupos) ou do desenho semi-experimental (que compara os participantes com um grupo de controlo mas sem a designaccedilatildeo aleatoacuteria)
O desenho natildeo experimental eacute aceitaacutevel para as mediccedilotildees e relatoacuterios padratildeo dos resultados a meacutedio e longo prazo As ONGs raramente usam os desenhos experimentais Apesar de uma organizaccedilatildeo de grande porte e com muitos recursos poder ocasionalmente receber assistecircncia de especialistas para um desenho experimental a maioria delas acha que as consideraccedilotildees eacuteticas e logiacutesticas impedem a designaccedilatildeo aleatoacuteria dos participantes aos grupos de intervenccedilatildeo e de controlo Aleacutem disso o custo de recolher dados de um grupo de controlo seraacute provavelmente muito elevado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 932
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A avaliaccedilatildeo do impacto eacute outro componente da avaliaccedilatildeo somativa Eacute mais ampla do que a avaliaccedilatildeo de resultados e avalia os efeitos liacutequidos ou gerais ndash tanto intencionais como natildeo intencionais ndash de todo um programa grupo de programas ou grupo de organizaccedilotildees As avaliaccedilotildees de impacto geralmente se estendem por um periacuteodo de 3 a 5 anos
OUTROS TIPOS DE AVALIACcedilOtildeES
Anaacutelise de custo-benefiacutecio e custo-eficaacutecia Estes tipos de anaacutelise tratam da eficiecircncia da intervenccedilatildeo ao analisar os resultados em termos dos seus custos financeiros e do seu valor
Investigaccedilatildeo operacional Trata-se de um balanccedilo ou avaliaccedilatildeo de uma intervenccedilatildeo especiacutefica no contexto de um programa mais amplo que estaacute a fazer vaacuterias intervenccedilotildees A investigaccedilatildeo operacional eacute usada para testar e avaliar novas abordagens de prestaccedilatildeo de serviccedilos de sauacutede Eacute tambeacutem usada para identificar problemas na prestaccedilatildeo de serviccedilos e oferecer soluccedilotildees
A investigaccedilatildeo operacional eacute uma ferramenta poderosa que os gestores de programas e os tomadores de decisotildees podem usar para melhorar e expandir os serviccedilos Os estudos de investigaccedilatildeo operacional comparam intervenccedilotildees que estatildeo dentro da esfera de influecircncia do gestor Os exemplos incluem a avaliaccedilatildeo da eficaacutecia de uma nova estrateacutegia de prevenccedilatildeo de VIHSIDA um novo curso de formaccedilatildeo um novo conjunto de procedimentos para gerir medicamentos um novo meacutetodo contraceptivo ou um novo serviccedilo de sauacutede reprodutiva
O Toolkit de Investigaccedilatildeo Operacional do Programa Horizons sobre VIHSIDA do Population Council fornece informaccedilotildees detalhadas para criar um estudo de investigaccedilatildeo operacional
CONSIDERACcedilOtildeES PARA A FORMULACcedilAtildeO DE UMA AVALIACcedilAtildeO
O que avaliar para responder agrave pergunta ldquoE entatildeordquo Se quiser saber como gestor se as suas actividades tiveram realmente sucesso precisa preparar todas as intervenccedilotildees tendo em mente a avaliaccedilatildeo e incorporar a avaliaccedilatildeo ao seu planeamento organizacional geral Ao definir objectivos deve se perguntar Como saberemos se estamos a atingir esses objectivos Este eacute o ponto de partida para a avaliaccedilatildeo
Seja qual for o porte da sua intervenccedilatildeo ou serviccedilo e o alcance da avaliaccedilatildeo precisaraacute responder a trecircs perguntas durante a fase de desenho e planeamento
1 O que a sua intervenccedilatildeo ou serviccedilo conseguiraacute realizar a curto e longo prazo Se implementar um conjunto de actividades com sucesso ao longo do tempo o que seraacute diferente
2 Como conceptualiza as suas actividades ndash qual eacute a loacutegica subjacente Duas abordagens para identificar a loacutegica do programa satildeo discutidas neste capiacutetulo na secccedilatildeo intitulada Ferramentas e Abordagens Praacuteticas para MampA
3 Que indicadores pode usar para identificar o progresso no alcance dos resultados
Para responder agrave pergunta ldquoE entatildeordquo vocecirc precisa avaliar os factores sobre os quais tem um niacutevel razoaacutevel de controlo Por exemplo um novo serviccedilo criado para oferecer alojamento a pessoas que vivem com SIDA natildeo pode controlar ou afectar a expectativa de vida das pessoas agraves quais atende Mas ao fornecer um ambiente estaacutevel para elas viverem o serviccedilo pode diminuir o niacutevel de stresse e melhorar a qualidade de vida dessas pessoas que antes eram forccediladas a se mudar com frequecircncia
Depois de tratar da pergunta ldquoE entatildeordquo deve tambeacutem se certificar de que a avaliaccedilatildeo seja concebida de forma que quando o processo estiver concluiacutedo vocecirc possa abordar os cinco toacutepicos principais da avaliaccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 933
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
1 Relevacircncia Foi uma boa ideia fazer a intervenccedilatildeo considerando-se a situaccedilatildeo e a necessidade de melhorias Ela tratou das prioridades do grupo alvo ou beneficiaacuterio Por que sim ou por que natildeo
2 Eficaacutecia Os resultados produtos e actividades foram realizados Por que sim ou por que natildeo A loacutegica da intervenccedilatildeo eacute correcta
3 Eficiecircncia Os insumos (recursos e tempo) foram usados da melhor forma possiacutevel para atingir os resultados a meacutedio e longo prazo Por que sim ou por que natildeo O que vocecirc e sua equipa poderiam fazer de modo diferente no futuro para maximizar os resultados a um custo aceitaacutevel
4 Impacto Em que medida a sua intervenccedilatildeo contribuiu para as metas nacionais ou de longo prazo Que consequecircncias natildeo intencionais (positivas ou negativas) suas actividades tiveram Por que essas consequecircncias aconteceram
5 Sustentabilidade Eacute provaacutevel que os resultados positivos continuem depois que sua intervenccedilatildeo terminar Por que sim ou por que natildeo
Uma uacuteltima advertecircncia assim como a monitoria pode-se complicar demasiado a avaliaccedilatildeo Ao preparar um plano de avaliaccedilatildeo o melhor eacute seleccionar um grupo pequeno de indicadores e resistir agrave tentaccedilatildeo de avaliar todos os aspectos da sua intervenccedilatildeo
Assim como a monitoria a avaliaccedilatildeo soacute eacute uacutetil se as informaccedilotildees forem repassadas em tempo haacutebil para o gestor e outros tomadores de decisotildees e grupos de interesse Um problema comum com as avaliaccedilotildees intercalares eacute que os resultados geralmente soacute satildeo informados de 6 a 8 meses mais tarde o que deixa apenas 1 ou 2 anos para fazer mudanccedilas mais permanentes antes que se esgotem os fundos do governo ou da agecircncia doadora
COMO SELECCIONAR SUAS FONTES DE DADOS
Esta secccedilatildeo descreve trecircs tipos de fontes de dados que satildeo comummente usadas para uma avaliaccedilatildeo dados recolhidos rotineiramente inqueacuteritos de grande escala e teacutecnicas de avaliaccedilatildeo raacutepida inclusive a avaliaccedilatildeo participativa
Dados de rotina Os dados recolhidos e analisados rotineiramente por um SIS satildeo denominados ldquoestatiacutesticas de serviccedilordquo Pode-se utilizar vaacuterios sistemas de informaccedilatildeo de serviccedilos de rotina para monitorar os serviccedilos Alguns deles satildeo o sistema baacutesico de registo e relatoacuterio de SIS os sistemas especiais de relatoacuterios sobre programas (por ex tuberculose malaacuteria imunizaccedilatildeo VIH planeamento familiar etc) os sistemas de relatoacuterios sobre agentes comunitaacuterios especiais (por ex registos de agentes comunitaacuterios de sauacutede) o sistema de informaccedilotildees para a vigilacircncia de doenccedilas e o controlo notificaccedilatildeo e resposta a surtos e os relatoacuterios para os sistemas de suporte especiais (por ex medicamentos encaminhamentos e gestatildeo financeira e de recursos humanos)
Esses sistemas fornecem dados que estatildeo imediatamente disponiacuteveis e cujo objectivo eacute informar o que estaacute a acontecer no sector de sauacutede Os dados de rotina incluem por exemplo o nuacutemero de consultas de preacute-natal em uma cliacutenica o nuacutemero e tipo de vacinaccedilotildees fornecidas no local ou o nuacutemero e tipos de contraceptivos fornecidos mensalmente
Os dados sobre os serviccedilos satildeo geralmente recolhidos pelos centros de sauacutede ou postos de sauacutede e enviados para o proacuteximo niacutevel superior do sistema (geralmente o distrito) para serem agregados Esses dados podem entatildeo ser enviados ao proacuteximo niacutevel superior (regional ou provincial) para posterior agregaccedilatildeo antes que cheguem finalmente ao niacutevel central do Ministeacuterio da Sauacutede
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 934
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Idealmente os gestores de centros de sauacutede e ao niacutevel do distrito usam esses dados para orientar as operaccedilotildees diaacuterias acompanhar o desempenho e a prestaccedilatildeo de contas e tomar decisotildees que continuem a melhorar o desempenho Mas haacute vaacuterios obstaacuteculos a essa utilizaccedilatildeo
Muito frequentemente os dados de rotina satildeo imprecisos ou incompletos Apesar dos que utilizam o SIS tentarem produzir informaccedilotildees de alta qualidade e em tempo haacutebil haacute muitas oportunidades de introduzir erros Pode haver pouco apoio para que os gestores e seu pessoal se concentrem nos procedimentos correctos de recolha registo e agregaccedilatildeo dos dados
Os sistemas de sauacutede de vaacuterios paiacuteses enfatizam a importacircncia de apresentar relatoacuterios para os niacuteveis superiores mas natildeo estabeleceram procedimentos e incentivos para encorajar aqueles que fornecem informaccedilotildees a utilizaacute-las mesmo quando os dados satildeo de boa qualidade
Outra dificuldade eacute que as estatiacutesticas sobre serviccedilos fornecem informaccedilotildees apenas sobre os utentes que utilizam os serviccedilos de sauacutede Natildeo podem fornecer informaccedilotildees sobre as muitas pessoas que natildeo utilizam os serviccedilos
Por tudo isso natildeo se pode confiar apenas nas estatiacutesticas sobre serviccedilos para fazer uma avaliaccedilatildeo Elas satildeo melhor utilizadas para a monitoria de rotina dos problemas de sauacutede puacuteblica e dos serviccedilos essenciais relacionados
Inqueacuteritos em grande escala Os inqueacuteritos em grande escala satildeo outra fonte de informaccedilotildees imediatamente disponiacuteveis Incluem inqueacuteritos de base populacional tais como as Inqueacuterito Demograacutefico e de Sauacutede (IDS) dos EUA avaliaccedilotildees completas de centros de sauacutede como a Anaacutelise de Situaccedilatildeo do Population Council e os censos nacionais Em vaacuterios casos os gestores podem usar os dados de um inqueacuterito em grande escala existente para fornecer o contexto para a interpretaccedilatildeo dos dados capturados atraveacutes das suas proacuteprias avaliaccedilotildees
Por exemplo as IDS satildeo realizadas periodicamente para caracterizar a situaccedilatildeo de sauacutede em um paiacutes ou regiatildeo geograacutefica de grande extensatildeo para vaacuterios grupos populacionais homens mulheres crianccedilas bebeacutes e assim por diante Mas os dados das IDS natildeo podem normalmente ser desagregados para uso pelos gestores no niacutevel de distrito ou comunidade
Aleacutem disso como as IDS satildeo realizadas apenas a cada trecircs ou cinco anos as informaccedilotildees que fornecem podem natildeo estar suficientemente actualizadas para as necessidades de avaliaccedilatildeo dos gestores Apesar dessas dificuldades os dados das IDS satildeo uacuteteis para compreender tendecircncias regionais ou nacionais que podem ajudar a explicar dados recolhidos em uma avaliaccedilatildeo de foco especiacutefico
Avaliaccedilotildees raacutepidas Satildeo formas raacutepidas e econoacutemicas de obter informaccedilotildees para a tomada de decisotildees principalmente ao niacutevel da actividade Os exemplos incluem entrevistas quando os utentes saem de suas consultas as avaliaccedilotildees de pequena escala dos centros de sauacutede os inqueacuteritos raacutepidos por amostragem o exame analiacutetico de registos as entrevistas com grupos de enfoque e outros meacutetodos participativos
Poderaacute usar teacutecnicas de avaliaccedilatildeo raacutepida para complementar as informaccedilotildees obtidas com dados de rotina ou inqueacuteritos de grande escala As avaliaccedilotildees raacutepidas podem-lhe fornecer informaccedilotildees valiosas sobre sua aacuterea de captaccedilatildeo e sua aacuterea de responsabilidade mais ampla ndash ou seja as comunidades e as populaccedilotildees que deveriam ter acesso aos serviccedilos essenciais prestados por um centro de sauacutede determinado Elas podem tambeacutem fornecer contexto e uma compreensatildeo qualitativa dos dados quantitativos recolhidos pelos meacutetodos mais formais
Dentro da categoria de avaliaccedilotildees raacutepidas os meacutetodos participativos e os inqueacuteritos raacutepidos por amostragem merecem a sua atenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 935
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Meacutetodos participativos (tambeacutem chamados de aprendizagem e acccedilatildeo participativas) Essas teacutecnicas e meacutetodos visam incorporar o conhecimento e as opiniotildees dos membros da comunidade no planeamento e gestatildeo de projectos de desenvolvimento no esforccedilo para influenciar as poliacuteticas e na implementaccedilatildeo de programas Eles permitem incluir vozes da comunidade nas poliacuteticas no planeamento e nos inqueacuteritos e criam um senso de propriedade e participaccedilatildeo nos resultados de MampA e nas recomendaccedilotildees feitas pela organizaccedilatildeo e por seus beneficiaacuterios
Ao contraacuterio de outras teacutecnicas de avaliaccedilatildeo raacutepida os meacutetodos participativos natildeo se baseiam em amostragens Eles usam entrevistas individuais ou com informantes essenciais (inclusive entrevistas com utentes ao saiacuterem de suas consultas) entrevistas em grupo estudos de caso e outros meacutetodos qualitativos para identificar as condiccedilotildees locais e entender as perspectivas e prioridades locais
Em vaacuterios locais haacute membros da comunidade que natildeo podem ler nem escrever e por isso os meacutetodos participativos dependem frequentemente da comunicaccedilatildeo oral com apoio de imagens siacutembolos objectos fiacutesicos e memoacuteria colectiva
Os meacutetodos participativos podem ser usados antes durante e apoacutes a implementaccedilatildeo de uma intervenccedilatildeo ou um conjunto de actividades Eles fornecem informaccedilotildees para o projecto e a avaliaccedilatildeo e permitem a participaccedilatildeo activa das partes interessadas na tomada de decisotildees Durante a implementaccedilatildeo os meacutetodos participativos satildeo uacuteteis para identificar e solucionar problemas
Aproveite para examinar e utilizar uma lista de recursos online sobre inqueacuterito qualitativo e directrizes sobre discussotildees em grupos de enfoque no Community Tool Box da Universidade de Kansas
Inqueacuteritos raacutepidos por amostragem Estes inqueacuteritos podem ser utilizados para recolher informaccedilotildees padronizadas de uma amostra pequena e cuidadosamente seleccionada de pessoas ou domiciacutelios em uma aacuterea beneficiaacuteria Eles podem descrever as condiccedilotildees em uma comunidade particular ou grupo-alvo e permitem comparar grupos diferentes em um determinado momento ou mudanccedilas no mesmo grupo ao longo do tempo Permitem tambeacutem comparar condiccedilotildees actuais com os resultados planeados
Um dos inqueacuteritos mais comuns de pequena amostragem eacute o inqueacuterito CAP (Conhecimentos Atitudes e Praacuteticas) baseado em uma amostra de 30 agrupamentos
Amostragem para Garantia de Qualidade de Lotes (Lot Quality Sampling - LQAS) Essa eacute outra teacutecnica de avaliaccedilatildeo raacutepida que se usa cada vez mais na aacuterea de sauacutede puacuteblica A LQAS utiliza amostragens muito pequenas para obter informaccedilotildees confiaacuteveis em uma pequena aacuterea geograacutefica ou unidade administrativa Pode ser usada para detectar de forma precisa os extremos do desempenho ndash para determinar se uma intervenccedilatildeo foi mais aleacutem de um limiar superior de desempenho ou natildeo conseguiu atingir um limiar inferior de desempenho em termos de qualidade ou cobertura As amostras de lotes podem tambeacutem ser combinadas para fornecer estimativas de cobertura em uma aacuterea geograacutefica mais ampla
Uma busca na Web revelaraacute recursos uacuteteis aqui temos um sobre os inqueacuteritos CAP e outro sobre LQAS A aacuterea de MampA do website do CORE Group inclui ligaccedilotildees com ferramentas e recursos importantes para a avaliaccedilatildeo raacutepida criados pelo Grupo de Trabalho de MampA do CORE Group
Como gestor deve revisar todas as fontes de dados jaacute existentes antes de planear a sua avaliaccedilatildeo A Tabela 7 apresenta as vantagens e desvantagens das trecircs principais fontes de
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 936
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 7 Resumo das trecircs fontes de dados mais comuns para uma avaliaccedilatildeo
Fonte de dados Vantagens Limitaccedilotildees
Estatiacutesticas de serviccedilo Dados sobre a populaccedilatildeo de utentes e serviccedilos cliacutenicos que satildeo recolhidos rotineiramente nos registos dos utentes e nos registos cliacutenicos
Disponiacuteveis imediatamente
Cobrem todos os tipos de serviccedilos de sauacutede e todas as aacutereas do paiacutes
Podem ser desagregados para os niacuteveis local e de distrito
Uso econoacutemico
Soacute lhe informam sobre clientes actuais sem informaccedilotildees sobre as pessoas que natildeo usam os serviccedilos de sauacutede e podem ser utentes em potencial
Natildeo fornecem informaccedilotildees sobre valores percepccedilotildees ou comportamentos da comunidade
Natildeo reflectem as pessoas que optam por fontes privadas de serviccedilos
Podem ser inexactas se os locais de prestaccedilatildeo de serviccedilos natildeo registarem os dados correctamente de forma legiacutevel e em tempo haacutebil
Inqueacuteritos de grande escala Inqueacuteritos de base populacional e avaliaccedilotildees de grande escala dos centros de sauacutede
Dados relevantes precisos e confiaacuteveis
Podem medir as tendecircncias nacionais de sauacutede identificar aacutereas com problemas e ajudar a concentrar os recursos do paiacutes em aacutereas de maior carecircncia
Geram valores meacutedios para as aacutereas urbanas e rurais regiotildees e proviacutencias
Fornecem um contexto para interpretar os dados recolhidos localmente
Podem gerar informaccedilotildees adicionais a partir dos seus conjuntos de dados informatizados
Geralmente natildeo podem desagregar os dados para fornecer meacutedias para as aacutereas sub-regionais (distritos ou municipalidades)
Geralmente natildeo satildeo realizadas anualmente os dados se tornam desactualizados rapidamente se as populaccedilotildees ou condiccedilotildees de sauacutede se modificarem rapidamente
Avaliaccedilotildees raacutepidas Meacutetodos focados para avaliar as necessidades locais e tomar decisotildees em acircmbito local
Raacutepidas e econoacutemicas
Resultam em acccedilatildeo local
Haacute directrizes para ajudar os gestores em vaacuterias dessas teacutecnicas
Fornecem aos gestores a capacidade de recolher os dados necessaacuterios
Os inqueacuteritos domiciliares (por ex LQAS ou CAP) podem obter precisatildeo suficiente para fins de avaliaccedilatildeo
Equilibra a necessidade de resultados representativos e objectivos com a necessidade de usar projectos levemente menos rigorosos que satildeo mais viaacuteveis em aacutereas locais
Usam escala e acircmbito reduzidos para produzir resultados em tempo haacutebil e de baixo custo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 937
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
dados que foram discutidas acima estatiacutesticas rotineiras de serviccedilos inqueacuteritos em grande escala e teacutecnicas de avaliaccedilatildeo raacutepida
Que niacutevel de qualidade os dados do SIS precisam ter para serem uacuteteis ndash que niacutevel de abrangecircncia precisatildeo e apresentaccedilatildeo em tempo haacutebil Para as suas necessidades de gestatildeo mesmo que natildeo sejam perfeitos os dados podem ser suficientemente bons para ter um efeito poderoso como nos mostra o exemplo de Madagascar
Dados do SIS pontos fortes e limitaccedilotildees
Subestimar o valor e a utilidade do SIS eacute infelizmente uma tendecircncia Eacute verdade que o SIS tem problemas frequentemente mas tambeacutem eacute grande o seu potencial Como vimos em
Como usar e melhorar dados imperfeitos do SIS ndash Um exemplo de Madagascar
Um SIS de base comunitaacuteria mais preciso e mais oportuno Um projecto de Madagascar implementou um meacutetodo baseado na comunidade para aumentar o uso de meacutetodos de planeamento familiar denominado ldquoComunidades Campeatildesrdquo em 50 dos 110 distritos do paiacutes O meacutetodo utilizou exclusivamente os dados do SIS para monitorar e avaliar as realizaccedilotildees das comunidades participantes
Em primeiro lugar foi estabelecida uma base de referecircncia para cada comunidade ao usar os dados do seu centro de sauacutede Em seguida o pessoal do centro de sauacutede e os representantes da comunidade identificaram metas para 10 indicadores que determinariam se uma comunidade tinha alcanccedilado a posiccedilatildeo de campeatilde apoacutes 12 meses de implementaccedilatildeo Cada comunidade monitorava seu proacuteprio progresso em uma reuniatildeo trimestral de verificaccedilatildeo
Apoacutes 12 meses o pessoal do projecto voltou a cada comunidade para avaliar os resultados Examinaram os dados do relatoacuterio de monitoria de rotina de cada centro de sauacutede e para cada indicador Prepararam tambeacutem um relatoacuterio sobre os dados de cada comunidade e o enviaram para o supervisor de niacutevel distrital para a sua confirmaccedilatildeo com base nos registos informatizados do distrito As fontes de dados para os relatoacuterios do centro de sauacutede e registos de distrito foram as mesmas (registos dos centros de sauacutede) e por isso raramente ocorreu uma discrepacircncia Mas o que interessava era envolver o supervisor distrital no exame dos dados do centro de sauacutede para mostrar a utilidade de se usar ateacute mesmo dados simples nesse niacutevel
O projecto tambeacutem cooperou com o Ministeacuterio da Sauacutede a niacutevel distrital para melhorar a precisatildeo a abrangecircncia e a prontidatildeo do SIS A ecircnfase era obter dados mais completos dos centros de sauacutede e reduzir o tempo gasto pelo escritoacuterio distrital para receber o relatoacuterio do centro de sauacutede apreciaacute-lo devolvecirc-lo ao centro para qualquer correcccedilatildeo recebecirc-lo novamente dar entrada dos dados no sistema e finalmente enviaacute-los ao niacutevel central Os distritos satildeo responsaacuteveis por cooperar com os centros de sauacutede para melhorar o registo de dados e actualizar suas proacuteprias teacutecnicas de processamento de dados
Apoacutes dois anos de assistecircncia teacutecnica o SIS tinha realmente melhorado segundo os indicadores de precisatildeo abrangecircncia e prontidatildeo As melhorias mais notaacuteveis foram em prontidatildeo o tempo gasto pelo escritoacuterio distrital no processo descrito acima reduziu-se de 12 para 3 meses
Imperfeitas mais mesmo assim valiosos Deve-se lembrar que o projecto ldquoComunidades Campeatildesrdquo teve oacuteptimo resultado apesar dos dados imperfeitos Seu numerador (o nuacutemero de utentes regulares de planeamento familiar) era detalhado e preciso Mas suas estimativas das taxas de prevalecircncia do uso de contraceptivos natildeo eram muito precisas porque o denominador (nuacutemero de mulheres em idade reprodutiva) era apenas uma estimativa baseada num censo desactualizado e em estimativas anuais do governo sobre percentagens de crescimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 938
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Madagascar o projecto Comunidades Campeatildes melhorou o sistema substancialmente num periacuteodo de dois anos Nesse caso o sistema jaacute se encontrava relativamente funcional porque projectos anteriores haviam feito um grande esforccedilo para implantar o sistema e tornaacute-lo mais soacutelido Ao aprimorar a forma como o sistema era administrado e os dados eram usados o projecto posterior conseguiu fazer uma grande diferenccedila por meio de pequenas modificaccedilotildees
Os dados do SIS natildeo satildeo 100 exactos e nunca seratildeo Esta eacute a realidade com a qual todos os gestores tecircm que trabalhar Mas os dados natildeo precisam ser perfeitos para serem uacuteteis Eacute possiacutevel fazer a monitoria e a gestatildeo com dados imperfeitos Informaccedilotildees obtidas em tempo
(continuaccedilatildeo)
No entanto o projecto constatou que as taxas de prevalecircncia de uso de contraceptivos eram suficientemente boas para acompanhar o desempenho das comunidades que participavam do meacutetodo de Comunidades Campeatildes O pessoal do projecto tambeacutem complementou as comparaccedilotildees dessas taxas com as comparaccedilotildees dos valores do numerador nuacutemeros simples que faziam sentido para o pessoal do centro de sauacutede e tambeacutem para as comunidades
O niacutevel central comeccedilou a organizar workshops regionais trimestrais para divulgar os resultados ao niacutevel distrital Juntos os gestores dos niacuteveis distritais regionais e centrais analisaram o progresso e classificaram os distritos com base no seu desempenho Usaram a anaacutelise de causa-raiz ndash um processo que identifica as causas subjacentes de um problema ndash para entender os obstaacuteculos enfrentados pelos distritos que apresentavam baixo desempenho (Consulte o Apecircndice A no Capiacutetulo 2 deste guia para obter mais informaccedilotildees sobre a anaacutelise de causa-raiz) Finalmente o Ministeacuterio de Sauacutede mobilizou o apoio de agecircncias doadoras e de organizaccedilotildees parceiras para ajudaacute-los a melhorar
O ministeacuterio comeccedilou a usar as informaccedilotildees de sauacutede para administrar realmente o sistema de sauacutede Antes dessa intervenccedilatildeo poucas organizaccedilotildees confiavam ou utilizavam os dados do SIS Mas quando ficou claro que o sistema funcionava as agecircncias doadoras passaram a confiar as organizaccedilotildees parceiras passaram a utilizaacute-lo e o ministeacuterio se orgulhou do trabalho Pela primeira vez tinham uma visatildeo mais niacutetida do que acontecia em todo o paiacutes e podiam usar essas informaccedilotildees para buscar o apoio de agecircncias doadoras se necessaacuterio
Do mesmo modo os centros de sauacutede raramente usavam seus proacuteprios dados Eles simplesmente faziam os registos e os enviavam para o escritoacuterio distrital sem nem mesmo receber retroinformaccedilatildeo do mesmo Apoacutes a conclusatildeo do projecto perceberam como os dados mais precisos podiam ser usados em seu benefiacutecio e das comunidades
Os distritos tambeacutem actuavam antes de uma forma pouco informada Cada distrito dependia apenas dos seus proacuteprios dados e funcionava num vaacutecuo As mudanccedilas no SIS e o encorajamento do governo central forneceram aos distritos oportunidades para comparar seu trabalho e aprender uns com os outros
Aprendizagem com dados mais precisos completos e oportunos Os dados satildeo geralmente utilizados para fazer comparaccedilotildees mas satildeo menos frequentemente utilizados como ferramenta de aprendizagem Nesse caso depois que os relatoacuterios comeccedilaram a chegar dentro do prazo o Ministeacuterio da Sauacutede usou os dados ndash inclusive dados imperfeitos ndash para descobrir que distritos tinham um desempenho ruim e que distritos estavam melhor que os outros Assim aprenderam com os de melhor desempenho ao perguntar Por que seus resultados satildeo tatildeo bons O que estavam a fazer de diferente O que poderia ser replicado Finalmente aplicaram a aprendizagem ao usar esses distritos como modelos e ao oferecer mais apoio aos de pior desempenho
Todo o sistema de sauacutede se entusiasmou com as informaccedilotildees que podiam produzir e usar A comeccedilar do topo esse entusiasmo chegou aos niacuteveis inferiores e os motivou a melhorar sua recolha e processamento de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 939
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
haacutebil e com 75 de precisatildeo satildeo melhores que as informaccedilotildees com 95 de precisatildeo que chegam com vaacuterios meses de atraso
Apesar do seu grande valor por si soacutes os dados do SIS natildeo atenderatildeo a todas as necessidades de informaccedilatildeo de muitas organizaccedilotildees Algumas organizaccedilotildees e agecircncias doadoras precisam de dados que exigem avaliaccedilotildees ou sistemas especiais Aleacutem disso vaacuterias intervenccedilotildees foram projectadas para modificar o conhecimento as atitudes e as praacuteticas dos beneficiaacuterios factores que natildeo satildeo capturados nos dados de serviccedilo Eacute importante usar os dados do SIS sempre que possiacutevel e complementaacute-los com avaliaccedilotildees locais quando necessaacuterio
Como gestor de um programa de sauacutede ou de serviccedilos de sauacutede parte do seu trabalho deveria ser o de melhorar o SIS em seu paiacutes Ele eacute o uacutenico sistema de informaccedilotildees sustentaacutevel na maioria dos paiacuteses Os sistemas de informaccedilatildeo criados e mantidos por agecircncias doadoras ou organizaccedilotildees externas tecircm duraccedilatildeo limitada mas o SIS eacute parte permanente do seu legado
Se todos os parceiros e agecircncias doadoras trabalharem com o Ministeacuterio de Sauacutede para prestar assistecircncia teacutecnica e financeira ao SIS ele poderaacute render informaccedilotildees que trazem grandes melhorias para os serviccedilos de sauacutede e que justificam plenamente o investimento no mesmo
Praacuteticas comprovadas
Um sistema de MampA deveria proporcionar aos gestores o que eles precisam saber para agir Deve se basear em indicadores relevantes faacuteceis de usar e que possam ser fornecidos em tempo haacutebil para os ciclos de planeamento e apresentaccedilatildeo de relatoacuterios
Os resultados de MampA natildeo se destinam apenas ao pessoal de MampA da sua organizaccedilatildeo ou agrave agecircncia doadora As informaccedilotildees de MampA satildeo um recurso fundamental para as acccedilotildees e a aprendizagem Se o seu processo de MampA tiver mecanismos de retroinformaccedilatildeo que permitam aos tomadores de decisotildees reflectirem sobre os resultados e absorverem o que precisam para seus proacuteprios fins eles assumiratildeo o controlo do processo e utilizaratildeo o que ele oferecer
Se vocecirc define suas actividades de MampA no comeccedilo de uma intervenccedilatildeo ou projecto junto com o plano de acccedilatildeo para o projecto teraacute mais oportunidades de orientar e acompanhar a implementaccedilatildeo das actividades
Quando satildeo demasiado elaborados e complicados os planos de MampA natildeo satildeo usados Elabore um plano de MampA simples escolha ferramentas de monitoria faacuteceis de usar e seleccione a menor quantidade possiacutevel de indicadores para acompanhar o progresso e introduzir as mudanccedilas necessaacuterias ao longo do caminho
Para fortalecer um SIS eacute preciso trabalhar com as pessoas envolvidas os responsaacuteveis pelo sistema que registam transferem analisam comunicam e utilizam os dados e as informaccedilotildees para a gestatildeo dos serviccedilos
Ao fornecer os dados do SIS para os tomadores de decisotildees vocecirc deve reconhecer as diferenccedilas na frequecircncia dos relatoacuterios e nas quantidades de dados agregados e desagregados necessaacuterios aos niacuteveis diferentes de governo ou agraves organizaccedilotildees natildeo governamentais
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 923
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 4 DEFINA OS MEacuteTODOS DE RECOLHA DE DADOS
A etapa seguinte eacute a de definir os meacutetodos ou ferramentas que utilizaraacute para cada indicador Para os indicadores baseados em dados primaacuterios (dados que vocecirc mesmo recolhe) deve descrever o tipo de instrumento necessaacuterio para recolher os dados Os exemplos podem incluir questionaacuterios estruturados listas de verificaccedilatildeo de observaccedilatildeo directa ou balanccedilas para pesar bebeacutes
Para os dados secundaacuterios (dados recolhidos por terceiros e que estatildeo disponiacuteveis para vocecirc usar) deve explicar o meacutetodo para calcular o indicador e a fonte dos dados e fornecer detalhes suficientes sobre o meacutetodo de caacutelculo para que outros possam replicaacute-lo Lembre-se de que eacute mais faacutecil e mais barato usar dados secundaacuterios mas sua qualidade eacute menos confiaacutevel do que a dos dados primaacuterios
Tambeacutem eacute importante observar a frequecircncia da recolha dos dados para cada indicador A depender do tipo de indicador vocecirc poderaacute recolher os dados mensalmente trimestralmente anualmente ou ateacute com menos frequecircncia Ao definir o programa de recolha de dados para cada indicador leve em consideraccedilatildeo a necessidade de fornecer informaccedilotildees em tempo haacutebil aos responsaacuteveis por tomar decisotildees na sua organizaccedilatildeo Atribuir responsabilidades pela recolha de dados a indiviacuteduos ou grupos do seu pessoal garantiraacute que os dados sejam recolhidos dentro do prazo necessaacuterio
As informaccedilotildees das Etapas 1 a 4 fornecem o conteuacutedo do seu plano de monitoria e avaliaccedilatildeo A Tabela 5 mostra os elementos de um plano de MampA para um programa de mentoria cliacutenica para centros de orientaccedilatildeo e testes voluntaacuterios
ETAPA 5 RECOLHA OS DADOS DE BASE E DE ACOMPANHAMENTO
Recolher dados de base precisos eacute uma das tarefas mais importantes de MampA Os dados de base ou referecircncia satildeo o ponto de partida para definir as metas que vocecirc e sua equipa pretendem atingir e para acompanhar as mudanccedilas dos indicadores durante todo o periacuteodo de sua intervenccedilatildeo Dessa forma os dados de base ajudam a definir melhor um resultado final esperado
Vocecirc precisaraacute recolher dados de base para cada indicador antes que suas actividades comecem Esses dados identificam o ponto de partida de onde poderaacute avaliar o progresso Depois em pontos variados durante a implementaccedilatildeo vocecirc recolheraacute dados de acompanhamento sobre cada indicador para comparaacute-los com os niacuteveis de base e os resultados previstos Isto permite que vocecirc e outros tomadores de decisotildees em sua organizaccedilatildeo avaliem o progresso de cada intervenccedilatildeo ou serviccedilo e faccedilam as mudanccedilas necessaacuterias ao longo do caminho Examine o exemplo no Quadro 3
Por que acompanhar as mudanccedilas dos indicadores durante a implementaccedilatildeo Os indicadores de um plano de MampA estatildeo relacionados aos resultados imediatos (produtos) e aos resultados de meacutedio e longo prazo que os gestores precisam monitorar As mudanccedilas nos valores do indicador ao longo do tempo mostram se esses resultados estatildeo a subir ou a baixar ou se permanecem iguais Isto mostra ao gestor se as intervenccedilotildees e estrateacutegias estatildeo a funcionar conforme planeado para atingir os resultados esperados
Ao final do periacuteodo de implementaccedilatildeo precisaraacute recolher dados sobre os seus indicadores para comparar os niacuteveis finais com os niacuteveis de base e com os seus resultados esperados A depender dos seus indicadores precisaraacute tambeacutem recolher dados de acompanhamento a uma altura acordada previamente para determinar se as mudanccedilas seratildeo mantidas apoacutes o teacutermino da sua intervenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 924
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 5 Exemplo de um Plano de Monitoria e Avaliaccedilatildeo
Objectivo Os profissionais de sauacutede que receberam formaccedilatildeo aumentam sua capacidade de fornecer tratamento anti-retroviral de acordo com as directrizes nacionais
ActividadeProduto Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
CronogramaPrazo final
Cliacutenicos experientes em VIH recrutados para servir como mentores cliacutenicos em cinco hospitais regionais
Nuacutemero de mentores recrutados e designados a hospitais regionais
Registos de emprego
Como concluiacutedo Director adjunto para programas cliacutenicos
Setembro de 2008
Pessoal meacutedico em cinco hospitais regionais que recebem mentoria individual sobre terapia anti-retroviral
Nuacutemero de locais que recebem mentoria cliacutenica
Nuacutemero de meacutedicos que recebem mentoria individual
Nuacutemero de dias de mentoria cliacutenica realizados
Relatoacuterios mensais do mentor
Mensalmente Mentores Marccedilo de 2009
Resultados a meacutedio e longo prazo Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
Trabalhadores de sauacutede aumentam seu conhecimento sobre terapia anti-retroviral
80 dos participantes obtecircm 85 ou mais de pontuaccedilatildeo correcta no teste posterior
Trabalhadores de sauacutede melhoram suas habilidades no fornecimento de terapia anti-retroviral
Percentagem de habilidades demonstradas na lista de verificaccedilatildeo de competecircncia
Estudo especial Datas a definir Director adjunto para programas cliacutenicos
Fonte Centro Internacional de Formaccedilatildeo e Ensino sobre VIH p 2
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 925
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Observaccedilatildeo sobre o uso de indicadores para uma avaliaccedilatildeo A maioria dos esforccedilos de MampA enfatizam a selecccedilatildeo de indicadores bem definidos para estabelecer metas e medir as mudanccedilas nas condiccedilotildees e nos serviccedilos de sauacutede
Mas eacute importante lembrar que os indicadores servem apenas como marcadores Os dados dos indicadores fornecem pistas para saber se uma intervenccedilatildeo ou um grupo de actividades estaacute dentro do cronograma e se os resultados esperados estatildeo a ser alcanccedilados Eles natildeo respondem agraves perguntas de por que os resultados estatildeo ou natildeo a ser alcanccedilados Natildeo explicam os resultados fortuitos as relaccedilotildees entre intervenccedilotildees e resultados ou as causas de resultados percebidos que podem ocorrer fora da intervenccedilatildeo Assim natildeo podem recomendar medidas a tomar para melhorar os resultados
Os dados de indicadores devem portanto ser interpretados com cuidado Eles simplesmente indicam resultados que precisam ser melhor explorados em vez de fornecer uma avaliaccedilatildeo definitiva do sucesso ou fracasso Um estudo de avaliaccedilatildeo eacute geralmente executado para determinar se uma intervenccedilatildeo pode ser considerada um sucesso e por quecirc
Em geral agrave medida que sobe na hierarquia e passa das actividades para os resultados a longo prazo a MampA se torna mais complicada Nos niacuteveis de processo e produtos pode-se facilmente rastrear que actividades foram concluiacutedas e seus resultados imediatos Essas informaccedilotildees satildeo operacionais ndash informaccedilotildees que vocecirc pode usar para decisotildees quotidianas de gestatildeo Poreacutem para identificar e medir os resultados da sinergia dos produtos provavelmente teraacute que integrar as informaccedilotildees qualitativas e quantitativas e confiar menos em indicadores quantitativos singulares
Lembre-se de que quando uma melhoria desejada ndash seja na eficiecircncia do serviccedilo no conhecimento e comportamento dos provedores de serviccedilos ou dos beneficiaacuterios ou na tendecircncia de um problema de sauacutede ndash eacute confirmada atraveacutes de MampA isto natildeo prova que foi a intervenccedilatildeo que provocou a mudanccedila Outras coisas podem estar a se passar no serviccedilo ou no ambiente geral que causam essa mudanccedila Eacute claro que o mesmo se aplica aos resultados negativos ou resultados que indicam natildeo haver nenhuma mudanccedila nos resultados a meacutedio e longo prazo
QUADRO 3 Como usar dados de base para ajustar os resultados
Uma equipa de sobrevivecircncia infantil estaacute a propor uma intervenccedilatildeo com o seguinte resultado mensuraacutevel e especiacutefico ldquoNos proacuteximos 12 meses 40 das crianccedilas entre 12 e 24 meses de idade na aacuterea de captaccedilatildeo seratildeo completamente imunizadasrdquo
Para determinar se seu programa pode realmente atingir esse resultado o pessoal precisa medir os niacuteveis actuais de vacinaccedilatildeo Ao examinar os dados vecircem que apenas 10 das crianccedilas na aacuterea de captaccedilatildeo estatildeo completamente imunizadas ao completarem 24 meses Estes satildeo portanto seus dados de base
A gestora entende que natildeo seraacute possiacutevel atingir o objectivo de 40 de cobertura de imunizaccedilatildeo em apenas 12 meses Por isso ela e sua equipa revisam o resultado esperado e o modificam para que seja mais razoaacutevel e realista mas continue sendo significativo ldquoNos proacuteximos 12 meses 20 das crianccedilas de 12 a 24 meses na aacuterea de de actuaccedilatildeo seratildeo completamente imunizadas
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 926
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 6 COMPARTILHE E USE SEUS DADOS
Na pressa para comeccedilar a recolher dados alguns gestores se esquecem de planear um processo para reflectir sobre as informaccedilotildees e fazer mudanccedilas para aumentar a eficiecircncia das actividades Para garantir que os dados sejam natildeo soacute recolhidos mas tambeacutem utilizados pense como vocecirc e sua equipa divulgaratildeo as informaccedilotildees sobre MampA e obteratildeo retroinformaccedilatildeo dos diversos grupos de interesse Algumas perguntas baacutesicas serviratildeo para lhe orientar
Quem precisa de que tipo de informaccedilotildees e quando precisam delas Que tipo de formato deve usar para comunicar os resultados ao pessoal
aos gestores de niacutevel superior e a outros grupos de interesse importantes Eacute suficiente fazer circular um relatoacuterio ou deveria organizar uma reuniatildeo ou workshop
Deveria tambeacutem organizar reuniotildees com a comunidade para solicitar retroinformaccedilatildeo dos seus beneficiaacuterios sobre os primeiros resultados da MampA
Como deve apresentar as informaccedilotildees para que sejam uacuteteis aos diferentes tomadores de decisotildees As informaccedilotildees devem ser apresentadas visualmente em diagramas graacuteficos ou mapas Para obter orientaccedilatildeo sobre dados e resultados consulte o Guiatildeo de MampA para Facilitadores de Programas de Desenvolvimento da Lideranccedila
Uso dos resultados para melhorar os dados de rotina em acccedilatildeo ndash Um exemplo do Paquistatildeo
No Paquistatildeo com o apoio do projecto PRIDE 10 equipas de subdistritos aplicaram o Processo de Avaliaccedilatildeo e Melhoria do Desempenho em Sauacutede Puacuteblica (PIP-PH) um conjunto de procedimentos e formatos para tratar dos problemas de sauacutede que identificaram como os mais graves para as suas populaccedilotildees Usaram o PIP-PH para priorizar os problemas e serviccedilos que mais precisavam de atenccedilatildeo a curto prazo para obter melhorias
Como parte do processo PIP-PH as equipas tambeacutem conceberam um formato de Estrutura de Vigilacircncia de Sauacutede (ldquoHealth Watch Frameworkrdquo) para os seus subdistritos como um todo e para os centros de sauacutede dentro deles Cada equipa seleccionou indicadores para medir a situaccedilatildeo de dois problemas de sauacutede puacuteblica os serviccedilos essenciais a eles relacionados e as limitaccedilotildees que afectavam esses serviccedilos
As equipas usaram os formulaacuterios Health Watch para estabelecer valores de base para os indicadores e depois para monitorar esses valores agrave medida que as intervenccedilotildees prosseguiam ao longo do tempo Os centros de sauacutede revisavam e actualizavam o formulaacuterio todo mecircs as equipas do subdistrito inclusive gestores de centros de sauacutede revisavam e discutiam os formulaacuterios trimestralmente os formulaacuterios revisados
As equipas de subdistrito usaram as informaccedilotildees para analisar os motivos do progresso ou falta de progresso para poderem prestar apoio aos gestores dos centros de sauacutede O processo estimulou os gestores dos centros de sauacutede a melhorarem a integridade e precisatildeo dos dados de rotina para poderem usar as informaccedilotildees e monitorarem mais eficazmente os eventos e os serviccedilos essenciais e introduzirem as melhorias necessaacuterias
Exemplos e informaccedilotildees detalhadas sobre o PIP-PH e o Health Watch Framework aparecem no Relatoacuterio Anual do Projecto PRIDE 2007
Para se informar mais sobre meacutetodos adicionais de utilizaccedilatildeo dos dados para melhorar o desempenho de uma organizaccedilatildeo equipa serviccedilo de sauacutede ou intervenccedilatildeo consulte o processo de Avaliaccedilatildeo e Melhoria de Desempenho (Performance Assessment and Improvement ndash PAI) no website de Programa de Lideranccedila Gestatildeo e Sustentabilidade (Leadership Management and Sustainability ndash LMS)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 927
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O processo de Monitoria e Avaliaccedilatildeo deve ser executado com o objectivo de usar imediatamente os resultados para identificar as falhas de desempenho e tomar medidas para reduzir ou eliminar essas falhas Vocecirc deve sempre planear formas de usar os resultados de MampA para o aprendizado e a acccedilatildeo Por exemplo o que deve fazer se as actividades do projecto natildeo trouxerem os resultados esperados O que precisa mudar se os serviccedilos essenciais natildeo estiverem a fornecer os niacuteveis de cobertura previstos ou a alcanccedilar grupos especiacuteficos de pessoas E como vocecirc pode levar esses fatos agrave atenccedilatildeo das pessoas certas para obter uma resposta raacutepida
Desenho de uma ferramenta de MampA
ARMADILHAS DA MONITORIA E AVALIACcedilAtildeO
Haacute vaacuterias armadilhas comuns que impedem que vocecirc como gestor aperfeiccediloe a funccedilatildeo de MampA na sua organizaccedilatildeo
Planeamento excessivo ou insuficienteAlguns gestores podem gastar tempo demais a preparar o plano de MampA do que resultam planos muito elaborados e complicados de usar Outros ficam muito ansiosos por implementar as intervenccedilotildees de MampA e comeccedilam antes de concluir o plano de MampA Isso significa que quando o plano fica pronto eacute geralmente tarde demais para obter dados de base viaacuteveis e a MampA tem que ser adiada Nesses casos o gestor talvez tenha que aceitar fazer a avaliaccedilatildeo mais tarde sem os dados de base que poderia usar para a comparaccedilatildeo
Descuidar-se da monitoria contiacutenua Outra armadilha frequente eacute a falha em incluir a monitoria contiacutenua na implementaccedilatildeo das actividades Isto ocorre frequentemente por falta de experiecircncia Muitos gestores natildeo tiveram acesso a ferramentas de monitoria uacuteteis (que satildeo raras) Talvez natildeo tenham recebido prontamente os resultados ou a retroinformaccedilatildeo do sistema de MampA no passado e por isso natildeo percebem como eacute importante realizar a monitoria de rotina Aleacutem disso gestores podem facilmente se emaranhar nos detalhes da implementaccedilatildeo e descuidar-se da monitoria de rotina
Exagerar Outra armadilha relacionada agrave monitoria eacute tentar rastrear os dados de todos os indicadores possiacuteveis Tentar obter os dados sobre um nuacutemero excessivo de factores torna o processo de monitoria tatildeo complicado que se torna impreciso Isso tambeacutem torna o processo mais lento de modo que no momento em que os dados satildeo recolhidos e analisados eles jaacute natildeo satildeo mais uacuteteis As ferramentas de monitoria muito demoradas e complicadas acabam por natildeo ser usadas O que acontece entatildeo O gestor deixa totalmente de fazer a monitoria e tem que recorrer agrave avaliaccedilatildeo
Se jaacute se deparou com esses problemas eacute hora de mudar a sua taacutectica Vocecirc pode criar um plano de MampA simples e usar ferramentas de monitoria simples Descubra o que tem que medir para obter os dados dentro de 3 a 6 meses o prazo vai depender dos ciclos de planeamento e apresentaccedilatildeo de relatoacuterios da sua organizaccedilatildeo Entenda tambeacutem qual eacute o miacutenimo que deve ser medido em uma avaliaccedilatildeo de longo prazo Busque a simplicidade mesmo se estiver diante de um conjunto complexo de actividades
Tente incluir apenas o que realmente precisa saber Pode testar todos os indicadores propostos antes de incluiacute-los no planeamento de MampA ao perguntar Quem precisa usar essas informaccedilotildees quando e com que finalidade Se um uacutenico indicador de produtos for suficiente perfeito Natildeo sobrecarregue a monitoria com indicadores desnecessaacuterios Muitas vezes menos dados fornecem mais informaccedilotildees
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 928
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
CARACTERIacuteSTICAS DE UMA BOA FERRAMENTA DE MONITORIA
Como gestor natildeo precisa saber tudo para gerir um serviccedilo ou dirigir uma intervenccedilatildeo mas precisa das informaccedilotildees imediatamente Portanto precisa de uma ferramenta de monitoria que possa fornecer informaccedilotildees suficientes e em tempo haacutebil para identificar e corrigir problemas assim que eles surgirem
Uma ferramenta de monitoria deve ser faacutecil de montar e utilizar As tabelas listas de verificaccedilatildeo e diagramas simples satildeo meacutetodos particularmente uacuteteis de recolher organizar e apresentar informaccedilotildees de monitoria
No miacutenimo sua ferramenta de monitoria deve permitir que vocecirc e sua equipa acompanhem
o progresso da implementaccedilatildeo da actividade a entrega de produtos ou resultados imediatos a situaccedilatildeo dos principais indicadores de resultados comparados aos resultados
esperados se for o caso as despesas orccedilamentais a disponibilidade de recursos humanos e financeiros os obstaacuteculos agrave implementaccedilatildeo e o que tem sido feito para superaacute-los
Vocecirc teraacute que responder agraves seguintes perguntas periodicamente
As actividades foram implementadas conforme planeado dentro do prazo e do orccedilamento
Que actividades adicionais natildeo planeadas foram realizadas Que serviccedilos ou produtos directos e tangiacuteveis foram oferecidos como resultado
das actividades que implementamos Estamos dentro do cronograma para atingir nossos resultados a meacutedio e longo
prazo Possuiacutemos os recursos necessaacuterios (pessoal dinheiro medicamentos e
suprimentos etc) para cumprirmos o cronograma
O Quadro 4 apresenta os componentes baacutesicos de uma ferramenta simples de monitoria
QUADRO 4 Uma ferramenta simples de monitoria
Data de exame Metas de resultados
Actividades (segundo o plano de implementaccedilatildeo)
Situaccedilatildeo ateacute o momento
Resultados esperados
Datas para conclusatildeo
Situaccedilatildeo ateacute o momento Comentaacuterios
Desafios e oportunidades
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 929
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quando usadas correctamente as novas tecnologias (por ex os PDAs ldquosmartphonesrdquo laptops e outros) podem facilitar a monitoria e aumentar os benefiacutecios da monitoria das actividades A monitoria automatizada ndash dados que podem ser obtidos e processados automaticamente ndash podem produzir um resumo dos principais indicadores em uma soacute paacutegina faacutecil de ler e num formato que utiliza cores para alertar ao gestor sobre as aacutereas que precisam de maior atenccedilatildeo As informaccedilotildees obtidas em tempo haacutebil sobre alguns indicadores essenciais permitem que o gestor monitore o progresso e tome medidas correctivas
Essa apresentaccedilatildeo visual das informaccedilotildees mais importantes e necessaacuterias para gerir um projecto eacute geralmente conhecida como Painel de Indicadores de Desempenho Os paineacuteis de indicadores de desempenho podem ser usados em qualquer organizaccedilatildeo departamento ou divisatildeo Nas organizaccedilotildees de sauacutede puacuteblica os paineacuteis satildeo usados frequentemente para monitorar os indicadores financeiros e programaacuteticos bem como a cobertura produccedilatildeo eficaacutecia e qualidade de serviccedilos de sauacutede especiacuteficos Um painel de recursos humanos por exemplo incluiria indicadores relevantes para gerir o seguinte
retenccedilatildeo de funcionaacuterios rotatividade de funcionaacuterios formaccedilatildeo de funcionaacuterios lacunas de habilidades satisfaccedilatildeo dos funcionaacuterios custos benefiacutecios e despesas gerais com funcionaacuterios
A Tabela 6 mostra um painel de indicadores de desempenho criado para monitorar serviccedilos de contracepccedilatildeo ciruacutergica voluntaacuteria (CCV)
TABELA 6 Ilustraccedilatildeo de Painel de Indicadores de Desempenho para Serviccedilos de Contracepccedilatildeo Ciruacutergica Voluntaacuteria (CCV)
Serviccedilo Contracepccedilatildeo Ciruacutergica Voluntaacuteria Periacuteodo do Relatoacuterio Janeiro de 2009
No Indicador de Prestaccedilatildeo de Serviccedilos Custo Qualidade
Meta financeira ou programaacutetica
LimiarNuacutemero
alcanccedilado
Percentagem concluiacuteda
Miacuten Maacutex 10 20 30 40 50 60 70 80 90 100
1 Nuacutemero de CCVs realizadas no mecircs 8 10 7
2 Custo meacutedio das CCVs (US$) 100 120 110
3 Orccedilamento mensal da receita com CCVs realizadas (US$) 800 1200 770
4Percentagem das CCVs realizadas por pessoal
qualificadomdash 100 60
5 Percentagem das CCVs realizadas sem complicaccedilotildees 95 100 100
6
Percentagem de utentes satisfeitas com o tratamento
recebido do pessoal que realizou as CCVs
90 100 90
Adaptado de Colindres 2008 p 6
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 930
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja uma descriccedilatildeo do uso de um painel de indicadores de desempenho para a monitoria de rotina num estudo de caso estudo de caso de uma ONG da Boliacutevia o Centro de Investigaccedilatildeo Educaccedilatildeo e Serviccedilos (CIES)
Para obter mais informaccedilotildees de como criar um painel de indicadores consulte ldquoComo usar os paineacuteis de indicadores de desempenho para monitorar as realizaccedilotildees de uma organizaccedilatildeordquo Esse documento ajuda a esclarecer conceitos e define as etapas essenciais para criar paineacuteis de indicadores de desempenho
Como criar uma avaliaccedilatildeo para fins de aprendizagem
Apesar da importacircncia da monitoria de rotina apenas a monitoria natildeo basta para responder agrave pergunta ldquoE entatildeordquo Ou seja suas actividades e produtos contribuiacuteram para melhorar a cobertura dos serviccedilos aumentar o conhecimento ou encorajar comportamentos mais saudaacuteveis
Talvez uma campanha de comunicaccedilatildeo sobre planeamento familiar criada para aumentar a prevalecircncia do uso de contraceptivos tenha levado o governo a abastecer os depoacutesitos distritais com contraceptivos Para que possam aprender com essa experiecircncia e criar campanhas mais eficazes no futuro os gestores do projecto ainda querem saber que produtos foram realmente dispensados aos centros de sauacutede e distribuiacutedos aos utentes Esta secccedilatildeo discute como criar uma avaliaccedilatildeo para fins de aprendizagem
Existem dois motivos para levar a cabo uma avaliaccedilatildeo
1 A avaliaccedilatildeo fornece informaccedilotildees sobre o sucesso da sua equipa unidade ou organizaccedilatildeo para atingir seus objectivos Essas informaccedilotildees ajudam a definir que actividades expandir modificar ou eliminar Ela pode tambeacutem revelar formas de melhorar a concepccedilatildeo e gestatildeo das actividades futuras
2 A avaliaccedilatildeo pode demonstrar uma cultura de prestaccedilatildeo de contas agrave sua agecircncia doadora e a outros grupos de interesse nomeadamente o governo e os beneficiaacuterios dos seus serviccedilos
AVALIACcedilOtildeES FORMATIVAS E SUMATIVAS
Os gestores podem realizar dois amplos tipos de avaliaccedilotildees formativas e sumativas
Avaliaccedilatildeo formativa Este tipo de avaliaccedilatildeo eacute realizada durante o desenvolvimento e implementaccedilatildeo de um programa Seu objectivo eacute orientar o desenho e a implementaccedilatildeo de actividades que incluam as melhores e mais promissoras praacuteticas que aumentaratildeo as chances de sucesso A avaliaccedilatildeo formativa eacute mais comummente utilizada por projectos de grande porte ou de longo prazo em vez de projectos menores e de curto prazo Poreacutem os projectos menores devem pelo menos realizar uma avaliaccedilatildeo raacutepida das melhores praacuteticas durante a fase de planeamento para apoiar a loacutegica e o conteuacutedo proposto para as actividades
A avaliaccedilatildeo formativa inclui uma avaliaccedilatildeo de necessidades para discernir os desejos e requisitos de um grupo da populaccedilatildeo e determinar a melhor forma de atendecirc-los Inclui tambeacutem uma avaliaccedilatildeo de processo para investigar o processo utilizado para executar uma intervenccedilatildeo Pode-se usar a avaliaccedilatildeo do processo para determinar se as actividades foram realizadas de acordo com o plano ndash em termos de sua concepccedilatildeo original estimativas de custos e nuacutemero de pessoas a serem atendidas ndash e se a qualidade dos processos usados estaacute de acordo com as melhores praacuteticas conhecidas
A avaliaccedilatildeo de processo geralmente inclui vaacuterias abordagens Pode incluir uma avaliaccedilatildeo dos dados referentes aos produtos (por ex nuacutemero de redes mosquiteiras fornecidas nuacutemero
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 931
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
de workshops de formaccedilatildeo realizados nuacutemero de participantes dos workshops) assim como entrevistas individuais ou grupos de enfoque entre os beneficiaacuterios Nas intervenccedilotildees de menor porte eacute uma boa praacutetica realizar uma avaliaccedilatildeo de processo mesmo se limitada agrave retroinformaccedilatildeo dos participantes
Avaliaccedilatildeo somativa Este tipo de avaliaccedilatildeo eacute realizada apoacutes a conclusatildeo de um grupo de actividades ou da intervenccedilatildeo para avaliar a qualidade da intervenccedilatildeo e os seus principais resultados A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo a avaliaccedilatildeo do impacto a anaacutelise de custo-benefiacutecio e custo-eficaacutecia e a investigaccedilatildeo operacional
A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo que avalia em que medida uma equipa unidade ou organizaccedilatildeo inteira atingiram seus resultados esperados A avaliaccedilatildeo dos resultados eacute usada para demonstrar que existe uma cultura de prestaccedilatildeo de contas para aperfeiccediloar o projecto de actividades organizacionais para melhorar a distribuiccedilatildeo dos recursos e para promover intervenccedilotildees futuras bem-sucedidas As principais perguntas satildeo Que modificaccedilotildees ocorreram na vida das pessoas das famiacutelias ou da comunidade como resultado do nosso trabalho Que diferenccedila fizemos
Como observamos anteriormente neste capiacutetulo os resultados a meacutedio e longo prazo satildeo geralmente mudanccedilas mensuraacuteveis eou observaacuteveis em duas dimensotildees A primeira dimensatildeo abrange a conscientizaccedilatildeo o conhecimento as atitudes os valores e as habilidades dos participantes de um programa ou dos beneficiaacuterios dos serviccedilos durante ou depois de seu envolvimento na intervenccedilatildeo A segunda dimensatildeo implica mudanccedilas no comportamento desses mesmos grupos
Idealmente as duas dimensotildees deveriam ser medidas em trecircs pontos no comeccedilo e no final do periacuteodo de implementaccedilatildeo e se possiacutevel apoacutes um periacuteodo de acompanhamento adequado Se a mediccedilatildeo do acompanhamento natildeo for viaacutevel pelo menos devem ser comparadas as mediccedilotildees de base e poacutes-intervenccedilatildeo Muitas vezes as mudanccedilas podem ser pequenas mas deve haver alguma melhoria em pelo menos um ou dois resultados para que a intervenccedilatildeo seja considerada um sucesso
A avaliaccedilatildeo dos resultados tenta distinguir entre a influecircncia da intervenccedilatildeo nessas mudanccedilas e a influecircncia de outros factores externos Mas geralmente os avaliadores teratildeo que optar pela atribuiccedilatildeo parcial de um resultado a uma intervenccedilatildeo ou serviccedilo especiacutefico devido agrave dificuldade em determinar uma relaccedilatildeo directa e causal entre o serviccedilo prestado e uma determinada mudanccedila
As avaliaccedilotildees de resultados utilizam geralmente um desenho natildeo experimental (geralmente denominado ldquopreacute e poacutes-avaliaccedilatildeordquo) que simplesmente mede as mudanccedilas antes e depois de uma intervenccedilatildeo ou seja diferente do desenho experimental (que compara os participantes com um grupo de controlo com designaccedilatildeo aleatoacuteria a ambos os grupos) ou do desenho semi-experimental (que compara os participantes com um grupo de controlo mas sem a designaccedilatildeo aleatoacuteria)
O desenho natildeo experimental eacute aceitaacutevel para as mediccedilotildees e relatoacuterios padratildeo dos resultados a meacutedio e longo prazo As ONGs raramente usam os desenhos experimentais Apesar de uma organizaccedilatildeo de grande porte e com muitos recursos poder ocasionalmente receber assistecircncia de especialistas para um desenho experimental a maioria delas acha que as consideraccedilotildees eacuteticas e logiacutesticas impedem a designaccedilatildeo aleatoacuteria dos participantes aos grupos de intervenccedilatildeo e de controlo Aleacutem disso o custo de recolher dados de um grupo de controlo seraacute provavelmente muito elevado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 932
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A avaliaccedilatildeo do impacto eacute outro componente da avaliaccedilatildeo somativa Eacute mais ampla do que a avaliaccedilatildeo de resultados e avalia os efeitos liacutequidos ou gerais ndash tanto intencionais como natildeo intencionais ndash de todo um programa grupo de programas ou grupo de organizaccedilotildees As avaliaccedilotildees de impacto geralmente se estendem por um periacuteodo de 3 a 5 anos
OUTROS TIPOS DE AVALIACcedilOtildeES
Anaacutelise de custo-benefiacutecio e custo-eficaacutecia Estes tipos de anaacutelise tratam da eficiecircncia da intervenccedilatildeo ao analisar os resultados em termos dos seus custos financeiros e do seu valor
Investigaccedilatildeo operacional Trata-se de um balanccedilo ou avaliaccedilatildeo de uma intervenccedilatildeo especiacutefica no contexto de um programa mais amplo que estaacute a fazer vaacuterias intervenccedilotildees A investigaccedilatildeo operacional eacute usada para testar e avaliar novas abordagens de prestaccedilatildeo de serviccedilos de sauacutede Eacute tambeacutem usada para identificar problemas na prestaccedilatildeo de serviccedilos e oferecer soluccedilotildees
A investigaccedilatildeo operacional eacute uma ferramenta poderosa que os gestores de programas e os tomadores de decisotildees podem usar para melhorar e expandir os serviccedilos Os estudos de investigaccedilatildeo operacional comparam intervenccedilotildees que estatildeo dentro da esfera de influecircncia do gestor Os exemplos incluem a avaliaccedilatildeo da eficaacutecia de uma nova estrateacutegia de prevenccedilatildeo de VIHSIDA um novo curso de formaccedilatildeo um novo conjunto de procedimentos para gerir medicamentos um novo meacutetodo contraceptivo ou um novo serviccedilo de sauacutede reprodutiva
O Toolkit de Investigaccedilatildeo Operacional do Programa Horizons sobre VIHSIDA do Population Council fornece informaccedilotildees detalhadas para criar um estudo de investigaccedilatildeo operacional
CONSIDERACcedilOtildeES PARA A FORMULACcedilAtildeO DE UMA AVALIACcedilAtildeO
O que avaliar para responder agrave pergunta ldquoE entatildeordquo Se quiser saber como gestor se as suas actividades tiveram realmente sucesso precisa preparar todas as intervenccedilotildees tendo em mente a avaliaccedilatildeo e incorporar a avaliaccedilatildeo ao seu planeamento organizacional geral Ao definir objectivos deve se perguntar Como saberemos se estamos a atingir esses objectivos Este eacute o ponto de partida para a avaliaccedilatildeo
Seja qual for o porte da sua intervenccedilatildeo ou serviccedilo e o alcance da avaliaccedilatildeo precisaraacute responder a trecircs perguntas durante a fase de desenho e planeamento
1 O que a sua intervenccedilatildeo ou serviccedilo conseguiraacute realizar a curto e longo prazo Se implementar um conjunto de actividades com sucesso ao longo do tempo o que seraacute diferente
2 Como conceptualiza as suas actividades ndash qual eacute a loacutegica subjacente Duas abordagens para identificar a loacutegica do programa satildeo discutidas neste capiacutetulo na secccedilatildeo intitulada Ferramentas e Abordagens Praacuteticas para MampA
3 Que indicadores pode usar para identificar o progresso no alcance dos resultados
Para responder agrave pergunta ldquoE entatildeordquo vocecirc precisa avaliar os factores sobre os quais tem um niacutevel razoaacutevel de controlo Por exemplo um novo serviccedilo criado para oferecer alojamento a pessoas que vivem com SIDA natildeo pode controlar ou afectar a expectativa de vida das pessoas agraves quais atende Mas ao fornecer um ambiente estaacutevel para elas viverem o serviccedilo pode diminuir o niacutevel de stresse e melhorar a qualidade de vida dessas pessoas que antes eram forccediladas a se mudar com frequecircncia
Depois de tratar da pergunta ldquoE entatildeordquo deve tambeacutem se certificar de que a avaliaccedilatildeo seja concebida de forma que quando o processo estiver concluiacutedo vocecirc possa abordar os cinco toacutepicos principais da avaliaccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 933
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
1 Relevacircncia Foi uma boa ideia fazer a intervenccedilatildeo considerando-se a situaccedilatildeo e a necessidade de melhorias Ela tratou das prioridades do grupo alvo ou beneficiaacuterio Por que sim ou por que natildeo
2 Eficaacutecia Os resultados produtos e actividades foram realizados Por que sim ou por que natildeo A loacutegica da intervenccedilatildeo eacute correcta
3 Eficiecircncia Os insumos (recursos e tempo) foram usados da melhor forma possiacutevel para atingir os resultados a meacutedio e longo prazo Por que sim ou por que natildeo O que vocecirc e sua equipa poderiam fazer de modo diferente no futuro para maximizar os resultados a um custo aceitaacutevel
4 Impacto Em que medida a sua intervenccedilatildeo contribuiu para as metas nacionais ou de longo prazo Que consequecircncias natildeo intencionais (positivas ou negativas) suas actividades tiveram Por que essas consequecircncias aconteceram
5 Sustentabilidade Eacute provaacutevel que os resultados positivos continuem depois que sua intervenccedilatildeo terminar Por que sim ou por que natildeo
Uma uacuteltima advertecircncia assim como a monitoria pode-se complicar demasiado a avaliaccedilatildeo Ao preparar um plano de avaliaccedilatildeo o melhor eacute seleccionar um grupo pequeno de indicadores e resistir agrave tentaccedilatildeo de avaliar todos os aspectos da sua intervenccedilatildeo
Assim como a monitoria a avaliaccedilatildeo soacute eacute uacutetil se as informaccedilotildees forem repassadas em tempo haacutebil para o gestor e outros tomadores de decisotildees e grupos de interesse Um problema comum com as avaliaccedilotildees intercalares eacute que os resultados geralmente soacute satildeo informados de 6 a 8 meses mais tarde o que deixa apenas 1 ou 2 anos para fazer mudanccedilas mais permanentes antes que se esgotem os fundos do governo ou da agecircncia doadora
COMO SELECCIONAR SUAS FONTES DE DADOS
Esta secccedilatildeo descreve trecircs tipos de fontes de dados que satildeo comummente usadas para uma avaliaccedilatildeo dados recolhidos rotineiramente inqueacuteritos de grande escala e teacutecnicas de avaliaccedilatildeo raacutepida inclusive a avaliaccedilatildeo participativa
Dados de rotina Os dados recolhidos e analisados rotineiramente por um SIS satildeo denominados ldquoestatiacutesticas de serviccedilordquo Pode-se utilizar vaacuterios sistemas de informaccedilatildeo de serviccedilos de rotina para monitorar os serviccedilos Alguns deles satildeo o sistema baacutesico de registo e relatoacuterio de SIS os sistemas especiais de relatoacuterios sobre programas (por ex tuberculose malaacuteria imunizaccedilatildeo VIH planeamento familiar etc) os sistemas de relatoacuterios sobre agentes comunitaacuterios especiais (por ex registos de agentes comunitaacuterios de sauacutede) o sistema de informaccedilotildees para a vigilacircncia de doenccedilas e o controlo notificaccedilatildeo e resposta a surtos e os relatoacuterios para os sistemas de suporte especiais (por ex medicamentos encaminhamentos e gestatildeo financeira e de recursos humanos)
Esses sistemas fornecem dados que estatildeo imediatamente disponiacuteveis e cujo objectivo eacute informar o que estaacute a acontecer no sector de sauacutede Os dados de rotina incluem por exemplo o nuacutemero de consultas de preacute-natal em uma cliacutenica o nuacutemero e tipo de vacinaccedilotildees fornecidas no local ou o nuacutemero e tipos de contraceptivos fornecidos mensalmente
Os dados sobre os serviccedilos satildeo geralmente recolhidos pelos centros de sauacutede ou postos de sauacutede e enviados para o proacuteximo niacutevel superior do sistema (geralmente o distrito) para serem agregados Esses dados podem entatildeo ser enviados ao proacuteximo niacutevel superior (regional ou provincial) para posterior agregaccedilatildeo antes que cheguem finalmente ao niacutevel central do Ministeacuterio da Sauacutede
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 934
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Idealmente os gestores de centros de sauacutede e ao niacutevel do distrito usam esses dados para orientar as operaccedilotildees diaacuterias acompanhar o desempenho e a prestaccedilatildeo de contas e tomar decisotildees que continuem a melhorar o desempenho Mas haacute vaacuterios obstaacuteculos a essa utilizaccedilatildeo
Muito frequentemente os dados de rotina satildeo imprecisos ou incompletos Apesar dos que utilizam o SIS tentarem produzir informaccedilotildees de alta qualidade e em tempo haacutebil haacute muitas oportunidades de introduzir erros Pode haver pouco apoio para que os gestores e seu pessoal se concentrem nos procedimentos correctos de recolha registo e agregaccedilatildeo dos dados
Os sistemas de sauacutede de vaacuterios paiacuteses enfatizam a importacircncia de apresentar relatoacuterios para os niacuteveis superiores mas natildeo estabeleceram procedimentos e incentivos para encorajar aqueles que fornecem informaccedilotildees a utilizaacute-las mesmo quando os dados satildeo de boa qualidade
Outra dificuldade eacute que as estatiacutesticas sobre serviccedilos fornecem informaccedilotildees apenas sobre os utentes que utilizam os serviccedilos de sauacutede Natildeo podem fornecer informaccedilotildees sobre as muitas pessoas que natildeo utilizam os serviccedilos
Por tudo isso natildeo se pode confiar apenas nas estatiacutesticas sobre serviccedilos para fazer uma avaliaccedilatildeo Elas satildeo melhor utilizadas para a monitoria de rotina dos problemas de sauacutede puacuteblica e dos serviccedilos essenciais relacionados
Inqueacuteritos em grande escala Os inqueacuteritos em grande escala satildeo outra fonte de informaccedilotildees imediatamente disponiacuteveis Incluem inqueacuteritos de base populacional tais como as Inqueacuterito Demograacutefico e de Sauacutede (IDS) dos EUA avaliaccedilotildees completas de centros de sauacutede como a Anaacutelise de Situaccedilatildeo do Population Council e os censos nacionais Em vaacuterios casos os gestores podem usar os dados de um inqueacuterito em grande escala existente para fornecer o contexto para a interpretaccedilatildeo dos dados capturados atraveacutes das suas proacuteprias avaliaccedilotildees
Por exemplo as IDS satildeo realizadas periodicamente para caracterizar a situaccedilatildeo de sauacutede em um paiacutes ou regiatildeo geograacutefica de grande extensatildeo para vaacuterios grupos populacionais homens mulheres crianccedilas bebeacutes e assim por diante Mas os dados das IDS natildeo podem normalmente ser desagregados para uso pelos gestores no niacutevel de distrito ou comunidade
Aleacutem disso como as IDS satildeo realizadas apenas a cada trecircs ou cinco anos as informaccedilotildees que fornecem podem natildeo estar suficientemente actualizadas para as necessidades de avaliaccedilatildeo dos gestores Apesar dessas dificuldades os dados das IDS satildeo uacuteteis para compreender tendecircncias regionais ou nacionais que podem ajudar a explicar dados recolhidos em uma avaliaccedilatildeo de foco especiacutefico
Avaliaccedilotildees raacutepidas Satildeo formas raacutepidas e econoacutemicas de obter informaccedilotildees para a tomada de decisotildees principalmente ao niacutevel da actividade Os exemplos incluem entrevistas quando os utentes saem de suas consultas as avaliaccedilotildees de pequena escala dos centros de sauacutede os inqueacuteritos raacutepidos por amostragem o exame analiacutetico de registos as entrevistas com grupos de enfoque e outros meacutetodos participativos
Poderaacute usar teacutecnicas de avaliaccedilatildeo raacutepida para complementar as informaccedilotildees obtidas com dados de rotina ou inqueacuteritos de grande escala As avaliaccedilotildees raacutepidas podem-lhe fornecer informaccedilotildees valiosas sobre sua aacuterea de captaccedilatildeo e sua aacuterea de responsabilidade mais ampla ndash ou seja as comunidades e as populaccedilotildees que deveriam ter acesso aos serviccedilos essenciais prestados por um centro de sauacutede determinado Elas podem tambeacutem fornecer contexto e uma compreensatildeo qualitativa dos dados quantitativos recolhidos pelos meacutetodos mais formais
Dentro da categoria de avaliaccedilotildees raacutepidas os meacutetodos participativos e os inqueacuteritos raacutepidos por amostragem merecem a sua atenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 935
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Meacutetodos participativos (tambeacutem chamados de aprendizagem e acccedilatildeo participativas) Essas teacutecnicas e meacutetodos visam incorporar o conhecimento e as opiniotildees dos membros da comunidade no planeamento e gestatildeo de projectos de desenvolvimento no esforccedilo para influenciar as poliacuteticas e na implementaccedilatildeo de programas Eles permitem incluir vozes da comunidade nas poliacuteticas no planeamento e nos inqueacuteritos e criam um senso de propriedade e participaccedilatildeo nos resultados de MampA e nas recomendaccedilotildees feitas pela organizaccedilatildeo e por seus beneficiaacuterios
Ao contraacuterio de outras teacutecnicas de avaliaccedilatildeo raacutepida os meacutetodos participativos natildeo se baseiam em amostragens Eles usam entrevistas individuais ou com informantes essenciais (inclusive entrevistas com utentes ao saiacuterem de suas consultas) entrevistas em grupo estudos de caso e outros meacutetodos qualitativos para identificar as condiccedilotildees locais e entender as perspectivas e prioridades locais
Em vaacuterios locais haacute membros da comunidade que natildeo podem ler nem escrever e por isso os meacutetodos participativos dependem frequentemente da comunicaccedilatildeo oral com apoio de imagens siacutembolos objectos fiacutesicos e memoacuteria colectiva
Os meacutetodos participativos podem ser usados antes durante e apoacutes a implementaccedilatildeo de uma intervenccedilatildeo ou um conjunto de actividades Eles fornecem informaccedilotildees para o projecto e a avaliaccedilatildeo e permitem a participaccedilatildeo activa das partes interessadas na tomada de decisotildees Durante a implementaccedilatildeo os meacutetodos participativos satildeo uacuteteis para identificar e solucionar problemas
Aproveite para examinar e utilizar uma lista de recursos online sobre inqueacuterito qualitativo e directrizes sobre discussotildees em grupos de enfoque no Community Tool Box da Universidade de Kansas
Inqueacuteritos raacutepidos por amostragem Estes inqueacuteritos podem ser utilizados para recolher informaccedilotildees padronizadas de uma amostra pequena e cuidadosamente seleccionada de pessoas ou domiciacutelios em uma aacuterea beneficiaacuteria Eles podem descrever as condiccedilotildees em uma comunidade particular ou grupo-alvo e permitem comparar grupos diferentes em um determinado momento ou mudanccedilas no mesmo grupo ao longo do tempo Permitem tambeacutem comparar condiccedilotildees actuais com os resultados planeados
Um dos inqueacuteritos mais comuns de pequena amostragem eacute o inqueacuterito CAP (Conhecimentos Atitudes e Praacuteticas) baseado em uma amostra de 30 agrupamentos
Amostragem para Garantia de Qualidade de Lotes (Lot Quality Sampling - LQAS) Essa eacute outra teacutecnica de avaliaccedilatildeo raacutepida que se usa cada vez mais na aacuterea de sauacutede puacuteblica A LQAS utiliza amostragens muito pequenas para obter informaccedilotildees confiaacuteveis em uma pequena aacuterea geograacutefica ou unidade administrativa Pode ser usada para detectar de forma precisa os extremos do desempenho ndash para determinar se uma intervenccedilatildeo foi mais aleacutem de um limiar superior de desempenho ou natildeo conseguiu atingir um limiar inferior de desempenho em termos de qualidade ou cobertura As amostras de lotes podem tambeacutem ser combinadas para fornecer estimativas de cobertura em uma aacuterea geograacutefica mais ampla
Uma busca na Web revelaraacute recursos uacuteteis aqui temos um sobre os inqueacuteritos CAP e outro sobre LQAS A aacuterea de MampA do website do CORE Group inclui ligaccedilotildees com ferramentas e recursos importantes para a avaliaccedilatildeo raacutepida criados pelo Grupo de Trabalho de MampA do CORE Group
Como gestor deve revisar todas as fontes de dados jaacute existentes antes de planear a sua avaliaccedilatildeo A Tabela 7 apresenta as vantagens e desvantagens das trecircs principais fontes de
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 936
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 7 Resumo das trecircs fontes de dados mais comuns para uma avaliaccedilatildeo
Fonte de dados Vantagens Limitaccedilotildees
Estatiacutesticas de serviccedilo Dados sobre a populaccedilatildeo de utentes e serviccedilos cliacutenicos que satildeo recolhidos rotineiramente nos registos dos utentes e nos registos cliacutenicos
Disponiacuteveis imediatamente
Cobrem todos os tipos de serviccedilos de sauacutede e todas as aacutereas do paiacutes
Podem ser desagregados para os niacuteveis local e de distrito
Uso econoacutemico
Soacute lhe informam sobre clientes actuais sem informaccedilotildees sobre as pessoas que natildeo usam os serviccedilos de sauacutede e podem ser utentes em potencial
Natildeo fornecem informaccedilotildees sobre valores percepccedilotildees ou comportamentos da comunidade
Natildeo reflectem as pessoas que optam por fontes privadas de serviccedilos
Podem ser inexactas se os locais de prestaccedilatildeo de serviccedilos natildeo registarem os dados correctamente de forma legiacutevel e em tempo haacutebil
Inqueacuteritos de grande escala Inqueacuteritos de base populacional e avaliaccedilotildees de grande escala dos centros de sauacutede
Dados relevantes precisos e confiaacuteveis
Podem medir as tendecircncias nacionais de sauacutede identificar aacutereas com problemas e ajudar a concentrar os recursos do paiacutes em aacutereas de maior carecircncia
Geram valores meacutedios para as aacutereas urbanas e rurais regiotildees e proviacutencias
Fornecem um contexto para interpretar os dados recolhidos localmente
Podem gerar informaccedilotildees adicionais a partir dos seus conjuntos de dados informatizados
Geralmente natildeo podem desagregar os dados para fornecer meacutedias para as aacutereas sub-regionais (distritos ou municipalidades)
Geralmente natildeo satildeo realizadas anualmente os dados se tornam desactualizados rapidamente se as populaccedilotildees ou condiccedilotildees de sauacutede se modificarem rapidamente
Avaliaccedilotildees raacutepidas Meacutetodos focados para avaliar as necessidades locais e tomar decisotildees em acircmbito local
Raacutepidas e econoacutemicas
Resultam em acccedilatildeo local
Haacute directrizes para ajudar os gestores em vaacuterias dessas teacutecnicas
Fornecem aos gestores a capacidade de recolher os dados necessaacuterios
Os inqueacuteritos domiciliares (por ex LQAS ou CAP) podem obter precisatildeo suficiente para fins de avaliaccedilatildeo
Equilibra a necessidade de resultados representativos e objectivos com a necessidade de usar projectos levemente menos rigorosos que satildeo mais viaacuteveis em aacutereas locais
Usam escala e acircmbito reduzidos para produzir resultados em tempo haacutebil e de baixo custo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 937
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
dados que foram discutidas acima estatiacutesticas rotineiras de serviccedilos inqueacuteritos em grande escala e teacutecnicas de avaliaccedilatildeo raacutepida
Que niacutevel de qualidade os dados do SIS precisam ter para serem uacuteteis ndash que niacutevel de abrangecircncia precisatildeo e apresentaccedilatildeo em tempo haacutebil Para as suas necessidades de gestatildeo mesmo que natildeo sejam perfeitos os dados podem ser suficientemente bons para ter um efeito poderoso como nos mostra o exemplo de Madagascar
Dados do SIS pontos fortes e limitaccedilotildees
Subestimar o valor e a utilidade do SIS eacute infelizmente uma tendecircncia Eacute verdade que o SIS tem problemas frequentemente mas tambeacutem eacute grande o seu potencial Como vimos em
Como usar e melhorar dados imperfeitos do SIS ndash Um exemplo de Madagascar
Um SIS de base comunitaacuteria mais preciso e mais oportuno Um projecto de Madagascar implementou um meacutetodo baseado na comunidade para aumentar o uso de meacutetodos de planeamento familiar denominado ldquoComunidades Campeatildesrdquo em 50 dos 110 distritos do paiacutes O meacutetodo utilizou exclusivamente os dados do SIS para monitorar e avaliar as realizaccedilotildees das comunidades participantes
Em primeiro lugar foi estabelecida uma base de referecircncia para cada comunidade ao usar os dados do seu centro de sauacutede Em seguida o pessoal do centro de sauacutede e os representantes da comunidade identificaram metas para 10 indicadores que determinariam se uma comunidade tinha alcanccedilado a posiccedilatildeo de campeatilde apoacutes 12 meses de implementaccedilatildeo Cada comunidade monitorava seu proacuteprio progresso em uma reuniatildeo trimestral de verificaccedilatildeo
Apoacutes 12 meses o pessoal do projecto voltou a cada comunidade para avaliar os resultados Examinaram os dados do relatoacuterio de monitoria de rotina de cada centro de sauacutede e para cada indicador Prepararam tambeacutem um relatoacuterio sobre os dados de cada comunidade e o enviaram para o supervisor de niacutevel distrital para a sua confirmaccedilatildeo com base nos registos informatizados do distrito As fontes de dados para os relatoacuterios do centro de sauacutede e registos de distrito foram as mesmas (registos dos centros de sauacutede) e por isso raramente ocorreu uma discrepacircncia Mas o que interessava era envolver o supervisor distrital no exame dos dados do centro de sauacutede para mostrar a utilidade de se usar ateacute mesmo dados simples nesse niacutevel
O projecto tambeacutem cooperou com o Ministeacuterio da Sauacutede a niacutevel distrital para melhorar a precisatildeo a abrangecircncia e a prontidatildeo do SIS A ecircnfase era obter dados mais completos dos centros de sauacutede e reduzir o tempo gasto pelo escritoacuterio distrital para receber o relatoacuterio do centro de sauacutede apreciaacute-lo devolvecirc-lo ao centro para qualquer correcccedilatildeo recebecirc-lo novamente dar entrada dos dados no sistema e finalmente enviaacute-los ao niacutevel central Os distritos satildeo responsaacuteveis por cooperar com os centros de sauacutede para melhorar o registo de dados e actualizar suas proacuteprias teacutecnicas de processamento de dados
Apoacutes dois anos de assistecircncia teacutecnica o SIS tinha realmente melhorado segundo os indicadores de precisatildeo abrangecircncia e prontidatildeo As melhorias mais notaacuteveis foram em prontidatildeo o tempo gasto pelo escritoacuterio distrital no processo descrito acima reduziu-se de 12 para 3 meses
Imperfeitas mais mesmo assim valiosos Deve-se lembrar que o projecto ldquoComunidades Campeatildesrdquo teve oacuteptimo resultado apesar dos dados imperfeitos Seu numerador (o nuacutemero de utentes regulares de planeamento familiar) era detalhado e preciso Mas suas estimativas das taxas de prevalecircncia do uso de contraceptivos natildeo eram muito precisas porque o denominador (nuacutemero de mulheres em idade reprodutiva) era apenas uma estimativa baseada num censo desactualizado e em estimativas anuais do governo sobre percentagens de crescimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 938
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Madagascar o projecto Comunidades Campeatildes melhorou o sistema substancialmente num periacuteodo de dois anos Nesse caso o sistema jaacute se encontrava relativamente funcional porque projectos anteriores haviam feito um grande esforccedilo para implantar o sistema e tornaacute-lo mais soacutelido Ao aprimorar a forma como o sistema era administrado e os dados eram usados o projecto posterior conseguiu fazer uma grande diferenccedila por meio de pequenas modificaccedilotildees
Os dados do SIS natildeo satildeo 100 exactos e nunca seratildeo Esta eacute a realidade com a qual todos os gestores tecircm que trabalhar Mas os dados natildeo precisam ser perfeitos para serem uacuteteis Eacute possiacutevel fazer a monitoria e a gestatildeo com dados imperfeitos Informaccedilotildees obtidas em tempo
(continuaccedilatildeo)
No entanto o projecto constatou que as taxas de prevalecircncia de uso de contraceptivos eram suficientemente boas para acompanhar o desempenho das comunidades que participavam do meacutetodo de Comunidades Campeatildes O pessoal do projecto tambeacutem complementou as comparaccedilotildees dessas taxas com as comparaccedilotildees dos valores do numerador nuacutemeros simples que faziam sentido para o pessoal do centro de sauacutede e tambeacutem para as comunidades
O niacutevel central comeccedilou a organizar workshops regionais trimestrais para divulgar os resultados ao niacutevel distrital Juntos os gestores dos niacuteveis distritais regionais e centrais analisaram o progresso e classificaram os distritos com base no seu desempenho Usaram a anaacutelise de causa-raiz ndash um processo que identifica as causas subjacentes de um problema ndash para entender os obstaacuteculos enfrentados pelos distritos que apresentavam baixo desempenho (Consulte o Apecircndice A no Capiacutetulo 2 deste guia para obter mais informaccedilotildees sobre a anaacutelise de causa-raiz) Finalmente o Ministeacuterio de Sauacutede mobilizou o apoio de agecircncias doadoras e de organizaccedilotildees parceiras para ajudaacute-los a melhorar
O ministeacuterio comeccedilou a usar as informaccedilotildees de sauacutede para administrar realmente o sistema de sauacutede Antes dessa intervenccedilatildeo poucas organizaccedilotildees confiavam ou utilizavam os dados do SIS Mas quando ficou claro que o sistema funcionava as agecircncias doadoras passaram a confiar as organizaccedilotildees parceiras passaram a utilizaacute-lo e o ministeacuterio se orgulhou do trabalho Pela primeira vez tinham uma visatildeo mais niacutetida do que acontecia em todo o paiacutes e podiam usar essas informaccedilotildees para buscar o apoio de agecircncias doadoras se necessaacuterio
Do mesmo modo os centros de sauacutede raramente usavam seus proacuteprios dados Eles simplesmente faziam os registos e os enviavam para o escritoacuterio distrital sem nem mesmo receber retroinformaccedilatildeo do mesmo Apoacutes a conclusatildeo do projecto perceberam como os dados mais precisos podiam ser usados em seu benefiacutecio e das comunidades
Os distritos tambeacutem actuavam antes de uma forma pouco informada Cada distrito dependia apenas dos seus proacuteprios dados e funcionava num vaacutecuo As mudanccedilas no SIS e o encorajamento do governo central forneceram aos distritos oportunidades para comparar seu trabalho e aprender uns com os outros
Aprendizagem com dados mais precisos completos e oportunos Os dados satildeo geralmente utilizados para fazer comparaccedilotildees mas satildeo menos frequentemente utilizados como ferramenta de aprendizagem Nesse caso depois que os relatoacuterios comeccedilaram a chegar dentro do prazo o Ministeacuterio da Sauacutede usou os dados ndash inclusive dados imperfeitos ndash para descobrir que distritos tinham um desempenho ruim e que distritos estavam melhor que os outros Assim aprenderam com os de melhor desempenho ao perguntar Por que seus resultados satildeo tatildeo bons O que estavam a fazer de diferente O que poderia ser replicado Finalmente aplicaram a aprendizagem ao usar esses distritos como modelos e ao oferecer mais apoio aos de pior desempenho
Todo o sistema de sauacutede se entusiasmou com as informaccedilotildees que podiam produzir e usar A comeccedilar do topo esse entusiasmo chegou aos niacuteveis inferiores e os motivou a melhorar sua recolha e processamento de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 939
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
haacutebil e com 75 de precisatildeo satildeo melhores que as informaccedilotildees com 95 de precisatildeo que chegam com vaacuterios meses de atraso
Apesar do seu grande valor por si soacutes os dados do SIS natildeo atenderatildeo a todas as necessidades de informaccedilatildeo de muitas organizaccedilotildees Algumas organizaccedilotildees e agecircncias doadoras precisam de dados que exigem avaliaccedilotildees ou sistemas especiais Aleacutem disso vaacuterias intervenccedilotildees foram projectadas para modificar o conhecimento as atitudes e as praacuteticas dos beneficiaacuterios factores que natildeo satildeo capturados nos dados de serviccedilo Eacute importante usar os dados do SIS sempre que possiacutevel e complementaacute-los com avaliaccedilotildees locais quando necessaacuterio
Como gestor de um programa de sauacutede ou de serviccedilos de sauacutede parte do seu trabalho deveria ser o de melhorar o SIS em seu paiacutes Ele eacute o uacutenico sistema de informaccedilotildees sustentaacutevel na maioria dos paiacuteses Os sistemas de informaccedilatildeo criados e mantidos por agecircncias doadoras ou organizaccedilotildees externas tecircm duraccedilatildeo limitada mas o SIS eacute parte permanente do seu legado
Se todos os parceiros e agecircncias doadoras trabalharem com o Ministeacuterio de Sauacutede para prestar assistecircncia teacutecnica e financeira ao SIS ele poderaacute render informaccedilotildees que trazem grandes melhorias para os serviccedilos de sauacutede e que justificam plenamente o investimento no mesmo
Praacuteticas comprovadas
Um sistema de MampA deveria proporcionar aos gestores o que eles precisam saber para agir Deve se basear em indicadores relevantes faacuteceis de usar e que possam ser fornecidos em tempo haacutebil para os ciclos de planeamento e apresentaccedilatildeo de relatoacuterios
Os resultados de MampA natildeo se destinam apenas ao pessoal de MampA da sua organizaccedilatildeo ou agrave agecircncia doadora As informaccedilotildees de MampA satildeo um recurso fundamental para as acccedilotildees e a aprendizagem Se o seu processo de MampA tiver mecanismos de retroinformaccedilatildeo que permitam aos tomadores de decisotildees reflectirem sobre os resultados e absorverem o que precisam para seus proacuteprios fins eles assumiratildeo o controlo do processo e utilizaratildeo o que ele oferecer
Se vocecirc define suas actividades de MampA no comeccedilo de uma intervenccedilatildeo ou projecto junto com o plano de acccedilatildeo para o projecto teraacute mais oportunidades de orientar e acompanhar a implementaccedilatildeo das actividades
Quando satildeo demasiado elaborados e complicados os planos de MampA natildeo satildeo usados Elabore um plano de MampA simples escolha ferramentas de monitoria faacuteceis de usar e seleccione a menor quantidade possiacutevel de indicadores para acompanhar o progresso e introduzir as mudanccedilas necessaacuterias ao longo do caminho
Para fortalecer um SIS eacute preciso trabalhar com as pessoas envolvidas os responsaacuteveis pelo sistema que registam transferem analisam comunicam e utilizam os dados e as informaccedilotildees para a gestatildeo dos serviccedilos
Ao fornecer os dados do SIS para os tomadores de decisotildees vocecirc deve reconhecer as diferenccedilas na frequecircncia dos relatoacuterios e nas quantidades de dados agregados e desagregados necessaacuterios aos niacuteveis diferentes de governo ou agraves organizaccedilotildees natildeo governamentais
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 924
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 5 Exemplo de um Plano de Monitoria e Avaliaccedilatildeo
Objectivo Os profissionais de sauacutede que receberam formaccedilatildeo aumentam sua capacidade de fornecer tratamento anti-retroviral de acordo com as directrizes nacionais
ActividadeProduto Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
CronogramaPrazo final
Cliacutenicos experientes em VIH recrutados para servir como mentores cliacutenicos em cinco hospitais regionais
Nuacutemero de mentores recrutados e designados a hospitais regionais
Registos de emprego
Como concluiacutedo Director adjunto para programas cliacutenicos
Setembro de 2008
Pessoal meacutedico em cinco hospitais regionais que recebem mentoria individual sobre terapia anti-retroviral
Nuacutemero de locais que recebem mentoria cliacutenica
Nuacutemero de meacutedicos que recebem mentoria individual
Nuacutemero de dias de mentoria cliacutenica realizados
Relatoacuterios mensais do mentor
Mensalmente Mentores Marccedilo de 2009
Resultados a meacutedio e longo prazo Indicador Fonte de dados
Frequecircncia da recolha dos dados
Pessoa responsaacutevel
Trabalhadores de sauacutede aumentam seu conhecimento sobre terapia anti-retroviral
80 dos participantes obtecircm 85 ou mais de pontuaccedilatildeo correcta no teste posterior
Trabalhadores de sauacutede melhoram suas habilidades no fornecimento de terapia anti-retroviral
Percentagem de habilidades demonstradas na lista de verificaccedilatildeo de competecircncia
Estudo especial Datas a definir Director adjunto para programas cliacutenicos
Fonte Centro Internacional de Formaccedilatildeo e Ensino sobre VIH p 2
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 925
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Observaccedilatildeo sobre o uso de indicadores para uma avaliaccedilatildeo A maioria dos esforccedilos de MampA enfatizam a selecccedilatildeo de indicadores bem definidos para estabelecer metas e medir as mudanccedilas nas condiccedilotildees e nos serviccedilos de sauacutede
Mas eacute importante lembrar que os indicadores servem apenas como marcadores Os dados dos indicadores fornecem pistas para saber se uma intervenccedilatildeo ou um grupo de actividades estaacute dentro do cronograma e se os resultados esperados estatildeo a ser alcanccedilados Eles natildeo respondem agraves perguntas de por que os resultados estatildeo ou natildeo a ser alcanccedilados Natildeo explicam os resultados fortuitos as relaccedilotildees entre intervenccedilotildees e resultados ou as causas de resultados percebidos que podem ocorrer fora da intervenccedilatildeo Assim natildeo podem recomendar medidas a tomar para melhorar os resultados
Os dados de indicadores devem portanto ser interpretados com cuidado Eles simplesmente indicam resultados que precisam ser melhor explorados em vez de fornecer uma avaliaccedilatildeo definitiva do sucesso ou fracasso Um estudo de avaliaccedilatildeo eacute geralmente executado para determinar se uma intervenccedilatildeo pode ser considerada um sucesso e por quecirc
Em geral agrave medida que sobe na hierarquia e passa das actividades para os resultados a longo prazo a MampA se torna mais complicada Nos niacuteveis de processo e produtos pode-se facilmente rastrear que actividades foram concluiacutedas e seus resultados imediatos Essas informaccedilotildees satildeo operacionais ndash informaccedilotildees que vocecirc pode usar para decisotildees quotidianas de gestatildeo Poreacutem para identificar e medir os resultados da sinergia dos produtos provavelmente teraacute que integrar as informaccedilotildees qualitativas e quantitativas e confiar menos em indicadores quantitativos singulares
Lembre-se de que quando uma melhoria desejada ndash seja na eficiecircncia do serviccedilo no conhecimento e comportamento dos provedores de serviccedilos ou dos beneficiaacuterios ou na tendecircncia de um problema de sauacutede ndash eacute confirmada atraveacutes de MampA isto natildeo prova que foi a intervenccedilatildeo que provocou a mudanccedila Outras coisas podem estar a se passar no serviccedilo ou no ambiente geral que causam essa mudanccedila Eacute claro que o mesmo se aplica aos resultados negativos ou resultados que indicam natildeo haver nenhuma mudanccedila nos resultados a meacutedio e longo prazo
QUADRO 3 Como usar dados de base para ajustar os resultados
Uma equipa de sobrevivecircncia infantil estaacute a propor uma intervenccedilatildeo com o seguinte resultado mensuraacutevel e especiacutefico ldquoNos proacuteximos 12 meses 40 das crianccedilas entre 12 e 24 meses de idade na aacuterea de captaccedilatildeo seratildeo completamente imunizadasrdquo
Para determinar se seu programa pode realmente atingir esse resultado o pessoal precisa medir os niacuteveis actuais de vacinaccedilatildeo Ao examinar os dados vecircem que apenas 10 das crianccedilas na aacuterea de captaccedilatildeo estatildeo completamente imunizadas ao completarem 24 meses Estes satildeo portanto seus dados de base
A gestora entende que natildeo seraacute possiacutevel atingir o objectivo de 40 de cobertura de imunizaccedilatildeo em apenas 12 meses Por isso ela e sua equipa revisam o resultado esperado e o modificam para que seja mais razoaacutevel e realista mas continue sendo significativo ldquoNos proacuteximos 12 meses 20 das crianccedilas de 12 a 24 meses na aacuterea de de actuaccedilatildeo seratildeo completamente imunizadas
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 926
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 6 COMPARTILHE E USE SEUS DADOS
Na pressa para comeccedilar a recolher dados alguns gestores se esquecem de planear um processo para reflectir sobre as informaccedilotildees e fazer mudanccedilas para aumentar a eficiecircncia das actividades Para garantir que os dados sejam natildeo soacute recolhidos mas tambeacutem utilizados pense como vocecirc e sua equipa divulgaratildeo as informaccedilotildees sobre MampA e obteratildeo retroinformaccedilatildeo dos diversos grupos de interesse Algumas perguntas baacutesicas serviratildeo para lhe orientar
Quem precisa de que tipo de informaccedilotildees e quando precisam delas Que tipo de formato deve usar para comunicar os resultados ao pessoal
aos gestores de niacutevel superior e a outros grupos de interesse importantes Eacute suficiente fazer circular um relatoacuterio ou deveria organizar uma reuniatildeo ou workshop
Deveria tambeacutem organizar reuniotildees com a comunidade para solicitar retroinformaccedilatildeo dos seus beneficiaacuterios sobre os primeiros resultados da MampA
Como deve apresentar as informaccedilotildees para que sejam uacuteteis aos diferentes tomadores de decisotildees As informaccedilotildees devem ser apresentadas visualmente em diagramas graacuteficos ou mapas Para obter orientaccedilatildeo sobre dados e resultados consulte o Guiatildeo de MampA para Facilitadores de Programas de Desenvolvimento da Lideranccedila
Uso dos resultados para melhorar os dados de rotina em acccedilatildeo ndash Um exemplo do Paquistatildeo
No Paquistatildeo com o apoio do projecto PRIDE 10 equipas de subdistritos aplicaram o Processo de Avaliaccedilatildeo e Melhoria do Desempenho em Sauacutede Puacuteblica (PIP-PH) um conjunto de procedimentos e formatos para tratar dos problemas de sauacutede que identificaram como os mais graves para as suas populaccedilotildees Usaram o PIP-PH para priorizar os problemas e serviccedilos que mais precisavam de atenccedilatildeo a curto prazo para obter melhorias
Como parte do processo PIP-PH as equipas tambeacutem conceberam um formato de Estrutura de Vigilacircncia de Sauacutede (ldquoHealth Watch Frameworkrdquo) para os seus subdistritos como um todo e para os centros de sauacutede dentro deles Cada equipa seleccionou indicadores para medir a situaccedilatildeo de dois problemas de sauacutede puacuteblica os serviccedilos essenciais a eles relacionados e as limitaccedilotildees que afectavam esses serviccedilos
As equipas usaram os formulaacuterios Health Watch para estabelecer valores de base para os indicadores e depois para monitorar esses valores agrave medida que as intervenccedilotildees prosseguiam ao longo do tempo Os centros de sauacutede revisavam e actualizavam o formulaacuterio todo mecircs as equipas do subdistrito inclusive gestores de centros de sauacutede revisavam e discutiam os formulaacuterios trimestralmente os formulaacuterios revisados
As equipas de subdistrito usaram as informaccedilotildees para analisar os motivos do progresso ou falta de progresso para poderem prestar apoio aos gestores dos centros de sauacutede O processo estimulou os gestores dos centros de sauacutede a melhorarem a integridade e precisatildeo dos dados de rotina para poderem usar as informaccedilotildees e monitorarem mais eficazmente os eventos e os serviccedilos essenciais e introduzirem as melhorias necessaacuterias
Exemplos e informaccedilotildees detalhadas sobre o PIP-PH e o Health Watch Framework aparecem no Relatoacuterio Anual do Projecto PRIDE 2007
Para se informar mais sobre meacutetodos adicionais de utilizaccedilatildeo dos dados para melhorar o desempenho de uma organizaccedilatildeo equipa serviccedilo de sauacutede ou intervenccedilatildeo consulte o processo de Avaliaccedilatildeo e Melhoria de Desempenho (Performance Assessment and Improvement ndash PAI) no website de Programa de Lideranccedila Gestatildeo e Sustentabilidade (Leadership Management and Sustainability ndash LMS)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 927
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O processo de Monitoria e Avaliaccedilatildeo deve ser executado com o objectivo de usar imediatamente os resultados para identificar as falhas de desempenho e tomar medidas para reduzir ou eliminar essas falhas Vocecirc deve sempre planear formas de usar os resultados de MampA para o aprendizado e a acccedilatildeo Por exemplo o que deve fazer se as actividades do projecto natildeo trouxerem os resultados esperados O que precisa mudar se os serviccedilos essenciais natildeo estiverem a fornecer os niacuteveis de cobertura previstos ou a alcanccedilar grupos especiacuteficos de pessoas E como vocecirc pode levar esses fatos agrave atenccedilatildeo das pessoas certas para obter uma resposta raacutepida
Desenho de uma ferramenta de MampA
ARMADILHAS DA MONITORIA E AVALIACcedilAtildeO
Haacute vaacuterias armadilhas comuns que impedem que vocecirc como gestor aperfeiccediloe a funccedilatildeo de MampA na sua organizaccedilatildeo
Planeamento excessivo ou insuficienteAlguns gestores podem gastar tempo demais a preparar o plano de MampA do que resultam planos muito elaborados e complicados de usar Outros ficam muito ansiosos por implementar as intervenccedilotildees de MampA e comeccedilam antes de concluir o plano de MampA Isso significa que quando o plano fica pronto eacute geralmente tarde demais para obter dados de base viaacuteveis e a MampA tem que ser adiada Nesses casos o gestor talvez tenha que aceitar fazer a avaliaccedilatildeo mais tarde sem os dados de base que poderia usar para a comparaccedilatildeo
Descuidar-se da monitoria contiacutenua Outra armadilha frequente eacute a falha em incluir a monitoria contiacutenua na implementaccedilatildeo das actividades Isto ocorre frequentemente por falta de experiecircncia Muitos gestores natildeo tiveram acesso a ferramentas de monitoria uacuteteis (que satildeo raras) Talvez natildeo tenham recebido prontamente os resultados ou a retroinformaccedilatildeo do sistema de MampA no passado e por isso natildeo percebem como eacute importante realizar a monitoria de rotina Aleacutem disso gestores podem facilmente se emaranhar nos detalhes da implementaccedilatildeo e descuidar-se da monitoria de rotina
Exagerar Outra armadilha relacionada agrave monitoria eacute tentar rastrear os dados de todos os indicadores possiacuteveis Tentar obter os dados sobre um nuacutemero excessivo de factores torna o processo de monitoria tatildeo complicado que se torna impreciso Isso tambeacutem torna o processo mais lento de modo que no momento em que os dados satildeo recolhidos e analisados eles jaacute natildeo satildeo mais uacuteteis As ferramentas de monitoria muito demoradas e complicadas acabam por natildeo ser usadas O que acontece entatildeo O gestor deixa totalmente de fazer a monitoria e tem que recorrer agrave avaliaccedilatildeo
Se jaacute se deparou com esses problemas eacute hora de mudar a sua taacutectica Vocecirc pode criar um plano de MampA simples e usar ferramentas de monitoria simples Descubra o que tem que medir para obter os dados dentro de 3 a 6 meses o prazo vai depender dos ciclos de planeamento e apresentaccedilatildeo de relatoacuterios da sua organizaccedilatildeo Entenda tambeacutem qual eacute o miacutenimo que deve ser medido em uma avaliaccedilatildeo de longo prazo Busque a simplicidade mesmo se estiver diante de um conjunto complexo de actividades
Tente incluir apenas o que realmente precisa saber Pode testar todos os indicadores propostos antes de incluiacute-los no planeamento de MampA ao perguntar Quem precisa usar essas informaccedilotildees quando e com que finalidade Se um uacutenico indicador de produtos for suficiente perfeito Natildeo sobrecarregue a monitoria com indicadores desnecessaacuterios Muitas vezes menos dados fornecem mais informaccedilotildees
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 928
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
CARACTERIacuteSTICAS DE UMA BOA FERRAMENTA DE MONITORIA
Como gestor natildeo precisa saber tudo para gerir um serviccedilo ou dirigir uma intervenccedilatildeo mas precisa das informaccedilotildees imediatamente Portanto precisa de uma ferramenta de monitoria que possa fornecer informaccedilotildees suficientes e em tempo haacutebil para identificar e corrigir problemas assim que eles surgirem
Uma ferramenta de monitoria deve ser faacutecil de montar e utilizar As tabelas listas de verificaccedilatildeo e diagramas simples satildeo meacutetodos particularmente uacuteteis de recolher organizar e apresentar informaccedilotildees de monitoria
No miacutenimo sua ferramenta de monitoria deve permitir que vocecirc e sua equipa acompanhem
o progresso da implementaccedilatildeo da actividade a entrega de produtos ou resultados imediatos a situaccedilatildeo dos principais indicadores de resultados comparados aos resultados
esperados se for o caso as despesas orccedilamentais a disponibilidade de recursos humanos e financeiros os obstaacuteculos agrave implementaccedilatildeo e o que tem sido feito para superaacute-los
Vocecirc teraacute que responder agraves seguintes perguntas periodicamente
As actividades foram implementadas conforme planeado dentro do prazo e do orccedilamento
Que actividades adicionais natildeo planeadas foram realizadas Que serviccedilos ou produtos directos e tangiacuteveis foram oferecidos como resultado
das actividades que implementamos Estamos dentro do cronograma para atingir nossos resultados a meacutedio e longo
prazo Possuiacutemos os recursos necessaacuterios (pessoal dinheiro medicamentos e
suprimentos etc) para cumprirmos o cronograma
O Quadro 4 apresenta os componentes baacutesicos de uma ferramenta simples de monitoria
QUADRO 4 Uma ferramenta simples de monitoria
Data de exame Metas de resultados
Actividades (segundo o plano de implementaccedilatildeo)
Situaccedilatildeo ateacute o momento
Resultados esperados
Datas para conclusatildeo
Situaccedilatildeo ateacute o momento Comentaacuterios
Desafios e oportunidades
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 929
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quando usadas correctamente as novas tecnologias (por ex os PDAs ldquosmartphonesrdquo laptops e outros) podem facilitar a monitoria e aumentar os benefiacutecios da monitoria das actividades A monitoria automatizada ndash dados que podem ser obtidos e processados automaticamente ndash podem produzir um resumo dos principais indicadores em uma soacute paacutegina faacutecil de ler e num formato que utiliza cores para alertar ao gestor sobre as aacutereas que precisam de maior atenccedilatildeo As informaccedilotildees obtidas em tempo haacutebil sobre alguns indicadores essenciais permitem que o gestor monitore o progresso e tome medidas correctivas
Essa apresentaccedilatildeo visual das informaccedilotildees mais importantes e necessaacuterias para gerir um projecto eacute geralmente conhecida como Painel de Indicadores de Desempenho Os paineacuteis de indicadores de desempenho podem ser usados em qualquer organizaccedilatildeo departamento ou divisatildeo Nas organizaccedilotildees de sauacutede puacuteblica os paineacuteis satildeo usados frequentemente para monitorar os indicadores financeiros e programaacuteticos bem como a cobertura produccedilatildeo eficaacutecia e qualidade de serviccedilos de sauacutede especiacuteficos Um painel de recursos humanos por exemplo incluiria indicadores relevantes para gerir o seguinte
retenccedilatildeo de funcionaacuterios rotatividade de funcionaacuterios formaccedilatildeo de funcionaacuterios lacunas de habilidades satisfaccedilatildeo dos funcionaacuterios custos benefiacutecios e despesas gerais com funcionaacuterios
A Tabela 6 mostra um painel de indicadores de desempenho criado para monitorar serviccedilos de contracepccedilatildeo ciruacutergica voluntaacuteria (CCV)
TABELA 6 Ilustraccedilatildeo de Painel de Indicadores de Desempenho para Serviccedilos de Contracepccedilatildeo Ciruacutergica Voluntaacuteria (CCV)
Serviccedilo Contracepccedilatildeo Ciruacutergica Voluntaacuteria Periacuteodo do Relatoacuterio Janeiro de 2009
No Indicador de Prestaccedilatildeo de Serviccedilos Custo Qualidade
Meta financeira ou programaacutetica
LimiarNuacutemero
alcanccedilado
Percentagem concluiacuteda
Miacuten Maacutex 10 20 30 40 50 60 70 80 90 100
1 Nuacutemero de CCVs realizadas no mecircs 8 10 7
2 Custo meacutedio das CCVs (US$) 100 120 110
3 Orccedilamento mensal da receita com CCVs realizadas (US$) 800 1200 770
4Percentagem das CCVs realizadas por pessoal
qualificadomdash 100 60
5 Percentagem das CCVs realizadas sem complicaccedilotildees 95 100 100
6
Percentagem de utentes satisfeitas com o tratamento
recebido do pessoal que realizou as CCVs
90 100 90
Adaptado de Colindres 2008 p 6
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 930
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja uma descriccedilatildeo do uso de um painel de indicadores de desempenho para a monitoria de rotina num estudo de caso estudo de caso de uma ONG da Boliacutevia o Centro de Investigaccedilatildeo Educaccedilatildeo e Serviccedilos (CIES)
Para obter mais informaccedilotildees de como criar um painel de indicadores consulte ldquoComo usar os paineacuteis de indicadores de desempenho para monitorar as realizaccedilotildees de uma organizaccedilatildeordquo Esse documento ajuda a esclarecer conceitos e define as etapas essenciais para criar paineacuteis de indicadores de desempenho
Como criar uma avaliaccedilatildeo para fins de aprendizagem
Apesar da importacircncia da monitoria de rotina apenas a monitoria natildeo basta para responder agrave pergunta ldquoE entatildeordquo Ou seja suas actividades e produtos contribuiacuteram para melhorar a cobertura dos serviccedilos aumentar o conhecimento ou encorajar comportamentos mais saudaacuteveis
Talvez uma campanha de comunicaccedilatildeo sobre planeamento familiar criada para aumentar a prevalecircncia do uso de contraceptivos tenha levado o governo a abastecer os depoacutesitos distritais com contraceptivos Para que possam aprender com essa experiecircncia e criar campanhas mais eficazes no futuro os gestores do projecto ainda querem saber que produtos foram realmente dispensados aos centros de sauacutede e distribuiacutedos aos utentes Esta secccedilatildeo discute como criar uma avaliaccedilatildeo para fins de aprendizagem
Existem dois motivos para levar a cabo uma avaliaccedilatildeo
1 A avaliaccedilatildeo fornece informaccedilotildees sobre o sucesso da sua equipa unidade ou organizaccedilatildeo para atingir seus objectivos Essas informaccedilotildees ajudam a definir que actividades expandir modificar ou eliminar Ela pode tambeacutem revelar formas de melhorar a concepccedilatildeo e gestatildeo das actividades futuras
2 A avaliaccedilatildeo pode demonstrar uma cultura de prestaccedilatildeo de contas agrave sua agecircncia doadora e a outros grupos de interesse nomeadamente o governo e os beneficiaacuterios dos seus serviccedilos
AVALIACcedilOtildeES FORMATIVAS E SUMATIVAS
Os gestores podem realizar dois amplos tipos de avaliaccedilotildees formativas e sumativas
Avaliaccedilatildeo formativa Este tipo de avaliaccedilatildeo eacute realizada durante o desenvolvimento e implementaccedilatildeo de um programa Seu objectivo eacute orientar o desenho e a implementaccedilatildeo de actividades que incluam as melhores e mais promissoras praacuteticas que aumentaratildeo as chances de sucesso A avaliaccedilatildeo formativa eacute mais comummente utilizada por projectos de grande porte ou de longo prazo em vez de projectos menores e de curto prazo Poreacutem os projectos menores devem pelo menos realizar uma avaliaccedilatildeo raacutepida das melhores praacuteticas durante a fase de planeamento para apoiar a loacutegica e o conteuacutedo proposto para as actividades
A avaliaccedilatildeo formativa inclui uma avaliaccedilatildeo de necessidades para discernir os desejos e requisitos de um grupo da populaccedilatildeo e determinar a melhor forma de atendecirc-los Inclui tambeacutem uma avaliaccedilatildeo de processo para investigar o processo utilizado para executar uma intervenccedilatildeo Pode-se usar a avaliaccedilatildeo do processo para determinar se as actividades foram realizadas de acordo com o plano ndash em termos de sua concepccedilatildeo original estimativas de custos e nuacutemero de pessoas a serem atendidas ndash e se a qualidade dos processos usados estaacute de acordo com as melhores praacuteticas conhecidas
A avaliaccedilatildeo de processo geralmente inclui vaacuterias abordagens Pode incluir uma avaliaccedilatildeo dos dados referentes aos produtos (por ex nuacutemero de redes mosquiteiras fornecidas nuacutemero
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 931
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
de workshops de formaccedilatildeo realizados nuacutemero de participantes dos workshops) assim como entrevistas individuais ou grupos de enfoque entre os beneficiaacuterios Nas intervenccedilotildees de menor porte eacute uma boa praacutetica realizar uma avaliaccedilatildeo de processo mesmo se limitada agrave retroinformaccedilatildeo dos participantes
Avaliaccedilatildeo somativa Este tipo de avaliaccedilatildeo eacute realizada apoacutes a conclusatildeo de um grupo de actividades ou da intervenccedilatildeo para avaliar a qualidade da intervenccedilatildeo e os seus principais resultados A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo a avaliaccedilatildeo do impacto a anaacutelise de custo-benefiacutecio e custo-eficaacutecia e a investigaccedilatildeo operacional
A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo que avalia em que medida uma equipa unidade ou organizaccedilatildeo inteira atingiram seus resultados esperados A avaliaccedilatildeo dos resultados eacute usada para demonstrar que existe uma cultura de prestaccedilatildeo de contas para aperfeiccediloar o projecto de actividades organizacionais para melhorar a distribuiccedilatildeo dos recursos e para promover intervenccedilotildees futuras bem-sucedidas As principais perguntas satildeo Que modificaccedilotildees ocorreram na vida das pessoas das famiacutelias ou da comunidade como resultado do nosso trabalho Que diferenccedila fizemos
Como observamos anteriormente neste capiacutetulo os resultados a meacutedio e longo prazo satildeo geralmente mudanccedilas mensuraacuteveis eou observaacuteveis em duas dimensotildees A primeira dimensatildeo abrange a conscientizaccedilatildeo o conhecimento as atitudes os valores e as habilidades dos participantes de um programa ou dos beneficiaacuterios dos serviccedilos durante ou depois de seu envolvimento na intervenccedilatildeo A segunda dimensatildeo implica mudanccedilas no comportamento desses mesmos grupos
Idealmente as duas dimensotildees deveriam ser medidas em trecircs pontos no comeccedilo e no final do periacuteodo de implementaccedilatildeo e se possiacutevel apoacutes um periacuteodo de acompanhamento adequado Se a mediccedilatildeo do acompanhamento natildeo for viaacutevel pelo menos devem ser comparadas as mediccedilotildees de base e poacutes-intervenccedilatildeo Muitas vezes as mudanccedilas podem ser pequenas mas deve haver alguma melhoria em pelo menos um ou dois resultados para que a intervenccedilatildeo seja considerada um sucesso
A avaliaccedilatildeo dos resultados tenta distinguir entre a influecircncia da intervenccedilatildeo nessas mudanccedilas e a influecircncia de outros factores externos Mas geralmente os avaliadores teratildeo que optar pela atribuiccedilatildeo parcial de um resultado a uma intervenccedilatildeo ou serviccedilo especiacutefico devido agrave dificuldade em determinar uma relaccedilatildeo directa e causal entre o serviccedilo prestado e uma determinada mudanccedila
As avaliaccedilotildees de resultados utilizam geralmente um desenho natildeo experimental (geralmente denominado ldquopreacute e poacutes-avaliaccedilatildeordquo) que simplesmente mede as mudanccedilas antes e depois de uma intervenccedilatildeo ou seja diferente do desenho experimental (que compara os participantes com um grupo de controlo com designaccedilatildeo aleatoacuteria a ambos os grupos) ou do desenho semi-experimental (que compara os participantes com um grupo de controlo mas sem a designaccedilatildeo aleatoacuteria)
O desenho natildeo experimental eacute aceitaacutevel para as mediccedilotildees e relatoacuterios padratildeo dos resultados a meacutedio e longo prazo As ONGs raramente usam os desenhos experimentais Apesar de uma organizaccedilatildeo de grande porte e com muitos recursos poder ocasionalmente receber assistecircncia de especialistas para um desenho experimental a maioria delas acha que as consideraccedilotildees eacuteticas e logiacutesticas impedem a designaccedilatildeo aleatoacuteria dos participantes aos grupos de intervenccedilatildeo e de controlo Aleacutem disso o custo de recolher dados de um grupo de controlo seraacute provavelmente muito elevado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 932
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A avaliaccedilatildeo do impacto eacute outro componente da avaliaccedilatildeo somativa Eacute mais ampla do que a avaliaccedilatildeo de resultados e avalia os efeitos liacutequidos ou gerais ndash tanto intencionais como natildeo intencionais ndash de todo um programa grupo de programas ou grupo de organizaccedilotildees As avaliaccedilotildees de impacto geralmente se estendem por um periacuteodo de 3 a 5 anos
OUTROS TIPOS DE AVALIACcedilOtildeES
Anaacutelise de custo-benefiacutecio e custo-eficaacutecia Estes tipos de anaacutelise tratam da eficiecircncia da intervenccedilatildeo ao analisar os resultados em termos dos seus custos financeiros e do seu valor
Investigaccedilatildeo operacional Trata-se de um balanccedilo ou avaliaccedilatildeo de uma intervenccedilatildeo especiacutefica no contexto de um programa mais amplo que estaacute a fazer vaacuterias intervenccedilotildees A investigaccedilatildeo operacional eacute usada para testar e avaliar novas abordagens de prestaccedilatildeo de serviccedilos de sauacutede Eacute tambeacutem usada para identificar problemas na prestaccedilatildeo de serviccedilos e oferecer soluccedilotildees
A investigaccedilatildeo operacional eacute uma ferramenta poderosa que os gestores de programas e os tomadores de decisotildees podem usar para melhorar e expandir os serviccedilos Os estudos de investigaccedilatildeo operacional comparam intervenccedilotildees que estatildeo dentro da esfera de influecircncia do gestor Os exemplos incluem a avaliaccedilatildeo da eficaacutecia de uma nova estrateacutegia de prevenccedilatildeo de VIHSIDA um novo curso de formaccedilatildeo um novo conjunto de procedimentos para gerir medicamentos um novo meacutetodo contraceptivo ou um novo serviccedilo de sauacutede reprodutiva
O Toolkit de Investigaccedilatildeo Operacional do Programa Horizons sobre VIHSIDA do Population Council fornece informaccedilotildees detalhadas para criar um estudo de investigaccedilatildeo operacional
CONSIDERACcedilOtildeES PARA A FORMULACcedilAtildeO DE UMA AVALIACcedilAtildeO
O que avaliar para responder agrave pergunta ldquoE entatildeordquo Se quiser saber como gestor se as suas actividades tiveram realmente sucesso precisa preparar todas as intervenccedilotildees tendo em mente a avaliaccedilatildeo e incorporar a avaliaccedilatildeo ao seu planeamento organizacional geral Ao definir objectivos deve se perguntar Como saberemos se estamos a atingir esses objectivos Este eacute o ponto de partida para a avaliaccedilatildeo
Seja qual for o porte da sua intervenccedilatildeo ou serviccedilo e o alcance da avaliaccedilatildeo precisaraacute responder a trecircs perguntas durante a fase de desenho e planeamento
1 O que a sua intervenccedilatildeo ou serviccedilo conseguiraacute realizar a curto e longo prazo Se implementar um conjunto de actividades com sucesso ao longo do tempo o que seraacute diferente
2 Como conceptualiza as suas actividades ndash qual eacute a loacutegica subjacente Duas abordagens para identificar a loacutegica do programa satildeo discutidas neste capiacutetulo na secccedilatildeo intitulada Ferramentas e Abordagens Praacuteticas para MampA
3 Que indicadores pode usar para identificar o progresso no alcance dos resultados
Para responder agrave pergunta ldquoE entatildeordquo vocecirc precisa avaliar os factores sobre os quais tem um niacutevel razoaacutevel de controlo Por exemplo um novo serviccedilo criado para oferecer alojamento a pessoas que vivem com SIDA natildeo pode controlar ou afectar a expectativa de vida das pessoas agraves quais atende Mas ao fornecer um ambiente estaacutevel para elas viverem o serviccedilo pode diminuir o niacutevel de stresse e melhorar a qualidade de vida dessas pessoas que antes eram forccediladas a se mudar com frequecircncia
Depois de tratar da pergunta ldquoE entatildeordquo deve tambeacutem se certificar de que a avaliaccedilatildeo seja concebida de forma que quando o processo estiver concluiacutedo vocecirc possa abordar os cinco toacutepicos principais da avaliaccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 933
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
1 Relevacircncia Foi uma boa ideia fazer a intervenccedilatildeo considerando-se a situaccedilatildeo e a necessidade de melhorias Ela tratou das prioridades do grupo alvo ou beneficiaacuterio Por que sim ou por que natildeo
2 Eficaacutecia Os resultados produtos e actividades foram realizados Por que sim ou por que natildeo A loacutegica da intervenccedilatildeo eacute correcta
3 Eficiecircncia Os insumos (recursos e tempo) foram usados da melhor forma possiacutevel para atingir os resultados a meacutedio e longo prazo Por que sim ou por que natildeo O que vocecirc e sua equipa poderiam fazer de modo diferente no futuro para maximizar os resultados a um custo aceitaacutevel
4 Impacto Em que medida a sua intervenccedilatildeo contribuiu para as metas nacionais ou de longo prazo Que consequecircncias natildeo intencionais (positivas ou negativas) suas actividades tiveram Por que essas consequecircncias aconteceram
5 Sustentabilidade Eacute provaacutevel que os resultados positivos continuem depois que sua intervenccedilatildeo terminar Por que sim ou por que natildeo
Uma uacuteltima advertecircncia assim como a monitoria pode-se complicar demasiado a avaliaccedilatildeo Ao preparar um plano de avaliaccedilatildeo o melhor eacute seleccionar um grupo pequeno de indicadores e resistir agrave tentaccedilatildeo de avaliar todos os aspectos da sua intervenccedilatildeo
Assim como a monitoria a avaliaccedilatildeo soacute eacute uacutetil se as informaccedilotildees forem repassadas em tempo haacutebil para o gestor e outros tomadores de decisotildees e grupos de interesse Um problema comum com as avaliaccedilotildees intercalares eacute que os resultados geralmente soacute satildeo informados de 6 a 8 meses mais tarde o que deixa apenas 1 ou 2 anos para fazer mudanccedilas mais permanentes antes que se esgotem os fundos do governo ou da agecircncia doadora
COMO SELECCIONAR SUAS FONTES DE DADOS
Esta secccedilatildeo descreve trecircs tipos de fontes de dados que satildeo comummente usadas para uma avaliaccedilatildeo dados recolhidos rotineiramente inqueacuteritos de grande escala e teacutecnicas de avaliaccedilatildeo raacutepida inclusive a avaliaccedilatildeo participativa
Dados de rotina Os dados recolhidos e analisados rotineiramente por um SIS satildeo denominados ldquoestatiacutesticas de serviccedilordquo Pode-se utilizar vaacuterios sistemas de informaccedilatildeo de serviccedilos de rotina para monitorar os serviccedilos Alguns deles satildeo o sistema baacutesico de registo e relatoacuterio de SIS os sistemas especiais de relatoacuterios sobre programas (por ex tuberculose malaacuteria imunizaccedilatildeo VIH planeamento familiar etc) os sistemas de relatoacuterios sobre agentes comunitaacuterios especiais (por ex registos de agentes comunitaacuterios de sauacutede) o sistema de informaccedilotildees para a vigilacircncia de doenccedilas e o controlo notificaccedilatildeo e resposta a surtos e os relatoacuterios para os sistemas de suporte especiais (por ex medicamentos encaminhamentos e gestatildeo financeira e de recursos humanos)
Esses sistemas fornecem dados que estatildeo imediatamente disponiacuteveis e cujo objectivo eacute informar o que estaacute a acontecer no sector de sauacutede Os dados de rotina incluem por exemplo o nuacutemero de consultas de preacute-natal em uma cliacutenica o nuacutemero e tipo de vacinaccedilotildees fornecidas no local ou o nuacutemero e tipos de contraceptivos fornecidos mensalmente
Os dados sobre os serviccedilos satildeo geralmente recolhidos pelos centros de sauacutede ou postos de sauacutede e enviados para o proacuteximo niacutevel superior do sistema (geralmente o distrito) para serem agregados Esses dados podem entatildeo ser enviados ao proacuteximo niacutevel superior (regional ou provincial) para posterior agregaccedilatildeo antes que cheguem finalmente ao niacutevel central do Ministeacuterio da Sauacutede
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 934
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Idealmente os gestores de centros de sauacutede e ao niacutevel do distrito usam esses dados para orientar as operaccedilotildees diaacuterias acompanhar o desempenho e a prestaccedilatildeo de contas e tomar decisotildees que continuem a melhorar o desempenho Mas haacute vaacuterios obstaacuteculos a essa utilizaccedilatildeo
Muito frequentemente os dados de rotina satildeo imprecisos ou incompletos Apesar dos que utilizam o SIS tentarem produzir informaccedilotildees de alta qualidade e em tempo haacutebil haacute muitas oportunidades de introduzir erros Pode haver pouco apoio para que os gestores e seu pessoal se concentrem nos procedimentos correctos de recolha registo e agregaccedilatildeo dos dados
Os sistemas de sauacutede de vaacuterios paiacuteses enfatizam a importacircncia de apresentar relatoacuterios para os niacuteveis superiores mas natildeo estabeleceram procedimentos e incentivos para encorajar aqueles que fornecem informaccedilotildees a utilizaacute-las mesmo quando os dados satildeo de boa qualidade
Outra dificuldade eacute que as estatiacutesticas sobre serviccedilos fornecem informaccedilotildees apenas sobre os utentes que utilizam os serviccedilos de sauacutede Natildeo podem fornecer informaccedilotildees sobre as muitas pessoas que natildeo utilizam os serviccedilos
Por tudo isso natildeo se pode confiar apenas nas estatiacutesticas sobre serviccedilos para fazer uma avaliaccedilatildeo Elas satildeo melhor utilizadas para a monitoria de rotina dos problemas de sauacutede puacuteblica e dos serviccedilos essenciais relacionados
Inqueacuteritos em grande escala Os inqueacuteritos em grande escala satildeo outra fonte de informaccedilotildees imediatamente disponiacuteveis Incluem inqueacuteritos de base populacional tais como as Inqueacuterito Demograacutefico e de Sauacutede (IDS) dos EUA avaliaccedilotildees completas de centros de sauacutede como a Anaacutelise de Situaccedilatildeo do Population Council e os censos nacionais Em vaacuterios casos os gestores podem usar os dados de um inqueacuterito em grande escala existente para fornecer o contexto para a interpretaccedilatildeo dos dados capturados atraveacutes das suas proacuteprias avaliaccedilotildees
Por exemplo as IDS satildeo realizadas periodicamente para caracterizar a situaccedilatildeo de sauacutede em um paiacutes ou regiatildeo geograacutefica de grande extensatildeo para vaacuterios grupos populacionais homens mulheres crianccedilas bebeacutes e assim por diante Mas os dados das IDS natildeo podem normalmente ser desagregados para uso pelos gestores no niacutevel de distrito ou comunidade
Aleacutem disso como as IDS satildeo realizadas apenas a cada trecircs ou cinco anos as informaccedilotildees que fornecem podem natildeo estar suficientemente actualizadas para as necessidades de avaliaccedilatildeo dos gestores Apesar dessas dificuldades os dados das IDS satildeo uacuteteis para compreender tendecircncias regionais ou nacionais que podem ajudar a explicar dados recolhidos em uma avaliaccedilatildeo de foco especiacutefico
Avaliaccedilotildees raacutepidas Satildeo formas raacutepidas e econoacutemicas de obter informaccedilotildees para a tomada de decisotildees principalmente ao niacutevel da actividade Os exemplos incluem entrevistas quando os utentes saem de suas consultas as avaliaccedilotildees de pequena escala dos centros de sauacutede os inqueacuteritos raacutepidos por amostragem o exame analiacutetico de registos as entrevistas com grupos de enfoque e outros meacutetodos participativos
Poderaacute usar teacutecnicas de avaliaccedilatildeo raacutepida para complementar as informaccedilotildees obtidas com dados de rotina ou inqueacuteritos de grande escala As avaliaccedilotildees raacutepidas podem-lhe fornecer informaccedilotildees valiosas sobre sua aacuterea de captaccedilatildeo e sua aacuterea de responsabilidade mais ampla ndash ou seja as comunidades e as populaccedilotildees que deveriam ter acesso aos serviccedilos essenciais prestados por um centro de sauacutede determinado Elas podem tambeacutem fornecer contexto e uma compreensatildeo qualitativa dos dados quantitativos recolhidos pelos meacutetodos mais formais
Dentro da categoria de avaliaccedilotildees raacutepidas os meacutetodos participativos e os inqueacuteritos raacutepidos por amostragem merecem a sua atenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 935
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Meacutetodos participativos (tambeacutem chamados de aprendizagem e acccedilatildeo participativas) Essas teacutecnicas e meacutetodos visam incorporar o conhecimento e as opiniotildees dos membros da comunidade no planeamento e gestatildeo de projectos de desenvolvimento no esforccedilo para influenciar as poliacuteticas e na implementaccedilatildeo de programas Eles permitem incluir vozes da comunidade nas poliacuteticas no planeamento e nos inqueacuteritos e criam um senso de propriedade e participaccedilatildeo nos resultados de MampA e nas recomendaccedilotildees feitas pela organizaccedilatildeo e por seus beneficiaacuterios
Ao contraacuterio de outras teacutecnicas de avaliaccedilatildeo raacutepida os meacutetodos participativos natildeo se baseiam em amostragens Eles usam entrevistas individuais ou com informantes essenciais (inclusive entrevistas com utentes ao saiacuterem de suas consultas) entrevistas em grupo estudos de caso e outros meacutetodos qualitativos para identificar as condiccedilotildees locais e entender as perspectivas e prioridades locais
Em vaacuterios locais haacute membros da comunidade que natildeo podem ler nem escrever e por isso os meacutetodos participativos dependem frequentemente da comunicaccedilatildeo oral com apoio de imagens siacutembolos objectos fiacutesicos e memoacuteria colectiva
Os meacutetodos participativos podem ser usados antes durante e apoacutes a implementaccedilatildeo de uma intervenccedilatildeo ou um conjunto de actividades Eles fornecem informaccedilotildees para o projecto e a avaliaccedilatildeo e permitem a participaccedilatildeo activa das partes interessadas na tomada de decisotildees Durante a implementaccedilatildeo os meacutetodos participativos satildeo uacuteteis para identificar e solucionar problemas
Aproveite para examinar e utilizar uma lista de recursos online sobre inqueacuterito qualitativo e directrizes sobre discussotildees em grupos de enfoque no Community Tool Box da Universidade de Kansas
Inqueacuteritos raacutepidos por amostragem Estes inqueacuteritos podem ser utilizados para recolher informaccedilotildees padronizadas de uma amostra pequena e cuidadosamente seleccionada de pessoas ou domiciacutelios em uma aacuterea beneficiaacuteria Eles podem descrever as condiccedilotildees em uma comunidade particular ou grupo-alvo e permitem comparar grupos diferentes em um determinado momento ou mudanccedilas no mesmo grupo ao longo do tempo Permitem tambeacutem comparar condiccedilotildees actuais com os resultados planeados
Um dos inqueacuteritos mais comuns de pequena amostragem eacute o inqueacuterito CAP (Conhecimentos Atitudes e Praacuteticas) baseado em uma amostra de 30 agrupamentos
Amostragem para Garantia de Qualidade de Lotes (Lot Quality Sampling - LQAS) Essa eacute outra teacutecnica de avaliaccedilatildeo raacutepida que se usa cada vez mais na aacuterea de sauacutede puacuteblica A LQAS utiliza amostragens muito pequenas para obter informaccedilotildees confiaacuteveis em uma pequena aacuterea geograacutefica ou unidade administrativa Pode ser usada para detectar de forma precisa os extremos do desempenho ndash para determinar se uma intervenccedilatildeo foi mais aleacutem de um limiar superior de desempenho ou natildeo conseguiu atingir um limiar inferior de desempenho em termos de qualidade ou cobertura As amostras de lotes podem tambeacutem ser combinadas para fornecer estimativas de cobertura em uma aacuterea geograacutefica mais ampla
Uma busca na Web revelaraacute recursos uacuteteis aqui temos um sobre os inqueacuteritos CAP e outro sobre LQAS A aacuterea de MampA do website do CORE Group inclui ligaccedilotildees com ferramentas e recursos importantes para a avaliaccedilatildeo raacutepida criados pelo Grupo de Trabalho de MampA do CORE Group
Como gestor deve revisar todas as fontes de dados jaacute existentes antes de planear a sua avaliaccedilatildeo A Tabela 7 apresenta as vantagens e desvantagens das trecircs principais fontes de
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 936
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 7 Resumo das trecircs fontes de dados mais comuns para uma avaliaccedilatildeo
Fonte de dados Vantagens Limitaccedilotildees
Estatiacutesticas de serviccedilo Dados sobre a populaccedilatildeo de utentes e serviccedilos cliacutenicos que satildeo recolhidos rotineiramente nos registos dos utentes e nos registos cliacutenicos
Disponiacuteveis imediatamente
Cobrem todos os tipos de serviccedilos de sauacutede e todas as aacutereas do paiacutes
Podem ser desagregados para os niacuteveis local e de distrito
Uso econoacutemico
Soacute lhe informam sobre clientes actuais sem informaccedilotildees sobre as pessoas que natildeo usam os serviccedilos de sauacutede e podem ser utentes em potencial
Natildeo fornecem informaccedilotildees sobre valores percepccedilotildees ou comportamentos da comunidade
Natildeo reflectem as pessoas que optam por fontes privadas de serviccedilos
Podem ser inexactas se os locais de prestaccedilatildeo de serviccedilos natildeo registarem os dados correctamente de forma legiacutevel e em tempo haacutebil
Inqueacuteritos de grande escala Inqueacuteritos de base populacional e avaliaccedilotildees de grande escala dos centros de sauacutede
Dados relevantes precisos e confiaacuteveis
Podem medir as tendecircncias nacionais de sauacutede identificar aacutereas com problemas e ajudar a concentrar os recursos do paiacutes em aacutereas de maior carecircncia
Geram valores meacutedios para as aacutereas urbanas e rurais regiotildees e proviacutencias
Fornecem um contexto para interpretar os dados recolhidos localmente
Podem gerar informaccedilotildees adicionais a partir dos seus conjuntos de dados informatizados
Geralmente natildeo podem desagregar os dados para fornecer meacutedias para as aacutereas sub-regionais (distritos ou municipalidades)
Geralmente natildeo satildeo realizadas anualmente os dados se tornam desactualizados rapidamente se as populaccedilotildees ou condiccedilotildees de sauacutede se modificarem rapidamente
Avaliaccedilotildees raacutepidas Meacutetodos focados para avaliar as necessidades locais e tomar decisotildees em acircmbito local
Raacutepidas e econoacutemicas
Resultam em acccedilatildeo local
Haacute directrizes para ajudar os gestores em vaacuterias dessas teacutecnicas
Fornecem aos gestores a capacidade de recolher os dados necessaacuterios
Os inqueacuteritos domiciliares (por ex LQAS ou CAP) podem obter precisatildeo suficiente para fins de avaliaccedilatildeo
Equilibra a necessidade de resultados representativos e objectivos com a necessidade de usar projectos levemente menos rigorosos que satildeo mais viaacuteveis em aacutereas locais
Usam escala e acircmbito reduzidos para produzir resultados em tempo haacutebil e de baixo custo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 937
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
dados que foram discutidas acima estatiacutesticas rotineiras de serviccedilos inqueacuteritos em grande escala e teacutecnicas de avaliaccedilatildeo raacutepida
Que niacutevel de qualidade os dados do SIS precisam ter para serem uacuteteis ndash que niacutevel de abrangecircncia precisatildeo e apresentaccedilatildeo em tempo haacutebil Para as suas necessidades de gestatildeo mesmo que natildeo sejam perfeitos os dados podem ser suficientemente bons para ter um efeito poderoso como nos mostra o exemplo de Madagascar
Dados do SIS pontos fortes e limitaccedilotildees
Subestimar o valor e a utilidade do SIS eacute infelizmente uma tendecircncia Eacute verdade que o SIS tem problemas frequentemente mas tambeacutem eacute grande o seu potencial Como vimos em
Como usar e melhorar dados imperfeitos do SIS ndash Um exemplo de Madagascar
Um SIS de base comunitaacuteria mais preciso e mais oportuno Um projecto de Madagascar implementou um meacutetodo baseado na comunidade para aumentar o uso de meacutetodos de planeamento familiar denominado ldquoComunidades Campeatildesrdquo em 50 dos 110 distritos do paiacutes O meacutetodo utilizou exclusivamente os dados do SIS para monitorar e avaliar as realizaccedilotildees das comunidades participantes
Em primeiro lugar foi estabelecida uma base de referecircncia para cada comunidade ao usar os dados do seu centro de sauacutede Em seguida o pessoal do centro de sauacutede e os representantes da comunidade identificaram metas para 10 indicadores que determinariam se uma comunidade tinha alcanccedilado a posiccedilatildeo de campeatilde apoacutes 12 meses de implementaccedilatildeo Cada comunidade monitorava seu proacuteprio progresso em uma reuniatildeo trimestral de verificaccedilatildeo
Apoacutes 12 meses o pessoal do projecto voltou a cada comunidade para avaliar os resultados Examinaram os dados do relatoacuterio de monitoria de rotina de cada centro de sauacutede e para cada indicador Prepararam tambeacutem um relatoacuterio sobre os dados de cada comunidade e o enviaram para o supervisor de niacutevel distrital para a sua confirmaccedilatildeo com base nos registos informatizados do distrito As fontes de dados para os relatoacuterios do centro de sauacutede e registos de distrito foram as mesmas (registos dos centros de sauacutede) e por isso raramente ocorreu uma discrepacircncia Mas o que interessava era envolver o supervisor distrital no exame dos dados do centro de sauacutede para mostrar a utilidade de se usar ateacute mesmo dados simples nesse niacutevel
O projecto tambeacutem cooperou com o Ministeacuterio da Sauacutede a niacutevel distrital para melhorar a precisatildeo a abrangecircncia e a prontidatildeo do SIS A ecircnfase era obter dados mais completos dos centros de sauacutede e reduzir o tempo gasto pelo escritoacuterio distrital para receber o relatoacuterio do centro de sauacutede apreciaacute-lo devolvecirc-lo ao centro para qualquer correcccedilatildeo recebecirc-lo novamente dar entrada dos dados no sistema e finalmente enviaacute-los ao niacutevel central Os distritos satildeo responsaacuteveis por cooperar com os centros de sauacutede para melhorar o registo de dados e actualizar suas proacuteprias teacutecnicas de processamento de dados
Apoacutes dois anos de assistecircncia teacutecnica o SIS tinha realmente melhorado segundo os indicadores de precisatildeo abrangecircncia e prontidatildeo As melhorias mais notaacuteveis foram em prontidatildeo o tempo gasto pelo escritoacuterio distrital no processo descrito acima reduziu-se de 12 para 3 meses
Imperfeitas mais mesmo assim valiosos Deve-se lembrar que o projecto ldquoComunidades Campeatildesrdquo teve oacuteptimo resultado apesar dos dados imperfeitos Seu numerador (o nuacutemero de utentes regulares de planeamento familiar) era detalhado e preciso Mas suas estimativas das taxas de prevalecircncia do uso de contraceptivos natildeo eram muito precisas porque o denominador (nuacutemero de mulheres em idade reprodutiva) era apenas uma estimativa baseada num censo desactualizado e em estimativas anuais do governo sobre percentagens de crescimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 938
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Madagascar o projecto Comunidades Campeatildes melhorou o sistema substancialmente num periacuteodo de dois anos Nesse caso o sistema jaacute se encontrava relativamente funcional porque projectos anteriores haviam feito um grande esforccedilo para implantar o sistema e tornaacute-lo mais soacutelido Ao aprimorar a forma como o sistema era administrado e os dados eram usados o projecto posterior conseguiu fazer uma grande diferenccedila por meio de pequenas modificaccedilotildees
Os dados do SIS natildeo satildeo 100 exactos e nunca seratildeo Esta eacute a realidade com a qual todos os gestores tecircm que trabalhar Mas os dados natildeo precisam ser perfeitos para serem uacuteteis Eacute possiacutevel fazer a monitoria e a gestatildeo com dados imperfeitos Informaccedilotildees obtidas em tempo
(continuaccedilatildeo)
No entanto o projecto constatou que as taxas de prevalecircncia de uso de contraceptivos eram suficientemente boas para acompanhar o desempenho das comunidades que participavam do meacutetodo de Comunidades Campeatildes O pessoal do projecto tambeacutem complementou as comparaccedilotildees dessas taxas com as comparaccedilotildees dos valores do numerador nuacutemeros simples que faziam sentido para o pessoal do centro de sauacutede e tambeacutem para as comunidades
O niacutevel central comeccedilou a organizar workshops regionais trimestrais para divulgar os resultados ao niacutevel distrital Juntos os gestores dos niacuteveis distritais regionais e centrais analisaram o progresso e classificaram os distritos com base no seu desempenho Usaram a anaacutelise de causa-raiz ndash um processo que identifica as causas subjacentes de um problema ndash para entender os obstaacuteculos enfrentados pelos distritos que apresentavam baixo desempenho (Consulte o Apecircndice A no Capiacutetulo 2 deste guia para obter mais informaccedilotildees sobre a anaacutelise de causa-raiz) Finalmente o Ministeacuterio de Sauacutede mobilizou o apoio de agecircncias doadoras e de organizaccedilotildees parceiras para ajudaacute-los a melhorar
O ministeacuterio comeccedilou a usar as informaccedilotildees de sauacutede para administrar realmente o sistema de sauacutede Antes dessa intervenccedilatildeo poucas organizaccedilotildees confiavam ou utilizavam os dados do SIS Mas quando ficou claro que o sistema funcionava as agecircncias doadoras passaram a confiar as organizaccedilotildees parceiras passaram a utilizaacute-lo e o ministeacuterio se orgulhou do trabalho Pela primeira vez tinham uma visatildeo mais niacutetida do que acontecia em todo o paiacutes e podiam usar essas informaccedilotildees para buscar o apoio de agecircncias doadoras se necessaacuterio
Do mesmo modo os centros de sauacutede raramente usavam seus proacuteprios dados Eles simplesmente faziam os registos e os enviavam para o escritoacuterio distrital sem nem mesmo receber retroinformaccedilatildeo do mesmo Apoacutes a conclusatildeo do projecto perceberam como os dados mais precisos podiam ser usados em seu benefiacutecio e das comunidades
Os distritos tambeacutem actuavam antes de uma forma pouco informada Cada distrito dependia apenas dos seus proacuteprios dados e funcionava num vaacutecuo As mudanccedilas no SIS e o encorajamento do governo central forneceram aos distritos oportunidades para comparar seu trabalho e aprender uns com os outros
Aprendizagem com dados mais precisos completos e oportunos Os dados satildeo geralmente utilizados para fazer comparaccedilotildees mas satildeo menos frequentemente utilizados como ferramenta de aprendizagem Nesse caso depois que os relatoacuterios comeccedilaram a chegar dentro do prazo o Ministeacuterio da Sauacutede usou os dados ndash inclusive dados imperfeitos ndash para descobrir que distritos tinham um desempenho ruim e que distritos estavam melhor que os outros Assim aprenderam com os de melhor desempenho ao perguntar Por que seus resultados satildeo tatildeo bons O que estavam a fazer de diferente O que poderia ser replicado Finalmente aplicaram a aprendizagem ao usar esses distritos como modelos e ao oferecer mais apoio aos de pior desempenho
Todo o sistema de sauacutede se entusiasmou com as informaccedilotildees que podiam produzir e usar A comeccedilar do topo esse entusiasmo chegou aos niacuteveis inferiores e os motivou a melhorar sua recolha e processamento de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 939
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
haacutebil e com 75 de precisatildeo satildeo melhores que as informaccedilotildees com 95 de precisatildeo que chegam com vaacuterios meses de atraso
Apesar do seu grande valor por si soacutes os dados do SIS natildeo atenderatildeo a todas as necessidades de informaccedilatildeo de muitas organizaccedilotildees Algumas organizaccedilotildees e agecircncias doadoras precisam de dados que exigem avaliaccedilotildees ou sistemas especiais Aleacutem disso vaacuterias intervenccedilotildees foram projectadas para modificar o conhecimento as atitudes e as praacuteticas dos beneficiaacuterios factores que natildeo satildeo capturados nos dados de serviccedilo Eacute importante usar os dados do SIS sempre que possiacutevel e complementaacute-los com avaliaccedilotildees locais quando necessaacuterio
Como gestor de um programa de sauacutede ou de serviccedilos de sauacutede parte do seu trabalho deveria ser o de melhorar o SIS em seu paiacutes Ele eacute o uacutenico sistema de informaccedilotildees sustentaacutevel na maioria dos paiacuteses Os sistemas de informaccedilatildeo criados e mantidos por agecircncias doadoras ou organizaccedilotildees externas tecircm duraccedilatildeo limitada mas o SIS eacute parte permanente do seu legado
Se todos os parceiros e agecircncias doadoras trabalharem com o Ministeacuterio de Sauacutede para prestar assistecircncia teacutecnica e financeira ao SIS ele poderaacute render informaccedilotildees que trazem grandes melhorias para os serviccedilos de sauacutede e que justificam plenamente o investimento no mesmo
Praacuteticas comprovadas
Um sistema de MampA deveria proporcionar aos gestores o que eles precisam saber para agir Deve se basear em indicadores relevantes faacuteceis de usar e que possam ser fornecidos em tempo haacutebil para os ciclos de planeamento e apresentaccedilatildeo de relatoacuterios
Os resultados de MampA natildeo se destinam apenas ao pessoal de MampA da sua organizaccedilatildeo ou agrave agecircncia doadora As informaccedilotildees de MampA satildeo um recurso fundamental para as acccedilotildees e a aprendizagem Se o seu processo de MampA tiver mecanismos de retroinformaccedilatildeo que permitam aos tomadores de decisotildees reflectirem sobre os resultados e absorverem o que precisam para seus proacuteprios fins eles assumiratildeo o controlo do processo e utilizaratildeo o que ele oferecer
Se vocecirc define suas actividades de MampA no comeccedilo de uma intervenccedilatildeo ou projecto junto com o plano de acccedilatildeo para o projecto teraacute mais oportunidades de orientar e acompanhar a implementaccedilatildeo das actividades
Quando satildeo demasiado elaborados e complicados os planos de MampA natildeo satildeo usados Elabore um plano de MampA simples escolha ferramentas de monitoria faacuteceis de usar e seleccione a menor quantidade possiacutevel de indicadores para acompanhar o progresso e introduzir as mudanccedilas necessaacuterias ao longo do caminho
Para fortalecer um SIS eacute preciso trabalhar com as pessoas envolvidas os responsaacuteveis pelo sistema que registam transferem analisam comunicam e utilizam os dados e as informaccedilotildees para a gestatildeo dos serviccedilos
Ao fornecer os dados do SIS para os tomadores de decisotildees vocecirc deve reconhecer as diferenccedilas na frequecircncia dos relatoacuterios e nas quantidades de dados agregados e desagregados necessaacuterios aos niacuteveis diferentes de governo ou agraves organizaccedilotildees natildeo governamentais
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 925
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Observaccedilatildeo sobre o uso de indicadores para uma avaliaccedilatildeo A maioria dos esforccedilos de MampA enfatizam a selecccedilatildeo de indicadores bem definidos para estabelecer metas e medir as mudanccedilas nas condiccedilotildees e nos serviccedilos de sauacutede
Mas eacute importante lembrar que os indicadores servem apenas como marcadores Os dados dos indicadores fornecem pistas para saber se uma intervenccedilatildeo ou um grupo de actividades estaacute dentro do cronograma e se os resultados esperados estatildeo a ser alcanccedilados Eles natildeo respondem agraves perguntas de por que os resultados estatildeo ou natildeo a ser alcanccedilados Natildeo explicam os resultados fortuitos as relaccedilotildees entre intervenccedilotildees e resultados ou as causas de resultados percebidos que podem ocorrer fora da intervenccedilatildeo Assim natildeo podem recomendar medidas a tomar para melhorar os resultados
Os dados de indicadores devem portanto ser interpretados com cuidado Eles simplesmente indicam resultados que precisam ser melhor explorados em vez de fornecer uma avaliaccedilatildeo definitiva do sucesso ou fracasso Um estudo de avaliaccedilatildeo eacute geralmente executado para determinar se uma intervenccedilatildeo pode ser considerada um sucesso e por quecirc
Em geral agrave medida que sobe na hierarquia e passa das actividades para os resultados a longo prazo a MampA se torna mais complicada Nos niacuteveis de processo e produtos pode-se facilmente rastrear que actividades foram concluiacutedas e seus resultados imediatos Essas informaccedilotildees satildeo operacionais ndash informaccedilotildees que vocecirc pode usar para decisotildees quotidianas de gestatildeo Poreacutem para identificar e medir os resultados da sinergia dos produtos provavelmente teraacute que integrar as informaccedilotildees qualitativas e quantitativas e confiar menos em indicadores quantitativos singulares
Lembre-se de que quando uma melhoria desejada ndash seja na eficiecircncia do serviccedilo no conhecimento e comportamento dos provedores de serviccedilos ou dos beneficiaacuterios ou na tendecircncia de um problema de sauacutede ndash eacute confirmada atraveacutes de MampA isto natildeo prova que foi a intervenccedilatildeo que provocou a mudanccedila Outras coisas podem estar a se passar no serviccedilo ou no ambiente geral que causam essa mudanccedila Eacute claro que o mesmo se aplica aos resultados negativos ou resultados que indicam natildeo haver nenhuma mudanccedila nos resultados a meacutedio e longo prazo
QUADRO 3 Como usar dados de base para ajustar os resultados
Uma equipa de sobrevivecircncia infantil estaacute a propor uma intervenccedilatildeo com o seguinte resultado mensuraacutevel e especiacutefico ldquoNos proacuteximos 12 meses 40 das crianccedilas entre 12 e 24 meses de idade na aacuterea de captaccedilatildeo seratildeo completamente imunizadasrdquo
Para determinar se seu programa pode realmente atingir esse resultado o pessoal precisa medir os niacuteveis actuais de vacinaccedilatildeo Ao examinar os dados vecircem que apenas 10 das crianccedilas na aacuterea de captaccedilatildeo estatildeo completamente imunizadas ao completarem 24 meses Estes satildeo portanto seus dados de base
A gestora entende que natildeo seraacute possiacutevel atingir o objectivo de 40 de cobertura de imunizaccedilatildeo em apenas 12 meses Por isso ela e sua equipa revisam o resultado esperado e o modificam para que seja mais razoaacutevel e realista mas continue sendo significativo ldquoNos proacuteximos 12 meses 20 das crianccedilas de 12 a 24 meses na aacuterea de de actuaccedilatildeo seratildeo completamente imunizadas
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 926
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 6 COMPARTILHE E USE SEUS DADOS
Na pressa para comeccedilar a recolher dados alguns gestores se esquecem de planear um processo para reflectir sobre as informaccedilotildees e fazer mudanccedilas para aumentar a eficiecircncia das actividades Para garantir que os dados sejam natildeo soacute recolhidos mas tambeacutem utilizados pense como vocecirc e sua equipa divulgaratildeo as informaccedilotildees sobre MampA e obteratildeo retroinformaccedilatildeo dos diversos grupos de interesse Algumas perguntas baacutesicas serviratildeo para lhe orientar
Quem precisa de que tipo de informaccedilotildees e quando precisam delas Que tipo de formato deve usar para comunicar os resultados ao pessoal
aos gestores de niacutevel superior e a outros grupos de interesse importantes Eacute suficiente fazer circular um relatoacuterio ou deveria organizar uma reuniatildeo ou workshop
Deveria tambeacutem organizar reuniotildees com a comunidade para solicitar retroinformaccedilatildeo dos seus beneficiaacuterios sobre os primeiros resultados da MampA
Como deve apresentar as informaccedilotildees para que sejam uacuteteis aos diferentes tomadores de decisotildees As informaccedilotildees devem ser apresentadas visualmente em diagramas graacuteficos ou mapas Para obter orientaccedilatildeo sobre dados e resultados consulte o Guiatildeo de MampA para Facilitadores de Programas de Desenvolvimento da Lideranccedila
Uso dos resultados para melhorar os dados de rotina em acccedilatildeo ndash Um exemplo do Paquistatildeo
No Paquistatildeo com o apoio do projecto PRIDE 10 equipas de subdistritos aplicaram o Processo de Avaliaccedilatildeo e Melhoria do Desempenho em Sauacutede Puacuteblica (PIP-PH) um conjunto de procedimentos e formatos para tratar dos problemas de sauacutede que identificaram como os mais graves para as suas populaccedilotildees Usaram o PIP-PH para priorizar os problemas e serviccedilos que mais precisavam de atenccedilatildeo a curto prazo para obter melhorias
Como parte do processo PIP-PH as equipas tambeacutem conceberam um formato de Estrutura de Vigilacircncia de Sauacutede (ldquoHealth Watch Frameworkrdquo) para os seus subdistritos como um todo e para os centros de sauacutede dentro deles Cada equipa seleccionou indicadores para medir a situaccedilatildeo de dois problemas de sauacutede puacuteblica os serviccedilos essenciais a eles relacionados e as limitaccedilotildees que afectavam esses serviccedilos
As equipas usaram os formulaacuterios Health Watch para estabelecer valores de base para os indicadores e depois para monitorar esses valores agrave medida que as intervenccedilotildees prosseguiam ao longo do tempo Os centros de sauacutede revisavam e actualizavam o formulaacuterio todo mecircs as equipas do subdistrito inclusive gestores de centros de sauacutede revisavam e discutiam os formulaacuterios trimestralmente os formulaacuterios revisados
As equipas de subdistrito usaram as informaccedilotildees para analisar os motivos do progresso ou falta de progresso para poderem prestar apoio aos gestores dos centros de sauacutede O processo estimulou os gestores dos centros de sauacutede a melhorarem a integridade e precisatildeo dos dados de rotina para poderem usar as informaccedilotildees e monitorarem mais eficazmente os eventos e os serviccedilos essenciais e introduzirem as melhorias necessaacuterias
Exemplos e informaccedilotildees detalhadas sobre o PIP-PH e o Health Watch Framework aparecem no Relatoacuterio Anual do Projecto PRIDE 2007
Para se informar mais sobre meacutetodos adicionais de utilizaccedilatildeo dos dados para melhorar o desempenho de uma organizaccedilatildeo equipa serviccedilo de sauacutede ou intervenccedilatildeo consulte o processo de Avaliaccedilatildeo e Melhoria de Desempenho (Performance Assessment and Improvement ndash PAI) no website de Programa de Lideranccedila Gestatildeo e Sustentabilidade (Leadership Management and Sustainability ndash LMS)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 927
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O processo de Monitoria e Avaliaccedilatildeo deve ser executado com o objectivo de usar imediatamente os resultados para identificar as falhas de desempenho e tomar medidas para reduzir ou eliminar essas falhas Vocecirc deve sempre planear formas de usar os resultados de MampA para o aprendizado e a acccedilatildeo Por exemplo o que deve fazer se as actividades do projecto natildeo trouxerem os resultados esperados O que precisa mudar se os serviccedilos essenciais natildeo estiverem a fornecer os niacuteveis de cobertura previstos ou a alcanccedilar grupos especiacuteficos de pessoas E como vocecirc pode levar esses fatos agrave atenccedilatildeo das pessoas certas para obter uma resposta raacutepida
Desenho de uma ferramenta de MampA
ARMADILHAS DA MONITORIA E AVALIACcedilAtildeO
Haacute vaacuterias armadilhas comuns que impedem que vocecirc como gestor aperfeiccediloe a funccedilatildeo de MampA na sua organizaccedilatildeo
Planeamento excessivo ou insuficienteAlguns gestores podem gastar tempo demais a preparar o plano de MampA do que resultam planos muito elaborados e complicados de usar Outros ficam muito ansiosos por implementar as intervenccedilotildees de MampA e comeccedilam antes de concluir o plano de MampA Isso significa que quando o plano fica pronto eacute geralmente tarde demais para obter dados de base viaacuteveis e a MampA tem que ser adiada Nesses casos o gestor talvez tenha que aceitar fazer a avaliaccedilatildeo mais tarde sem os dados de base que poderia usar para a comparaccedilatildeo
Descuidar-se da monitoria contiacutenua Outra armadilha frequente eacute a falha em incluir a monitoria contiacutenua na implementaccedilatildeo das actividades Isto ocorre frequentemente por falta de experiecircncia Muitos gestores natildeo tiveram acesso a ferramentas de monitoria uacuteteis (que satildeo raras) Talvez natildeo tenham recebido prontamente os resultados ou a retroinformaccedilatildeo do sistema de MampA no passado e por isso natildeo percebem como eacute importante realizar a monitoria de rotina Aleacutem disso gestores podem facilmente se emaranhar nos detalhes da implementaccedilatildeo e descuidar-se da monitoria de rotina
Exagerar Outra armadilha relacionada agrave monitoria eacute tentar rastrear os dados de todos os indicadores possiacuteveis Tentar obter os dados sobre um nuacutemero excessivo de factores torna o processo de monitoria tatildeo complicado que se torna impreciso Isso tambeacutem torna o processo mais lento de modo que no momento em que os dados satildeo recolhidos e analisados eles jaacute natildeo satildeo mais uacuteteis As ferramentas de monitoria muito demoradas e complicadas acabam por natildeo ser usadas O que acontece entatildeo O gestor deixa totalmente de fazer a monitoria e tem que recorrer agrave avaliaccedilatildeo
Se jaacute se deparou com esses problemas eacute hora de mudar a sua taacutectica Vocecirc pode criar um plano de MampA simples e usar ferramentas de monitoria simples Descubra o que tem que medir para obter os dados dentro de 3 a 6 meses o prazo vai depender dos ciclos de planeamento e apresentaccedilatildeo de relatoacuterios da sua organizaccedilatildeo Entenda tambeacutem qual eacute o miacutenimo que deve ser medido em uma avaliaccedilatildeo de longo prazo Busque a simplicidade mesmo se estiver diante de um conjunto complexo de actividades
Tente incluir apenas o que realmente precisa saber Pode testar todos os indicadores propostos antes de incluiacute-los no planeamento de MampA ao perguntar Quem precisa usar essas informaccedilotildees quando e com que finalidade Se um uacutenico indicador de produtos for suficiente perfeito Natildeo sobrecarregue a monitoria com indicadores desnecessaacuterios Muitas vezes menos dados fornecem mais informaccedilotildees
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 928
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
CARACTERIacuteSTICAS DE UMA BOA FERRAMENTA DE MONITORIA
Como gestor natildeo precisa saber tudo para gerir um serviccedilo ou dirigir uma intervenccedilatildeo mas precisa das informaccedilotildees imediatamente Portanto precisa de uma ferramenta de monitoria que possa fornecer informaccedilotildees suficientes e em tempo haacutebil para identificar e corrigir problemas assim que eles surgirem
Uma ferramenta de monitoria deve ser faacutecil de montar e utilizar As tabelas listas de verificaccedilatildeo e diagramas simples satildeo meacutetodos particularmente uacuteteis de recolher organizar e apresentar informaccedilotildees de monitoria
No miacutenimo sua ferramenta de monitoria deve permitir que vocecirc e sua equipa acompanhem
o progresso da implementaccedilatildeo da actividade a entrega de produtos ou resultados imediatos a situaccedilatildeo dos principais indicadores de resultados comparados aos resultados
esperados se for o caso as despesas orccedilamentais a disponibilidade de recursos humanos e financeiros os obstaacuteculos agrave implementaccedilatildeo e o que tem sido feito para superaacute-los
Vocecirc teraacute que responder agraves seguintes perguntas periodicamente
As actividades foram implementadas conforme planeado dentro do prazo e do orccedilamento
Que actividades adicionais natildeo planeadas foram realizadas Que serviccedilos ou produtos directos e tangiacuteveis foram oferecidos como resultado
das actividades que implementamos Estamos dentro do cronograma para atingir nossos resultados a meacutedio e longo
prazo Possuiacutemos os recursos necessaacuterios (pessoal dinheiro medicamentos e
suprimentos etc) para cumprirmos o cronograma
O Quadro 4 apresenta os componentes baacutesicos de uma ferramenta simples de monitoria
QUADRO 4 Uma ferramenta simples de monitoria
Data de exame Metas de resultados
Actividades (segundo o plano de implementaccedilatildeo)
Situaccedilatildeo ateacute o momento
Resultados esperados
Datas para conclusatildeo
Situaccedilatildeo ateacute o momento Comentaacuterios
Desafios e oportunidades
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 929
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quando usadas correctamente as novas tecnologias (por ex os PDAs ldquosmartphonesrdquo laptops e outros) podem facilitar a monitoria e aumentar os benefiacutecios da monitoria das actividades A monitoria automatizada ndash dados que podem ser obtidos e processados automaticamente ndash podem produzir um resumo dos principais indicadores em uma soacute paacutegina faacutecil de ler e num formato que utiliza cores para alertar ao gestor sobre as aacutereas que precisam de maior atenccedilatildeo As informaccedilotildees obtidas em tempo haacutebil sobre alguns indicadores essenciais permitem que o gestor monitore o progresso e tome medidas correctivas
Essa apresentaccedilatildeo visual das informaccedilotildees mais importantes e necessaacuterias para gerir um projecto eacute geralmente conhecida como Painel de Indicadores de Desempenho Os paineacuteis de indicadores de desempenho podem ser usados em qualquer organizaccedilatildeo departamento ou divisatildeo Nas organizaccedilotildees de sauacutede puacuteblica os paineacuteis satildeo usados frequentemente para monitorar os indicadores financeiros e programaacuteticos bem como a cobertura produccedilatildeo eficaacutecia e qualidade de serviccedilos de sauacutede especiacuteficos Um painel de recursos humanos por exemplo incluiria indicadores relevantes para gerir o seguinte
retenccedilatildeo de funcionaacuterios rotatividade de funcionaacuterios formaccedilatildeo de funcionaacuterios lacunas de habilidades satisfaccedilatildeo dos funcionaacuterios custos benefiacutecios e despesas gerais com funcionaacuterios
A Tabela 6 mostra um painel de indicadores de desempenho criado para monitorar serviccedilos de contracepccedilatildeo ciruacutergica voluntaacuteria (CCV)
TABELA 6 Ilustraccedilatildeo de Painel de Indicadores de Desempenho para Serviccedilos de Contracepccedilatildeo Ciruacutergica Voluntaacuteria (CCV)
Serviccedilo Contracepccedilatildeo Ciruacutergica Voluntaacuteria Periacuteodo do Relatoacuterio Janeiro de 2009
No Indicador de Prestaccedilatildeo de Serviccedilos Custo Qualidade
Meta financeira ou programaacutetica
LimiarNuacutemero
alcanccedilado
Percentagem concluiacuteda
Miacuten Maacutex 10 20 30 40 50 60 70 80 90 100
1 Nuacutemero de CCVs realizadas no mecircs 8 10 7
2 Custo meacutedio das CCVs (US$) 100 120 110
3 Orccedilamento mensal da receita com CCVs realizadas (US$) 800 1200 770
4Percentagem das CCVs realizadas por pessoal
qualificadomdash 100 60
5 Percentagem das CCVs realizadas sem complicaccedilotildees 95 100 100
6
Percentagem de utentes satisfeitas com o tratamento
recebido do pessoal que realizou as CCVs
90 100 90
Adaptado de Colindres 2008 p 6
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 930
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja uma descriccedilatildeo do uso de um painel de indicadores de desempenho para a monitoria de rotina num estudo de caso estudo de caso de uma ONG da Boliacutevia o Centro de Investigaccedilatildeo Educaccedilatildeo e Serviccedilos (CIES)
Para obter mais informaccedilotildees de como criar um painel de indicadores consulte ldquoComo usar os paineacuteis de indicadores de desempenho para monitorar as realizaccedilotildees de uma organizaccedilatildeordquo Esse documento ajuda a esclarecer conceitos e define as etapas essenciais para criar paineacuteis de indicadores de desempenho
Como criar uma avaliaccedilatildeo para fins de aprendizagem
Apesar da importacircncia da monitoria de rotina apenas a monitoria natildeo basta para responder agrave pergunta ldquoE entatildeordquo Ou seja suas actividades e produtos contribuiacuteram para melhorar a cobertura dos serviccedilos aumentar o conhecimento ou encorajar comportamentos mais saudaacuteveis
Talvez uma campanha de comunicaccedilatildeo sobre planeamento familiar criada para aumentar a prevalecircncia do uso de contraceptivos tenha levado o governo a abastecer os depoacutesitos distritais com contraceptivos Para que possam aprender com essa experiecircncia e criar campanhas mais eficazes no futuro os gestores do projecto ainda querem saber que produtos foram realmente dispensados aos centros de sauacutede e distribuiacutedos aos utentes Esta secccedilatildeo discute como criar uma avaliaccedilatildeo para fins de aprendizagem
Existem dois motivos para levar a cabo uma avaliaccedilatildeo
1 A avaliaccedilatildeo fornece informaccedilotildees sobre o sucesso da sua equipa unidade ou organizaccedilatildeo para atingir seus objectivos Essas informaccedilotildees ajudam a definir que actividades expandir modificar ou eliminar Ela pode tambeacutem revelar formas de melhorar a concepccedilatildeo e gestatildeo das actividades futuras
2 A avaliaccedilatildeo pode demonstrar uma cultura de prestaccedilatildeo de contas agrave sua agecircncia doadora e a outros grupos de interesse nomeadamente o governo e os beneficiaacuterios dos seus serviccedilos
AVALIACcedilOtildeES FORMATIVAS E SUMATIVAS
Os gestores podem realizar dois amplos tipos de avaliaccedilotildees formativas e sumativas
Avaliaccedilatildeo formativa Este tipo de avaliaccedilatildeo eacute realizada durante o desenvolvimento e implementaccedilatildeo de um programa Seu objectivo eacute orientar o desenho e a implementaccedilatildeo de actividades que incluam as melhores e mais promissoras praacuteticas que aumentaratildeo as chances de sucesso A avaliaccedilatildeo formativa eacute mais comummente utilizada por projectos de grande porte ou de longo prazo em vez de projectos menores e de curto prazo Poreacutem os projectos menores devem pelo menos realizar uma avaliaccedilatildeo raacutepida das melhores praacuteticas durante a fase de planeamento para apoiar a loacutegica e o conteuacutedo proposto para as actividades
A avaliaccedilatildeo formativa inclui uma avaliaccedilatildeo de necessidades para discernir os desejos e requisitos de um grupo da populaccedilatildeo e determinar a melhor forma de atendecirc-los Inclui tambeacutem uma avaliaccedilatildeo de processo para investigar o processo utilizado para executar uma intervenccedilatildeo Pode-se usar a avaliaccedilatildeo do processo para determinar se as actividades foram realizadas de acordo com o plano ndash em termos de sua concepccedilatildeo original estimativas de custos e nuacutemero de pessoas a serem atendidas ndash e se a qualidade dos processos usados estaacute de acordo com as melhores praacuteticas conhecidas
A avaliaccedilatildeo de processo geralmente inclui vaacuterias abordagens Pode incluir uma avaliaccedilatildeo dos dados referentes aos produtos (por ex nuacutemero de redes mosquiteiras fornecidas nuacutemero
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 931
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
de workshops de formaccedilatildeo realizados nuacutemero de participantes dos workshops) assim como entrevistas individuais ou grupos de enfoque entre os beneficiaacuterios Nas intervenccedilotildees de menor porte eacute uma boa praacutetica realizar uma avaliaccedilatildeo de processo mesmo se limitada agrave retroinformaccedilatildeo dos participantes
Avaliaccedilatildeo somativa Este tipo de avaliaccedilatildeo eacute realizada apoacutes a conclusatildeo de um grupo de actividades ou da intervenccedilatildeo para avaliar a qualidade da intervenccedilatildeo e os seus principais resultados A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo a avaliaccedilatildeo do impacto a anaacutelise de custo-benefiacutecio e custo-eficaacutecia e a investigaccedilatildeo operacional
A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo que avalia em que medida uma equipa unidade ou organizaccedilatildeo inteira atingiram seus resultados esperados A avaliaccedilatildeo dos resultados eacute usada para demonstrar que existe uma cultura de prestaccedilatildeo de contas para aperfeiccediloar o projecto de actividades organizacionais para melhorar a distribuiccedilatildeo dos recursos e para promover intervenccedilotildees futuras bem-sucedidas As principais perguntas satildeo Que modificaccedilotildees ocorreram na vida das pessoas das famiacutelias ou da comunidade como resultado do nosso trabalho Que diferenccedila fizemos
Como observamos anteriormente neste capiacutetulo os resultados a meacutedio e longo prazo satildeo geralmente mudanccedilas mensuraacuteveis eou observaacuteveis em duas dimensotildees A primeira dimensatildeo abrange a conscientizaccedilatildeo o conhecimento as atitudes os valores e as habilidades dos participantes de um programa ou dos beneficiaacuterios dos serviccedilos durante ou depois de seu envolvimento na intervenccedilatildeo A segunda dimensatildeo implica mudanccedilas no comportamento desses mesmos grupos
Idealmente as duas dimensotildees deveriam ser medidas em trecircs pontos no comeccedilo e no final do periacuteodo de implementaccedilatildeo e se possiacutevel apoacutes um periacuteodo de acompanhamento adequado Se a mediccedilatildeo do acompanhamento natildeo for viaacutevel pelo menos devem ser comparadas as mediccedilotildees de base e poacutes-intervenccedilatildeo Muitas vezes as mudanccedilas podem ser pequenas mas deve haver alguma melhoria em pelo menos um ou dois resultados para que a intervenccedilatildeo seja considerada um sucesso
A avaliaccedilatildeo dos resultados tenta distinguir entre a influecircncia da intervenccedilatildeo nessas mudanccedilas e a influecircncia de outros factores externos Mas geralmente os avaliadores teratildeo que optar pela atribuiccedilatildeo parcial de um resultado a uma intervenccedilatildeo ou serviccedilo especiacutefico devido agrave dificuldade em determinar uma relaccedilatildeo directa e causal entre o serviccedilo prestado e uma determinada mudanccedila
As avaliaccedilotildees de resultados utilizam geralmente um desenho natildeo experimental (geralmente denominado ldquopreacute e poacutes-avaliaccedilatildeordquo) que simplesmente mede as mudanccedilas antes e depois de uma intervenccedilatildeo ou seja diferente do desenho experimental (que compara os participantes com um grupo de controlo com designaccedilatildeo aleatoacuteria a ambos os grupos) ou do desenho semi-experimental (que compara os participantes com um grupo de controlo mas sem a designaccedilatildeo aleatoacuteria)
O desenho natildeo experimental eacute aceitaacutevel para as mediccedilotildees e relatoacuterios padratildeo dos resultados a meacutedio e longo prazo As ONGs raramente usam os desenhos experimentais Apesar de uma organizaccedilatildeo de grande porte e com muitos recursos poder ocasionalmente receber assistecircncia de especialistas para um desenho experimental a maioria delas acha que as consideraccedilotildees eacuteticas e logiacutesticas impedem a designaccedilatildeo aleatoacuteria dos participantes aos grupos de intervenccedilatildeo e de controlo Aleacutem disso o custo de recolher dados de um grupo de controlo seraacute provavelmente muito elevado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 932
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A avaliaccedilatildeo do impacto eacute outro componente da avaliaccedilatildeo somativa Eacute mais ampla do que a avaliaccedilatildeo de resultados e avalia os efeitos liacutequidos ou gerais ndash tanto intencionais como natildeo intencionais ndash de todo um programa grupo de programas ou grupo de organizaccedilotildees As avaliaccedilotildees de impacto geralmente se estendem por um periacuteodo de 3 a 5 anos
OUTROS TIPOS DE AVALIACcedilOtildeES
Anaacutelise de custo-benefiacutecio e custo-eficaacutecia Estes tipos de anaacutelise tratam da eficiecircncia da intervenccedilatildeo ao analisar os resultados em termos dos seus custos financeiros e do seu valor
Investigaccedilatildeo operacional Trata-se de um balanccedilo ou avaliaccedilatildeo de uma intervenccedilatildeo especiacutefica no contexto de um programa mais amplo que estaacute a fazer vaacuterias intervenccedilotildees A investigaccedilatildeo operacional eacute usada para testar e avaliar novas abordagens de prestaccedilatildeo de serviccedilos de sauacutede Eacute tambeacutem usada para identificar problemas na prestaccedilatildeo de serviccedilos e oferecer soluccedilotildees
A investigaccedilatildeo operacional eacute uma ferramenta poderosa que os gestores de programas e os tomadores de decisotildees podem usar para melhorar e expandir os serviccedilos Os estudos de investigaccedilatildeo operacional comparam intervenccedilotildees que estatildeo dentro da esfera de influecircncia do gestor Os exemplos incluem a avaliaccedilatildeo da eficaacutecia de uma nova estrateacutegia de prevenccedilatildeo de VIHSIDA um novo curso de formaccedilatildeo um novo conjunto de procedimentos para gerir medicamentos um novo meacutetodo contraceptivo ou um novo serviccedilo de sauacutede reprodutiva
O Toolkit de Investigaccedilatildeo Operacional do Programa Horizons sobre VIHSIDA do Population Council fornece informaccedilotildees detalhadas para criar um estudo de investigaccedilatildeo operacional
CONSIDERACcedilOtildeES PARA A FORMULACcedilAtildeO DE UMA AVALIACcedilAtildeO
O que avaliar para responder agrave pergunta ldquoE entatildeordquo Se quiser saber como gestor se as suas actividades tiveram realmente sucesso precisa preparar todas as intervenccedilotildees tendo em mente a avaliaccedilatildeo e incorporar a avaliaccedilatildeo ao seu planeamento organizacional geral Ao definir objectivos deve se perguntar Como saberemos se estamos a atingir esses objectivos Este eacute o ponto de partida para a avaliaccedilatildeo
Seja qual for o porte da sua intervenccedilatildeo ou serviccedilo e o alcance da avaliaccedilatildeo precisaraacute responder a trecircs perguntas durante a fase de desenho e planeamento
1 O que a sua intervenccedilatildeo ou serviccedilo conseguiraacute realizar a curto e longo prazo Se implementar um conjunto de actividades com sucesso ao longo do tempo o que seraacute diferente
2 Como conceptualiza as suas actividades ndash qual eacute a loacutegica subjacente Duas abordagens para identificar a loacutegica do programa satildeo discutidas neste capiacutetulo na secccedilatildeo intitulada Ferramentas e Abordagens Praacuteticas para MampA
3 Que indicadores pode usar para identificar o progresso no alcance dos resultados
Para responder agrave pergunta ldquoE entatildeordquo vocecirc precisa avaliar os factores sobre os quais tem um niacutevel razoaacutevel de controlo Por exemplo um novo serviccedilo criado para oferecer alojamento a pessoas que vivem com SIDA natildeo pode controlar ou afectar a expectativa de vida das pessoas agraves quais atende Mas ao fornecer um ambiente estaacutevel para elas viverem o serviccedilo pode diminuir o niacutevel de stresse e melhorar a qualidade de vida dessas pessoas que antes eram forccediladas a se mudar com frequecircncia
Depois de tratar da pergunta ldquoE entatildeordquo deve tambeacutem se certificar de que a avaliaccedilatildeo seja concebida de forma que quando o processo estiver concluiacutedo vocecirc possa abordar os cinco toacutepicos principais da avaliaccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 933
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
1 Relevacircncia Foi uma boa ideia fazer a intervenccedilatildeo considerando-se a situaccedilatildeo e a necessidade de melhorias Ela tratou das prioridades do grupo alvo ou beneficiaacuterio Por que sim ou por que natildeo
2 Eficaacutecia Os resultados produtos e actividades foram realizados Por que sim ou por que natildeo A loacutegica da intervenccedilatildeo eacute correcta
3 Eficiecircncia Os insumos (recursos e tempo) foram usados da melhor forma possiacutevel para atingir os resultados a meacutedio e longo prazo Por que sim ou por que natildeo O que vocecirc e sua equipa poderiam fazer de modo diferente no futuro para maximizar os resultados a um custo aceitaacutevel
4 Impacto Em que medida a sua intervenccedilatildeo contribuiu para as metas nacionais ou de longo prazo Que consequecircncias natildeo intencionais (positivas ou negativas) suas actividades tiveram Por que essas consequecircncias aconteceram
5 Sustentabilidade Eacute provaacutevel que os resultados positivos continuem depois que sua intervenccedilatildeo terminar Por que sim ou por que natildeo
Uma uacuteltima advertecircncia assim como a monitoria pode-se complicar demasiado a avaliaccedilatildeo Ao preparar um plano de avaliaccedilatildeo o melhor eacute seleccionar um grupo pequeno de indicadores e resistir agrave tentaccedilatildeo de avaliar todos os aspectos da sua intervenccedilatildeo
Assim como a monitoria a avaliaccedilatildeo soacute eacute uacutetil se as informaccedilotildees forem repassadas em tempo haacutebil para o gestor e outros tomadores de decisotildees e grupos de interesse Um problema comum com as avaliaccedilotildees intercalares eacute que os resultados geralmente soacute satildeo informados de 6 a 8 meses mais tarde o que deixa apenas 1 ou 2 anos para fazer mudanccedilas mais permanentes antes que se esgotem os fundos do governo ou da agecircncia doadora
COMO SELECCIONAR SUAS FONTES DE DADOS
Esta secccedilatildeo descreve trecircs tipos de fontes de dados que satildeo comummente usadas para uma avaliaccedilatildeo dados recolhidos rotineiramente inqueacuteritos de grande escala e teacutecnicas de avaliaccedilatildeo raacutepida inclusive a avaliaccedilatildeo participativa
Dados de rotina Os dados recolhidos e analisados rotineiramente por um SIS satildeo denominados ldquoestatiacutesticas de serviccedilordquo Pode-se utilizar vaacuterios sistemas de informaccedilatildeo de serviccedilos de rotina para monitorar os serviccedilos Alguns deles satildeo o sistema baacutesico de registo e relatoacuterio de SIS os sistemas especiais de relatoacuterios sobre programas (por ex tuberculose malaacuteria imunizaccedilatildeo VIH planeamento familiar etc) os sistemas de relatoacuterios sobre agentes comunitaacuterios especiais (por ex registos de agentes comunitaacuterios de sauacutede) o sistema de informaccedilotildees para a vigilacircncia de doenccedilas e o controlo notificaccedilatildeo e resposta a surtos e os relatoacuterios para os sistemas de suporte especiais (por ex medicamentos encaminhamentos e gestatildeo financeira e de recursos humanos)
Esses sistemas fornecem dados que estatildeo imediatamente disponiacuteveis e cujo objectivo eacute informar o que estaacute a acontecer no sector de sauacutede Os dados de rotina incluem por exemplo o nuacutemero de consultas de preacute-natal em uma cliacutenica o nuacutemero e tipo de vacinaccedilotildees fornecidas no local ou o nuacutemero e tipos de contraceptivos fornecidos mensalmente
Os dados sobre os serviccedilos satildeo geralmente recolhidos pelos centros de sauacutede ou postos de sauacutede e enviados para o proacuteximo niacutevel superior do sistema (geralmente o distrito) para serem agregados Esses dados podem entatildeo ser enviados ao proacuteximo niacutevel superior (regional ou provincial) para posterior agregaccedilatildeo antes que cheguem finalmente ao niacutevel central do Ministeacuterio da Sauacutede
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 934
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Idealmente os gestores de centros de sauacutede e ao niacutevel do distrito usam esses dados para orientar as operaccedilotildees diaacuterias acompanhar o desempenho e a prestaccedilatildeo de contas e tomar decisotildees que continuem a melhorar o desempenho Mas haacute vaacuterios obstaacuteculos a essa utilizaccedilatildeo
Muito frequentemente os dados de rotina satildeo imprecisos ou incompletos Apesar dos que utilizam o SIS tentarem produzir informaccedilotildees de alta qualidade e em tempo haacutebil haacute muitas oportunidades de introduzir erros Pode haver pouco apoio para que os gestores e seu pessoal se concentrem nos procedimentos correctos de recolha registo e agregaccedilatildeo dos dados
Os sistemas de sauacutede de vaacuterios paiacuteses enfatizam a importacircncia de apresentar relatoacuterios para os niacuteveis superiores mas natildeo estabeleceram procedimentos e incentivos para encorajar aqueles que fornecem informaccedilotildees a utilizaacute-las mesmo quando os dados satildeo de boa qualidade
Outra dificuldade eacute que as estatiacutesticas sobre serviccedilos fornecem informaccedilotildees apenas sobre os utentes que utilizam os serviccedilos de sauacutede Natildeo podem fornecer informaccedilotildees sobre as muitas pessoas que natildeo utilizam os serviccedilos
Por tudo isso natildeo se pode confiar apenas nas estatiacutesticas sobre serviccedilos para fazer uma avaliaccedilatildeo Elas satildeo melhor utilizadas para a monitoria de rotina dos problemas de sauacutede puacuteblica e dos serviccedilos essenciais relacionados
Inqueacuteritos em grande escala Os inqueacuteritos em grande escala satildeo outra fonte de informaccedilotildees imediatamente disponiacuteveis Incluem inqueacuteritos de base populacional tais como as Inqueacuterito Demograacutefico e de Sauacutede (IDS) dos EUA avaliaccedilotildees completas de centros de sauacutede como a Anaacutelise de Situaccedilatildeo do Population Council e os censos nacionais Em vaacuterios casos os gestores podem usar os dados de um inqueacuterito em grande escala existente para fornecer o contexto para a interpretaccedilatildeo dos dados capturados atraveacutes das suas proacuteprias avaliaccedilotildees
Por exemplo as IDS satildeo realizadas periodicamente para caracterizar a situaccedilatildeo de sauacutede em um paiacutes ou regiatildeo geograacutefica de grande extensatildeo para vaacuterios grupos populacionais homens mulheres crianccedilas bebeacutes e assim por diante Mas os dados das IDS natildeo podem normalmente ser desagregados para uso pelos gestores no niacutevel de distrito ou comunidade
Aleacutem disso como as IDS satildeo realizadas apenas a cada trecircs ou cinco anos as informaccedilotildees que fornecem podem natildeo estar suficientemente actualizadas para as necessidades de avaliaccedilatildeo dos gestores Apesar dessas dificuldades os dados das IDS satildeo uacuteteis para compreender tendecircncias regionais ou nacionais que podem ajudar a explicar dados recolhidos em uma avaliaccedilatildeo de foco especiacutefico
Avaliaccedilotildees raacutepidas Satildeo formas raacutepidas e econoacutemicas de obter informaccedilotildees para a tomada de decisotildees principalmente ao niacutevel da actividade Os exemplos incluem entrevistas quando os utentes saem de suas consultas as avaliaccedilotildees de pequena escala dos centros de sauacutede os inqueacuteritos raacutepidos por amostragem o exame analiacutetico de registos as entrevistas com grupos de enfoque e outros meacutetodos participativos
Poderaacute usar teacutecnicas de avaliaccedilatildeo raacutepida para complementar as informaccedilotildees obtidas com dados de rotina ou inqueacuteritos de grande escala As avaliaccedilotildees raacutepidas podem-lhe fornecer informaccedilotildees valiosas sobre sua aacuterea de captaccedilatildeo e sua aacuterea de responsabilidade mais ampla ndash ou seja as comunidades e as populaccedilotildees que deveriam ter acesso aos serviccedilos essenciais prestados por um centro de sauacutede determinado Elas podem tambeacutem fornecer contexto e uma compreensatildeo qualitativa dos dados quantitativos recolhidos pelos meacutetodos mais formais
Dentro da categoria de avaliaccedilotildees raacutepidas os meacutetodos participativos e os inqueacuteritos raacutepidos por amostragem merecem a sua atenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 935
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Meacutetodos participativos (tambeacutem chamados de aprendizagem e acccedilatildeo participativas) Essas teacutecnicas e meacutetodos visam incorporar o conhecimento e as opiniotildees dos membros da comunidade no planeamento e gestatildeo de projectos de desenvolvimento no esforccedilo para influenciar as poliacuteticas e na implementaccedilatildeo de programas Eles permitem incluir vozes da comunidade nas poliacuteticas no planeamento e nos inqueacuteritos e criam um senso de propriedade e participaccedilatildeo nos resultados de MampA e nas recomendaccedilotildees feitas pela organizaccedilatildeo e por seus beneficiaacuterios
Ao contraacuterio de outras teacutecnicas de avaliaccedilatildeo raacutepida os meacutetodos participativos natildeo se baseiam em amostragens Eles usam entrevistas individuais ou com informantes essenciais (inclusive entrevistas com utentes ao saiacuterem de suas consultas) entrevistas em grupo estudos de caso e outros meacutetodos qualitativos para identificar as condiccedilotildees locais e entender as perspectivas e prioridades locais
Em vaacuterios locais haacute membros da comunidade que natildeo podem ler nem escrever e por isso os meacutetodos participativos dependem frequentemente da comunicaccedilatildeo oral com apoio de imagens siacutembolos objectos fiacutesicos e memoacuteria colectiva
Os meacutetodos participativos podem ser usados antes durante e apoacutes a implementaccedilatildeo de uma intervenccedilatildeo ou um conjunto de actividades Eles fornecem informaccedilotildees para o projecto e a avaliaccedilatildeo e permitem a participaccedilatildeo activa das partes interessadas na tomada de decisotildees Durante a implementaccedilatildeo os meacutetodos participativos satildeo uacuteteis para identificar e solucionar problemas
Aproveite para examinar e utilizar uma lista de recursos online sobre inqueacuterito qualitativo e directrizes sobre discussotildees em grupos de enfoque no Community Tool Box da Universidade de Kansas
Inqueacuteritos raacutepidos por amostragem Estes inqueacuteritos podem ser utilizados para recolher informaccedilotildees padronizadas de uma amostra pequena e cuidadosamente seleccionada de pessoas ou domiciacutelios em uma aacuterea beneficiaacuteria Eles podem descrever as condiccedilotildees em uma comunidade particular ou grupo-alvo e permitem comparar grupos diferentes em um determinado momento ou mudanccedilas no mesmo grupo ao longo do tempo Permitem tambeacutem comparar condiccedilotildees actuais com os resultados planeados
Um dos inqueacuteritos mais comuns de pequena amostragem eacute o inqueacuterito CAP (Conhecimentos Atitudes e Praacuteticas) baseado em uma amostra de 30 agrupamentos
Amostragem para Garantia de Qualidade de Lotes (Lot Quality Sampling - LQAS) Essa eacute outra teacutecnica de avaliaccedilatildeo raacutepida que se usa cada vez mais na aacuterea de sauacutede puacuteblica A LQAS utiliza amostragens muito pequenas para obter informaccedilotildees confiaacuteveis em uma pequena aacuterea geograacutefica ou unidade administrativa Pode ser usada para detectar de forma precisa os extremos do desempenho ndash para determinar se uma intervenccedilatildeo foi mais aleacutem de um limiar superior de desempenho ou natildeo conseguiu atingir um limiar inferior de desempenho em termos de qualidade ou cobertura As amostras de lotes podem tambeacutem ser combinadas para fornecer estimativas de cobertura em uma aacuterea geograacutefica mais ampla
Uma busca na Web revelaraacute recursos uacuteteis aqui temos um sobre os inqueacuteritos CAP e outro sobre LQAS A aacuterea de MampA do website do CORE Group inclui ligaccedilotildees com ferramentas e recursos importantes para a avaliaccedilatildeo raacutepida criados pelo Grupo de Trabalho de MampA do CORE Group
Como gestor deve revisar todas as fontes de dados jaacute existentes antes de planear a sua avaliaccedilatildeo A Tabela 7 apresenta as vantagens e desvantagens das trecircs principais fontes de
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 936
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 7 Resumo das trecircs fontes de dados mais comuns para uma avaliaccedilatildeo
Fonte de dados Vantagens Limitaccedilotildees
Estatiacutesticas de serviccedilo Dados sobre a populaccedilatildeo de utentes e serviccedilos cliacutenicos que satildeo recolhidos rotineiramente nos registos dos utentes e nos registos cliacutenicos
Disponiacuteveis imediatamente
Cobrem todos os tipos de serviccedilos de sauacutede e todas as aacutereas do paiacutes
Podem ser desagregados para os niacuteveis local e de distrito
Uso econoacutemico
Soacute lhe informam sobre clientes actuais sem informaccedilotildees sobre as pessoas que natildeo usam os serviccedilos de sauacutede e podem ser utentes em potencial
Natildeo fornecem informaccedilotildees sobre valores percepccedilotildees ou comportamentos da comunidade
Natildeo reflectem as pessoas que optam por fontes privadas de serviccedilos
Podem ser inexactas se os locais de prestaccedilatildeo de serviccedilos natildeo registarem os dados correctamente de forma legiacutevel e em tempo haacutebil
Inqueacuteritos de grande escala Inqueacuteritos de base populacional e avaliaccedilotildees de grande escala dos centros de sauacutede
Dados relevantes precisos e confiaacuteveis
Podem medir as tendecircncias nacionais de sauacutede identificar aacutereas com problemas e ajudar a concentrar os recursos do paiacutes em aacutereas de maior carecircncia
Geram valores meacutedios para as aacutereas urbanas e rurais regiotildees e proviacutencias
Fornecem um contexto para interpretar os dados recolhidos localmente
Podem gerar informaccedilotildees adicionais a partir dos seus conjuntos de dados informatizados
Geralmente natildeo podem desagregar os dados para fornecer meacutedias para as aacutereas sub-regionais (distritos ou municipalidades)
Geralmente natildeo satildeo realizadas anualmente os dados se tornam desactualizados rapidamente se as populaccedilotildees ou condiccedilotildees de sauacutede se modificarem rapidamente
Avaliaccedilotildees raacutepidas Meacutetodos focados para avaliar as necessidades locais e tomar decisotildees em acircmbito local
Raacutepidas e econoacutemicas
Resultam em acccedilatildeo local
Haacute directrizes para ajudar os gestores em vaacuterias dessas teacutecnicas
Fornecem aos gestores a capacidade de recolher os dados necessaacuterios
Os inqueacuteritos domiciliares (por ex LQAS ou CAP) podem obter precisatildeo suficiente para fins de avaliaccedilatildeo
Equilibra a necessidade de resultados representativos e objectivos com a necessidade de usar projectos levemente menos rigorosos que satildeo mais viaacuteveis em aacutereas locais
Usam escala e acircmbito reduzidos para produzir resultados em tempo haacutebil e de baixo custo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 937
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
dados que foram discutidas acima estatiacutesticas rotineiras de serviccedilos inqueacuteritos em grande escala e teacutecnicas de avaliaccedilatildeo raacutepida
Que niacutevel de qualidade os dados do SIS precisam ter para serem uacuteteis ndash que niacutevel de abrangecircncia precisatildeo e apresentaccedilatildeo em tempo haacutebil Para as suas necessidades de gestatildeo mesmo que natildeo sejam perfeitos os dados podem ser suficientemente bons para ter um efeito poderoso como nos mostra o exemplo de Madagascar
Dados do SIS pontos fortes e limitaccedilotildees
Subestimar o valor e a utilidade do SIS eacute infelizmente uma tendecircncia Eacute verdade que o SIS tem problemas frequentemente mas tambeacutem eacute grande o seu potencial Como vimos em
Como usar e melhorar dados imperfeitos do SIS ndash Um exemplo de Madagascar
Um SIS de base comunitaacuteria mais preciso e mais oportuno Um projecto de Madagascar implementou um meacutetodo baseado na comunidade para aumentar o uso de meacutetodos de planeamento familiar denominado ldquoComunidades Campeatildesrdquo em 50 dos 110 distritos do paiacutes O meacutetodo utilizou exclusivamente os dados do SIS para monitorar e avaliar as realizaccedilotildees das comunidades participantes
Em primeiro lugar foi estabelecida uma base de referecircncia para cada comunidade ao usar os dados do seu centro de sauacutede Em seguida o pessoal do centro de sauacutede e os representantes da comunidade identificaram metas para 10 indicadores que determinariam se uma comunidade tinha alcanccedilado a posiccedilatildeo de campeatilde apoacutes 12 meses de implementaccedilatildeo Cada comunidade monitorava seu proacuteprio progresso em uma reuniatildeo trimestral de verificaccedilatildeo
Apoacutes 12 meses o pessoal do projecto voltou a cada comunidade para avaliar os resultados Examinaram os dados do relatoacuterio de monitoria de rotina de cada centro de sauacutede e para cada indicador Prepararam tambeacutem um relatoacuterio sobre os dados de cada comunidade e o enviaram para o supervisor de niacutevel distrital para a sua confirmaccedilatildeo com base nos registos informatizados do distrito As fontes de dados para os relatoacuterios do centro de sauacutede e registos de distrito foram as mesmas (registos dos centros de sauacutede) e por isso raramente ocorreu uma discrepacircncia Mas o que interessava era envolver o supervisor distrital no exame dos dados do centro de sauacutede para mostrar a utilidade de se usar ateacute mesmo dados simples nesse niacutevel
O projecto tambeacutem cooperou com o Ministeacuterio da Sauacutede a niacutevel distrital para melhorar a precisatildeo a abrangecircncia e a prontidatildeo do SIS A ecircnfase era obter dados mais completos dos centros de sauacutede e reduzir o tempo gasto pelo escritoacuterio distrital para receber o relatoacuterio do centro de sauacutede apreciaacute-lo devolvecirc-lo ao centro para qualquer correcccedilatildeo recebecirc-lo novamente dar entrada dos dados no sistema e finalmente enviaacute-los ao niacutevel central Os distritos satildeo responsaacuteveis por cooperar com os centros de sauacutede para melhorar o registo de dados e actualizar suas proacuteprias teacutecnicas de processamento de dados
Apoacutes dois anos de assistecircncia teacutecnica o SIS tinha realmente melhorado segundo os indicadores de precisatildeo abrangecircncia e prontidatildeo As melhorias mais notaacuteveis foram em prontidatildeo o tempo gasto pelo escritoacuterio distrital no processo descrito acima reduziu-se de 12 para 3 meses
Imperfeitas mais mesmo assim valiosos Deve-se lembrar que o projecto ldquoComunidades Campeatildesrdquo teve oacuteptimo resultado apesar dos dados imperfeitos Seu numerador (o nuacutemero de utentes regulares de planeamento familiar) era detalhado e preciso Mas suas estimativas das taxas de prevalecircncia do uso de contraceptivos natildeo eram muito precisas porque o denominador (nuacutemero de mulheres em idade reprodutiva) era apenas uma estimativa baseada num censo desactualizado e em estimativas anuais do governo sobre percentagens de crescimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 938
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Madagascar o projecto Comunidades Campeatildes melhorou o sistema substancialmente num periacuteodo de dois anos Nesse caso o sistema jaacute se encontrava relativamente funcional porque projectos anteriores haviam feito um grande esforccedilo para implantar o sistema e tornaacute-lo mais soacutelido Ao aprimorar a forma como o sistema era administrado e os dados eram usados o projecto posterior conseguiu fazer uma grande diferenccedila por meio de pequenas modificaccedilotildees
Os dados do SIS natildeo satildeo 100 exactos e nunca seratildeo Esta eacute a realidade com a qual todos os gestores tecircm que trabalhar Mas os dados natildeo precisam ser perfeitos para serem uacuteteis Eacute possiacutevel fazer a monitoria e a gestatildeo com dados imperfeitos Informaccedilotildees obtidas em tempo
(continuaccedilatildeo)
No entanto o projecto constatou que as taxas de prevalecircncia de uso de contraceptivos eram suficientemente boas para acompanhar o desempenho das comunidades que participavam do meacutetodo de Comunidades Campeatildes O pessoal do projecto tambeacutem complementou as comparaccedilotildees dessas taxas com as comparaccedilotildees dos valores do numerador nuacutemeros simples que faziam sentido para o pessoal do centro de sauacutede e tambeacutem para as comunidades
O niacutevel central comeccedilou a organizar workshops regionais trimestrais para divulgar os resultados ao niacutevel distrital Juntos os gestores dos niacuteveis distritais regionais e centrais analisaram o progresso e classificaram os distritos com base no seu desempenho Usaram a anaacutelise de causa-raiz ndash um processo que identifica as causas subjacentes de um problema ndash para entender os obstaacuteculos enfrentados pelos distritos que apresentavam baixo desempenho (Consulte o Apecircndice A no Capiacutetulo 2 deste guia para obter mais informaccedilotildees sobre a anaacutelise de causa-raiz) Finalmente o Ministeacuterio de Sauacutede mobilizou o apoio de agecircncias doadoras e de organizaccedilotildees parceiras para ajudaacute-los a melhorar
O ministeacuterio comeccedilou a usar as informaccedilotildees de sauacutede para administrar realmente o sistema de sauacutede Antes dessa intervenccedilatildeo poucas organizaccedilotildees confiavam ou utilizavam os dados do SIS Mas quando ficou claro que o sistema funcionava as agecircncias doadoras passaram a confiar as organizaccedilotildees parceiras passaram a utilizaacute-lo e o ministeacuterio se orgulhou do trabalho Pela primeira vez tinham uma visatildeo mais niacutetida do que acontecia em todo o paiacutes e podiam usar essas informaccedilotildees para buscar o apoio de agecircncias doadoras se necessaacuterio
Do mesmo modo os centros de sauacutede raramente usavam seus proacuteprios dados Eles simplesmente faziam os registos e os enviavam para o escritoacuterio distrital sem nem mesmo receber retroinformaccedilatildeo do mesmo Apoacutes a conclusatildeo do projecto perceberam como os dados mais precisos podiam ser usados em seu benefiacutecio e das comunidades
Os distritos tambeacutem actuavam antes de uma forma pouco informada Cada distrito dependia apenas dos seus proacuteprios dados e funcionava num vaacutecuo As mudanccedilas no SIS e o encorajamento do governo central forneceram aos distritos oportunidades para comparar seu trabalho e aprender uns com os outros
Aprendizagem com dados mais precisos completos e oportunos Os dados satildeo geralmente utilizados para fazer comparaccedilotildees mas satildeo menos frequentemente utilizados como ferramenta de aprendizagem Nesse caso depois que os relatoacuterios comeccedilaram a chegar dentro do prazo o Ministeacuterio da Sauacutede usou os dados ndash inclusive dados imperfeitos ndash para descobrir que distritos tinham um desempenho ruim e que distritos estavam melhor que os outros Assim aprenderam com os de melhor desempenho ao perguntar Por que seus resultados satildeo tatildeo bons O que estavam a fazer de diferente O que poderia ser replicado Finalmente aplicaram a aprendizagem ao usar esses distritos como modelos e ao oferecer mais apoio aos de pior desempenho
Todo o sistema de sauacutede se entusiasmou com as informaccedilotildees que podiam produzir e usar A comeccedilar do topo esse entusiasmo chegou aos niacuteveis inferiores e os motivou a melhorar sua recolha e processamento de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 939
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
haacutebil e com 75 de precisatildeo satildeo melhores que as informaccedilotildees com 95 de precisatildeo que chegam com vaacuterios meses de atraso
Apesar do seu grande valor por si soacutes os dados do SIS natildeo atenderatildeo a todas as necessidades de informaccedilatildeo de muitas organizaccedilotildees Algumas organizaccedilotildees e agecircncias doadoras precisam de dados que exigem avaliaccedilotildees ou sistemas especiais Aleacutem disso vaacuterias intervenccedilotildees foram projectadas para modificar o conhecimento as atitudes e as praacuteticas dos beneficiaacuterios factores que natildeo satildeo capturados nos dados de serviccedilo Eacute importante usar os dados do SIS sempre que possiacutevel e complementaacute-los com avaliaccedilotildees locais quando necessaacuterio
Como gestor de um programa de sauacutede ou de serviccedilos de sauacutede parte do seu trabalho deveria ser o de melhorar o SIS em seu paiacutes Ele eacute o uacutenico sistema de informaccedilotildees sustentaacutevel na maioria dos paiacuteses Os sistemas de informaccedilatildeo criados e mantidos por agecircncias doadoras ou organizaccedilotildees externas tecircm duraccedilatildeo limitada mas o SIS eacute parte permanente do seu legado
Se todos os parceiros e agecircncias doadoras trabalharem com o Ministeacuterio de Sauacutede para prestar assistecircncia teacutecnica e financeira ao SIS ele poderaacute render informaccedilotildees que trazem grandes melhorias para os serviccedilos de sauacutede e que justificam plenamente o investimento no mesmo
Praacuteticas comprovadas
Um sistema de MampA deveria proporcionar aos gestores o que eles precisam saber para agir Deve se basear em indicadores relevantes faacuteceis de usar e que possam ser fornecidos em tempo haacutebil para os ciclos de planeamento e apresentaccedilatildeo de relatoacuterios
Os resultados de MampA natildeo se destinam apenas ao pessoal de MampA da sua organizaccedilatildeo ou agrave agecircncia doadora As informaccedilotildees de MampA satildeo um recurso fundamental para as acccedilotildees e a aprendizagem Se o seu processo de MampA tiver mecanismos de retroinformaccedilatildeo que permitam aos tomadores de decisotildees reflectirem sobre os resultados e absorverem o que precisam para seus proacuteprios fins eles assumiratildeo o controlo do processo e utilizaratildeo o que ele oferecer
Se vocecirc define suas actividades de MampA no comeccedilo de uma intervenccedilatildeo ou projecto junto com o plano de acccedilatildeo para o projecto teraacute mais oportunidades de orientar e acompanhar a implementaccedilatildeo das actividades
Quando satildeo demasiado elaborados e complicados os planos de MampA natildeo satildeo usados Elabore um plano de MampA simples escolha ferramentas de monitoria faacuteceis de usar e seleccione a menor quantidade possiacutevel de indicadores para acompanhar o progresso e introduzir as mudanccedilas necessaacuterias ao longo do caminho
Para fortalecer um SIS eacute preciso trabalhar com as pessoas envolvidas os responsaacuteveis pelo sistema que registam transferem analisam comunicam e utilizam os dados e as informaccedilotildees para a gestatildeo dos serviccedilos
Ao fornecer os dados do SIS para os tomadores de decisotildees vocecirc deve reconhecer as diferenccedilas na frequecircncia dos relatoacuterios e nas quantidades de dados agregados e desagregados necessaacuterios aos niacuteveis diferentes de governo ou agraves organizaccedilotildees natildeo governamentais
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 926
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ETAPA 6 COMPARTILHE E USE SEUS DADOS
Na pressa para comeccedilar a recolher dados alguns gestores se esquecem de planear um processo para reflectir sobre as informaccedilotildees e fazer mudanccedilas para aumentar a eficiecircncia das actividades Para garantir que os dados sejam natildeo soacute recolhidos mas tambeacutem utilizados pense como vocecirc e sua equipa divulgaratildeo as informaccedilotildees sobre MampA e obteratildeo retroinformaccedilatildeo dos diversos grupos de interesse Algumas perguntas baacutesicas serviratildeo para lhe orientar
Quem precisa de que tipo de informaccedilotildees e quando precisam delas Que tipo de formato deve usar para comunicar os resultados ao pessoal
aos gestores de niacutevel superior e a outros grupos de interesse importantes Eacute suficiente fazer circular um relatoacuterio ou deveria organizar uma reuniatildeo ou workshop
Deveria tambeacutem organizar reuniotildees com a comunidade para solicitar retroinformaccedilatildeo dos seus beneficiaacuterios sobre os primeiros resultados da MampA
Como deve apresentar as informaccedilotildees para que sejam uacuteteis aos diferentes tomadores de decisotildees As informaccedilotildees devem ser apresentadas visualmente em diagramas graacuteficos ou mapas Para obter orientaccedilatildeo sobre dados e resultados consulte o Guiatildeo de MampA para Facilitadores de Programas de Desenvolvimento da Lideranccedila
Uso dos resultados para melhorar os dados de rotina em acccedilatildeo ndash Um exemplo do Paquistatildeo
No Paquistatildeo com o apoio do projecto PRIDE 10 equipas de subdistritos aplicaram o Processo de Avaliaccedilatildeo e Melhoria do Desempenho em Sauacutede Puacuteblica (PIP-PH) um conjunto de procedimentos e formatos para tratar dos problemas de sauacutede que identificaram como os mais graves para as suas populaccedilotildees Usaram o PIP-PH para priorizar os problemas e serviccedilos que mais precisavam de atenccedilatildeo a curto prazo para obter melhorias
Como parte do processo PIP-PH as equipas tambeacutem conceberam um formato de Estrutura de Vigilacircncia de Sauacutede (ldquoHealth Watch Frameworkrdquo) para os seus subdistritos como um todo e para os centros de sauacutede dentro deles Cada equipa seleccionou indicadores para medir a situaccedilatildeo de dois problemas de sauacutede puacuteblica os serviccedilos essenciais a eles relacionados e as limitaccedilotildees que afectavam esses serviccedilos
As equipas usaram os formulaacuterios Health Watch para estabelecer valores de base para os indicadores e depois para monitorar esses valores agrave medida que as intervenccedilotildees prosseguiam ao longo do tempo Os centros de sauacutede revisavam e actualizavam o formulaacuterio todo mecircs as equipas do subdistrito inclusive gestores de centros de sauacutede revisavam e discutiam os formulaacuterios trimestralmente os formulaacuterios revisados
As equipas de subdistrito usaram as informaccedilotildees para analisar os motivos do progresso ou falta de progresso para poderem prestar apoio aos gestores dos centros de sauacutede O processo estimulou os gestores dos centros de sauacutede a melhorarem a integridade e precisatildeo dos dados de rotina para poderem usar as informaccedilotildees e monitorarem mais eficazmente os eventos e os serviccedilos essenciais e introduzirem as melhorias necessaacuterias
Exemplos e informaccedilotildees detalhadas sobre o PIP-PH e o Health Watch Framework aparecem no Relatoacuterio Anual do Projecto PRIDE 2007
Para se informar mais sobre meacutetodos adicionais de utilizaccedilatildeo dos dados para melhorar o desempenho de uma organizaccedilatildeo equipa serviccedilo de sauacutede ou intervenccedilatildeo consulte o processo de Avaliaccedilatildeo e Melhoria de Desempenho (Performance Assessment and Improvement ndash PAI) no website de Programa de Lideranccedila Gestatildeo e Sustentabilidade (Leadership Management and Sustainability ndash LMS)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 927
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O processo de Monitoria e Avaliaccedilatildeo deve ser executado com o objectivo de usar imediatamente os resultados para identificar as falhas de desempenho e tomar medidas para reduzir ou eliminar essas falhas Vocecirc deve sempre planear formas de usar os resultados de MampA para o aprendizado e a acccedilatildeo Por exemplo o que deve fazer se as actividades do projecto natildeo trouxerem os resultados esperados O que precisa mudar se os serviccedilos essenciais natildeo estiverem a fornecer os niacuteveis de cobertura previstos ou a alcanccedilar grupos especiacuteficos de pessoas E como vocecirc pode levar esses fatos agrave atenccedilatildeo das pessoas certas para obter uma resposta raacutepida
Desenho de uma ferramenta de MampA
ARMADILHAS DA MONITORIA E AVALIACcedilAtildeO
Haacute vaacuterias armadilhas comuns que impedem que vocecirc como gestor aperfeiccediloe a funccedilatildeo de MampA na sua organizaccedilatildeo
Planeamento excessivo ou insuficienteAlguns gestores podem gastar tempo demais a preparar o plano de MampA do que resultam planos muito elaborados e complicados de usar Outros ficam muito ansiosos por implementar as intervenccedilotildees de MampA e comeccedilam antes de concluir o plano de MampA Isso significa que quando o plano fica pronto eacute geralmente tarde demais para obter dados de base viaacuteveis e a MampA tem que ser adiada Nesses casos o gestor talvez tenha que aceitar fazer a avaliaccedilatildeo mais tarde sem os dados de base que poderia usar para a comparaccedilatildeo
Descuidar-se da monitoria contiacutenua Outra armadilha frequente eacute a falha em incluir a monitoria contiacutenua na implementaccedilatildeo das actividades Isto ocorre frequentemente por falta de experiecircncia Muitos gestores natildeo tiveram acesso a ferramentas de monitoria uacuteteis (que satildeo raras) Talvez natildeo tenham recebido prontamente os resultados ou a retroinformaccedilatildeo do sistema de MampA no passado e por isso natildeo percebem como eacute importante realizar a monitoria de rotina Aleacutem disso gestores podem facilmente se emaranhar nos detalhes da implementaccedilatildeo e descuidar-se da monitoria de rotina
Exagerar Outra armadilha relacionada agrave monitoria eacute tentar rastrear os dados de todos os indicadores possiacuteveis Tentar obter os dados sobre um nuacutemero excessivo de factores torna o processo de monitoria tatildeo complicado que se torna impreciso Isso tambeacutem torna o processo mais lento de modo que no momento em que os dados satildeo recolhidos e analisados eles jaacute natildeo satildeo mais uacuteteis As ferramentas de monitoria muito demoradas e complicadas acabam por natildeo ser usadas O que acontece entatildeo O gestor deixa totalmente de fazer a monitoria e tem que recorrer agrave avaliaccedilatildeo
Se jaacute se deparou com esses problemas eacute hora de mudar a sua taacutectica Vocecirc pode criar um plano de MampA simples e usar ferramentas de monitoria simples Descubra o que tem que medir para obter os dados dentro de 3 a 6 meses o prazo vai depender dos ciclos de planeamento e apresentaccedilatildeo de relatoacuterios da sua organizaccedilatildeo Entenda tambeacutem qual eacute o miacutenimo que deve ser medido em uma avaliaccedilatildeo de longo prazo Busque a simplicidade mesmo se estiver diante de um conjunto complexo de actividades
Tente incluir apenas o que realmente precisa saber Pode testar todos os indicadores propostos antes de incluiacute-los no planeamento de MampA ao perguntar Quem precisa usar essas informaccedilotildees quando e com que finalidade Se um uacutenico indicador de produtos for suficiente perfeito Natildeo sobrecarregue a monitoria com indicadores desnecessaacuterios Muitas vezes menos dados fornecem mais informaccedilotildees
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 928
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
CARACTERIacuteSTICAS DE UMA BOA FERRAMENTA DE MONITORIA
Como gestor natildeo precisa saber tudo para gerir um serviccedilo ou dirigir uma intervenccedilatildeo mas precisa das informaccedilotildees imediatamente Portanto precisa de uma ferramenta de monitoria que possa fornecer informaccedilotildees suficientes e em tempo haacutebil para identificar e corrigir problemas assim que eles surgirem
Uma ferramenta de monitoria deve ser faacutecil de montar e utilizar As tabelas listas de verificaccedilatildeo e diagramas simples satildeo meacutetodos particularmente uacuteteis de recolher organizar e apresentar informaccedilotildees de monitoria
No miacutenimo sua ferramenta de monitoria deve permitir que vocecirc e sua equipa acompanhem
o progresso da implementaccedilatildeo da actividade a entrega de produtos ou resultados imediatos a situaccedilatildeo dos principais indicadores de resultados comparados aos resultados
esperados se for o caso as despesas orccedilamentais a disponibilidade de recursos humanos e financeiros os obstaacuteculos agrave implementaccedilatildeo e o que tem sido feito para superaacute-los
Vocecirc teraacute que responder agraves seguintes perguntas periodicamente
As actividades foram implementadas conforme planeado dentro do prazo e do orccedilamento
Que actividades adicionais natildeo planeadas foram realizadas Que serviccedilos ou produtos directos e tangiacuteveis foram oferecidos como resultado
das actividades que implementamos Estamos dentro do cronograma para atingir nossos resultados a meacutedio e longo
prazo Possuiacutemos os recursos necessaacuterios (pessoal dinheiro medicamentos e
suprimentos etc) para cumprirmos o cronograma
O Quadro 4 apresenta os componentes baacutesicos de uma ferramenta simples de monitoria
QUADRO 4 Uma ferramenta simples de monitoria
Data de exame Metas de resultados
Actividades (segundo o plano de implementaccedilatildeo)
Situaccedilatildeo ateacute o momento
Resultados esperados
Datas para conclusatildeo
Situaccedilatildeo ateacute o momento Comentaacuterios
Desafios e oportunidades
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 929
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quando usadas correctamente as novas tecnologias (por ex os PDAs ldquosmartphonesrdquo laptops e outros) podem facilitar a monitoria e aumentar os benefiacutecios da monitoria das actividades A monitoria automatizada ndash dados que podem ser obtidos e processados automaticamente ndash podem produzir um resumo dos principais indicadores em uma soacute paacutegina faacutecil de ler e num formato que utiliza cores para alertar ao gestor sobre as aacutereas que precisam de maior atenccedilatildeo As informaccedilotildees obtidas em tempo haacutebil sobre alguns indicadores essenciais permitem que o gestor monitore o progresso e tome medidas correctivas
Essa apresentaccedilatildeo visual das informaccedilotildees mais importantes e necessaacuterias para gerir um projecto eacute geralmente conhecida como Painel de Indicadores de Desempenho Os paineacuteis de indicadores de desempenho podem ser usados em qualquer organizaccedilatildeo departamento ou divisatildeo Nas organizaccedilotildees de sauacutede puacuteblica os paineacuteis satildeo usados frequentemente para monitorar os indicadores financeiros e programaacuteticos bem como a cobertura produccedilatildeo eficaacutecia e qualidade de serviccedilos de sauacutede especiacuteficos Um painel de recursos humanos por exemplo incluiria indicadores relevantes para gerir o seguinte
retenccedilatildeo de funcionaacuterios rotatividade de funcionaacuterios formaccedilatildeo de funcionaacuterios lacunas de habilidades satisfaccedilatildeo dos funcionaacuterios custos benefiacutecios e despesas gerais com funcionaacuterios
A Tabela 6 mostra um painel de indicadores de desempenho criado para monitorar serviccedilos de contracepccedilatildeo ciruacutergica voluntaacuteria (CCV)
TABELA 6 Ilustraccedilatildeo de Painel de Indicadores de Desempenho para Serviccedilos de Contracepccedilatildeo Ciruacutergica Voluntaacuteria (CCV)
Serviccedilo Contracepccedilatildeo Ciruacutergica Voluntaacuteria Periacuteodo do Relatoacuterio Janeiro de 2009
No Indicador de Prestaccedilatildeo de Serviccedilos Custo Qualidade
Meta financeira ou programaacutetica
LimiarNuacutemero
alcanccedilado
Percentagem concluiacuteda
Miacuten Maacutex 10 20 30 40 50 60 70 80 90 100
1 Nuacutemero de CCVs realizadas no mecircs 8 10 7
2 Custo meacutedio das CCVs (US$) 100 120 110
3 Orccedilamento mensal da receita com CCVs realizadas (US$) 800 1200 770
4Percentagem das CCVs realizadas por pessoal
qualificadomdash 100 60
5 Percentagem das CCVs realizadas sem complicaccedilotildees 95 100 100
6
Percentagem de utentes satisfeitas com o tratamento
recebido do pessoal que realizou as CCVs
90 100 90
Adaptado de Colindres 2008 p 6
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 930
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja uma descriccedilatildeo do uso de um painel de indicadores de desempenho para a monitoria de rotina num estudo de caso estudo de caso de uma ONG da Boliacutevia o Centro de Investigaccedilatildeo Educaccedilatildeo e Serviccedilos (CIES)
Para obter mais informaccedilotildees de como criar um painel de indicadores consulte ldquoComo usar os paineacuteis de indicadores de desempenho para monitorar as realizaccedilotildees de uma organizaccedilatildeordquo Esse documento ajuda a esclarecer conceitos e define as etapas essenciais para criar paineacuteis de indicadores de desempenho
Como criar uma avaliaccedilatildeo para fins de aprendizagem
Apesar da importacircncia da monitoria de rotina apenas a monitoria natildeo basta para responder agrave pergunta ldquoE entatildeordquo Ou seja suas actividades e produtos contribuiacuteram para melhorar a cobertura dos serviccedilos aumentar o conhecimento ou encorajar comportamentos mais saudaacuteveis
Talvez uma campanha de comunicaccedilatildeo sobre planeamento familiar criada para aumentar a prevalecircncia do uso de contraceptivos tenha levado o governo a abastecer os depoacutesitos distritais com contraceptivos Para que possam aprender com essa experiecircncia e criar campanhas mais eficazes no futuro os gestores do projecto ainda querem saber que produtos foram realmente dispensados aos centros de sauacutede e distribuiacutedos aos utentes Esta secccedilatildeo discute como criar uma avaliaccedilatildeo para fins de aprendizagem
Existem dois motivos para levar a cabo uma avaliaccedilatildeo
1 A avaliaccedilatildeo fornece informaccedilotildees sobre o sucesso da sua equipa unidade ou organizaccedilatildeo para atingir seus objectivos Essas informaccedilotildees ajudam a definir que actividades expandir modificar ou eliminar Ela pode tambeacutem revelar formas de melhorar a concepccedilatildeo e gestatildeo das actividades futuras
2 A avaliaccedilatildeo pode demonstrar uma cultura de prestaccedilatildeo de contas agrave sua agecircncia doadora e a outros grupos de interesse nomeadamente o governo e os beneficiaacuterios dos seus serviccedilos
AVALIACcedilOtildeES FORMATIVAS E SUMATIVAS
Os gestores podem realizar dois amplos tipos de avaliaccedilotildees formativas e sumativas
Avaliaccedilatildeo formativa Este tipo de avaliaccedilatildeo eacute realizada durante o desenvolvimento e implementaccedilatildeo de um programa Seu objectivo eacute orientar o desenho e a implementaccedilatildeo de actividades que incluam as melhores e mais promissoras praacuteticas que aumentaratildeo as chances de sucesso A avaliaccedilatildeo formativa eacute mais comummente utilizada por projectos de grande porte ou de longo prazo em vez de projectos menores e de curto prazo Poreacutem os projectos menores devem pelo menos realizar uma avaliaccedilatildeo raacutepida das melhores praacuteticas durante a fase de planeamento para apoiar a loacutegica e o conteuacutedo proposto para as actividades
A avaliaccedilatildeo formativa inclui uma avaliaccedilatildeo de necessidades para discernir os desejos e requisitos de um grupo da populaccedilatildeo e determinar a melhor forma de atendecirc-los Inclui tambeacutem uma avaliaccedilatildeo de processo para investigar o processo utilizado para executar uma intervenccedilatildeo Pode-se usar a avaliaccedilatildeo do processo para determinar se as actividades foram realizadas de acordo com o plano ndash em termos de sua concepccedilatildeo original estimativas de custos e nuacutemero de pessoas a serem atendidas ndash e se a qualidade dos processos usados estaacute de acordo com as melhores praacuteticas conhecidas
A avaliaccedilatildeo de processo geralmente inclui vaacuterias abordagens Pode incluir uma avaliaccedilatildeo dos dados referentes aos produtos (por ex nuacutemero de redes mosquiteiras fornecidas nuacutemero
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 931
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
de workshops de formaccedilatildeo realizados nuacutemero de participantes dos workshops) assim como entrevistas individuais ou grupos de enfoque entre os beneficiaacuterios Nas intervenccedilotildees de menor porte eacute uma boa praacutetica realizar uma avaliaccedilatildeo de processo mesmo se limitada agrave retroinformaccedilatildeo dos participantes
Avaliaccedilatildeo somativa Este tipo de avaliaccedilatildeo eacute realizada apoacutes a conclusatildeo de um grupo de actividades ou da intervenccedilatildeo para avaliar a qualidade da intervenccedilatildeo e os seus principais resultados A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo a avaliaccedilatildeo do impacto a anaacutelise de custo-benefiacutecio e custo-eficaacutecia e a investigaccedilatildeo operacional
A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo que avalia em que medida uma equipa unidade ou organizaccedilatildeo inteira atingiram seus resultados esperados A avaliaccedilatildeo dos resultados eacute usada para demonstrar que existe uma cultura de prestaccedilatildeo de contas para aperfeiccediloar o projecto de actividades organizacionais para melhorar a distribuiccedilatildeo dos recursos e para promover intervenccedilotildees futuras bem-sucedidas As principais perguntas satildeo Que modificaccedilotildees ocorreram na vida das pessoas das famiacutelias ou da comunidade como resultado do nosso trabalho Que diferenccedila fizemos
Como observamos anteriormente neste capiacutetulo os resultados a meacutedio e longo prazo satildeo geralmente mudanccedilas mensuraacuteveis eou observaacuteveis em duas dimensotildees A primeira dimensatildeo abrange a conscientizaccedilatildeo o conhecimento as atitudes os valores e as habilidades dos participantes de um programa ou dos beneficiaacuterios dos serviccedilos durante ou depois de seu envolvimento na intervenccedilatildeo A segunda dimensatildeo implica mudanccedilas no comportamento desses mesmos grupos
Idealmente as duas dimensotildees deveriam ser medidas em trecircs pontos no comeccedilo e no final do periacuteodo de implementaccedilatildeo e se possiacutevel apoacutes um periacuteodo de acompanhamento adequado Se a mediccedilatildeo do acompanhamento natildeo for viaacutevel pelo menos devem ser comparadas as mediccedilotildees de base e poacutes-intervenccedilatildeo Muitas vezes as mudanccedilas podem ser pequenas mas deve haver alguma melhoria em pelo menos um ou dois resultados para que a intervenccedilatildeo seja considerada um sucesso
A avaliaccedilatildeo dos resultados tenta distinguir entre a influecircncia da intervenccedilatildeo nessas mudanccedilas e a influecircncia de outros factores externos Mas geralmente os avaliadores teratildeo que optar pela atribuiccedilatildeo parcial de um resultado a uma intervenccedilatildeo ou serviccedilo especiacutefico devido agrave dificuldade em determinar uma relaccedilatildeo directa e causal entre o serviccedilo prestado e uma determinada mudanccedila
As avaliaccedilotildees de resultados utilizam geralmente um desenho natildeo experimental (geralmente denominado ldquopreacute e poacutes-avaliaccedilatildeordquo) que simplesmente mede as mudanccedilas antes e depois de uma intervenccedilatildeo ou seja diferente do desenho experimental (que compara os participantes com um grupo de controlo com designaccedilatildeo aleatoacuteria a ambos os grupos) ou do desenho semi-experimental (que compara os participantes com um grupo de controlo mas sem a designaccedilatildeo aleatoacuteria)
O desenho natildeo experimental eacute aceitaacutevel para as mediccedilotildees e relatoacuterios padratildeo dos resultados a meacutedio e longo prazo As ONGs raramente usam os desenhos experimentais Apesar de uma organizaccedilatildeo de grande porte e com muitos recursos poder ocasionalmente receber assistecircncia de especialistas para um desenho experimental a maioria delas acha que as consideraccedilotildees eacuteticas e logiacutesticas impedem a designaccedilatildeo aleatoacuteria dos participantes aos grupos de intervenccedilatildeo e de controlo Aleacutem disso o custo de recolher dados de um grupo de controlo seraacute provavelmente muito elevado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 932
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A avaliaccedilatildeo do impacto eacute outro componente da avaliaccedilatildeo somativa Eacute mais ampla do que a avaliaccedilatildeo de resultados e avalia os efeitos liacutequidos ou gerais ndash tanto intencionais como natildeo intencionais ndash de todo um programa grupo de programas ou grupo de organizaccedilotildees As avaliaccedilotildees de impacto geralmente se estendem por um periacuteodo de 3 a 5 anos
OUTROS TIPOS DE AVALIACcedilOtildeES
Anaacutelise de custo-benefiacutecio e custo-eficaacutecia Estes tipos de anaacutelise tratam da eficiecircncia da intervenccedilatildeo ao analisar os resultados em termos dos seus custos financeiros e do seu valor
Investigaccedilatildeo operacional Trata-se de um balanccedilo ou avaliaccedilatildeo de uma intervenccedilatildeo especiacutefica no contexto de um programa mais amplo que estaacute a fazer vaacuterias intervenccedilotildees A investigaccedilatildeo operacional eacute usada para testar e avaliar novas abordagens de prestaccedilatildeo de serviccedilos de sauacutede Eacute tambeacutem usada para identificar problemas na prestaccedilatildeo de serviccedilos e oferecer soluccedilotildees
A investigaccedilatildeo operacional eacute uma ferramenta poderosa que os gestores de programas e os tomadores de decisotildees podem usar para melhorar e expandir os serviccedilos Os estudos de investigaccedilatildeo operacional comparam intervenccedilotildees que estatildeo dentro da esfera de influecircncia do gestor Os exemplos incluem a avaliaccedilatildeo da eficaacutecia de uma nova estrateacutegia de prevenccedilatildeo de VIHSIDA um novo curso de formaccedilatildeo um novo conjunto de procedimentos para gerir medicamentos um novo meacutetodo contraceptivo ou um novo serviccedilo de sauacutede reprodutiva
O Toolkit de Investigaccedilatildeo Operacional do Programa Horizons sobre VIHSIDA do Population Council fornece informaccedilotildees detalhadas para criar um estudo de investigaccedilatildeo operacional
CONSIDERACcedilOtildeES PARA A FORMULACcedilAtildeO DE UMA AVALIACcedilAtildeO
O que avaliar para responder agrave pergunta ldquoE entatildeordquo Se quiser saber como gestor se as suas actividades tiveram realmente sucesso precisa preparar todas as intervenccedilotildees tendo em mente a avaliaccedilatildeo e incorporar a avaliaccedilatildeo ao seu planeamento organizacional geral Ao definir objectivos deve se perguntar Como saberemos se estamos a atingir esses objectivos Este eacute o ponto de partida para a avaliaccedilatildeo
Seja qual for o porte da sua intervenccedilatildeo ou serviccedilo e o alcance da avaliaccedilatildeo precisaraacute responder a trecircs perguntas durante a fase de desenho e planeamento
1 O que a sua intervenccedilatildeo ou serviccedilo conseguiraacute realizar a curto e longo prazo Se implementar um conjunto de actividades com sucesso ao longo do tempo o que seraacute diferente
2 Como conceptualiza as suas actividades ndash qual eacute a loacutegica subjacente Duas abordagens para identificar a loacutegica do programa satildeo discutidas neste capiacutetulo na secccedilatildeo intitulada Ferramentas e Abordagens Praacuteticas para MampA
3 Que indicadores pode usar para identificar o progresso no alcance dos resultados
Para responder agrave pergunta ldquoE entatildeordquo vocecirc precisa avaliar os factores sobre os quais tem um niacutevel razoaacutevel de controlo Por exemplo um novo serviccedilo criado para oferecer alojamento a pessoas que vivem com SIDA natildeo pode controlar ou afectar a expectativa de vida das pessoas agraves quais atende Mas ao fornecer um ambiente estaacutevel para elas viverem o serviccedilo pode diminuir o niacutevel de stresse e melhorar a qualidade de vida dessas pessoas que antes eram forccediladas a se mudar com frequecircncia
Depois de tratar da pergunta ldquoE entatildeordquo deve tambeacutem se certificar de que a avaliaccedilatildeo seja concebida de forma que quando o processo estiver concluiacutedo vocecirc possa abordar os cinco toacutepicos principais da avaliaccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 933
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
1 Relevacircncia Foi uma boa ideia fazer a intervenccedilatildeo considerando-se a situaccedilatildeo e a necessidade de melhorias Ela tratou das prioridades do grupo alvo ou beneficiaacuterio Por que sim ou por que natildeo
2 Eficaacutecia Os resultados produtos e actividades foram realizados Por que sim ou por que natildeo A loacutegica da intervenccedilatildeo eacute correcta
3 Eficiecircncia Os insumos (recursos e tempo) foram usados da melhor forma possiacutevel para atingir os resultados a meacutedio e longo prazo Por que sim ou por que natildeo O que vocecirc e sua equipa poderiam fazer de modo diferente no futuro para maximizar os resultados a um custo aceitaacutevel
4 Impacto Em que medida a sua intervenccedilatildeo contribuiu para as metas nacionais ou de longo prazo Que consequecircncias natildeo intencionais (positivas ou negativas) suas actividades tiveram Por que essas consequecircncias aconteceram
5 Sustentabilidade Eacute provaacutevel que os resultados positivos continuem depois que sua intervenccedilatildeo terminar Por que sim ou por que natildeo
Uma uacuteltima advertecircncia assim como a monitoria pode-se complicar demasiado a avaliaccedilatildeo Ao preparar um plano de avaliaccedilatildeo o melhor eacute seleccionar um grupo pequeno de indicadores e resistir agrave tentaccedilatildeo de avaliar todos os aspectos da sua intervenccedilatildeo
Assim como a monitoria a avaliaccedilatildeo soacute eacute uacutetil se as informaccedilotildees forem repassadas em tempo haacutebil para o gestor e outros tomadores de decisotildees e grupos de interesse Um problema comum com as avaliaccedilotildees intercalares eacute que os resultados geralmente soacute satildeo informados de 6 a 8 meses mais tarde o que deixa apenas 1 ou 2 anos para fazer mudanccedilas mais permanentes antes que se esgotem os fundos do governo ou da agecircncia doadora
COMO SELECCIONAR SUAS FONTES DE DADOS
Esta secccedilatildeo descreve trecircs tipos de fontes de dados que satildeo comummente usadas para uma avaliaccedilatildeo dados recolhidos rotineiramente inqueacuteritos de grande escala e teacutecnicas de avaliaccedilatildeo raacutepida inclusive a avaliaccedilatildeo participativa
Dados de rotina Os dados recolhidos e analisados rotineiramente por um SIS satildeo denominados ldquoestatiacutesticas de serviccedilordquo Pode-se utilizar vaacuterios sistemas de informaccedilatildeo de serviccedilos de rotina para monitorar os serviccedilos Alguns deles satildeo o sistema baacutesico de registo e relatoacuterio de SIS os sistemas especiais de relatoacuterios sobre programas (por ex tuberculose malaacuteria imunizaccedilatildeo VIH planeamento familiar etc) os sistemas de relatoacuterios sobre agentes comunitaacuterios especiais (por ex registos de agentes comunitaacuterios de sauacutede) o sistema de informaccedilotildees para a vigilacircncia de doenccedilas e o controlo notificaccedilatildeo e resposta a surtos e os relatoacuterios para os sistemas de suporte especiais (por ex medicamentos encaminhamentos e gestatildeo financeira e de recursos humanos)
Esses sistemas fornecem dados que estatildeo imediatamente disponiacuteveis e cujo objectivo eacute informar o que estaacute a acontecer no sector de sauacutede Os dados de rotina incluem por exemplo o nuacutemero de consultas de preacute-natal em uma cliacutenica o nuacutemero e tipo de vacinaccedilotildees fornecidas no local ou o nuacutemero e tipos de contraceptivos fornecidos mensalmente
Os dados sobre os serviccedilos satildeo geralmente recolhidos pelos centros de sauacutede ou postos de sauacutede e enviados para o proacuteximo niacutevel superior do sistema (geralmente o distrito) para serem agregados Esses dados podem entatildeo ser enviados ao proacuteximo niacutevel superior (regional ou provincial) para posterior agregaccedilatildeo antes que cheguem finalmente ao niacutevel central do Ministeacuterio da Sauacutede
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 934
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Idealmente os gestores de centros de sauacutede e ao niacutevel do distrito usam esses dados para orientar as operaccedilotildees diaacuterias acompanhar o desempenho e a prestaccedilatildeo de contas e tomar decisotildees que continuem a melhorar o desempenho Mas haacute vaacuterios obstaacuteculos a essa utilizaccedilatildeo
Muito frequentemente os dados de rotina satildeo imprecisos ou incompletos Apesar dos que utilizam o SIS tentarem produzir informaccedilotildees de alta qualidade e em tempo haacutebil haacute muitas oportunidades de introduzir erros Pode haver pouco apoio para que os gestores e seu pessoal se concentrem nos procedimentos correctos de recolha registo e agregaccedilatildeo dos dados
Os sistemas de sauacutede de vaacuterios paiacuteses enfatizam a importacircncia de apresentar relatoacuterios para os niacuteveis superiores mas natildeo estabeleceram procedimentos e incentivos para encorajar aqueles que fornecem informaccedilotildees a utilizaacute-las mesmo quando os dados satildeo de boa qualidade
Outra dificuldade eacute que as estatiacutesticas sobre serviccedilos fornecem informaccedilotildees apenas sobre os utentes que utilizam os serviccedilos de sauacutede Natildeo podem fornecer informaccedilotildees sobre as muitas pessoas que natildeo utilizam os serviccedilos
Por tudo isso natildeo se pode confiar apenas nas estatiacutesticas sobre serviccedilos para fazer uma avaliaccedilatildeo Elas satildeo melhor utilizadas para a monitoria de rotina dos problemas de sauacutede puacuteblica e dos serviccedilos essenciais relacionados
Inqueacuteritos em grande escala Os inqueacuteritos em grande escala satildeo outra fonte de informaccedilotildees imediatamente disponiacuteveis Incluem inqueacuteritos de base populacional tais como as Inqueacuterito Demograacutefico e de Sauacutede (IDS) dos EUA avaliaccedilotildees completas de centros de sauacutede como a Anaacutelise de Situaccedilatildeo do Population Council e os censos nacionais Em vaacuterios casos os gestores podem usar os dados de um inqueacuterito em grande escala existente para fornecer o contexto para a interpretaccedilatildeo dos dados capturados atraveacutes das suas proacuteprias avaliaccedilotildees
Por exemplo as IDS satildeo realizadas periodicamente para caracterizar a situaccedilatildeo de sauacutede em um paiacutes ou regiatildeo geograacutefica de grande extensatildeo para vaacuterios grupos populacionais homens mulheres crianccedilas bebeacutes e assim por diante Mas os dados das IDS natildeo podem normalmente ser desagregados para uso pelos gestores no niacutevel de distrito ou comunidade
Aleacutem disso como as IDS satildeo realizadas apenas a cada trecircs ou cinco anos as informaccedilotildees que fornecem podem natildeo estar suficientemente actualizadas para as necessidades de avaliaccedilatildeo dos gestores Apesar dessas dificuldades os dados das IDS satildeo uacuteteis para compreender tendecircncias regionais ou nacionais que podem ajudar a explicar dados recolhidos em uma avaliaccedilatildeo de foco especiacutefico
Avaliaccedilotildees raacutepidas Satildeo formas raacutepidas e econoacutemicas de obter informaccedilotildees para a tomada de decisotildees principalmente ao niacutevel da actividade Os exemplos incluem entrevistas quando os utentes saem de suas consultas as avaliaccedilotildees de pequena escala dos centros de sauacutede os inqueacuteritos raacutepidos por amostragem o exame analiacutetico de registos as entrevistas com grupos de enfoque e outros meacutetodos participativos
Poderaacute usar teacutecnicas de avaliaccedilatildeo raacutepida para complementar as informaccedilotildees obtidas com dados de rotina ou inqueacuteritos de grande escala As avaliaccedilotildees raacutepidas podem-lhe fornecer informaccedilotildees valiosas sobre sua aacuterea de captaccedilatildeo e sua aacuterea de responsabilidade mais ampla ndash ou seja as comunidades e as populaccedilotildees que deveriam ter acesso aos serviccedilos essenciais prestados por um centro de sauacutede determinado Elas podem tambeacutem fornecer contexto e uma compreensatildeo qualitativa dos dados quantitativos recolhidos pelos meacutetodos mais formais
Dentro da categoria de avaliaccedilotildees raacutepidas os meacutetodos participativos e os inqueacuteritos raacutepidos por amostragem merecem a sua atenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 935
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Meacutetodos participativos (tambeacutem chamados de aprendizagem e acccedilatildeo participativas) Essas teacutecnicas e meacutetodos visam incorporar o conhecimento e as opiniotildees dos membros da comunidade no planeamento e gestatildeo de projectos de desenvolvimento no esforccedilo para influenciar as poliacuteticas e na implementaccedilatildeo de programas Eles permitem incluir vozes da comunidade nas poliacuteticas no planeamento e nos inqueacuteritos e criam um senso de propriedade e participaccedilatildeo nos resultados de MampA e nas recomendaccedilotildees feitas pela organizaccedilatildeo e por seus beneficiaacuterios
Ao contraacuterio de outras teacutecnicas de avaliaccedilatildeo raacutepida os meacutetodos participativos natildeo se baseiam em amostragens Eles usam entrevistas individuais ou com informantes essenciais (inclusive entrevistas com utentes ao saiacuterem de suas consultas) entrevistas em grupo estudos de caso e outros meacutetodos qualitativos para identificar as condiccedilotildees locais e entender as perspectivas e prioridades locais
Em vaacuterios locais haacute membros da comunidade que natildeo podem ler nem escrever e por isso os meacutetodos participativos dependem frequentemente da comunicaccedilatildeo oral com apoio de imagens siacutembolos objectos fiacutesicos e memoacuteria colectiva
Os meacutetodos participativos podem ser usados antes durante e apoacutes a implementaccedilatildeo de uma intervenccedilatildeo ou um conjunto de actividades Eles fornecem informaccedilotildees para o projecto e a avaliaccedilatildeo e permitem a participaccedilatildeo activa das partes interessadas na tomada de decisotildees Durante a implementaccedilatildeo os meacutetodos participativos satildeo uacuteteis para identificar e solucionar problemas
Aproveite para examinar e utilizar uma lista de recursos online sobre inqueacuterito qualitativo e directrizes sobre discussotildees em grupos de enfoque no Community Tool Box da Universidade de Kansas
Inqueacuteritos raacutepidos por amostragem Estes inqueacuteritos podem ser utilizados para recolher informaccedilotildees padronizadas de uma amostra pequena e cuidadosamente seleccionada de pessoas ou domiciacutelios em uma aacuterea beneficiaacuteria Eles podem descrever as condiccedilotildees em uma comunidade particular ou grupo-alvo e permitem comparar grupos diferentes em um determinado momento ou mudanccedilas no mesmo grupo ao longo do tempo Permitem tambeacutem comparar condiccedilotildees actuais com os resultados planeados
Um dos inqueacuteritos mais comuns de pequena amostragem eacute o inqueacuterito CAP (Conhecimentos Atitudes e Praacuteticas) baseado em uma amostra de 30 agrupamentos
Amostragem para Garantia de Qualidade de Lotes (Lot Quality Sampling - LQAS) Essa eacute outra teacutecnica de avaliaccedilatildeo raacutepida que se usa cada vez mais na aacuterea de sauacutede puacuteblica A LQAS utiliza amostragens muito pequenas para obter informaccedilotildees confiaacuteveis em uma pequena aacuterea geograacutefica ou unidade administrativa Pode ser usada para detectar de forma precisa os extremos do desempenho ndash para determinar se uma intervenccedilatildeo foi mais aleacutem de um limiar superior de desempenho ou natildeo conseguiu atingir um limiar inferior de desempenho em termos de qualidade ou cobertura As amostras de lotes podem tambeacutem ser combinadas para fornecer estimativas de cobertura em uma aacuterea geograacutefica mais ampla
Uma busca na Web revelaraacute recursos uacuteteis aqui temos um sobre os inqueacuteritos CAP e outro sobre LQAS A aacuterea de MampA do website do CORE Group inclui ligaccedilotildees com ferramentas e recursos importantes para a avaliaccedilatildeo raacutepida criados pelo Grupo de Trabalho de MampA do CORE Group
Como gestor deve revisar todas as fontes de dados jaacute existentes antes de planear a sua avaliaccedilatildeo A Tabela 7 apresenta as vantagens e desvantagens das trecircs principais fontes de
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 936
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 7 Resumo das trecircs fontes de dados mais comuns para uma avaliaccedilatildeo
Fonte de dados Vantagens Limitaccedilotildees
Estatiacutesticas de serviccedilo Dados sobre a populaccedilatildeo de utentes e serviccedilos cliacutenicos que satildeo recolhidos rotineiramente nos registos dos utentes e nos registos cliacutenicos
Disponiacuteveis imediatamente
Cobrem todos os tipos de serviccedilos de sauacutede e todas as aacutereas do paiacutes
Podem ser desagregados para os niacuteveis local e de distrito
Uso econoacutemico
Soacute lhe informam sobre clientes actuais sem informaccedilotildees sobre as pessoas que natildeo usam os serviccedilos de sauacutede e podem ser utentes em potencial
Natildeo fornecem informaccedilotildees sobre valores percepccedilotildees ou comportamentos da comunidade
Natildeo reflectem as pessoas que optam por fontes privadas de serviccedilos
Podem ser inexactas se os locais de prestaccedilatildeo de serviccedilos natildeo registarem os dados correctamente de forma legiacutevel e em tempo haacutebil
Inqueacuteritos de grande escala Inqueacuteritos de base populacional e avaliaccedilotildees de grande escala dos centros de sauacutede
Dados relevantes precisos e confiaacuteveis
Podem medir as tendecircncias nacionais de sauacutede identificar aacutereas com problemas e ajudar a concentrar os recursos do paiacutes em aacutereas de maior carecircncia
Geram valores meacutedios para as aacutereas urbanas e rurais regiotildees e proviacutencias
Fornecem um contexto para interpretar os dados recolhidos localmente
Podem gerar informaccedilotildees adicionais a partir dos seus conjuntos de dados informatizados
Geralmente natildeo podem desagregar os dados para fornecer meacutedias para as aacutereas sub-regionais (distritos ou municipalidades)
Geralmente natildeo satildeo realizadas anualmente os dados se tornam desactualizados rapidamente se as populaccedilotildees ou condiccedilotildees de sauacutede se modificarem rapidamente
Avaliaccedilotildees raacutepidas Meacutetodos focados para avaliar as necessidades locais e tomar decisotildees em acircmbito local
Raacutepidas e econoacutemicas
Resultam em acccedilatildeo local
Haacute directrizes para ajudar os gestores em vaacuterias dessas teacutecnicas
Fornecem aos gestores a capacidade de recolher os dados necessaacuterios
Os inqueacuteritos domiciliares (por ex LQAS ou CAP) podem obter precisatildeo suficiente para fins de avaliaccedilatildeo
Equilibra a necessidade de resultados representativos e objectivos com a necessidade de usar projectos levemente menos rigorosos que satildeo mais viaacuteveis em aacutereas locais
Usam escala e acircmbito reduzidos para produzir resultados em tempo haacutebil e de baixo custo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 937
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
dados que foram discutidas acima estatiacutesticas rotineiras de serviccedilos inqueacuteritos em grande escala e teacutecnicas de avaliaccedilatildeo raacutepida
Que niacutevel de qualidade os dados do SIS precisam ter para serem uacuteteis ndash que niacutevel de abrangecircncia precisatildeo e apresentaccedilatildeo em tempo haacutebil Para as suas necessidades de gestatildeo mesmo que natildeo sejam perfeitos os dados podem ser suficientemente bons para ter um efeito poderoso como nos mostra o exemplo de Madagascar
Dados do SIS pontos fortes e limitaccedilotildees
Subestimar o valor e a utilidade do SIS eacute infelizmente uma tendecircncia Eacute verdade que o SIS tem problemas frequentemente mas tambeacutem eacute grande o seu potencial Como vimos em
Como usar e melhorar dados imperfeitos do SIS ndash Um exemplo de Madagascar
Um SIS de base comunitaacuteria mais preciso e mais oportuno Um projecto de Madagascar implementou um meacutetodo baseado na comunidade para aumentar o uso de meacutetodos de planeamento familiar denominado ldquoComunidades Campeatildesrdquo em 50 dos 110 distritos do paiacutes O meacutetodo utilizou exclusivamente os dados do SIS para monitorar e avaliar as realizaccedilotildees das comunidades participantes
Em primeiro lugar foi estabelecida uma base de referecircncia para cada comunidade ao usar os dados do seu centro de sauacutede Em seguida o pessoal do centro de sauacutede e os representantes da comunidade identificaram metas para 10 indicadores que determinariam se uma comunidade tinha alcanccedilado a posiccedilatildeo de campeatilde apoacutes 12 meses de implementaccedilatildeo Cada comunidade monitorava seu proacuteprio progresso em uma reuniatildeo trimestral de verificaccedilatildeo
Apoacutes 12 meses o pessoal do projecto voltou a cada comunidade para avaliar os resultados Examinaram os dados do relatoacuterio de monitoria de rotina de cada centro de sauacutede e para cada indicador Prepararam tambeacutem um relatoacuterio sobre os dados de cada comunidade e o enviaram para o supervisor de niacutevel distrital para a sua confirmaccedilatildeo com base nos registos informatizados do distrito As fontes de dados para os relatoacuterios do centro de sauacutede e registos de distrito foram as mesmas (registos dos centros de sauacutede) e por isso raramente ocorreu uma discrepacircncia Mas o que interessava era envolver o supervisor distrital no exame dos dados do centro de sauacutede para mostrar a utilidade de se usar ateacute mesmo dados simples nesse niacutevel
O projecto tambeacutem cooperou com o Ministeacuterio da Sauacutede a niacutevel distrital para melhorar a precisatildeo a abrangecircncia e a prontidatildeo do SIS A ecircnfase era obter dados mais completos dos centros de sauacutede e reduzir o tempo gasto pelo escritoacuterio distrital para receber o relatoacuterio do centro de sauacutede apreciaacute-lo devolvecirc-lo ao centro para qualquer correcccedilatildeo recebecirc-lo novamente dar entrada dos dados no sistema e finalmente enviaacute-los ao niacutevel central Os distritos satildeo responsaacuteveis por cooperar com os centros de sauacutede para melhorar o registo de dados e actualizar suas proacuteprias teacutecnicas de processamento de dados
Apoacutes dois anos de assistecircncia teacutecnica o SIS tinha realmente melhorado segundo os indicadores de precisatildeo abrangecircncia e prontidatildeo As melhorias mais notaacuteveis foram em prontidatildeo o tempo gasto pelo escritoacuterio distrital no processo descrito acima reduziu-se de 12 para 3 meses
Imperfeitas mais mesmo assim valiosos Deve-se lembrar que o projecto ldquoComunidades Campeatildesrdquo teve oacuteptimo resultado apesar dos dados imperfeitos Seu numerador (o nuacutemero de utentes regulares de planeamento familiar) era detalhado e preciso Mas suas estimativas das taxas de prevalecircncia do uso de contraceptivos natildeo eram muito precisas porque o denominador (nuacutemero de mulheres em idade reprodutiva) era apenas uma estimativa baseada num censo desactualizado e em estimativas anuais do governo sobre percentagens de crescimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 938
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Madagascar o projecto Comunidades Campeatildes melhorou o sistema substancialmente num periacuteodo de dois anos Nesse caso o sistema jaacute se encontrava relativamente funcional porque projectos anteriores haviam feito um grande esforccedilo para implantar o sistema e tornaacute-lo mais soacutelido Ao aprimorar a forma como o sistema era administrado e os dados eram usados o projecto posterior conseguiu fazer uma grande diferenccedila por meio de pequenas modificaccedilotildees
Os dados do SIS natildeo satildeo 100 exactos e nunca seratildeo Esta eacute a realidade com a qual todos os gestores tecircm que trabalhar Mas os dados natildeo precisam ser perfeitos para serem uacuteteis Eacute possiacutevel fazer a monitoria e a gestatildeo com dados imperfeitos Informaccedilotildees obtidas em tempo
(continuaccedilatildeo)
No entanto o projecto constatou que as taxas de prevalecircncia de uso de contraceptivos eram suficientemente boas para acompanhar o desempenho das comunidades que participavam do meacutetodo de Comunidades Campeatildes O pessoal do projecto tambeacutem complementou as comparaccedilotildees dessas taxas com as comparaccedilotildees dos valores do numerador nuacutemeros simples que faziam sentido para o pessoal do centro de sauacutede e tambeacutem para as comunidades
O niacutevel central comeccedilou a organizar workshops regionais trimestrais para divulgar os resultados ao niacutevel distrital Juntos os gestores dos niacuteveis distritais regionais e centrais analisaram o progresso e classificaram os distritos com base no seu desempenho Usaram a anaacutelise de causa-raiz ndash um processo que identifica as causas subjacentes de um problema ndash para entender os obstaacuteculos enfrentados pelos distritos que apresentavam baixo desempenho (Consulte o Apecircndice A no Capiacutetulo 2 deste guia para obter mais informaccedilotildees sobre a anaacutelise de causa-raiz) Finalmente o Ministeacuterio de Sauacutede mobilizou o apoio de agecircncias doadoras e de organizaccedilotildees parceiras para ajudaacute-los a melhorar
O ministeacuterio comeccedilou a usar as informaccedilotildees de sauacutede para administrar realmente o sistema de sauacutede Antes dessa intervenccedilatildeo poucas organizaccedilotildees confiavam ou utilizavam os dados do SIS Mas quando ficou claro que o sistema funcionava as agecircncias doadoras passaram a confiar as organizaccedilotildees parceiras passaram a utilizaacute-lo e o ministeacuterio se orgulhou do trabalho Pela primeira vez tinham uma visatildeo mais niacutetida do que acontecia em todo o paiacutes e podiam usar essas informaccedilotildees para buscar o apoio de agecircncias doadoras se necessaacuterio
Do mesmo modo os centros de sauacutede raramente usavam seus proacuteprios dados Eles simplesmente faziam os registos e os enviavam para o escritoacuterio distrital sem nem mesmo receber retroinformaccedilatildeo do mesmo Apoacutes a conclusatildeo do projecto perceberam como os dados mais precisos podiam ser usados em seu benefiacutecio e das comunidades
Os distritos tambeacutem actuavam antes de uma forma pouco informada Cada distrito dependia apenas dos seus proacuteprios dados e funcionava num vaacutecuo As mudanccedilas no SIS e o encorajamento do governo central forneceram aos distritos oportunidades para comparar seu trabalho e aprender uns com os outros
Aprendizagem com dados mais precisos completos e oportunos Os dados satildeo geralmente utilizados para fazer comparaccedilotildees mas satildeo menos frequentemente utilizados como ferramenta de aprendizagem Nesse caso depois que os relatoacuterios comeccedilaram a chegar dentro do prazo o Ministeacuterio da Sauacutede usou os dados ndash inclusive dados imperfeitos ndash para descobrir que distritos tinham um desempenho ruim e que distritos estavam melhor que os outros Assim aprenderam com os de melhor desempenho ao perguntar Por que seus resultados satildeo tatildeo bons O que estavam a fazer de diferente O que poderia ser replicado Finalmente aplicaram a aprendizagem ao usar esses distritos como modelos e ao oferecer mais apoio aos de pior desempenho
Todo o sistema de sauacutede se entusiasmou com as informaccedilotildees que podiam produzir e usar A comeccedilar do topo esse entusiasmo chegou aos niacuteveis inferiores e os motivou a melhorar sua recolha e processamento de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 939
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
haacutebil e com 75 de precisatildeo satildeo melhores que as informaccedilotildees com 95 de precisatildeo que chegam com vaacuterios meses de atraso
Apesar do seu grande valor por si soacutes os dados do SIS natildeo atenderatildeo a todas as necessidades de informaccedilatildeo de muitas organizaccedilotildees Algumas organizaccedilotildees e agecircncias doadoras precisam de dados que exigem avaliaccedilotildees ou sistemas especiais Aleacutem disso vaacuterias intervenccedilotildees foram projectadas para modificar o conhecimento as atitudes e as praacuteticas dos beneficiaacuterios factores que natildeo satildeo capturados nos dados de serviccedilo Eacute importante usar os dados do SIS sempre que possiacutevel e complementaacute-los com avaliaccedilotildees locais quando necessaacuterio
Como gestor de um programa de sauacutede ou de serviccedilos de sauacutede parte do seu trabalho deveria ser o de melhorar o SIS em seu paiacutes Ele eacute o uacutenico sistema de informaccedilotildees sustentaacutevel na maioria dos paiacuteses Os sistemas de informaccedilatildeo criados e mantidos por agecircncias doadoras ou organizaccedilotildees externas tecircm duraccedilatildeo limitada mas o SIS eacute parte permanente do seu legado
Se todos os parceiros e agecircncias doadoras trabalharem com o Ministeacuterio de Sauacutede para prestar assistecircncia teacutecnica e financeira ao SIS ele poderaacute render informaccedilotildees que trazem grandes melhorias para os serviccedilos de sauacutede e que justificam plenamente o investimento no mesmo
Praacuteticas comprovadas
Um sistema de MampA deveria proporcionar aos gestores o que eles precisam saber para agir Deve se basear em indicadores relevantes faacuteceis de usar e que possam ser fornecidos em tempo haacutebil para os ciclos de planeamento e apresentaccedilatildeo de relatoacuterios
Os resultados de MampA natildeo se destinam apenas ao pessoal de MampA da sua organizaccedilatildeo ou agrave agecircncia doadora As informaccedilotildees de MampA satildeo um recurso fundamental para as acccedilotildees e a aprendizagem Se o seu processo de MampA tiver mecanismos de retroinformaccedilatildeo que permitam aos tomadores de decisotildees reflectirem sobre os resultados e absorverem o que precisam para seus proacuteprios fins eles assumiratildeo o controlo do processo e utilizaratildeo o que ele oferecer
Se vocecirc define suas actividades de MampA no comeccedilo de uma intervenccedilatildeo ou projecto junto com o plano de acccedilatildeo para o projecto teraacute mais oportunidades de orientar e acompanhar a implementaccedilatildeo das actividades
Quando satildeo demasiado elaborados e complicados os planos de MampA natildeo satildeo usados Elabore um plano de MampA simples escolha ferramentas de monitoria faacuteceis de usar e seleccione a menor quantidade possiacutevel de indicadores para acompanhar o progresso e introduzir as mudanccedilas necessaacuterias ao longo do caminho
Para fortalecer um SIS eacute preciso trabalhar com as pessoas envolvidas os responsaacuteveis pelo sistema que registam transferem analisam comunicam e utilizam os dados e as informaccedilotildees para a gestatildeo dos serviccedilos
Ao fornecer os dados do SIS para os tomadores de decisotildees vocecirc deve reconhecer as diferenccedilas na frequecircncia dos relatoacuterios e nas quantidades de dados agregados e desagregados necessaacuterios aos niacuteveis diferentes de governo ou agraves organizaccedilotildees natildeo governamentais
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 927
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
O processo de Monitoria e Avaliaccedilatildeo deve ser executado com o objectivo de usar imediatamente os resultados para identificar as falhas de desempenho e tomar medidas para reduzir ou eliminar essas falhas Vocecirc deve sempre planear formas de usar os resultados de MampA para o aprendizado e a acccedilatildeo Por exemplo o que deve fazer se as actividades do projecto natildeo trouxerem os resultados esperados O que precisa mudar se os serviccedilos essenciais natildeo estiverem a fornecer os niacuteveis de cobertura previstos ou a alcanccedilar grupos especiacuteficos de pessoas E como vocecirc pode levar esses fatos agrave atenccedilatildeo das pessoas certas para obter uma resposta raacutepida
Desenho de uma ferramenta de MampA
ARMADILHAS DA MONITORIA E AVALIACcedilAtildeO
Haacute vaacuterias armadilhas comuns que impedem que vocecirc como gestor aperfeiccediloe a funccedilatildeo de MampA na sua organizaccedilatildeo
Planeamento excessivo ou insuficienteAlguns gestores podem gastar tempo demais a preparar o plano de MampA do que resultam planos muito elaborados e complicados de usar Outros ficam muito ansiosos por implementar as intervenccedilotildees de MampA e comeccedilam antes de concluir o plano de MampA Isso significa que quando o plano fica pronto eacute geralmente tarde demais para obter dados de base viaacuteveis e a MampA tem que ser adiada Nesses casos o gestor talvez tenha que aceitar fazer a avaliaccedilatildeo mais tarde sem os dados de base que poderia usar para a comparaccedilatildeo
Descuidar-se da monitoria contiacutenua Outra armadilha frequente eacute a falha em incluir a monitoria contiacutenua na implementaccedilatildeo das actividades Isto ocorre frequentemente por falta de experiecircncia Muitos gestores natildeo tiveram acesso a ferramentas de monitoria uacuteteis (que satildeo raras) Talvez natildeo tenham recebido prontamente os resultados ou a retroinformaccedilatildeo do sistema de MampA no passado e por isso natildeo percebem como eacute importante realizar a monitoria de rotina Aleacutem disso gestores podem facilmente se emaranhar nos detalhes da implementaccedilatildeo e descuidar-se da monitoria de rotina
Exagerar Outra armadilha relacionada agrave monitoria eacute tentar rastrear os dados de todos os indicadores possiacuteveis Tentar obter os dados sobre um nuacutemero excessivo de factores torna o processo de monitoria tatildeo complicado que se torna impreciso Isso tambeacutem torna o processo mais lento de modo que no momento em que os dados satildeo recolhidos e analisados eles jaacute natildeo satildeo mais uacuteteis As ferramentas de monitoria muito demoradas e complicadas acabam por natildeo ser usadas O que acontece entatildeo O gestor deixa totalmente de fazer a monitoria e tem que recorrer agrave avaliaccedilatildeo
Se jaacute se deparou com esses problemas eacute hora de mudar a sua taacutectica Vocecirc pode criar um plano de MampA simples e usar ferramentas de monitoria simples Descubra o que tem que medir para obter os dados dentro de 3 a 6 meses o prazo vai depender dos ciclos de planeamento e apresentaccedilatildeo de relatoacuterios da sua organizaccedilatildeo Entenda tambeacutem qual eacute o miacutenimo que deve ser medido em uma avaliaccedilatildeo de longo prazo Busque a simplicidade mesmo se estiver diante de um conjunto complexo de actividades
Tente incluir apenas o que realmente precisa saber Pode testar todos os indicadores propostos antes de incluiacute-los no planeamento de MampA ao perguntar Quem precisa usar essas informaccedilotildees quando e com que finalidade Se um uacutenico indicador de produtos for suficiente perfeito Natildeo sobrecarregue a monitoria com indicadores desnecessaacuterios Muitas vezes menos dados fornecem mais informaccedilotildees
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 928
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
CARACTERIacuteSTICAS DE UMA BOA FERRAMENTA DE MONITORIA
Como gestor natildeo precisa saber tudo para gerir um serviccedilo ou dirigir uma intervenccedilatildeo mas precisa das informaccedilotildees imediatamente Portanto precisa de uma ferramenta de monitoria que possa fornecer informaccedilotildees suficientes e em tempo haacutebil para identificar e corrigir problemas assim que eles surgirem
Uma ferramenta de monitoria deve ser faacutecil de montar e utilizar As tabelas listas de verificaccedilatildeo e diagramas simples satildeo meacutetodos particularmente uacuteteis de recolher organizar e apresentar informaccedilotildees de monitoria
No miacutenimo sua ferramenta de monitoria deve permitir que vocecirc e sua equipa acompanhem
o progresso da implementaccedilatildeo da actividade a entrega de produtos ou resultados imediatos a situaccedilatildeo dos principais indicadores de resultados comparados aos resultados
esperados se for o caso as despesas orccedilamentais a disponibilidade de recursos humanos e financeiros os obstaacuteculos agrave implementaccedilatildeo e o que tem sido feito para superaacute-los
Vocecirc teraacute que responder agraves seguintes perguntas periodicamente
As actividades foram implementadas conforme planeado dentro do prazo e do orccedilamento
Que actividades adicionais natildeo planeadas foram realizadas Que serviccedilos ou produtos directos e tangiacuteveis foram oferecidos como resultado
das actividades que implementamos Estamos dentro do cronograma para atingir nossos resultados a meacutedio e longo
prazo Possuiacutemos os recursos necessaacuterios (pessoal dinheiro medicamentos e
suprimentos etc) para cumprirmos o cronograma
O Quadro 4 apresenta os componentes baacutesicos de uma ferramenta simples de monitoria
QUADRO 4 Uma ferramenta simples de monitoria
Data de exame Metas de resultados
Actividades (segundo o plano de implementaccedilatildeo)
Situaccedilatildeo ateacute o momento
Resultados esperados
Datas para conclusatildeo
Situaccedilatildeo ateacute o momento Comentaacuterios
Desafios e oportunidades
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 929
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quando usadas correctamente as novas tecnologias (por ex os PDAs ldquosmartphonesrdquo laptops e outros) podem facilitar a monitoria e aumentar os benefiacutecios da monitoria das actividades A monitoria automatizada ndash dados que podem ser obtidos e processados automaticamente ndash podem produzir um resumo dos principais indicadores em uma soacute paacutegina faacutecil de ler e num formato que utiliza cores para alertar ao gestor sobre as aacutereas que precisam de maior atenccedilatildeo As informaccedilotildees obtidas em tempo haacutebil sobre alguns indicadores essenciais permitem que o gestor monitore o progresso e tome medidas correctivas
Essa apresentaccedilatildeo visual das informaccedilotildees mais importantes e necessaacuterias para gerir um projecto eacute geralmente conhecida como Painel de Indicadores de Desempenho Os paineacuteis de indicadores de desempenho podem ser usados em qualquer organizaccedilatildeo departamento ou divisatildeo Nas organizaccedilotildees de sauacutede puacuteblica os paineacuteis satildeo usados frequentemente para monitorar os indicadores financeiros e programaacuteticos bem como a cobertura produccedilatildeo eficaacutecia e qualidade de serviccedilos de sauacutede especiacuteficos Um painel de recursos humanos por exemplo incluiria indicadores relevantes para gerir o seguinte
retenccedilatildeo de funcionaacuterios rotatividade de funcionaacuterios formaccedilatildeo de funcionaacuterios lacunas de habilidades satisfaccedilatildeo dos funcionaacuterios custos benefiacutecios e despesas gerais com funcionaacuterios
A Tabela 6 mostra um painel de indicadores de desempenho criado para monitorar serviccedilos de contracepccedilatildeo ciruacutergica voluntaacuteria (CCV)
TABELA 6 Ilustraccedilatildeo de Painel de Indicadores de Desempenho para Serviccedilos de Contracepccedilatildeo Ciruacutergica Voluntaacuteria (CCV)
Serviccedilo Contracepccedilatildeo Ciruacutergica Voluntaacuteria Periacuteodo do Relatoacuterio Janeiro de 2009
No Indicador de Prestaccedilatildeo de Serviccedilos Custo Qualidade
Meta financeira ou programaacutetica
LimiarNuacutemero
alcanccedilado
Percentagem concluiacuteda
Miacuten Maacutex 10 20 30 40 50 60 70 80 90 100
1 Nuacutemero de CCVs realizadas no mecircs 8 10 7
2 Custo meacutedio das CCVs (US$) 100 120 110
3 Orccedilamento mensal da receita com CCVs realizadas (US$) 800 1200 770
4Percentagem das CCVs realizadas por pessoal
qualificadomdash 100 60
5 Percentagem das CCVs realizadas sem complicaccedilotildees 95 100 100
6
Percentagem de utentes satisfeitas com o tratamento
recebido do pessoal que realizou as CCVs
90 100 90
Adaptado de Colindres 2008 p 6
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 930
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja uma descriccedilatildeo do uso de um painel de indicadores de desempenho para a monitoria de rotina num estudo de caso estudo de caso de uma ONG da Boliacutevia o Centro de Investigaccedilatildeo Educaccedilatildeo e Serviccedilos (CIES)
Para obter mais informaccedilotildees de como criar um painel de indicadores consulte ldquoComo usar os paineacuteis de indicadores de desempenho para monitorar as realizaccedilotildees de uma organizaccedilatildeordquo Esse documento ajuda a esclarecer conceitos e define as etapas essenciais para criar paineacuteis de indicadores de desempenho
Como criar uma avaliaccedilatildeo para fins de aprendizagem
Apesar da importacircncia da monitoria de rotina apenas a monitoria natildeo basta para responder agrave pergunta ldquoE entatildeordquo Ou seja suas actividades e produtos contribuiacuteram para melhorar a cobertura dos serviccedilos aumentar o conhecimento ou encorajar comportamentos mais saudaacuteveis
Talvez uma campanha de comunicaccedilatildeo sobre planeamento familiar criada para aumentar a prevalecircncia do uso de contraceptivos tenha levado o governo a abastecer os depoacutesitos distritais com contraceptivos Para que possam aprender com essa experiecircncia e criar campanhas mais eficazes no futuro os gestores do projecto ainda querem saber que produtos foram realmente dispensados aos centros de sauacutede e distribuiacutedos aos utentes Esta secccedilatildeo discute como criar uma avaliaccedilatildeo para fins de aprendizagem
Existem dois motivos para levar a cabo uma avaliaccedilatildeo
1 A avaliaccedilatildeo fornece informaccedilotildees sobre o sucesso da sua equipa unidade ou organizaccedilatildeo para atingir seus objectivos Essas informaccedilotildees ajudam a definir que actividades expandir modificar ou eliminar Ela pode tambeacutem revelar formas de melhorar a concepccedilatildeo e gestatildeo das actividades futuras
2 A avaliaccedilatildeo pode demonstrar uma cultura de prestaccedilatildeo de contas agrave sua agecircncia doadora e a outros grupos de interesse nomeadamente o governo e os beneficiaacuterios dos seus serviccedilos
AVALIACcedilOtildeES FORMATIVAS E SUMATIVAS
Os gestores podem realizar dois amplos tipos de avaliaccedilotildees formativas e sumativas
Avaliaccedilatildeo formativa Este tipo de avaliaccedilatildeo eacute realizada durante o desenvolvimento e implementaccedilatildeo de um programa Seu objectivo eacute orientar o desenho e a implementaccedilatildeo de actividades que incluam as melhores e mais promissoras praacuteticas que aumentaratildeo as chances de sucesso A avaliaccedilatildeo formativa eacute mais comummente utilizada por projectos de grande porte ou de longo prazo em vez de projectos menores e de curto prazo Poreacutem os projectos menores devem pelo menos realizar uma avaliaccedilatildeo raacutepida das melhores praacuteticas durante a fase de planeamento para apoiar a loacutegica e o conteuacutedo proposto para as actividades
A avaliaccedilatildeo formativa inclui uma avaliaccedilatildeo de necessidades para discernir os desejos e requisitos de um grupo da populaccedilatildeo e determinar a melhor forma de atendecirc-los Inclui tambeacutem uma avaliaccedilatildeo de processo para investigar o processo utilizado para executar uma intervenccedilatildeo Pode-se usar a avaliaccedilatildeo do processo para determinar se as actividades foram realizadas de acordo com o plano ndash em termos de sua concepccedilatildeo original estimativas de custos e nuacutemero de pessoas a serem atendidas ndash e se a qualidade dos processos usados estaacute de acordo com as melhores praacuteticas conhecidas
A avaliaccedilatildeo de processo geralmente inclui vaacuterias abordagens Pode incluir uma avaliaccedilatildeo dos dados referentes aos produtos (por ex nuacutemero de redes mosquiteiras fornecidas nuacutemero
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 931
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
de workshops de formaccedilatildeo realizados nuacutemero de participantes dos workshops) assim como entrevistas individuais ou grupos de enfoque entre os beneficiaacuterios Nas intervenccedilotildees de menor porte eacute uma boa praacutetica realizar uma avaliaccedilatildeo de processo mesmo se limitada agrave retroinformaccedilatildeo dos participantes
Avaliaccedilatildeo somativa Este tipo de avaliaccedilatildeo eacute realizada apoacutes a conclusatildeo de um grupo de actividades ou da intervenccedilatildeo para avaliar a qualidade da intervenccedilatildeo e os seus principais resultados A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo a avaliaccedilatildeo do impacto a anaacutelise de custo-benefiacutecio e custo-eficaacutecia e a investigaccedilatildeo operacional
A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo que avalia em que medida uma equipa unidade ou organizaccedilatildeo inteira atingiram seus resultados esperados A avaliaccedilatildeo dos resultados eacute usada para demonstrar que existe uma cultura de prestaccedilatildeo de contas para aperfeiccediloar o projecto de actividades organizacionais para melhorar a distribuiccedilatildeo dos recursos e para promover intervenccedilotildees futuras bem-sucedidas As principais perguntas satildeo Que modificaccedilotildees ocorreram na vida das pessoas das famiacutelias ou da comunidade como resultado do nosso trabalho Que diferenccedila fizemos
Como observamos anteriormente neste capiacutetulo os resultados a meacutedio e longo prazo satildeo geralmente mudanccedilas mensuraacuteveis eou observaacuteveis em duas dimensotildees A primeira dimensatildeo abrange a conscientizaccedilatildeo o conhecimento as atitudes os valores e as habilidades dos participantes de um programa ou dos beneficiaacuterios dos serviccedilos durante ou depois de seu envolvimento na intervenccedilatildeo A segunda dimensatildeo implica mudanccedilas no comportamento desses mesmos grupos
Idealmente as duas dimensotildees deveriam ser medidas em trecircs pontos no comeccedilo e no final do periacuteodo de implementaccedilatildeo e se possiacutevel apoacutes um periacuteodo de acompanhamento adequado Se a mediccedilatildeo do acompanhamento natildeo for viaacutevel pelo menos devem ser comparadas as mediccedilotildees de base e poacutes-intervenccedilatildeo Muitas vezes as mudanccedilas podem ser pequenas mas deve haver alguma melhoria em pelo menos um ou dois resultados para que a intervenccedilatildeo seja considerada um sucesso
A avaliaccedilatildeo dos resultados tenta distinguir entre a influecircncia da intervenccedilatildeo nessas mudanccedilas e a influecircncia de outros factores externos Mas geralmente os avaliadores teratildeo que optar pela atribuiccedilatildeo parcial de um resultado a uma intervenccedilatildeo ou serviccedilo especiacutefico devido agrave dificuldade em determinar uma relaccedilatildeo directa e causal entre o serviccedilo prestado e uma determinada mudanccedila
As avaliaccedilotildees de resultados utilizam geralmente um desenho natildeo experimental (geralmente denominado ldquopreacute e poacutes-avaliaccedilatildeordquo) que simplesmente mede as mudanccedilas antes e depois de uma intervenccedilatildeo ou seja diferente do desenho experimental (que compara os participantes com um grupo de controlo com designaccedilatildeo aleatoacuteria a ambos os grupos) ou do desenho semi-experimental (que compara os participantes com um grupo de controlo mas sem a designaccedilatildeo aleatoacuteria)
O desenho natildeo experimental eacute aceitaacutevel para as mediccedilotildees e relatoacuterios padratildeo dos resultados a meacutedio e longo prazo As ONGs raramente usam os desenhos experimentais Apesar de uma organizaccedilatildeo de grande porte e com muitos recursos poder ocasionalmente receber assistecircncia de especialistas para um desenho experimental a maioria delas acha que as consideraccedilotildees eacuteticas e logiacutesticas impedem a designaccedilatildeo aleatoacuteria dos participantes aos grupos de intervenccedilatildeo e de controlo Aleacutem disso o custo de recolher dados de um grupo de controlo seraacute provavelmente muito elevado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 932
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A avaliaccedilatildeo do impacto eacute outro componente da avaliaccedilatildeo somativa Eacute mais ampla do que a avaliaccedilatildeo de resultados e avalia os efeitos liacutequidos ou gerais ndash tanto intencionais como natildeo intencionais ndash de todo um programa grupo de programas ou grupo de organizaccedilotildees As avaliaccedilotildees de impacto geralmente se estendem por um periacuteodo de 3 a 5 anos
OUTROS TIPOS DE AVALIACcedilOtildeES
Anaacutelise de custo-benefiacutecio e custo-eficaacutecia Estes tipos de anaacutelise tratam da eficiecircncia da intervenccedilatildeo ao analisar os resultados em termos dos seus custos financeiros e do seu valor
Investigaccedilatildeo operacional Trata-se de um balanccedilo ou avaliaccedilatildeo de uma intervenccedilatildeo especiacutefica no contexto de um programa mais amplo que estaacute a fazer vaacuterias intervenccedilotildees A investigaccedilatildeo operacional eacute usada para testar e avaliar novas abordagens de prestaccedilatildeo de serviccedilos de sauacutede Eacute tambeacutem usada para identificar problemas na prestaccedilatildeo de serviccedilos e oferecer soluccedilotildees
A investigaccedilatildeo operacional eacute uma ferramenta poderosa que os gestores de programas e os tomadores de decisotildees podem usar para melhorar e expandir os serviccedilos Os estudos de investigaccedilatildeo operacional comparam intervenccedilotildees que estatildeo dentro da esfera de influecircncia do gestor Os exemplos incluem a avaliaccedilatildeo da eficaacutecia de uma nova estrateacutegia de prevenccedilatildeo de VIHSIDA um novo curso de formaccedilatildeo um novo conjunto de procedimentos para gerir medicamentos um novo meacutetodo contraceptivo ou um novo serviccedilo de sauacutede reprodutiva
O Toolkit de Investigaccedilatildeo Operacional do Programa Horizons sobre VIHSIDA do Population Council fornece informaccedilotildees detalhadas para criar um estudo de investigaccedilatildeo operacional
CONSIDERACcedilOtildeES PARA A FORMULACcedilAtildeO DE UMA AVALIACcedilAtildeO
O que avaliar para responder agrave pergunta ldquoE entatildeordquo Se quiser saber como gestor se as suas actividades tiveram realmente sucesso precisa preparar todas as intervenccedilotildees tendo em mente a avaliaccedilatildeo e incorporar a avaliaccedilatildeo ao seu planeamento organizacional geral Ao definir objectivos deve se perguntar Como saberemos se estamos a atingir esses objectivos Este eacute o ponto de partida para a avaliaccedilatildeo
Seja qual for o porte da sua intervenccedilatildeo ou serviccedilo e o alcance da avaliaccedilatildeo precisaraacute responder a trecircs perguntas durante a fase de desenho e planeamento
1 O que a sua intervenccedilatildeo ou serviccedilo conseguiraacute realizar a curto e longo prazo Se implementar um conjunto de actividades com sucesso ao longo do tempo o que seraacute diferente
2 Como conceptualiza as suas actividades ndash qual eacute a loacutegica subjacente Duas abordagens para identificar a loacutegica do programa satildeo discutidas neste capiacutetulo na secccedilatildeo intitulada Ferramentas e Abordagens Praacuteticas para MampA
3 Que indicadores pode usar para identificar o progresso no alcance dos resultados
Para responder agrave pergunta ldquoE entatildeordquo vocecirc precisa avaliar os factores sobre os quais tem um niacutevel razoaacutevel de controlo Por exemplo um novo serviccedilo criado para oferecer alojamento a pessoas que vivem com SIDA natildeo pode controlar ou afectar a expectativa de vida das pessoas agraves quais atende Mas ao fornecer um ambiente estaacutevel para elas viverem o serviccedilo pode diminuir o niacutevel de stresse e melhorar a qualidade de vida dessas pessoas que antes eram forccediladas a se mudar com frequecircncia
Depois de tratar da pergunta ldquoE entatildeordquo deve tambeacutem se certificar de que a avaliaccedilatildeo seja concebida de forma que quando o processo estiver concluiacutedo vocecirc possa abordar os cinco toacutepicos principais da avaliaccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 933
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
1 Relevacircncia Foi uma boa ideia fazer a intervenccedilatildeo considerando-se a situaccedilatildeo e a necessidade de melhorias Ela tratou das prioridades do grupo alvo ou beneficiaacuterio Por que sim ou por que natildeo
2 Eficaacutecia Os resultados produtos e actividades foram realizados Por que sim ou por que natildeo A loacutegica da intervenccedilatildeo eacute correcta
3 Eficiecircncia Os insumos (recursos e tempo) foram usados da melhor forma possiacutevel para atingir os resultados a meacutedio e longo prazo Por que sim ou por que natildeo O que vocecirc e sua equipa poderiam fazer de modo diferente no futuro para maximizar os resultados a um custo aceitaacutevel
4 Impacto Em que medida a sua intervenccedilatildeo contribuiu para as metas nacionais ou de longo prazo Que consequecircncias natildeo intencionais (positivas ou negativas) suas actividades tiveram Por que essas consequecircncias aconteceram
5 Sustentabilidade Eacute provaacutevel que os resultados positivos continuem depois que sua intervenccedilatildeo terminar Por que sim ou por que natildeo
Uma uacuteltima advertecircncia assim como a monitoria pode-se complicar demasiado a avaliaccedilatildeo Ao preparar um plano de avaliaccedilatildeo o melhor eacute seleccionar um grupo pequeno de indicadores e resistir agrave tentaccedilatildeo de avaliar todos os aspectos da sua intervenccedilatildeo
Assim como a monitoria a avaliaccedilatildeo soacute eacute uacutetil se as informaccedilotildees forem repassadas em tempo haacutebil para o gestor e outros tomadores de decisotildees e grupos de interesse Um problema comum com as avaliaccedilotildees intercalares eacute que os resultados geralmente soacute satildeo informados de 6 a 8 meses mais tarde o que deixa apenas 1 ou 2 anos para fazer mudanccedilas mais permanentes antes que se esgotem os fundos do governo ou da agecircncia doadora
COMO SELECCIONAR SUAS FONTES DE DADOS
Esta secccedilatildeo descreve trecircs tipos de fontes de dados que satildeo comummente usadas para uma avaliaccedilatildeo dados recolhidos rotineiramente inqueacuteritos de grande escala e teacutecnicas de avaliaccedilatildeo raacutepida inclusive a avaliaccedilatildeo participativa
Dados de rotina Os dados recolhidos e analisados rotineiramente por um SIS satildeo denominados ldquoestatiacutesticas de serviccedilordquo Pode-se utilizar vaacuterios sistemas de informaccedilatildeo de serviccedilos de rotina para monitorar os serviccedilos Alguns deles satildeo o sistema baacutesico de registo e relatoacuterio de SIS os sistemas especiais de relatoacuterios sobre programas (por ex tuberculose malaacuteria imunizaccedilatildeo VIH planeamento familiar etc) os sistemas de relatoacuterios sobre agentes comunitaacuterios especiais (por ex registos de agentes comunitaacuterios de sauacutede) o sistema de informaccedilotildees para a vigilacircncia de doenccedilas e o controlo notificaccedilatildeo e resposta a surtos e os relatoacuterios para os sistemas de suporte especiais (por ex medicamentos encaminhamentos e gestatildeo financeira e de recursos humanos)
Esses sistemas fornecem dados que estatildeo imediatamente disponiacuteveis e cujo objectivo eacute informar o que estaacute a acontecer no sector de sauacutede Os dados de rotina incluem por exemplo o nuacutemero de consultas de preacute-natal em uma cliacutenica o nuacutemero e tipo de vacinaccedilotildees fornecidas no local ou o nuacutemero e tipos de contraceptivos fornecidos mensalmente
Os dados sobre os serviccedilos satildeo geralmente recolhidos pelos centros de sauacutede ou postos de sauacutede e enviados para o proacuteximo niacutevel superior do sistema (geralmente o distrito) para serem agregados Esses dados podem entatildeo ser enviados ao proacuteximo niacutevel superior (regional ou provincial) para posterior agregaccedilatildeo antes que cheguem finalmente ao niacutevel central do Ministeacuterio da Sauacutede
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 934
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Idealmente os gestores de centros de sauacutede e ao niacutevel do distrito usam esses dados para orientar as operaccedilotildees diaacuterias acompanhar o desempenho e a prestaccedilatildeo de contas e tomar decisotildees que continuem a melhorar o desempenho Mas haacute vaacuterios obstaacuteculos a essa utilizaccedilatildeo
Muito frequentemente os dados de rotina satildeo imprecisos ou incompletos Apesar dos que utilizam o SIS tentarem produzir informaccedilotildees de alta qualidade e em tempo haacutebil haacute muitas oportunidades de introduzir erros Pode haver pouco apoio para que os gestores e seu pessoal se concentrem nos procedimentos correctos de recolha registo e agregaccedilatildeo dos dados
Os sistemas de sauacutede de vaacuterios paiacuteses enfatizam a importacircncia de apresentar relatoacuterios para os niacuteveis superiores mas natildeo estabeleceram procedimentos e incentivos para encorajar aqueles que fornecem informaccedilotildees a utilizaacute-las mesmo quando os dados satildeo de boa qualidade
Outra dificuldade eacute que as estatiacutesticas sobre serviccedilos fornecem informaccedilotildees apenas sobre os utentes que utilizam os serviccedilos de sauacutede Natildeo podem fornecer informaccedilotildees sobre as muitas pessoas que natildeo utilizam os serviccedilos
Por tudo isso natildeo se pode confiar apenas nas estatiacutesticas sobre serviccedilos para fazer uma avaliaccedilatildeo Elas satildeo melhor utilizadas para a monitoria de rotina dos problemas de sauacutede puacuteblica e dos serviccedilos essenciais relacionados
Inqueacuteritos em grande escala Os inqueacuteritos em grande escala satildeo outra fonte de informaccedilotildees imediatamente disponiacuteveis Incluem inqueacuteritos de base populacional tais como as Inqueacuterito Demograacutefico e de Sauacutede (IDS) dos EUA avaliaccedilotildees completas de centros de sauacutede como a Anaacutelise de Situaccedilatildeo do Population Council e os censos nacionais Em vaacuterios casos os gestores podem usar os dados de um inqueacuterito em grande escala existente para fornecer o contexto para a interpretaccedilatildeo dos dados capturados atraveacutes das suas proacuteprias avaliaccedilotildees
Por exemplo as IDS satildeo realizadas periodicamente para caracterizar a situaccedilatildeo de sauacutede em um paiacutes ou regiatildeo geograacutefica de grande extensatildeo para vaacuterios grupos populacionais homens mulheres crianccedilas bebeacutes e assim por diante Mas os dados das IDS natildeo podem normalmente ser desagregados para uso pelos gestores no niacutevel de distrito ou comunidade
Aleacutem disso como as IDS satildeo realizadas apenas a cada trecircs ou cinco anos as informaccedilotildees que fornecem podem natildeo estar suficientemente actualizadas para as necessidades de avaliaccedilatildeo dos gestores Apesar dessas dificuldades os dados das IDS satildeo uacuteteis para compreender tendecircncias regionais ou nacionais que podem ajudar a explicar dados recolhidos em uma avaliaccedilatildeo de foco especiacutefico
Avaliaccedilotildees raacutepidas Satildeo formas raacutepidas e econoacutemicas de obter informaccedilotildees para a tomada de decisotildees principalmente ao niacutevel da actividade Os exemplos incluem entrevistas quando os utentes saem de suas consultas as avaliaccedilotildees de pequena escala dos centros de sauacutede os inqueacuteritos raacutepidos por amostragem o exame analiacutetico de registos as entrevistas com grupos de enfoque e outros meacutetodos participativos
Poderaacute usar teacutecnicas de avaliaccedilatildeo raacutepida para complementar as informaccedilotildees obtidas com dados de rotina ou inqueacuteritos de grande escala As avaliaccedilotildees raacutepidas podem-lhe fornecer informaccedilotildees valiosas sobre sua aacuterea de captaccedilatildeo e sua aacuterea de responsabilidade mais ampla ndash ou seja as comunidades e as populaccedilotildees que deveriam ter acesso aos serviccedilos essenciais prestados por um centro de sauacutede determinado Elas podem tambeacutem fornecer contexto e uma compreensatildeo qualitativa dos dados quantitativos recolhidos pelos meacutetodos mais formais
Dentro da categoria de avaliaccedilotildees raacutepidas os meacutetodos participativos e os inqueacuteritos raacutepidos por amostragem merecem a sua atenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 935
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Meacutetodos participativos (tambeacutem chamados de aprendizagem e acccedilatildeo participativas) Essas teacutecnicas e meacutetodos visam incorporar o conhecimento e as opiniotildees dos membros da comunidade no planeamento e gestatildeo de projectos de desenvolvimento no esforccedilo para influenciar as poliacuteticas e na implementaccedilatildeo de programas Eles permitem incluir vozes da comunidade nas poliacuteticas no planeamento e nos inqueacuteritos e criam um senso de propriedade e participaccedilatildeo nos resultados de MampA e nas recomendaccedilotildees feitas pela organizaccedilatildeo e por seus beneficiaacuterios
Ao contraacuterio de outras teacutecnicas de avaliaccedilatildeo raacutepida os meacutetodos participativos natildeo se baseiam em amostragens Eles usam entrevistas individuais ou com informantes essenciais (inclusive entrevistas com utentes ao saiacuterem de suas consultas) entrevistas em grupo estudos de caso e outros meacutetodos qualitativos para identificar as condiccedilotildees locais e entender as perspectivas e prioridades locais
Em vaacuterios locais haacute membros da comunidade que natildeo podem ler nem escrever e por isso os meacutetodos participativos dependem frequentemente da comunicaccedilatildeo oral com apoio de imagens siacutembolos objectos fiacutesicos e memoacuteria colectiva
Os meacutetodos participativos podem ser usados antes durante e apoacutes a implementaccedilatildeo de uma intervenccedilatildeo ou um conjunto de actividades Eles fornecem informaccedilotildees para o projecto e a avaliaccedilatildeo e permitem a participaccedilatildeo activa das partes interessadas na tomada de decisotildees Durante a implementaccedilatildeo os meacutetodos participativos satildeo uacuteteis para identificar e solucionar problemas
Aproveite para examinar e utilizar uma lista de recursos online sobre inqueacuterito qualitativo e directrizes sobre discussotildees em grupos de enfoque no Community Tool Box da Universidade de Kansas
Inqueacuteritos raacutepidos por amostragem Estes inqueacuteritos podem ser utilizados para recolher informaccedilotildees padronizadas de uma amostra pequena e cuidadosamente seleccionada de pessoas ou domiciacutelios em uma aacuterea beneficiaacuteria Eles podem descrever as condiccedilotildees em uma comunidade particular ou grupo-alvo e permitem comparar grupos diferentes em um determinado momento ou mudanccedilas no mesmo grupo ao longo do tempo Permitem tambeacutem comparar condiccedilotildees actuais com os resultados planeados
Um dos inqueacuteritos mais comuns de pequena amostragem eacute o inqueacuterito CAP (Conhecimentos Atitudes e Praacuteticas) baseado em uma amostra de 30 agrupamentos
Amostragem para Garantia de Qualidade de Lotes (Lot Quality Sampling - LQAS) Essa eacute outra teacutecnica de avaliaccedilatildeo raacutepida que se usa cada vez mais na aacuterea de sauacutede puacuteblica A LQAS utiliza amostragens muito pequenas para obter informaccedilotildees confiaacuteveis em uma pequena aacuterea geograacutefica ou unidade administrativa Pode ser usada para detectar de forma precisa os extremos do desempenho ndash para determinar se uma intervenccedilatildeo foi mais aleacutem de um limiar superior de desempenho ou natildeo conseguiu atingir um limiar inferior de desempenho em termos de qualidade ou cobertura As amostras de lotes podem tambeacutem ser combinadas para fornecer estimativas de cobertura em uma aacuterea geograacutefica mais ampla
Uma busca na Web revelaraacute recursos uacuteteis aqui temos um sobre os inqueacuteritos CAP e outro sobre LQAS A aacuterea de MampA do website do CORE Group inclui ligaccedilotildees com ferramentas e recursos importantes para a avaliaccedilatildeo raacutepida criados pelo Grupo de Trabalho de MampA do CORE Group
Como gestor deve revisar todas as fontes de dados jaacute existentes antes de planear a sua avaliaccedilatildeo A Tabela 7 apresenta as vantagens e desvantagens das trecircs principais fontes de
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 936
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 7 Resumo das trecircs fontes de dados mais comuns para uma avaliaccedilatildeo
Fonte de dados Vantagens Limitaccedilotildees
Estatiacutesticas de serviccedilo Dados sobre a populaccedilatildeo de utentes e serviccedilos cliacutenicos que satildeo recolhidos rotineiramente nos registos dos utentes e nos registos cliacutenicos
Disponiacuteveis imediatamente
Cobrem todos os tipos de serviccedilos de sauacutede e todas as aacutereas do paiacutes
Podem ser desagregados para os niacuteveis local e de distrito
Uso econoacutemico
Soacute lhe informam sobre clientes actuais sem informaccedilotildees sobre as pessoas que natildeo usam os serviccedilos de sauacutede e podem ser utentes em potencial
Natildeo fornecem informaccedilotildees sobre valores percepccedilotildees ou comportamentos da comunidade
Natildeo reflectem as pessoas que optam por fontes privadas de serviccedilos
Podem ser inexactas se os locais de prestaccedilatildeo de serviccedilos natildeo registarem os dados correctamente de forma legiacutevel e em tempo haacutebil
Inqueacuteritos de grande escala Inqueacuteritos de base populacional e avaliaccedilotildees de grande escala dos centros de sauacutede
Dados relevantes precisos e confiaacuteveis
Podem medir as tendecircncias nacionais de sauacutede identificar aacutereas com problemas e ajudar a concentrar os recursos do paiacutes em aacutereas de maior carecircncia
Geram valores meacutedios para as aacutereas urbanas e rurais regiotildees e proviacutencias
Fornecem um contexto para interpretar os dados recolhidos localmente
Podem gerar informaccedilotildees adicionais a partir dos seus conjuntos de dados informatizados
Geralmente natildeo podem desagregar os dados para fornecer meacutedias para as aacutereas sub-regionais (distritos ou municipalidades)
Geralmente natildeo satildeo realizadas anualmente os dados se tornam desactualizados rapidamente se as populaccedilotildees ou condiccedilotildees de sauacutede se modificarem rapidamente
Avaliaccedilotildees raacutepidas Meacutetodos focados para avaliar as necessidades locais e tomar decisotildees em acircmbito local
Raacutepidas e econoacutemicas
Resultam em acccedilatildeo local
Haacute directrizes para ajudar os gestores em vaacuterias dessas teacutecnicas
Fornecem aos gestores a capacidade de recolher os dados necessaacuterios
Os inqueacuteritos domiciliares (por ex LQAS ou CAP) podem obter precisatildeo suficiente para fins de avaliaccedilatildeo
Equilibra a necessidade de resultados representativos e objectivos com a necessidade de usar projectos levemente menos rigorosos que satildeo mais viaacuteveis em aacutereas locais
Usam escala e acircmbito reduzidos para produzir resultados em tempo haacutebil e de baixo custo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 937
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
dados que foram discutidas acima estatiacutesticas rotineiras de serviccedilos inqueacuteritos em grande escala e teacutecnicas de avaliaccedilatildeo raacutepida
Que niacutevel de qualidade os dados do SIS precisam ter para serem uacuteteis ndash que niacutevel de abrangecircncia precisatildeo e apresentaccedilatildeo em tempo haacutebil Para as suas necessidades de gestatildeo mesmo que natildeo sejam perfeitos os dados podem ser suficientemente bons para ter um efeito poderoso como nos mostra o exemplo de Madagascar
Dados do SIS pontos fortes e limitaccedilotildees
Subestimar o valor e a utilidade do SIS eacute infelizmente uma tendecircncia Eacute verdade que o SIS tem problemas frequentemente mas tambeacutem eacute grande o seu potencial Como vimos em
Como usar e melhorar dados imperfeitos do SIS ndash Um exemplo de Madagascar
Um SIS de base comunitaacuteria mais preciso e mais oportuno Um projecto de Madagascar implementou um meacutetodo baseado na comunidade para aumentar o uso de meacutetodos de planeamento familiar denominado ldquoComunidades Campeatildesrdquo em 50 dos 110 distritos do paiacutes O meacutetodo utilizou exclusivamente os dados do SIS para monitorar e avaliar as realizaccedilotildees das comunidades participantes
Em primeiro lugar foi estabelecida uma base de referecircncia para cada comunidade ao usar os dados do seu centro de sauacutede Em seguida o pessoal do centro de sauacutede e os representantes da comunidade identificaram metas para 10 indicadores que determinariam se uma comunidade tinha alcanccedilado a posiccedilatildeo de campeatilde apoacutes 12 meses de implementaccedilatildeo Cada comunidade monitorava seu proacuteprio progresso em uma reuniatildeo trimestral de verificaccedilatildeo
Apoacutes 12 meses o pessoal do projecto voltou a cada comunidade para avaliar os resultados Examinaram os dados do relatoacuterio de monitoria de rotina de cada centro de sauacutede e para cada indicador Prepararam tambeacutem um relatoacuterio sobre os dados de cada comunidade e o enviaram para o supervisor de niacutevel distrital para a sua confirmaccedilatildeo com base nos registos informatizados do distrito As fontes de dados para os relatoacuterios do centro de sauacutede e registos de distrito foram as mesmas (registos dos centros de sauacutede) e por isso raramente ocorreu uma discrepacircncia Mas o que interessava era envolver o supervisor distrital no exame dos dados do centro de sauacutede para mostrar a utilidade de se usar ateacute mesmo dados simples nesse niacutevel
O projecto tambeacutem cooperou com o Ministeacuterio da Sauacutede a niacutevel distrital para melhorar a precisatildeo a abrangecircncia e a prontidatildeo do SIS A ecircnfase era obter dados mais completos dos centros de sauacutede e reduzir o tempo gasto pelo escritoacuterio distrital para receber o relatoacuterio do centro de sauacutede apreciaacute-lo devolvecirc-lo ao centro para qualquer correcccedilatildeo recebecirc-lo novamente dar entrada dos dados no sistema e finalmente enviaacute-los ao niacutevel central Os distritos satildeo responsaacuteveis por cooperar com os centros de sauacutede para melhorar o registo de dados e actualizar suas proacuteprias teacutecnicas de processamento de dados
Apoacutes dois anos de assistecircncia teacutecnica o SIS tinha realmente melhorado segundo os indicadores de precisatildeo abrangecircncia e prontidatildeo As melhorias mais notaacuteveis foram em prontidatildeo o tempo gasto pelo escritoacuterio distrital no processo descrito acima reduziu-se de 12 para 3 meses
Imperfeitas mais mesmo assim valiosos Deve-se lembrar que o projecto ldquoComunidades Campeatildesrdquo teve oacuteptimo resultado apesar dos dados imperfeitos Seu numerador (o nuacutemero de utentes regulares de planeamento familiar) era detalhado e preciso Mas suas estimativas das taxas de prevalecircncia do uso de contraceptivos natildeo eram muito precisas porque o denominador (nuacutemero de mulheres em idade reprodutiva) era apenas uma estimativa baseada num censo desactualizado e em estimativas anuais do governo sobre percentagens de crescimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 938
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Madagascar o projecto Comunidades Campeatildes melhorou o sistema substancialmente num periacuteodo de dois anos Nesse caso o sistema jaacute se encontrava relativamente funcional porque projectos anteriores haviam feito um grande esforccedilo para implantar o sistema e tornaacute-lo mais soacutelido Ao aprimorar a forma como o sistema era administrado e os dados eram usados o projecto posterior conseguiu fazer uma grande diferenccedila por meio de pequenas modificaccedilotildees
Os dados do SIS natildeo satildeo 100 exactos e nunca seratildeo Esta eacute a realidade com a qual todos os gestores tecircm que trabalhar Mas os dados natildeo precisam ser perfeitos para serem uacuteteis Eacute possiacutevel fazer a monitoria e a gestatildeo com dados imperfeitos Informaccedilotildees obtidas em tempo
(continuaccedilatildeo)
No entanto o projecto constatou que as taxas de prevalecircncia de uso de contraceptivos eram suficientemente boas para acompanhar o desempenho das comunidades que participavam do meacutetodo de Comunidades Campeatildes O pessoal do projecto tambeacutem complementou as comparaccedilotildees dessas taxas com as comparaccedilotildees dos valores do numerador nuacutemeros simples que faziam sentido para o pessoal do centro de sauacutede e tambeacutem para as comunidades
O niacutevel central comeccedilou a organizar workshops regionais trimestrais para divulgar os resultados ao niacutevel distrital Juntos os gestores dos niacuteveis distritais regionais e centrais analisaram o progresso e classificaram os distritos com base no seu desempenho Usaram a anaacutelise de causa-raiz ndash um processo que identifica as causas subjacentes de um problema ndash para entender os obstaacuteculos enfrentados pelos distritos que apresentavam baixo desempenho (Consulte o Apecircndice A no Capiacutetulo 2 deste guia para obter mais informaccedilotildees sobre a anaacutelise de causa-raiz) Finalmente o Ministeacuterio de Sauacutede mobilizou o apoio de agecircncias doadoras e de organizaccedilotildees parceiras para ajudaacute-los a melhorar
O ministeacuterio comeccedilou a usar as informaccedilotildees de sauacutede para administrar realmente o sistema de sauacutede Antes dessa intervenccedilatildeo poucas organizaccedilotildees confiavam ou utilizavam os dados do SIS Mas quando ficou claro que o sistema funcionava as agecircncias doadoras passaram a confiar as organizaccedilotildees parceiras passaram a utilizaacute-lo e o ministeacuterio se orgulhou do trabalho Pela primeira vez tinham uma visatildeo mais niacutetida do que acontecia em todo o paiacutes e podiam usar essas informaccedilotildees para buscar o apoio de agecircncias doadoras se necessaacuterio
Do mesmo modo os centros de sauacutede raramente usavam seus proacuteprios dados Eles simplesmente faziam os registos e os enviavam para o escritoacuterio distrital sem nem mesmo receber retroinformaccedilatildeo do mesmo Apoacutes a conclusatildeo do projecto perceberam como os dados mais precisos podiam ser usados em seu benefiacutecio e das comunidades
Os distritos tambeacutem actuavam antes de uma forma pouco informada Cada distrito dependia apenas dos seus proacuteprios dados e funcionava num vaacutecuo As mudanccedilas no SIS e o encorajamento do governo central forneceram aos distritos oportunidades para comparar seu trabalho e aprender uns com os outros
Aprendizagem com dados mais precisos completos e oportunos Os dados satildeo geralmente utilizados para fazer comparaccedilotildees mas satildeo menos frequentemente utilizados como ferramenta de aprendizagem Nesse caso depois que os relatoacuterios comeccedilaram a chegar dentro do prazo o Ministeacuterio da Sauacutede usou os dados ndash inclusive dados imperfeitos ndash para descobrir que distritos tinham um desempenho ruim e que distritos estavam melhor que os outros Assim aprenderam com os de melhor desempenho ao perguntar Por que seus resultados satildeo tatildeo bons O que estavam a fazer de diferente O que poderia ser replicado Finalmente aplicaram a aprendizagem ao usar esses distritos como modelos e ao oferecer mais apoio aos de pior desempenho
Todo o sistema de sauacutede se entusiasmou com as informaccedilotildees que podiam produzir e usar A comeccedilar do topo esse entusiasmo chegou aos niacuteveis inferiores e os motivou a melhorar sua recolha e processamento de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 939
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
haacutebil e com 75 de precisatildeo satildeo melhores que as informaccedilotildees com 95 de precisatildeo que chegam com vaacuterios meses de atraso
Apesar do seu grande valor por si soacutes os dados do SIS natildeo atenderatildeo a todas as necessidades de informaccedilatildeo de muitas organizaccedilotildees Algumas organizaccedilotildees e agecircncias doadoras precisam de dados que exigem avaliaccedilotildees ou sistemas especiais Aleacutem disso vaacuterias intervenccedilotildees foram projectadas para modificar o conhecimento as atitudes e as praacuteticas dos beneficiaacuterios factores que natildeo satildeo capturados nos dados de serviccedilo Eacute importante usar os dados do SIS sempre que possiacutevel e complementaacute-los com avaliaccedilotildees locais quando necessaacuterio
Como gestor de um programa de sauacutede ou de serviccedilos de sauacutede parte do seu trabalho deveria ser o de melhorar o SIS em seu paiacutes Ele eacute o uacutenico sistema de informaccedilotildees sustentaacutevel na maioria dos paiacuteses Os sistemas de informaccedilatildeo criados e mantidos por agecircncias doadoras ou organizaccedilotildees externas tecircm duraccedilatildeo limitada mas o SIS eacute parte permanente do seu legado
Se todos os parceiros e agecircncias doadoras trabalharem com o Ministeacuterio de Sauacutede para prestar assistecircncia teacutecnica e financeira ao SIS ele poderaacute render informaccedilotildees que trazem grandes melhorias para os serviccedilos de sauacutede e que justificam plenamente o investimento no mesmo
Praacuteticas comprovadas
Um sistema de MampA deveria proporcionar aos gestores o que eles precisam saber para agir Deve se basear em indicadores relevantes faacuteceis de usar e que possam ser fornecidos em tempo haacutebil para os ciclos de planeamento e apresentaccedilatildeo de relatoacuterios
Os resultados de MampA natildeo se destinam apenas ao pessoal de MampA da sua organizaccedilatildeo ou agrave agecircncia doadora As informaccedilotildees de MampA satildeo um recurso fundamental para as acccedilotildees e a aprendizagem Se o seu processo de MampA tiver mecanismos de retroinformaccedilatildeo que permitam aos tomadores de decisotildees reflectirem sobre os resultados e absorverem o que precisam para seus proacuteprios fins eles assumiratildeo o controlo do processo e utilizaratildeo o que ele oferecer
Se vocecirc define suas actividades de MampA no comeccedilo de uma intervenccedilatildeo ou projecto junto com o plano de acccedilatildeo para o projecto teraacute mais oportunidades de orientar e acompanhar a implementaccedilatildeo das actividades
Quando satildeo demasiado elaborados e complicados os planos de MampA natildeo satildeo usados Elabore um plano de MampA simples escolha ferramentas de monitoria faacuteceis de usar e seleccione a menor quantidade possiacutevel de indicadores para acompanhar o progresso e introduzir as mudanccedilas necessaacuterias ao longo do caminho
Para fortalecer um SIS eacute preciso trabalhar com as pessoas envolvidas os responsaacuteveis pelo sistema que registam transferem analisam comunicam e utilizam os dados e as informaccedilotildees para a gestatildeo dos serviccedilos
Ao fornecer os dados do SIS para os tomadores de decisotildees vocecirc deve reconhecer as diferenccedilas na frequecircncia dos relatoacuterios e nas quantidades de dados agregados e desagregados necessaacuterios aos niacuteveis diferentes de governo ou agraves organizaccedilotildees natildeo governamentais
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 928
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
CARACTERIacuteSTICAS DE UMA BOA FERRAMENTA DE MONITORIA
Como gestor natildeo precisa saber tudo para gerir um serviccedilo ou dirigir uma intervenccedilatildeo mas precisa das informaccedilotildees imediatamente Portanto precisa de uma ferramenta de monitoria que possa fornecer informaccedilotildees suficientes e em tempo haacutebil para identificar e corrigir problemas assim que eles surgirem
Uma ferramenta de monitoria deve ser faacutecil de montar e utilizar As tabelas listas de verificaccedilatildeo e diagramas simples satildeo meacutetodos particularmente uacuteteis de recolher organizar e apresentar informaccedilotildees de monitoria
No miacutenimo sua ferramenta de monitoria deve permitir que vocecirc e sua equipa acompanhem
o progresso da implementaccedilatildeo da actividade a entrega de produtos ou resultados imediatos a situaccedilatildeo dos principais indicadores de resultados comparados aos resultados
esperados se for o caso as despesas orccedilamentais a disponibilidade de recursos humanos e financeiros os obstaacuteculos agrave implementaccedilatildeo e o que tem sido feito para superaacute-los
Vocecirc teraacute que responder agraves seguintes perguntas periodicamente
As actividades foram implementadas conforme planeado dentro do prazo e do orccedilamento
Que actividades adicionais natildeo planeadas foram realizadas Que serviccedilos ou produtos directos e tangiacuteveis foram oferecidos como resultado
das actividades que implementamos Estamos dentro do cronograma para atingir nossos resultados a meacutedio e longo
prazo Possuiacutemos os recursos necessaacuterios (pessoal dinheiro medicamentos e
suprimentos etc) para cumprirmos o cronograma
O Quadro 4 apresenta os componentes baacutesicos de uma ferramenta simples de monitoria
QUADRO 4 Uma ferramenta simples de monitoria
Data de exame Metas de resultados
Actividades (segundo o plano de implementaccedilatildeo)
Situaccedilatildeo ateacute o momento
Resultados esperados
Datas para conclusatildeo
Situaccedilatildeo ateacute o momento Comentaacuterios
Desafios e oportunidades
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 929
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quando usadas correctamente as novas tecnologias (por ex os PDAs ldquosmartphonesrdquo laptops e outros) podem facilitar a monitoria e aumentar os benefiacutecios da monitoria das actividades A monitoria automatizada ndash dados que podem ser obtidos e processados automaticamente ndash podem produzir um resumo dos principais indicadores em uma soacute paacutegina faacutecil de ler e num formato que utiliza cores para alertar ao gestor sobre as aacutereas que precisam de maior atenccedilatildeo As informaccedilotildees obtidas em tempo haacutebil sobre alguns indicadores essenciais permitem que o gestor monitore o progresso e tome medidas correctivas
Essa apresentaccedilatildeo visual das informaccedilotildees mais importantes e necessaacuterias para gerir um projecto eacute geralmente conhecida como Painel de Indicadores de Desempenho Os paineacuteis de indicadores de desempenho podem ser usados em qualquer organizaccedilatildeo departamento ou divisatildeo Nas organizaccedilotildees de sauacutede puacuteblica os paineacuteis satildeo usados frequentemente para monitorar os indicadores financeiros e programaacuteticos bem como a cobertura produccedilatildeo eficaacutecia e qualidade de serviccedilos de sauacutede especiacuteficos Um painel de recursos humanos por exemplo incluiria indicadores relevantes para gerir o seguinte
retenccedilatildeo de funcionaacuterios rotatividade de funcionaacuterios formaccedilatildeo de funcionaacuterios lacunas de habilidades satisfaccedilatildeo dos funcionaacuterios custos benefiacutecios e despesas gerais com funcionaacuterios
A Tabela 6 mostra um painel de indicadores de desempenho criado para monitorar serviccedilos de contracepccedilatildeo ciruacutergica voluntaacuteria (CCV)
TABELA 6 Ilustraccedilatildeo de Painel de Indicadores de Desempenho para Serviccedilos de Contracepccedilatildeo Ciruacutergica Voluntaacuteria (CCV)
Serviccedilo Contracepccedilatildeo Ciruacutergica Voluntaacuteria Periacuteodo do Relatoacuterio Janeiro de 2009
No Indicador de Prestaccedilatildeo de Serviccedilos Custo Qualidade
Meta financeira ou programaacutetica
LimiarNuacutemero
alcanccedilado
Percentagem concluiacuteda
Miacuten Maacutex 10 20 30 40 50 60 70 80 90 100
1 Nuacutemero de CCVs realizadas no mecircs 8 10 7
2 Custo meacutedio das CCVs (US$) 100 120 110
3 Orccedilamento mensal da receita com CCVs realizadas (US$) 800 1200 770
4Percentagem das CCVs realizadas por pessoal
qualificadomdash 100 60
5 Percentagem das CCVs realizadas sem complicaccedilotildees 95 100 100
6
Percentagem de utentes satisfeitas com o tratamento
recebido do pessoal que realizou as CCVs
90 100 90
Adaptado de Colindres 2008 p 6
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 930
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja uma descriccedilatildeo do uso de um painel de indicadores de desempenho para a monitoria de rotina num estudo de caso estudo de caso de uma ONG da Boliacutevia o Centro de Investigaccedilatildeo Educaccedilatildeo e Serviccedilos (CIES)
Para obter mais informaccedilotildees de como criar um painel de indicadores consulte ldquoComo usar os paineacuteis de indicadores de desempenho para monitorar as realizaccedilotildees de uma organizaccedilatildeordquo Esse documento ajuda a esclarecer conceitos e define as etapas essenciais para criar paineacuteis de indicadores de desempenho
Como criar uma avaliaccedilatildeo para fins de aprendizagem
Apesar da importacircncia da monitoria de rotina apenas a monitoria natildeo basta para responder agrave pergunta ldquoE entatildeordquo Ou seja suas actividades e produtos contribuiacuteram para melhorar a cobertura dos serviccedilos aumentar o conhecimento ou encorajar comportamentos mais saudaacuteveis
Talvez uma campanha de comunicaccedilatildeo sobre planeamento familiar criada para aumentar a prevalecircncia do uso de contraceptivos tenha levado o governo a abastecer os depoacutesitos distritais com contraceptivos Para que possam aprender com essa experiecircncia e criar campanhas mais eficazes no futuro os gestores do projecto ainda querem saber que produtos foram realmente dispensados aos centros de sauacutede e distribuiacutedos aos utentes Esta secccedilatildeo discute como criar uma avaliaccedilatildeo para fins de aprendizagem
Existem dois motivos para levar a cabo uma avaliaccedilatildeo
1 A avaliaccedilatildeo fornece informaccedilotildees sobre o sucesso da sua equipa unidade ou organizaccedilatildeo para atingir seus objectivos Essas informaccedilotildees ajudam a definir que actividades expandir modificar ou eliminar Ela pode tambeacutem revelar formas de melhorar a concepccedilatildeo e gestatildeo das actividades futuras
2 A avaliaccedilatildeo pode demonstrar uma cultura de prestaccedilatildeo de contas agrave sua agecircncia doadora e a outros grupos de interesse nomeadamente o governo e os beneficiaacuterios dos seus serviccedilos
AVALIACcedilOtildeES FORMATIVAS E SUMATIVAS
Os gestores podem realizar dois amplos tipos de avaliaccedilotildees formativas e sumativas
Avaliaccedilatildeo formativa Este tipo de avaliaccedilatildeo eacute realizada durante o desenvolvimento e implementaccedilatildeo de um programa Seu objectivo eacute orientar o desenho e a implementaccedilatildeo de actividades que incluam as melhores e mais promissoras praacuteticas que aumentaratildeo as chances de sucesso A avaliaccedilatildeo formativa eacute mais comummente utilizada por projectos de grande porte ou de longo prazo em vez de projectos menores e de curto prazo Poreacutem os projectos menores devem pelo menos realizar uma avaliaccedilatildeo raacutepida das melhores praacuteticas durante a fase de planeamento para apoiar a loacutegica e o conteuacutedo proposto para as actividades
A avaliaccedilatildeo formativa inclui uma avaliaccedilatildeo de necessidades para discernir os desejos e requisitos de um grupo da populaccedilatildeo e determinar a melhor forma de atendecirc-los Inclui tambeacutem uma avaliaccedilatildeo de processo para investigar o processo utilizado para executar uma intervenccedilatildeo Pode-se usar a avaliaccedilatildeo do processo para determinar se as actividades foram realizadas de acordo com o plano ndash em termos de sua concepccedilatildeo original estimativas de custos e nuacutemero de pessoas a serem atendidas ndash e se a qualidade dos processos usados estaacute de acordo com as melhores praacuteticas conhecidas
A avaliaccedilatildeo de processo geralmente inclui vaacuterias abordagens Pode incluir uma avaliaccedilatildeo dos dados referentes aos produtos (por ex nuacutemero de redes mosquiteiras fornecidas nuacutemero
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 931
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
de workshops de formaccedilatildeo realizados nuacutemero de participantes dos workshops) assim como entrevistas individuais ou grupos de enfoque entre os beneficiaacuterios Nas intervenccedilotildees de menor porte eacute uma boa praacutetica realizar uma avaliaccedilatildeo de processo mesmo se limitada agrave retroinformaccedilatildeo dos participantes
Avaliaccedilatildeo somativa Este tipo de avaliaccedilatildeo eacute realizada apoacutes a conclusatildeo de um grupo de actividades ou da intervenccedilatildeo para avaliar a qualidade da intervenccedilatildeo e os seus principais resultados A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo a avaliaccedilatildeo do impacto a anaacutelise de custo-benefiacutecio e custo-eficaacutecia e a investigaccedilatildeo operacional
A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo que avalia em que medida uma equipa unidade ou organizaccedilatildeo inteira atingiram seus resultados esperados A avaliaccedilatildeo dos resultados eacute usada para demonstrar que existe uma cultura de prestaccedilatildeo de contas para aperfeiccediloar o projecto de actividades organizacionais para melhorar a distribuiccedilatildeo dos recursos e para promover intervenccedilotildees futuras bem-sucedidas As principais perguntas satildeo Que modificaccedilotildees ocorreram na vida das pessoas das famiacutelias ou da comunidade como resultado do nosso trabalho Que diferenccedila fizemos
Como observamos anteriormente neste capiacutetulo os resultados a meacutedio e longo prazo satildeo geralmente mudanccedilas mensuraacuteveis eou observaacuteveis em duas dimensotildees A primeira dimensatildeo abrange a conscientizaccedilatildeo o conhecimento as atitudes os valores e as habilidades dos participantes de um programa ou dos beneficiaacuterios dos serviccedilos durante ou depois de seu envolvimento na intervenccedilatildeo A segunda dimensatildeo implica mudanccedilas no comportamento desses mesmos grupos
Idealmente as duas dimensotildees deveriam ser medidas em trecircs pontos no comeccedilo e no final do periacuteodo de implementaccedilatildeo e se possiacutevel apoacutes um periacuteodo de acompanhamento adequado Se a mediccedilatildeo do acompanhamento natildeo for viaacutevel pelo menos devem ser comparadas as mediccedilotildees de base e poacutes-intervenccedilatildeo Muitas vezes as mudanccedilas podem ser pequenas mas deve haver alguma melhoria em pelo menos um ou dois resultados para que a intervenccedilatildeo seja considerada um sucesso
A avaliaccedilatildeo dos resultados tenta distinguir entre a influecircncia da intervenccedilatildeo nessas mudanccedilas e a influecircncia de outros factores externos Mas geralmente os avaliadores teratildeo que optar pela atribuiccedilatildeo parcial de um resultado a uma intervenccedilatildeo ou serviccedilo especiacutefico devido agrave dificuldade em determinar uma relaccedilatildeo directa e causal entre o serviccedilo prestado e uma determinada mudanccedila
As avaliaccedilotildees de resultados utilizam geralmente um desenho natildeo experimental (geralmente denominado ldquopreacute e poacutes-avaliaccedilatildeordquo) que simplesmente mede as mudanccedilas antes e depois de uma intervenccedilatildeo ou seja diferente do desenho experimental (que compara os participantes com um grupo de controlo com designaccedilatildeo aleatoacuteria a ambos os grupos) ou do desenho semi-experimental (que compara os participantes com um grupo de controlo mas sem a designaccedilatildeo aleatoacuteria)
O desenho natildeo experimental eacute aceitaacutevel para as mediccedilotildees e relatoacuterios padratildeo dos resultados a meacutedio e longo prazo As ONGs raramente usam os desenhos experimentais Apesar de uma organizaccedilatildeo de grande porte e com muitos recursos poder ocasionalmente receber assistecircncia de especialistas para um desenho experimental a maioria delas acha que as consideraccedilotildees eacuteticas e logiacutesticas impedem a designaccedilatildeo aleatoacuteria dos participantes aos grupos de intervenccedilatildeo e de controlo Aleacutem disso o custo de recolher dados de um grupo de controlo seraacute provavelmente muito elevado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 932
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A avaliaccedilatildeo do impacto eacute outro componente da avaliaccedilatildeo somativa Eacute mais ampla do que a avaliaccedilatildeo de resultados e avalia os efeitos liacutequidos ou gerais ndash tanto intencionais como natildeo intencionais ndash de todo um programa grupo de programas ou grupo de organizaccedilotildees As avaliaccedilotildees de impacto geralmente se estendem por um periacuteodo de 3 a 5 anos
OUTROS TIPOS DE AVALIACcedilOtildeES
Anaacutelise de custo-benefiacutecio e custo-eficaacutecia Estes tipos de anaacutelise tratam da eficiecircncia da intervenccedilatildeo ao analisar os resultados em termos dos seus custos financeiros e do seu valor
Investigaccedilatildeo operacional Trata-se de um balanccedilo ou avaliaccedilatildeo de uma intervenccedilatildeo especiacutefica no contexto de um programa mais amplo que estaacute a fazer vaacuterias intervenccedilotildees A investigaccedilatildeo operacional eacute usada para testar e avaliar novas abordagens de prestaccedilatildeo de serviccedilos de sauacutede Eacute tambeacutem usada para identificar problemas na prestaccedilatildeo de serviccedilos e oferecer soluccedilotildees
A investigaccedilatildeo operacional eacute uma ferramenta poderosa que os gestores de programas e os tomadores de decisotildees podem usar para melhorar e expandir os serviccedilos Os estudos de investigaccedilatildeo operacional comparam intervenccedilotildees que estatildeo dentro da esfera de influecircncia do gestor Os exemplos incluem a avaliaccedilatildeo da eficaacutecia de uma nova estrateacutegia de prevenccedilatildeo de VIHSIDA um novo curso de formaccedilatildeo um novo conjunto de procedimentos para gerir medicamentos um novo meacutetodo contraceptivo ou um novo serviccedilo de sauacutede reprodutiva
O Toolkit de Investigaccedilatildeo Operacional do Programa Horizons sobre VIHSIDA do Population Council fornece informaccedilotildees detalhadas para criar um estudo de investigaccedilatildeo operacional
CONSIDERACcedilOtildeES PARA A FORMULACcedilAtildeO DE UMA AVALIACcedilAtildeO
O que avaliar para responder agrave pergunta ldquoE entatildeordquo Se quiser saber como gestor se as suas actividades tiveram realmente sucesso precisa preparar todas as intervenccedilotildees tendo em mente a avaliaccedilatildeo e incorporar a avaliaccedilatildeo ao seu planeamento organizacional geral Ao definir objectivos deve se perguntar Como saberemos se estamos a atingir esses objectivos Este eacute o ponto de partida para a avaliaccedilatildeo
Seja qual for o porte da sua intervenccedilatildeo ou serviccedilo e o alcance da avaliaccedilatildeo precisaraacute responder a trecircs perguntas durante a fase de desenho e planeamento
1 O que a sua intervenccedilatildeo ou serviccedilo conseguiraacute realizar a curto e longo prazo Se implementar um conjunto de actividades com sucesso ao longo do tempo o que seraacute diferente
2 Como conceptualiza as suas actividades ndash qual eacute a loacutegica subjacente Duas abordagens para identificar a loacutegica do programa satildeo discutidas neste capiacutetulo na secccedilatildeo intitulada Ferramentas e Abordagens Praacuteticas para MampA
3 Que indicadores pode usar para identificar o progresso no alcance dos resultados
Para responder agrave pergunta ldquoE entatildeordquo vocecirc precisa avaliar os factores sobre os quais tem um niacutevel razoaacutevel de controlo Por exemplo um novo serviccedilo criado para oferecer alojamento a pessoas que vivem com SIDA natildeo pode controlar ou afectar a expectativa de vida das pessoas agraves quais atende Mas ao fornecer um ambiente estaacutevel para elas viverem o serviccedilo pode diminuir o niacutevel de stresse e melhorar a qualidade de vida dessas pessoas que antes eram forccediladas a se mudar com frequecircncia
Depois de tratar da pergunta ldquoE entatildeordquo deve tambeacutem se certificar de que a avaliaccedilatildeo seja concebida de forma que quando o processo estiver concluiacutedo vocecirc possa abordar os cinco toacutepicos principais da avaliaccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 933
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
1 Relevacircncia Foi uma boa ideia fazer a intervenccedilatildeo considerando-se a situaccedilatildeo e a necessidade de melhorias Ela tratou das prioridades do grupo alvo ou beneficiaacuterio Por que sim ou por que natildeo
2 Eficaacutecia Os resultados produtos e actividades foram realizados Por que sim ou por que natildeo A loacutegica da intervenccedilatildeo eacute correcta
3 Eficiecircncia Os insumos (recursos e tempo) foram usados da melhor forma possiacutevel para atingir os resultados a meacutedio e longo prazo Por que sim ou por que natildeo O que vocecirc e sua equipa poderiam fazer de modo diferente no futuro para maximizar os resultados a um custo aceitaacutevel
4 Impacto Em que medida a sua intervenccedilatildeo contribuiu para as metas nacionais ou de longo prazo Que consequecircncias natildeo intencionais (positivas ou negativas) suas actividades tiveram Por que essas consequecircncias aconteceram
5 Sustentabilidade Eacute provaacutevel que os resultados positivos continuem depois que sua intervenccedilatildeo terminar Por que sim ou por que natildeo
Uma uacuteltima advertecircncia assim como a monitoria pode-se complicar demasiado a avaliaccedilatildeo Ao preparar um plano de avaliaccedilatildeo o melhor eacute seleccionar um grupo pequeno de indicadores e resistir agrave tentaccedilatildeo de avaliar todos os aspectos da sua intervenccedilatildeo
Assim como a monitoria a avaliaccedilatildeo soacute eacute uacutetil se as informaccedilotildees forem repassadas em tempo haacutebil para o gestor e outros tomadores de decisotildees e grupos de interesse Um problema comum com as avaliaccedilotildees intercalares eacute que os resultados geralmente soacute satildeo informados de 6 a 8 meses mais tarde o que deixa apenas 1 ou 2 anos para fazer mudanccedilas mais permanentes antes que se esgotem os fundos do governo ou da agecircncia doadora
COMO SELECCIONAR SUAS FONTES DE DADOS
Esta secccedilatildeo descreve trecircs tipos de fontes de dados que satildeo comummente usadas para uma avaliaccedilatildeo dados recolhidos rotineiramente inqueacuteritos de grande escala e teacutecnicas de avaliaccedilatildeo raacutepida inclusive a avaliaccedilatildeo participativa
Dados de rotina Os dados recolhidos e analisados rotineiramente por um SIS satildeo denominados ldquoestatiacutesticas de serviccedilordquo Pode-se utilizar vaacuterios sistemas de informaccedilatildeo de serviccedilos de rotina para monitorar os serviccedilos Alguns deles satildeo o sistema baacutesico de registo e relatoacuterio de SIS os sistemas especiais de relatoacuterios sobre programas (por ex tuberculose malaacuteria imunizaccedilatildeo VIH planeamento familiar etc) os sistemas de relatoacuterios sobre agentes comunitaacuterios especiais (por ex registos de agentes comunitaacuterios de sauacutede) o sistema de informaccedilotildees para a vigilacircncia de doenccedilas e o controlo notificaccedilatildeo e resposta a surtos e os relatoacuterios para os sistemas de suporte especiais (por ex medicamentos encaminhamentos e gestatildeo financeira e de recursos humanos)
Esses sistemas fornecem dados que estatildeo imediatamente disponiacuteveis e cujo objectivo eacute informar o que estaacute a acontecer no sector de sauacutede Os dados de rotina incluem por exemplo o nuacutemero de consultas de preacute-natal em uma cliacutenica o nuacutemero e tipo de vacinaccedilotildees fornecidas no local ou o nuacutemero e tipos de contraceptivos fornecidos mensalmente
Os dados sobre os serviccedilos satildeo geralmente recolhidos pelos centros de sauacutede ou postos de sauacutede e enviados para o proacuteximo niacutevel superior do sistema (geralmente o distrito) para serem agregados Esses dados podem entatildeo ser enviados ao proacuteximo niacutevel superior (regional ou provincial) para posterior agregaccedilatildeo antes que cheguem finalmente ao niacutevel central do Ministeacuterio da Sauacutede
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 934
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Idealmente os gestores de centros de sauacutede e ao niacutevel do distrito usam esses dados para orientar as operaccedilotildees diaacuterias acompanhar o desempenho e a prestaccedilatildeo de contas e tomar decisotildees que continuem a melhorar o desempenho Mas haacute vaacuterios obstaacuteculos a essa utilizaccedilatildeo
Muito frequentemente os dados de rotina satildeo imprecisos ou incompletos Apesar dos que utilizam o SIS tentarem produzir informaccedilotildees de alta qualidade e em tempo haacutebil haacute muitas oportunidades de introduzir erros Pode haver pouco apoio para que os gestores e seu pessoal se concentrem nos procedimentos correctos de recolha registo e agregaccedilatildeo dos dados
Os sistemas de sauacutede de vaacuterios paiacuteses enfatizam a importacircncia de apresentar relatoacuterios para os niacuteveis superiores mas natildeo estabeleceram procedimentos e incentivos para encorajar aqueles que fornecem informaccedilotildees a utilizaacute-las mesmo quando os dados satildeo de boa qualidade
Outra dificuldade eacute que as estatiacutesticas sobre serviccedilos fornecem informaccedilotildees apenas sobre os utentes que utilizam os serviccedilos de sauacutede Natildeo podem fornecer informaccedilotildees sobre as muitas pessoas que natildeo utilizam os serviccedilos
Por tudo isso natildeo se pode confiar apenas nas estatiacutesticas sobre serviccedilos para fazer uma avaliaccedilatildeo Elas satildeo melhor utilizadas para a monitoria de rotina dos problemas de sauacutede puacuteblica e dos serviccedilos essenciais relacionados
Inqueacuteritos em grande escala Os inqueacuteritos em grande escala satildeo outra fonte de informaccedilotildees imediatamente disponiacuteveis Incluem inqueacuteritos de base populacional tais como as Inqueacuterito Demograacutefico e de Sauacutede (IDS) dos EUA avaliaccedilotildees completas de centros de sauacutede como a Anaacutelise de Situaccedilatildeo do Population Council e os censos nacionais Em vaacuterios casos os gestores podem usar os dados de um inqueacuterito em grande escala existente para fornecer o contexto para a interpretaccedilatildeo dos dados capturados atraveacutes das suas proacuteprias avaliaccedilotildees
Por exemplo as IDS satildeo realizadas periodicamente para caracterizar a situaccedilatildeo de sauacutede em um paiacutes ou regiatildeo geograacutefica de grande extensatildeo para vaacuterios grupos populacionais homens mulheres crianccedilas bebeacutes e assim por diante Mas os dados das IDS natildeo podem normalmente ser desagregados para uso pelos gestores no niacutevel de distrito ou comunidade
Aleacutem disso como as IDS satildeo realizadas apenas a cada trecircs ou cinco anos as informaccedilotildees que fornecem podem natildeo estar suficientemente actualizadas para as necessidades de avaliaccedilatildeo dos gestores Apesar dessas dificuldades os dados das IDS satildeo uacuteteis para compreender tendecircncias regionais ou nacionais que podem ajudar a explicar dados recolhidos em uma avaliaccedilatildeo de foco especiacutefico
Avaliaccedilotildees raacutepidas Satildeo formas raacutepidas e econoacutemicas de obter informaccedilotildees para a tomada de decisotildees principalmente ao niacutevel da actividade Os exemplos incluem entrevistas quando os utentes saem de suas consultas as avaliaccedilotildees de pequena escala dos centros de sauacutede os inqueacuteritos raacutepidos por amostragem o exame analiacutetico de registos as entrevistas com grupos de enfoque e outros meacutetodos participativos
Poderaacute usar teacutecnicas de avaliaccedilatildeo raacutepida para complementar as informaccedilotildees obtidas com dados de rotina ou inqueacuteritos de grande escala As avaliaccedilotildees raacutepidas podem-lhe fornecer informaccedilotildees valiosas sobre sua aacuterea de captaccedilatildeo e sua aacuterea de responsabilidade mais ampla ndash ou seja as comunidades e as populaccedilotildees que deveriam ter acesso aos serviccedilos essenciais prestados por um centro de sauacutede determinado Elas podem tambeacutem fornecer contexto e uma compreensatildeo qualitativa dos dados quantitativos recolhidos pelos meacutetodos mais formais
Dentro da categoria de avaliaccedilotildees raacutepidas os meacutetodos participativos e os inqueacuteritos raacutepidos por amostragem merecem a sua atenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 935
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Meacutetodos participativos (tambeacutem chamados de aprendizagem e acccedilatildeo participativas) Essas teacutecnicas e meacutetodos visam incorporar o conhecimento e as opiniotildees dos membros da comunidade no planeamento e gestatildeo de projectos de desenvolvimento no esforccedilo para influenciar as poliacuteticas e na implementaccedilatildeo de programas Eles permitem incluir vozes da comunidade nas poliacuteticas no planeamento e nos inqueacuteritos e criam um senso de propriedade e participaccedilatildeo nos resultados de MampA e nas recomendaccedilotildees feitas pela organizaccedilatildeo e por seus beneficiaacuterios
Ao contraacuterio de outras teacutecnicas de avaliaccedilatildeo raacutepida os meacutetodos participativos natildeo se baseiam em amostragens Eles usam entrevistas individuais ou com informantes essenciais (inclusive entrevistas com utentes ao saiacuterem de suas consultas) entrevistas em grupo estudos de caso e outros meacutetodos qualitativos para identificar as condiccedilotildees locais e entender as perspectivas e prioridades locais
Em vaacuterios locais haacute membros da comunidade que natildeo podem ler nem escrever e por isso os meacutetodos participativos dependem frequentemente da comunicaccedilatildeo oral com apoio de imagens siacutembolos objectos fiacutesicos e memoacuteria colectiva
Os meacutetodos participativos podem ser usados antes durante e apoacutes a implementaccedilatildeo de uma intervenccedilatildeo ou um conjunto de actividades Eles fornecem informaccedilotildees para o projecto e a avaliaccedilatildeo e permitem a participaccedilatildeo activa das partes interessadas na tomada de decisotildees Durante a implementaccedilatildeo os meacutetodos participativos satildeo uacuteteis para identificar e solucionar problemas
Aproveite para examinar e utilizar uma lista de recursos online sobre inqueacuterito qualitativo e directrizes sobre discussotildees em grupos de enfoque no Community Tool Box da Universidade de Kansas
Inqueacuteritos raacutepidos por amostragem Estes inqueacuteritos podem ser utilizados para recolher informaccedilotildees padronizadas de uma amostra pequena e cuidadosamente seleccionada de pessoas ou domiciacutelios em uma aacuterea beneficiaacuteria Eles podem descrever as condiccedilotildees em uma comunidade particular ou grupo-alvo e permitem comparar grupos diferentes em um determinado momento ou mudanccedilas no mesmo grupo ao longo do tempo Permitem tambeacutem comparar condiccedilotildees actuais com os resultados planeados
Um dos inqueacuteritos mais comuns de pequena amostragem eacute o inqueacuterito CAP (Conhecimentos Atitudes e Praacuteticas) baseado em uma amostra de 30 agrupamentos
Amostragem para Garantia de Qualidade de Lotes (Lot Quality Sampling - LQAS) Essa eacute outra teacutecnica de avaliaccedilatildeo raacutepida que se usa cada vez mais na aacuterea de sauacutede puacuteblica A LQAS utiliza amostragens muito pequenas para obter informaccedilotildees confiaacuteveis em uma pequena aacuterea geograacutefica ou unidade administrativa Pode ser usada para detectar de forma precisa os extremos do desempenho ndash para determinar se uma intervenccedilatildeo foi mais aleacutem de um limiar superior de desempenho ou natildeo conseguiu atingir um limiar inferior de desempenho em termos de qualidade ou cobertura As amostras de lotes podem tambeacutem ser combinadas para fornecer estimativas de cobertura em uma aacuterea geograacutefica mais ampla
Uma busca na Web revelaraacute recursos uacuteteis aqui temos um sobre os inqueacuteritos CAP e outro sobre LQAS A aacuterea de MampA do website do CORE Group inclui ligaccedilotildees com ferramentas e recursos importantes para a avaliaccedilatildeo raacutepida criados pelo Grupo de Trabalho de MampA do CORE Group
Como gestor deve revisar todas as fontes de dados jaacute existentes antes de planear a sua avaliaccedilatildeo A Tabela 7 apresenta as vantagens e desvantagens das trecircs principais fontes de
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 936
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 7 Resumo das trecircs fontes de dados mais comuns para uma avaliaccedilatildeo
Fonte de dados Vantagens Limitaccedilotildees
Estatiacutesticas de serviccedilo Dados sobre a populaccedilatildeo de utentes e serviccedilos cliacutenicos que satildeo recolhidos rotineiramente nos registos dos utentes e nos registos cliacutenicos
Disponiacuteveis imediatamente
Cobrem todos os tipos de serviccedilos de sauacutede e todas as aacutereas do paiacutes
Podem ser desagregados para os niacuteveis local e de distrito
Uso econoacutemico
Soacute lhe informam sobre clientes actuais sem informaccedilotildees sobre as pessoas que natildeo usam os serviccedilos de sauacutede e podem ser utentes em potencial
Natildeo fornecem informaccedilotildees sobre valores percepccedilotildees ou comportamentos da comunidade
Natildeo reflectem as pessoas que optam por fontes privadas de serviccedilos
Podem ser inexactas se os locais de prestaccedilatildeo de serviccedilos natildeo registarem os dados correctamente de forma legiacutevel e em tempo haacutebil
Inqueacuteritos de grande escala Inqueacuteritos de base populacional e avaliaccedilotildees de grande escala dos centros de sauacutede
Dados relevantes precisos e confiaacuteveis
Podem medir as tendecircncias nacionais de sauacutede identificar aacutereas com problemas e ajudar a concentrar os recursos do paiacutes em aacutereas de maior carecircncia
Geram valores meacutedios para as aacutereas urbanas e rurais regiotildees e proviacutencias
Fornecem um contexto para interpretar os dados recolhidos localmente
Podem gerar informaccedilotildees adicionais a partir dos seus conjuntos de dados informatizados
Geralmente natildeo podem desagregar os dados para fornecer meacutedias para as aacutereas sub-regionais (distritos ou municipalidades)
Geralmente natildeo satildeo realizadas anualmente os dados se tornam desactualizados rapidamente se as populaccedilotildees ou condiccedilotildees de sauacutede se modificarem rapidamente
Avaliaccedilotildees raacutepidas Meacutetodos focados para avaliar as necessidades locais e tomar decisotildees em acircmbito local
Raacutepidas e econoacutemicas
Resultam em acccedilatildeo local
Haacute directrizes para ajudar os gestores em vaacuterias dessas teacutecnicas
Fornecem aos gestores a capacidade de recolher os dados necessaacuterios
Os inqueacuteritos domiciliares (por ex LQAS ou CAP) podem obter precisatildeo suficiente para fins de avaliaccedilatildeo
Equilibra a necessidade de resultados representativos e objectivos com a necessidade de usar projectos levemente menos rigorosos que satildeo mais viaacuteveis em aacutereas locais
Usam escala e acircmbito reduzidos para produzir resultados em tempo haacutebil e de baixo custo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 937
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
dados que foram discutidas acima estatiacutesticas rotineiras de serviccedilos inqueacuteritos em grande escala e teacutecnicas de avaliaccedilatildeo raacutepida
Que niacutevel de qualidade os dados do SIS precisam ter para serem uacuteteis ndash que niacutevel de abrangecircncia precisatildeo e apresentaccedilatildeo em tempo haacutebil Para as suas necessidades de gestatildeo mesmo que natildeo sejam perfeitos os dados podem ser suficientemente bons para ter um efeito poderoso como nos mostra o exemplo de Madagascar
Dados do SIS pontos fortes e limitaccedilotildees
Subestimar o valor e a utilidade do SIS eacute infelizmente uma tendecircncia Eacute verdade que o SIS tem problemas frequentemente mas tambeacutem eacute grande o seu potencial Como vimos em
Como usar e melhorar dados imperfeitos do SIS ndash Um exemplo de Madagascar
Um SIS de base comunitaacuteria mais preciso e mais oportuno Um projecto de Madagascar implementou um meacutetodo baseado na comunidade para aumentar o uso de meacutetodos de planeamento familiar denominado ldquoComunidades Campeatildesrdquo em 50 dos 110 distritos do paiacutes O meacutetodo utilizou exclusivamente os dados do SIS para monitorar e avaliar as realizaccedilotildees das comunidades participantes
Em primeiro lugar foi estabelecida uma base de referecircncia para cada comunidade ao usar os dados do seu centro de sauacutede Em seguida o pessoal do centro de sauacutede e os representantes da comunidade identificaram metas para 10 indicadores que determinariam se uma comunidade tinha alcanccedilado a posiccedilatildeo de campeatilde apoacutes 12 meses de implementaccedilatildeo Cada comunidade monitorava seu proacuteprio progresso em uma reuniatildeo trimestral de verificaccedilatildeo
Apoacutes 12 meses o pessoal do projecto voltou a cada comunidade para avaliar os resultados Examinaram os dados do relatoacuterio de monitoria de rotina de cada centro de sauacutede e para cada indicador Prepararam tambeacutem um relatoacuterio sobre os dados de cada comunidade e o enviaram para o supervisor de niacutevel distrital para a sua confirmaccedilatildeo com base nos registos informatizados do distrito As fontes de dados para os relatoacuterios do centro de sauacutede e registos de distrito foram as mesmas (registos dos centros de sauacutede) e por isso raramente ocorreu uma discrepacircncia Mas o que interessava era envolver o supervisor distrital no exame dos dados do centro de sauacutede para mostrar a utilidade de se usar ateacute mesmo dados simples nesse niacutevel
O projecto tambeacutem cooperou com o Ministeacuterio da Sauacutede a niacutevel distrital para melhorar a precisatildeo a abrangecircncia e a prontidatildeo do SIS A ecircnfase era obter dados mais completos dos centros de sauacutede e reduzir o tempo gasto pelo escritoacuterio distrital para receber o relatoacuterio do centro de sauacutede apreciaacute-lo devolvecirc-lo ao centro para qualquer correcccedilatildeo recebecirc-lo novamente dar entrada dos dados no sistema e finalmente enviaacute-los ao niacutevel central Os distritos satildeo responsaacuteveis por cooperar com os centros de sauacutede para melhorar o registo de dados e actualizar suas proacuteprias teacutecnicas de processamento de dados
Apoacutes dois anos de assistecircncia teacutecnica o SIS tinha realmente melhorado segundo os indicadores de precisatildeo abrangecircncia e prontidatildeo As melhorias mais notaacuteveis foram em prontidatildeo o tempo gasto pelo escritoacuterio distrital no processo descrito acima reduziu-se de 12 para 3 meses
Imperfeitas mais mesmo assim valiosos Deve-se lembrar que o projecto ldquoComunidades Campeatildesrdquo teve oacuteptimo resultado apesar dos dados imperfeitos Seu numerador (o nuacutemero de utentes regulares de planeamento familiar) era detalhado e preciso Mas suas estimativas das taxas de prevalecircncia do uso de contraceptivos natildeo eram muito precisas porque o denominador (nuacutemero de mulheres em idade reprodutiva) era apenas uma estimativa baseada num censo desactualizado e em estimativas anuais do governo sobre percentagens de crescimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 938
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Madagascar o projecto Comunidades Campeatildes melhorou o sistema substancialmente num periacuteodo de dois anos Nesse caso o sistema jaacute se encontrava relativamente funcional porque projectos anteriores haviam feito um grande esforccedilo para implantar o sistema e tornaacute-lo mais soacutelido Ao aprimorar a forma como o sistema era administrado e os dados eram usados o projecto posterior conseguiu fazer uma grande diferenccedila por meio de pequenas modificaccedilotildees
Os dados do SIS natildeo satildeo 100 exactos e nunca seratildeo Esta eacute a realidade com a qual todos os gestores tecircm que trabalhar Mas os dados natildeo precisam ser perfeitos para serem uacuteteis Eacute possiacutevel fazer a monitoria e a gestatildeo com dados imperfeitos Informaccedilotildees obtidas em tempo
(continuaccedilatildeo)
No entanto o projecto constatou que as taxas de prevalecircncia de uso de contraceptivos eram suficientemente boas para acompanhar o desempenho das comunidades que participavam do meacutetodo de Comunidades Campeatildes O pessoal do projecto tambeacutem complementou as comparaccedilotildees dessas taxas com as comparaccedilotildees dos valores do numerador nuacutemeros simples que faziam sentido para o pessoal do centro de sauacutede e tambeacutem para as comunidades
O niacutevel central comeccedilou a organizar workshops regionais trimestrais para divulgar os resultados ao niacutevel distrital Juntos os gestores dos niacuteveis distritais regionais e centrais analisaram o progresso e classificaram os distritos com base no seu desempenho Usaram a anaacutelise de causa-raiz ndash um processo que identifica as causas subjacentes de um problema ndash para entender os obstaacuteculos enfrentados pelos distritos que apresentavam baixo desempenho (Consulte o Apecircndice A no Capiacutetulo 2 deste guia para obter mais informaccedilotildees sobre a anaacutelise de causa-raiz) Finalmente o Ministeacuterio de Sauacutede mobilizou o apoio de agecircncias doadoras e de organizaccedilotildees parceiras para ajudaacute-los a melhorar
O ministeacuterio comeccedilou a usar as informaccedilotildees de sauacutede para administrar realmente o sistema de sauacutede Antes dessa intervenccedilatildeo poucas organizaccedilotildees confiavam ou utilizavam os dados do SIS Mas quando ficou claro que o sistema funcionava as agecircncias doadoras passaram a confiar as organizaccedilotildees parceiras passaram a utilizaacute-lo e o ministeacuterio se orgulhou do trabalho Pela primeira vez tinham uma visatildeo mais niacutetida do que acontecia em todo o paiacutes e podiam usar essas informaccedilotildees para buscar o apoio de agecircncias doadoras se necessaacuterio
Do mesmo modo os centros de sauacutede raramente usavam seus proacuteprios dados Eles simplesmente faziam os registos e os enviavam para o escritoacuterio distrital sem nem mesmo receber retroinformaccedilatildeo do mesmo Apoacutes a conclusatildeo do projecto perceberam como os dados mais precisos podiam ser usados em seu benefiacutecio e das comunidades
Os distritos tambeacutem actuavam antes de uma forma pouco informada Cada distrito dependia apenas dos seus proacuteprios dados e funcionava num vaacutecuo As mudanccedilas no SIS e o encorajamento do governo central forneceram aos distritos oportunidades para comparar seu trabalho e aprender uns com os outros
Aprendizagem com dados mais precisos completos e oportunos Os dados satildeo geralmente utilizados para fazer comparaccedilotildees mas satildeo menos frequentemente utilizados como ferramenta de aprendizagem Nesse caso depois que os relatoacuterios comeccedilaram a chegar dentro do prazo o Ministeacuterio da Sauacutede usou os dados ndash inclusive dados imperfeitos ndash para descobrir que distritos tinham um desempenho ruim e que distritos estavam melhor que os outros Assim aprenderam com os de melhor desempenho ao perguntar Por que seus resultados satildeo tatildeo bons O que estavam a fazer de diferente O que poderia ser replicado Finalmente aplicaram a aprendizagem ao usar esses distritos como modelos e ao oferecer mais apoio aos de pior desempenho
Todo o sistema de sauacutede se entusiasmou com as informaccedilotildees que podiam produzir e usar A comeccedilar do topo esse entusiasmo chegou aos niacuteveis inferiores e os motivou a melhorar sua recolha e processamento de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 939
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
haacutebil e com 75 de precisatildeo satildeo melhores que as informaccedilotildees com 95 de precisatildeo que chegam com vaacuterios meses de atraso
Apesar do seu grande valor por si soacutes os dados do SIS natildeo atenderatildeo a todas as necessidades de informaccedilatildeo de muitas organizaccedilotildees Algumas organizaccedilotildees e agecircncias doadoras precisam de dados que exigem avaliaccedilotildees ou sistemas especiais Aleacutem disso vaacuterias intervenccedilotildees foram projectadas para modificar o conhecimento as atitudes e as praacuteticas dos beneficiaacuterios factores que natildeo satildeo capturados nos dados de serviccedilo Eacute importante usar os dados do SIS sempre que possiacutevel e complementaacute-los com avaliaccedilotildees locais quando necessaacuterio
Como gestor de um programa de sauacutede ou de serviccedilos de sauacutede parte do seu trabalho deveria ser o de melhorar o SIS em seu paiacutes Ele eacute o uacutenico sistema de informaccedilotildees sustentaacutevel na maioria dos paiacuteses Os sistemas de informaccedilatildeo criados e mantidos por agecircncias doadoras ou organizaccedilotildees externas tecircm duraccedilatildeo limitada mas o SIS eacute parte permanente do seu legado
Se todos os parceiros e agecircncias doadoras trabalharem com o Ministeacuterio de Sauacutede para prestar assistecircncia teacutecnica e financeira ao SIS ele poderaacute render informaccedilotildees que trazem grandes melhorias para os serviccedilos de sauacutede e que justificam plenamente o investimento no mesmo
Praacuteticas comprovadas
Um sistema de MampA deveria proporcionar aos gestores o que eles precisam saber para agir Deve se basear em indicadores relevantes faacuteceis de usar e que possam ser fornecidos em tempo haacutebil para os ciclos de planeamento e apresentaccedilatildeo de relatoacuterios
Os resultados de MampA natildeo se destinam apenas ao pessoal de MampA da sua organizaccedilatildeo ou agrave agecircncia doadora As informaccedilotildees de MampA satildeo um recurso fundamental para as acccedilotildees e a aprendizagem Se o seu processo de MampA tiver mecanismos de retroinformaccedilatildeo que permitam aos tomadores de decisotildees reflectirem sobre os resultados e absorverem o que precisam para seus proacuteprios fins eles assumiratildeo o controlo do processo e utilizaratildeo o que ele oferecer
Se vocecirc define suas actividades de MampA no comeccedilo de uma intervenccedilatildeo ou projecto junto com o plano de acccedilatildeo para o projecto teraacute mais oportunidades de orientar e acompanhar a implementaccedilatildeo das actividades
Quando satildeo demasiado elaborados e complicados os planos de MampA natildeo satildeo usados Elabore um plano de MampA simples escolha ferramentas de monitoria faacuteceis de usar e seleccione a menor quantidade possiacutevel de indicadores para acompanhar o progresso e introduzir as mudanccedilas necessaacuterias ao longo do caminho
Para fortalecer um SIS eacute preciso trabalhar com as pessoas envolvidas os responsaacuteveis pelo sistema que registam transferem analisam comunicam e utilizam os dados e as informaccedilotildees para a gestatildeo dos serviccedilos
Ao fornecer os dados do SIS para os tomadores de decisotildees vocecirc deve reconhecer as diferenccedilas na frequecircncia dos relatoacuterios e nas quantidades de dados agregados e desagregados necessaacuterios aos niacuteveis diferentes de governo ou agraves organizaccedilotildees natildeo governamentais
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 929
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quando usadas correctamente as novas tecnologias (por ex os PDAs ldquosmartphonesrdquo laptops e outros) podem facilitar a monitoria e aumentar os benefiacutecios da monitoria das actividades A monitoria automatizada ndash dados que podem ser obtidos e processados automaticamente ndash podem produzir um resumo dos principais indicadores em uma soacute paacutegina faacutecil de ler e num formato que utiliza cores para alertar ao gestor sobre as aacutereas que precisam de maior atenccedilatildeo As informaccedilotildees obtidas em tempo haacutebil sobre alguns indicadores essenciais permitem que o gestor monitore o progresso e tome medidas correctivas
Essa apresentaccedilatildeo visual das informaccedilotildees mais importantes e necessaacuterias para gerir um projecto eacute geralmente conhecida como Painel de Indicadores de Desempenho Os paineacuteis de indicadores de desempenho podem ser usados em qualquer organizaccedilatildeo departamento ou divisatildeo Nas organizaccedilotildees de sauacutede puacuteblica os paineacuteis satildeo usados frequentemente para monitorar os indicadores financeiros e programaacuteticos bem como a cobertura produccedilatildeo eficaacutecia e qualidade de serviccedilos de sauacutede especiacuteficos Um painel de recursos humanos por exemplo incluiria indicadores relevantes para gerir o seguinte
retenccedilatildeo de funcionaacuterios rotatividade de funcionaacuterios formaccedilatildeo de funcionaacuterios lacunas de habilidades satisfaccedilatildeo dos funcionaacuterios custos benefiacutecios e despesas gerais com funcionaacuterios
A Tabela 6 mostra um painel de indicadores de desempenho criado para monitorar serviccedilos de contracepccedilatildeo ciruacutergica voluntaacuteria (CCV)
TABELA 6 Ilustraccedilatildeo de Painel de Indicadores de Desempenho para Serviccedilos de Contracepccedilatildeo Ciruacutergica Voluntaacuteria (CCV)
Serviccedilo Contracepccedilatildeo Ciruacutergica Voluntaacuteria Periacuteodo do Relatoacuterio Janeiro de 2009
No Indicador de Prestaccedilatildeo de Serviccedilos Custo Qualidade
Meta financeira ou programaacutetica
LimiarNuacutemero
alcanccedilado
Percentagem concluiacuteda
Miacuten Maacutex 10 20 30 40 50 60 70 80 90 100
1 Nuacutemero de CCVs realizadas no mecircs 8 10 7
2 Custo meacutedio das CCVs (US$) 100 120 110
3 Orccedilamento mensal da receita com CCVs realizadas (US$) 800 1200 770
4Percentagem das CCVs realizadas por pessoal
qualificadomdash 100 60
5 Percentagem das CCVs realizadas sem complicaccedilotildees 95 100 100
6
Percentagem de utentes satisfeitas com o tratamento
recebido do pessoal que realizou as CCVs
90 100 90
Adaptado de Colindres 2008 p 6
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 930
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja uma descriccedilatildeo do uso de um painel de indicadores de desempenho para a monitoria de rotina num estudo de caso estudo de caso de uma ONG da Boliacutevia o Centro de Investigaccedilatildeo Educaccedilatildeo e Serviccedilos (CIES)
Para obter mais informaccedilotildees de como criar um painel de indicadores consulte ldquoComo usar os paineacuteis de indicadores de desempenho para monitorar as realizaccedilotildees de uma organizaccedilatildeordquo Esse documento ajuda a esclarecer conceitos e define as etapas essenciais para criar paineacuteis de indicadores de desempenho
Como criar uma avaliaccedilatildeo para fins de aprendizagem
Apesar da importacircncia da monitoria de rotina apenas a monitoria natildeo basta para responder agrave pergunta ldquoE entatildeordquo Ou seja suas actividades e produtos contribuiacuteram para melhorar a cobertura dos serviccedilos aumentar o conhecimento ou encorajar comportamentos mais saudaacuteveis
Talvez uma campanha de comunicaccedilatildeo sobre planeamento familiar criada para aumentar a prevalecircncia do uso de contraceptivos tenha levado o governo a abastecer os depoacutesitos distritais com contraceptivos Para que possam aprender com essa experiecircncia e criar campanhas mais eficazes no futuro os gestores do projecto ainda querem saber que produtos foram realmente dispensados aos centros de sauacutede e distribuiacutedos aos utentes Esta secccedilatildeo discute como criar uma avaliaccedilatildeo para fins de aprendizagem
Existem dois motivos para levar a cabo uma avaliaccedilatildeo
1 A avaliaccedilatildeo fornece informaccedilotildees sobre o sucesso da sua equipa unidade ou organizaccedilatildeo para atingir seus objectivos Essas informaccedilotildees ajudam a definir que actividades expandir modificar ou eliminar Ela pode tambeacutem revelar formas de melhorar a concepccedilatildeo e gestatildeo das actividades futuras
2 A avaliaccedilatildeo pode demonstrar uma cultura de prestaccedilatildeo de contas agrave sua agecircncia doadora e a outros grupos de interesse nomeadamente o governo e os beneficiaacuterios dos seus serviccedilos
AVALIACcedilOtildeES FORMATIVAS E SUMATIVAS
Os gestores podem realizar dois amplos tipos de avaliaccedilotildees formativas e sumativas
Avaliaccedilatildeo formativa Este tipo de avaliaccedilatildeo eacute realizada durante o desenvolvimento e implementaccedilatildeo de um programa Seu objectivo eacute orientar o desenho e a implementaccedilatildeo de actividades que incluam as melhores e mais promissoras praacuteticas que aumentaratildeo as chances de sucesso A avaliaccedilatildeo formativa eacute mais comummente utilizada por projectos de grande porte ou de longo prazo em vez de projectos menores e de curto prazo Poreacutem os projectos menores devem pelo menos realizar uma avaliaccedilatildeo raacutepida das melhores praacuteticas durante a fase de planeamento para apoiar a loacutegica e o conteuacutedo proposto para as actividades
A avaliaccedilatildeo formativa inclui uma avaliaccedilatildeo de necessidades para discernir os desejos e requisitos de um grupo da populaccedilatildeo e determinar a melhor forma de atendecirc-los Inclui tambeacutem uma avaliaccedilatildeo de processo para investigar o processo utilizado para executar uma intervenccedilatildeo Pode-se usar a avaliaccedilatildeo do processo para determinar se as actividades foram realizadas de acordo com o plano ndash em termos de sua concepccedilatildeo original estimativas de custos e nuacutemero de pessoas a serem atendidas ndash e se a qualidade dos processos usados estaacute de acordo com as melhores praacuteticas conhecidas
A avaliaccedilatildeo de processo geralmente inclui vaacuterias abordagens Pode incluir uma avaliaccedilatildeo dos dados referentes aos produtos (por ex nuacutemero de redes mosquiteiras fornecidas nuacutemero
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 931
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
de workshops de formaccedilatildeo realizados nuacutemero de participantes dos workshops) assim como entrevistas individuais ou grupos de enfoque entre os beneficiaacuterios Nas intervenccedilotildees de menor porte eacute uma boa praacutetica realizar uma avaliaccedilatildeo de processo mesmo se limitada agrave retroinformaccedilatildeo dos participantes
Avaliaccedilatildeo somativa Este tipo de avaliaccedilatildeo eacute realizada apoacutes a conclusatildeo de um grupo de actividades ou da intervenccedilatildeo para avaliar a qualidade da intervenccedilatildeo e os seus principais resultados A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo a avaliaccedilatildeo do impacto a anaacutelise de custo-benefiacutecio e custo-eficaacutecia e a investigaccedilatildeo operacional
A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo que avalia em que medida uma equipa unidade ou organizaccedilatildeo inteira atingiram seus resultados esperados A avaliaccedilatildeo dos resultados eacute usada para demonstrar que existe uma cultura de prestaccedilatildeo de contas para aperfeiccediloar o projecto de actividades organizacionais para melhorar a distribuiccedilatildeo dos recursos e para promover intervenccedilotildees futuras bem-sucedidas As principais perguntas satildeo Que modificaccedilotildees ocorreram na vida das pessoas das famiacutelias ou da comunidade como resultado do nosso trabalho Que diferenccedila fizemos
Como observamos anteriormente neste capiacutetulo os resultados a meacutedio e longo prazo satildeo geralmente mudanccedilas mensuraacuteveis eou observaacuteveis em duas dimensotildees A primeira dimensatildeo abrange a conscientizaccedilatildeo o conhecimento as atitudes os valores e as habilidades dos participantes de um programa ou dos beneficiaacuterios dos serviccedilos durante ou depois de seu envolvimento na intervenccedilatildeo A segunda dimensatildeo implica mudanccedilas no comportamento desses mesmos grupos
Idealmente as duas dimensotildees deveriam ser medidas em trecircs pontos no comeccedilo e no final do periacuteodo de implementaccedilatildeo e se possiacutevel apoacutes um periacuteodo de acompanhamento adequado Se a mediccedilatildeo do acompanhamento natildeo for viaacutevel pelo menos devem ser comparadas as mediccedilotildees de base e poacutes-intervenccedilatildeo Muitas vezes as mudanccedilas podem ser pequenas mas deve haver alguma melhoria em pelo menos um ou dois resultados para que a intervenccedilatildeo seja considerada um sucesso
A avaliaccedilatildeo dos resultados tenta distinguir entre a influecircncia da intervenccedilatildeo nessas mudanccedilas e a influecircncia de outros factores externos Mas geralmente os avaliadores teratildeo que optar pela atribuiccedilatildeo parcial de um resultado a uma intervenccedilatildeo ou serviccedilo especiacutefico devido agrave dificuldade em determinar uma relaccedilatildeo directa e causal entre o serviccedilo prestado e uma determinada mudanccedila
As avaliaccedilotildees de resultados utilizam geralmente um desenho natildeo experimental (geralmente denominado ldquopreacute e poacutes-avaliaccedilatildeordquo) que simplesmente mede as mudanccedilas antes e depois de uma intervenccedilatildeo ou seja diferente do desenho experimental (que compara os participantes com um grupo de controlo com designaccedilatildeo aleatoacuteria a ambos os grupos) ou do desenho semi-experimental (que compara os participantes com um grupo de controlo mas sem a designaccedilatildeo aleatoacuteria)
O desenho natildeo experimental eacute aceitaacutevel para as mediccedilotildees e relatoacuterios padratildeo dos resultados a meacutedio e longo prazo As ONGs raramente usam os desenhos experimentais Apesar de uma organizaccedilatildeo de grande porte e com muitos recursos poder ocasionalmente receber assistecircncia de especialistas para um desenho experimental a maioria delas acha que as consideraccedilotildees eacuteticas e logiacutesticas impedem a designaccedilatildeo aleatoacuteria dos participantes aos grupos de intervenccedilatildeo e de controlo Aleacutem disso o custo de recolher dados de um grupo de controlo seraacute provavelmente muito elevado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 932
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A avaliaccedilatildeo do impacto eacute outro componente da avaliaccedilatildeo somativa Eacute mais ampla do que a avaliaccedilatildeo de resultados e avalia os efeitos liacutequidos ou gerais ndash tanto intencionais como natildeo intencionais ndash de todo um programa grupo de programas ou grupo de organizaccedilotildees As avaliaccedilotildees de impacto geralmente se estendem por um periacuteodo de 3 a 5 anos
OUTROS TIPOS DE AVALIACcedilOtildeES
Anaacutelise de custo-benefiacutecio e custo-eficaacutecia Estes tipos de anaacutelise tratam da eficiecircncia da intervenccedilatildeo ao analisar os resultados em termos dos seus custos financeiros e do seu valor
Investigaccedilatildeo operacional Trata-se de um balanccedilo ou avaliaccedilatildeo de uma intervenccedilatildeo especiacutefica no contexto de um programa mais amplo que estaacute a fazer vaacuterias intervenccedilotildees A investigaccedilatildeo operacional eacute usada para testar e avaliar novas abordagens de prestaccedilatildeo de serviccedilos de sauacutede Eacute tambeacutem usada para identificar problemas na prestaccedilatildeo de serviccedilos e oferecer soluccedilotildees
A investigaccedilatildeo operacional eacute uma ferramenta poderosa que os gestores de programas e os tomadores de decisotildees podem usar para melhorar e expandir os serviccedilos Os estudos de investigaccedilatildeo operacional comparam intervenccedilotildees que estatildeo dentro da esfera de influecircncia do gestor Os exemplos incluem a avaliaccedilatildeo da eficaacutecia de uma nova estrateacutegia de prevenccedilatildeo de VIHSIDA um novo curso de formaccedilatildeo um novo conjunto de procedimentos para gerir medicamentos um novo meacutetodo contraceptivo ou um novo serviccedilo de sauacutede reprodutiva
O Toolkit de Investigaccedilatildeo Operacional do Programa Horizons sobre VIHSIDA do Population Council fornece informaccedilotildees detalhadas para criar um estudo de investigaccedilatildeo operacional
CONSIDERACcedilOtildeES PARA A FORMULACcedilAtildeO DE UMA AVALIACcedilAtildeO
O que avaliar para responder agrave pergunta ldquoE entatildeordquo Se quiser saber como gestor se as suas actividades tiveram realmente sucesso precisa preparar todas as intervenccedilotildees tendo em mente a avaliaccedilatildeo e incorporar a avaliaccedilatildeo ao seu planeamento organizacional geral Ao definir objectivos deve se perguntar Como saberemos se estamos a atingir esses objectivos Este eacute o ponto de partida para a avaliaccedilatildeo
Seja qual for o porte da sua intervenccedilatildeo ou serviccedilo e o alcance da avaliaccedilatildeo precisaraacute responder a trecircs perguntas durante a fase de desenho e planeamento
1 O que a sua intervenccedilatildeo ou serviccedilo conseguiraacute realizar a curto e longo prazo Se implementar um conjunto de actividades com sucesso ao longo do tempo o que seraacute diferente
2 Como conceptualiza as suas actividades ndash qual eacute a loacutegica subjacente Duas abordagens para identificar a loacutegica do programa satildeo discutidas neste capiacutetulo na secccedilatildeo intitulada Ferramentas e Abordagens Praacuteticas para MampA
3 Que indicadores pode usar para identificar o progresso no alcance dos resultados
Para responder agrave pergunta ldquoE entatildeordquo vocecirc precisa avaliar os factores sobre os quais tem um niacutevel razoaacutevel de controlo Por exemplo um novo serviccedilo criado para oferecer alojamento a pessoas que vivem com SIDA natildeo pode controlar ou afectar a expectativa de vida das pessoas agraves quais atende Mas ao fornecer um ambiente estaacutevel para elas viverem o serviccedilo pode diminuir o niacutevel de stresse e melhorar a qualidade de vida dessas pessoas que antes eram forccediladas a se mudar com frequecircncia
Depois de tratar da pergunta ldquoE entatildeordquo deve tambeacutem se certificar de que a avaliaccedilatildeo seja concebida de forma que quando o processo estiver concluiacutedo vocecirc possa abordar os cinco toacutepicos principais da avaliaccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 933
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
1 Relevacircncia Foi uma boa ideia fazer a intervenccedilatildeo considerando-se a situaccedilatildeo e a necessidade de melhorias Ela tratou das prioridades do grupo alvo ou beneficiaacuterio Por que sim ou por que natildeo
2 Eficaacutecia Os resultados produtos e actividades foram realizados Por que sim ou por que natildeo A loacutegica da intervenccedilatildeo eacute correcta
3 Eficiecircncia Os insumos (recursos e tempo) foram usados da melhor forma possiacutevel para atingir os resultados a meacutedio e longo prazo Por que sim ou por que natildeo O que vocecirc e sua equipa poderiam fazer de modo diferente no futuro para maximizar os resultados a um custo aceitaacutevel
4 Impacto Em que medida a sua intervenccedilatildeo contribuiu para as metas nacionais ou de longo prazo Que consequecircncias natildeo intencionais (positivas ou negativas) suas actividades tiveram Por que essas consequecircncias aconteceram
5 Sustentabilidade Eacute provaacutevel que os resultados positivos continuem depois que sua intervenccedilatildeo terminar Por que sim ou por que natildeo
Uma uacuteltima advertecircncia assim como a monitoria pode-se complicar demasiado a avaliaccedilatildeo Ao preparar um plano de avaliaccedilatildeo o melhor eacute seleccionar um grupo pequeno de indicadores e resistir agrave tentaccedilatildeo de avaliar todos os aspectos da sua intervenccedilatildeo
Assim como a monitoria a avaliaccedilatildeo soacute eacute uacutetil se as informaccedilotildees forem repassadas em tempo haacutebil para o gestor e outros tomadores de decisotildees e grupos de interesse Um problema comum com as avaliaccedilotildees intercalares eacute que os resultados geralmente soacute satildeo informados de 6 a 8 meses mais tarde o que deixa apenas 1 ou 2 anos para fazer mudanccedilas mais permanentes antes que se esgotem os fundos do governo ou da agecircncia doadora
COMO SELECCIONAR SUAS FONTES DE DADOS
Esta secccedilatildeo descreve trecircs tipos de fontes de dados que satildeo comummente usadas para uma avaliaccedilatildeo dados recolhidos rotineiramente inqueacuteritos de grande escala e teacutecnicas de avaliaccedilatildeo raacutepida inclusive a avaliaccedilatildeo participativa
Dados de rotina Os dados recolhidos e analisados rotineiramente por um SIS satildeo denominados ldquoestatiacutesticas de serviccedilordquo Pode-se utilizar vaacuterios sistemas de informaccedilatildeo de serviccedilos de rotina para monitorar os serviccedilos Alguns deles satildeo o sistema baacutesico de registo e relatoacuterio de SIS os sistemas especiais de relatoacuterios sobre programas (por ex tuberculose malaacuteria imunizaccedilatildeo VIH planeamento familiar etc) os sistemas de relatoacuterios sobre agentes comunitaacuterios especiais (por ex registos de agentes comunitaacuterios de sauacutede) o sistema de informaccedilotildees para a vigilacircncia de doenccedilas e o controlo notificaccedilatildeo e resposta a surtos e os relatoacuterios para os sistemas de suporte especiais (por ex medicamentos encaminhamentos e gestatildeo financeira e de recursos humanos)
Esses sistemas fornecem dados que estatildeo imediatamente disponiacuteveis e cujo objectivo eacute informar o que estaacute a acontecer no sector de sauacutede Os dados de rotina incluem por exemplo o nuacutemero de consultas de preacute-natal em uma cliacutenica o nuacutemero e tipo de vacinaccedilotildees fornecidas no local ou o nuacutemero e tipos de contraceptivos fornecidos mensalmente
Os dados sobre os serviccedilos satildeo geralmente recolhidos pelos centros de sauacutede ou postos de sauacutede e enviados para o proacuteximo niacutevel superior do sistema (geralmente o distrito) para serem agregados Esses dados podem entatildeo ser enviados ao proacuteximo niacutevel superior (regional ou provincial) para posterior agregaccedilatildeo antes que cheguem finalmente ao niacutevel central do Ministeacuterio da Sauacutede
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 934
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Idealmente os gestores de centros de sauacutede e ao niacutevel do distrito usam esses dados para orientar as operaccedilotildees diaacuterias acompanhar o desempenho e a prestaccedilatildeo de contas e tomar decisotildees que continuem a melhorar o desempenho Mas haacute vaacuterios obstaacuteculos a essa utilizaccedilatildeo
Muito frequentemente os dados de rotina satildeo imprecisos ou incompletos Apesar dos que utilizam o SIS tentarem produzir informaccedilotildees de alta qualidade e em tempo haacutebil haacute muitas oportunidades de introduzir erros Pode haver pouco apoio para que os gestores e seu pessoal se concentrem nos procedimentos correctos de recolha registo e agregaccedilatildeo dos dados
Os sistemas de sauacutede de vaacuterios paiacuteses enfatizam a importacircncia de apresentar relatoacuterios para os niacuteveis superiores mas natildeo estabeleceram procedimentos e incentivos para encorajar aqueles que fornecem informaccedilotildees a utilizaacute-las mesmo quando os dados satildeo de boa qualidade
Outra dificuldade eacute que as estatiacutesticas sobre serviccedilos fornecem informaccedilotildees apenas sobre os utentes que utilizam os serviccedilos de sauacutede Natildeo podem fornecer informaccedilotildees sobre as muitas pessoas que natildeo utilizam os serviccedilos
Por tudo isso natildeo se pode confiar apenas nas estatiacutesticas sobre serviccedilos para fazer uma avaliaccedilatildeo Elas satildeo melhor utilizadas para a monitoria de rotina dos problemas de sauacutede puacuteblica e dos serviccedilos essenciais relacionados
Inqueacuteritos em grande escala Os inqueacuteritos em grande escala satildeo outra fonte de informaccedilotildees imediatamente disponiacuteveis Incluem inqueacuteritos de base populacional tais como as Inqueacuterito Demograacutefico e de Sauacutede (IDS) dos EUA avaliaccedilotildees completas de centros de sauacutede como a Anaacutelise de Situaccedilatildeo do Population Council e os censos nacionais Em vaacuterios casos os gestores podem usar os dados de um inqueacuterito em grande escala existente para fornecer o contexto para a interpretaccedilatildeo dos dados capturados atraveacutes das suas proacuteprias avaliaccedilotildees
Por exemplo as IDS satildeo realizadas periodicamente para caracterizar a situaccedilatildeo de sauacutede em um paiacutes ou regiatildeo geograacutefica de grande extensatildeo para vaacuterios grupos populacionais homens mulheres crianccedilas bebeacutes e assim por diante Mas os dados das IDS natildeo podem normalmente ser desagregados para uso pelos gestores no niacutevel de distrito ou comunidade
Aleacutem disso como as IDS satildeo realizadas apenas a cada trecircs ou cinco anos as informaccedilotildees que fornecem podem natildeo estar suficientemente actualizadas para as necessidades de avaliaccedilatildeo dos gestores Apesar dessas dificuldades os dados das IDS satildeo uacuteteis para compreender tendecircncias regionais ou nacionais que podem ajudar a explicar dados recolhidos em uma avaliaccedilatildeo de foco especiacutefico
Avaliaccedilotildees raacutepidas Satildeo formas raacutepidas e econoacutemicas de obter informaccedilotildees para a tomada de decisotildees principalmente ao niacutevel da actividade Os exemplos incluem entrevistas quando os utentes saem de suas consultas as avaliaccedilotildees de pequena escala dos centros de sauacutede os inqueacuteritos raacutepidos por amostragem o exame analiacutetico de registos as entrevistas com grupos de enfoque e outros meacutetodos participativos
Poderaacute usar teacutecnicas de avaliaccedilatildeo raacutepida para complementar as informaccedilotildees obtidas com dados de rotina ou inqueacuteritos de grande escala As avaliaccedilotildees raacutepidas podem-lhe fornecer informaccedilotildees valiosas sobre sua aacuterea de captaccedilatildeo e sua aacuterea de responsabilidade mais ampla ndash ou seja as comunidades e as populaccedilotildees que deveriam ter acesso aos serviccedilos essenciais prestados por um centro de sauacutede determinado Elas podem tambeacutem fornecer contexto e uma compreensatildeo qualitativa dos dados quantitativos recolhidos pelos meacutetodos mais formais
Dentro da categoria de avaliaccedilotildees raacutepidas os meacutetodos participativos e os inqueacuteritos raacutepidos por amostragem merecem a sua atenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 935
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Meacutetodos participativos (tambeacutem chamados de aprendizagem e acccedilatildeo participativas) Essas teacutecnicas e meacutetodos visam incorporar o conhecimento e as opiniotildees dos membros da comunidade no planeamento e gestatildeo de projectos de desenvolvimento no esforccedilo para influenciar as poliacuteticas e na implementaccedilatildeo de programas Eles permitem incluir vozes da comunidade nas poliacuteticas no planeamento e nos inqueacuteritos e criam um senso de propriedade e participaccedilatildeo nos resultados de MampA e nas recomendaccedilotildees feitas pela organizaccedilatildeo e por seus beneficiaacuterios
Ao contraacuterio de outras teacutecnicas de avaliaccedilatildeo raacutepida os meacutetodos participativos natildeo se baseiam em amostragens Eles usam entrevistas individuais ou com informantes essenciais (inclusive entrevistas com utentes ao saiacuterem de suas consultas) entrevistas em grupo estudos de caso e outros meacutetodos qualitativos para identificar as condiccedilotildees locais e entender as perspectivas e prioridades locais
Em vaacuterios locais haacute membros da comunidade que natildeo podem ler nem escrever e por isso os meacutetodos participativos dependem frequentemente da comunicaccedilatildeo oral com apoio de imagens siacutembolos objectos fiacutesicos e memoacuteria colectiva
Os meacutetodos participativos podem ser usados antes durante e apoacutes a implementaccedilatildeo de uma intervenccedilatildeo ou um conjunto de actividades Eles fornecem informaccedilotildees para o projecto e a avaliaccedilatildeo e permitem a participaccedilatildeo activa das partes interessadas na tomada de decisotildees Durante a implementaccedilatildeo os meacutetodos participativos satildeo uacuteteis para identificar e solucionar problemas
Aproveite para examinar e utilizar uma lista de recursos online sobre inqueacuterito qualitativo e directrizes sobre discussotildees em grupos de enfoque no Community Tool Box da Universidade de Kansas
Inqueacuteritos raacutepidos por amostragem Estes inqueacuteritos podem ser utilizados para recolher informaccedilotildees padronizadas de uma amostra pequena e cuidadosamente seleccionada de pessoas ou domiciacutelios em uma aacuterea beneficiaacuteria Eles podem descrever as condiccedilotildees em uma comunidade particular ou grupo-alvo e permitem comparar grupos diferentes em um determinado momento ou mudanccedilas no mesmo grupo ao longo do tempo Permitem tambeacutem comparar condiccedilotildees actuais com os resultados planeados
Um dos inqueacuteritos mais comuns de pequena amostragem eacute o inqueacuterito CAP (Conhecimentos Atitudes e Praacuteticas) baseado em uma amostra de 30 agrupamentos
Amostragem para Garantia de Qualidade de Lotes (Lot Quality Sampling - LQAS) Essa eacute outra teacutecnica de avaliaccedilatildeo raacutepida que se usa cada vez mais na aacuterea de sauacutede puacuteblica A LQAS utiliza amostragens muito pequenas para obter informaccedilotildees confiaacuteveis em uma pequena aacuterea geograacutefica ou unidade administrativa Pode ser usada para detectar de forma precisa os extremos do desempenho ndash para determinar se uma intervenccedilatildeo foi mais aleacutem de um limiar superior de desempenho ou natildeo conseguiu atingir um limiar inferior de desempenho em termos de qualidade ou cobertura As amostras de lotes podem tambeacutem ser combinadas para fornecer estimativas de cobertura em uma aacuterea geograacutefica mais ampla
Uma busca na Web revelaraacute recursos uacuteteis aqui temos um sobre os inqueacuteritos CAP e outro sobre LQAS A aacuterea de MampA do website do CORE Group inclui ligaccedilotildees com ferramentas e recursos importantes para a avaliaccedilatildeo raacutepida criados pelo Grupo de Trabalho de MampA do CORE Group
Como gestor deve revisar todas as fontes de dados jaacute existentes antes de planear a sua avaliaccedilatildeo A Tabela 7 apresenta as vantagens e desvantagens das trecircs principais fontes de
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 936
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 7 Resumo das trecircs fontes de dados mais comuns para uma avaliaccedilatildeo
Fonte de dados Vantagens Limitaccedilotildees
Estatiacutesticas de serviccedilo Dados sobre a populaccedilatildeo de utentes e serviccedilos cliacutenicos que satildeo recolhidos rotineiramente nos registos dos utentes e nos registos cliacutenicos
Disponiacuteveis imediatamente
Cobrem todos os tipos de serviccedilos de sauacutede e todas as aacutereas do paiacutes
Podem ser desagregados para os niacuteveis local e de distrito
Uso econoacutemico
Soacute lhe informam sobre clientes actuais sem informaccedilotildees sobre as pessoas que natildeo usam os serviccedilos de sauacutede e podem ser utentes em potencial
Natildeo fornecem informaccedilotildees sobre valores percepccedilotildees ou comportamentos da comunidade
Natildeo reflectem as pessoas que optam por fontes privadas de serviccedilos
Podem ser inexactas se os locais de prestaccedilatildeo de serviccedilos natildeo registarem os dados correctamente de forma legiacutevel e em tempo haacutebil
Inqueacuteritos de grande escala Inqueacuteritos de base populacional e avaliaccedilotildees de grande escala dos centros de sauacutede
Dados relevantes precisos e confiaacuteveis
Podem medir as tendecircncias nacionais de sauacutede identificar aacutereas com problemas e ajudar a concentrar os recursos do paiacutes em aacutereas de maior carecircncia
Geram valores meacutedios para as aacutereas urbanas e rurais regiotildees e proviacutencias
Fornecem um contexto para interpretar os dados recolhidos localmente
Podem gerar informaccedilotildees adicionais a partir dos seus conjuntos de dados informatizados
Geralmente natildeo podem desagregar os dados para fornecer meacutedias para as aacutereas sub-regionais (distritos ou municipalidades)
Geralmente natildeo satildeo realizadas anualmente os dados se tornam desactualizados rapidamente se as populaccedilotildees ou condiccedilotildees de sauacutede se modificarem rapidamente
Avaliaccedilotildees raacutepidas Meacutetodos focados para avaliar as necessidades locais e tomar decisotildees em acircmbito local
Raacutepidas e econoacutemicas
Resultam em acccedilatildeo local
Haacute directrizes para ajudar os gestores em vaacuterias dessas teacutecnicas
Fornecem aos gestores a capacidade de recolher os dados necessaacuterios
Os inqueacuteritos domiciliares (por ex LQAS ou CAP) podem obter precisatildeo suficiente para fins de avaliaccedilatildeo
Equilibra a necessidade de resultados representativos e objectivos com a necessidade de usar projectos levemente menos rigorosos que satildeo mais viaacuteveis em aacutereas locais
Usam escala e acircmbito reduzidos para produzir resultados em tempo haacutebil e de baixo custo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 937
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
dados que foram discutidas acima estatiacutesticas rotineiras de serviccedilos inqueacuteritos em grande escala e teacutecnicas de avaliaccedilatildeo raacutepida
Que niacutevel de qualidade os dados do SIS precisam ter para serem uacuteteis ndash que niacutevel de abrangecircncia precisatildeo e apresentaccedilatildeo em tempo haacutebil Para as suas necessidades de gestatildeo mesmo que natildeo sejam perfeitos os dados podem ser suficientemente bons para ter um efeito poderoso como nos mostra o exemplo de Madagascar
Dados do SIS pontos fortes e limitaccedilotildees
Subestimar o valor e a utilidade do SIS eacute infelizmente uma tendecircncia Eacute verdade que o SIS tem problemas frequentemente mas tambeacutem eacute grande o seu potencial Como vimos em
Como usar e melhorar dados imperfeitos do SIS ndash Um exemplo de Madagascar
Um SIS de base comunitaacuteria mais preciso e mais oportuno Um projecto de Madagascar implementou um meacutetodo baseado na comunidade para aumentar o uso de meacutetodos de planeamento familiar denominado ldquoComunidades Campeatildesrdquo em 50 dos 110 distritos do paiacutes O meacutetodo utilizou exclusivamente os dados do SIS para monitorar e avaliar as realizaccedilotildees das comunidades participantes
Em primeiro lugar foi estabelecida uma base de referecircncia para cada comunidade ao usar os dados do seu centro de sauacutede Em seguida o pessoal do centro de sauacutede e os representantes da comunidade identificaram metas para 10 indicadores que determinariam se uma comunidade tinha alcanccedilado a posiccedilatildeo de campeatilde apoacutes 12 meses de implementaccedilatildeo Cada comunidade monitorava seu proacuteprio progresso em uma reuniatildeo trimestral de verificaccedilatildeo
Apoacutes 12 meses o pessoal do projecto voltou a cada comunidade para avaliar os resultados Examinaram os dados do relatoacuterio de monitoria de rotina de cada centro de sauacutede e para cada indicador Prepararam tambeacutem um relatoacuterio sobre os dados de cada comunidade e o enviaram para o supervisor de niacutevel distrital para a sua confirmaccedilatildeo com base nos registos informatizados do distrito As fontes de dados para os relatoacuterios do centro de sauacutede e registos de distrito foram as mesmas (registos dos centros de sauacutede) e por isso raramente ocorreu uma discrepacircncia Mas o que interessava era envolver o supervisor distrital no exame dos dados do centro de sauacutede para mostrar a utilidade de se usar ateacute mesmo dados simples nesse niacutevel
O projecto tambeacutem cooperou com o Ministeacuterio da Sauacutede a niacutevel distrital para melhorar a precisatildeo a abrangecircncia e a prontidatildeo do SIS A ecircnfase era obter dados mais completos dos centros de sauacutede e reduzir o tempo gasto pelo escritoacuterio distrital para receber o relatoacuterio do centro de sauacutede apreciaacute-lo devolvecirc-lo ao centro para qualquer correcccedilatildeo recebecirc-lo novamente dar entrada dos dados no sistema e finalmente enviaacute-los ao niacutevel central Os distritos satildeo responsaacuteveis por cooperar com os centros de sauacutede para melhorar o registo de dados e actualizar suas proacuteprias teacutecnicas de processamento de dados
Apoacutes dois anos de assistecircncia teacutecnica o SIS tinha realmente melhorado segundo os indicadores de precisatildeo abrangecircncia e prontidatildeo As melhorias mais notaacuteveis foram em prontidatildeo o tempo gasto pelo escritoacuterio distrital no processo descrito acima reduziu-se de 12 para 3 meses
Imperfeitas mais mesmo assim valiosos Deve-se lembrar que o projecto ldquoComunidades Campeatildesrdquo teve oacuteptimo resultado apesar dos dados imperfeitos Seu numerador (o nuacutemero de utentes regulares de planeamento familiar) era detalhado e preciso Mas suas estimativas das taxas de prevalecircncia do uso de contraceptivos natildeo eram muito precisas porque o denominador (nuacutemero de mulheres em idade reprodutiva) era apenas uma estimativa baseada num censo desactualizado e em estimativas anuais do governo sobre percentagens de crescimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 938
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Madagascar o projecto Comunidades Campeatildes melhorou o sistema substancialmente num periacuteodo de dois anos Nesse caso o sistema jaacute se encontrava relativamente funcional porque projectos anteriores haviam feito um grande esforccedilo para implantar o sistema e tornaacute-lo mais soacutelido Ao aprimorar a forma como o sistema era administrado e os dados eram usados o projecto posterior conseguiu fazer uma grande diferenccedila por meio de pequenas modificaccedilotildees
Os dados do SIS natildeo satildeo 100 exactos e nunca seratildeo Esta eacute a realidade com a qual todos os gestores tecircm que trabalhar Mas os dados natildeo precisam ser perfeitos para serem uacuteteis Eacute possiacutevel fazer a monitoria e a gestatildeo com dados imperfeitos Informaccedilotildees obtidas em tempo
(continuaccedilatildeo)
No entanto o projecto constatou que as taxas de prevalecircncia de uso de contraceptivos eram suficientemente boas para acompanhar o desempenho das comunidades que participavam do meacutetodo de Comunidades Campeatildes O pessoal do projecto tambeacutem complementou as comparaccedilotildees dessas taxas com as comparaccedilotildees dos valores do numerador nuacutemeros simples que faziam sentido para o pessoal do centro de sauacutede e tambeacutem para as comunidades
O niacutevel central comeccedilou a organizar workshops regionais trimestrais para divulgar os resultados ao niacutevel distrital Juntos os gestores dos niacuteveis distritais regionais e centrais analisaram o progresso e classificaram os distritos com base no seu desempenho Usaram a anaacutelise de causa-raiz ndash um processo que identifica as causas subjacentes de um problema ndash para entender os obstaacuteculos enfrentados pelos distritos que apresentavam baixo desempenho (Consulte o Apecircndice A no Capiacutetulo 2 deste guia para obter mais informaccedilotildees sobre a anaacutelise de causa-raiz) Finalmente o Ministeacuterio de Sauacutede mobilizou o apoio de agecircncias doadoras e de organizaccedilotildees parceiras para ajudaacute-los a melhorar
O ministeacuterio comeccedilou a usar as informaccedilotildees de sauacutede para administrar realmente o sistema de sauacutede Antes dessa intervenccedilatildeo poucas organizaccedilotildees confiavam ou utilizavam os dados do SIS Mas quando ficou claro que o sistema funcionava as agecircncias doadoras passaram a confiar as organizaccedilotildees parceiras passaram a utilizaacute-lo e o ministeacuterio se orgulhou do trabalho Pela primeira vez tinham uma visatildeo mais niacutetida do que acontecia em todo o paiacutes e podiam usar essas informaccedilotildees para buscar o apoio de agecircncias doadoras se necessaacuterio
Do mesmo modo os centros de sauacutede raramente usavam seus proacuteprios dados Eles simplesmente faziam os registos e os enviavam para o escritoacuterio distrital sem nem mesmo receber retroinformaccedilatildeo do mesmo Apoacutes a conclusatildeo do projecto perceberam como os dados mais precisos podiam ser usados em seu benefiacutecio e das comunidades
Os distritos tambeacutem actuavam antes de uma forma pouco informada Cada distrito dependia apenas dos seus proacuteprios dados e funcionava num vaacutecuo As mudanccedilas no SIS e o encorajamento do governo central forneceram aos distritos oportunidades para comparar seu trabalho e aprender uns com os outros
Aprendizagem com dados mais precisos completos e oportunos Os dados satildeo geralmente utilizados para fazer comparaccedilotildees mas satildeo menos frequentemente utilizados como ferramenta de aprendizagem Nesse caso depois que os relatoacuterios comeccedilaram a chegar dentro do prazo o Ministeacuterio da Sauacutede usou os dados ndash inclusive dados imperfeitos ndash para descobrir que distritos tinham um desempenho ruim e que distritos estavam melhor que os outros Assim aprenderam com os de melhor desempenho ao perguntar Por que seus resultados satildeo tatildeo bons O que estavam a fazer de diferente O que poderia ser replicado Finalmente aplicaram a aprendizagem ao usar esses distritos como modelos e ao oferecer mais apoio aos de pior desempenho
Todo o sistema de sauacutede se entusiasmou com as informaccedilotildees que podiam produzir e usar A comeccedilar do topo esse entusiasmo chegou aos niacuteveis inferiores e os motivou a melhorar sua recolha e processamento de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 939
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
haacutebil e com 75 de precisatildeo satildeo melhores que as informaccedilotildees com 95 de precisatildeo que chegam com vaacuterios meses de atraso
Apesar do seu grande valor por si soacutes os dados do SIS natildeo atenderatildeo a todas as necessidades de informaccedilatildeo de muitas organizaccedilotildees Algumas organizaccedilotildees e agecircncias doadoras precisam de dados que exigem avaliaccedilotildees ou sistemas especiais Aleacutem disso vaacuterias intervenccedilotildees foram projectadas para modificar o conhecimento as atitudes e as praacuteticas dos beneficiaacuterios factores que natildeo satildeo capturados nos dados de serviccedilo Eacute importante usar os dados do SIS sempre que possiacutevel e complementaacute-los com avaliaccedilotildees locais quando necessaacuterio
Como gestor de um programa de sauacutede ou de serviccedilos de sauacutede parte do seu trabalho deveria ser o de melhorar o SIS em seu paiacutes Ele eacute o uacutenico sistema de informaccedilotildees sustentaacutevel na maioria dos paiacuteses Os sistemas de informaccedilatildeo criados e mantidos por agecircncias doadoras ou organizaccedilotildees externas tecircm duraccedilatildeo limitada mas o SIS eacute parte permanente do seu legado
Se todos os parceiros e agecircncias doadoras trabalharem com o Ministeacuterio de Sauacutede para prestar assistecircncia teacutecnica e financeira ao SIS ele poderaacute render informaccedilotildees que trazem grandes melhorias para os serviccedilos de sauacutede e que justificam plenamente o investimento no mesmo
Praacuteticas comprovadas
Um sistema de MampA deveria proporcionar aos gestores o que eles precisam saber para agir Deve se basear em indicadores relevantes faacuteceis de usar e que possam ser fornecidos em tempo haacutebil para os ciclos de planeamento e apresentaccedilatildeo de relatoacuterios
Os resultados de MampA natildeo se destinam apenas ao pessoal de MampA da sua organizaccedilatildeo ou agrave agecircncia doadora As informaccedilotildees de MampA satildeo um recurso fundamental para as acccedilotildees e a aprendizagem Se o seu processo de MampA tiver mecanismos de retroinformaccedilatildeo que permitam aos tomadores de decisotildees reflectirem sobre os resultados e absorverem o que precisam para seus proacuteprios fins eles assumiratildeo o controlo do processo e utilizaratildeo o que ele oferecer
Se vocecirc define suas actividades de MampA no comeccedilo de uma intervenccedilatildeo ou projecto junto com o plano de acccedilatildeo para o projecto teraacute mais oportunidades de orientar e acompanhar a implementaccedilatildeo das actividades
Quando satildeo demasiado elaborados e complicados os planos de MampA natildeo satildeo usados Elabore um plano de MampA simples escolha ferramentas de monitoria faacuteceis de usar e seleccione a menor quantidade possiacutevel de indicadores para acompanhar o progresso e introduzir as mudanccedilas necessaacuterias ao longo do caminho
Para fortalecer um SIS eacute preciso trabalhar com as pessoas envolvidas os responsaacuteveis pelo sistema que registam transferem analisam comunicam e utilizam os dados e as informaccedilotildees para a gestatildeo dos serviccedilos
Ao fornecer os dados do SIS para os tomadores de decisotildees vocecirc deve reconhecer as diferenccedilas na frequecircncia dos relatoacuterios e nas quantidades de dados agregados e desagregados necessaacuterios aos niacuteveis diferentes de governo ou agraves organizaccedilotildees natildeo governamentais
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 930
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Veja uma descriccedilatildeo do uso de um painel de indicadores de desempenho para a monitoria de rotina num estudo de caso estudo de caso de uma ONG da Boliacutevia o Centro de Investigaccedilatildeo Educaccedilatildeo e Serviccedilos (CIES)
Para obter mais informaccedilotildees de como criar um painel de indicadores consulte ldquoComo usar os paineacuteis de indicadores de desempenho para monitorar as realizaccedilotildees de uma organizaccedilatildeordquo Esse documento ajuda a esclarecer conceitos e define as etapas essenciais para criar paineacuteis de indicadores de desempenho
Como criar uma avaliaccedilatildeo para fins de aprendizagem
Apesar da importacircncia da monitoria de rotina apenas a monitoria natildeo basta para responder agrave pergunta ldquoE entatildeordquo Ou seja suas actividades e produtos contribuiacuteram para melhorar a cobertura dos serviccedilos aumentar o conhecimento ou encorajar comportamentos mais saudaacuteveis
Talvez uma campanha de comunicaccedilatildeo sobre planeamento familiar criada para aumentar a prevalecircncia do uso de contraceptivos tenha levado o governo a abastecer os depoacutesitos distritais com contraceptivos Para que possam aprender com essa experiecircncia e criar campanhas mais eficazes no futuro os gestores do projecto ainda querem saber que produtos foram realmente dispensados aos centros de sauacutede e distribuiacutedos aos utentes Esta secccedilatildeo discute como criar uma avaliaccedilatildeo para fins de aprendizagem
Existem dois motivos para levar a cabo uma avaliaccedilatildeo
1 A avaliaccedilatildeo fornece informaccedilotildees sobre o sucesso da sua equipa unidade ou organizaccedilatildeo para atingir seus objectivos Essas informaccedilotildees ajudam a definir que actividades expandir modificar ou eliminar Ela pode tambeacutem revelar formas de melhorar a concepccedilatildeo e gestatildeo das actividades futuras
2 A avaliaccedilatildeo pode demonstrar uma cultura de prestaccedilatildeo de contas agrave sua agecircncia doadora e a outros grupos de interesse nomeadamente o governo e os beneficiaacuterios dos seus serviccedilos
AVALIACcedilOtildeES FORMATIVAS E SUMATIVAS
Os gestores podem realizar dois amplos tipos de avaliaccedilotildees formativas e sumativas
Avaliaccedilatildeo formativa Este tipo de avaliaccedilatildeo eacute realizada durante o desenvolvimento e implementaccedilatildeo de um programa Seu objectivo eacute orientar o desenho e a implementaccedilatildeo de actividades que incluam as melhores e mais promissoras praacuteticas que aumentaratildeo as chances de sucesso A avaliaccedilatildeo formativa eacute mais comummente utilizada por projectos de grande porte ou de longo prazo em vez de projectos menores e de curto prazo Poreacutem os projectos menores devem pelo menos realizar uma avaliaccedilatildeo raacutepida das melhores praacuteticas durante a fase de planeamento para apoiar a loacutegica e o conteuacutedo proposto para as actividades
A avaliaccedilatildeo formativa inclui uma avaliaccedilatildeo de necessidades para discernir os desejos e requisitos de um grupo da populaccedilatildeo e determinar a melhor forma de atendecirc-los Inclui tambeacutem uma avaliaccedilatildeo de processo para investigar o processo utilizado para executar uma intervenccedilatildeo Pode-se usar a avaliaccedilatildeo do processo para determinar se as actividades foram realizadas de acordo com o plano ndash em termos de sua concepccedilatildeo original estimativas de custos e nuacutemero de pessoas a serem atendidas ndash e se a qualidade dos processos usados estaacute de acordo com as melhores praacuteticas conhecidas
A avaliaccedilatildeo de processo geralmente inclui vaacuterias abordagens Pode incluir uma avaliaccedilatildeo dos dados referentes aos produtos (por ex nuacutemero de redes mosquiteiras fornecidas nuacutemero
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 931
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
de workshops de formaccedilatildeo realizados nuacutemero de participantes dos workshops) assim como entrevistas individuais ou grupos de enfoque entre os beneficiaacuterios Nas intervenccedilotildees de menor porte eacute uma boa praacutetica realizar uma avaliaccedilatildeo de processo mesmo se limitada agrave retroinformaccedilatildeo dos participantes
Avaliaccedilatildeo somativa Este tipo de avaliaccedilatildeo eacute realizada apoacutes a conclusatildeo de um grupo de actividades ou da intervenccedilatildeo para avaliar a qualidade da intervenccedilatildeo e os seus principais resultados A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo a avaliaccedilatildeo do impacto a anaacutelise de custo-benefiacutecio e custo-eficaacutecia e a investigaccedilatildeo operacional
A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo que avalia em que medida uma equipa unidade ou organizaccedilatildeo inteira atingiram seus resultados esperados A avaliaccedilatildeo dos resultados eacute usada para demonstrar que existe uma cultura de prestaccedilatildeo de contas para aperfeiccediloar o projecto de actividades organizacionais para melhorar a distribuiccedilatildeo dos recursos e para promover intervenccedilotildees futuras bem-sucedidas As principais perguntas satildeo Que modificaccedilotildees ocorreram na vida das pessoas das famiacutelias ou da comunidade como resultado do nosso trabalho Que diferenccedila fizemos
Como observamos anteriormente neste capiacutetulo os resultados a meacutedio e longo prazo satildeo geralmente mudanccedilas mensuraacuteveis eou observaacuteveis em duas dimensotildees A primeira dimensatildeo abrange a conscientizaccedilatildeo o conhecimento as atitudes os valores e as habilidades dos participantes de um programa ou dos beneficiaacuterios dos serviccedilos durante ou depois de seu envolvimento na intervenccedilatildeo A segunda dimensatildeo implica mudanccedilas no comportamento desses mesmos grupos
Idealmente as duas dimensotildees deveriam ser medidas em trecircs pontos no comeccedilo e no final do periacuteodo de implementaccedilatildeo e se possiacutevel apoacutes um periacuteodo de acompanhamento adequado Se a mediccedilatildeo do acompanhamento natildeo for viaacutevel pelo menos devem ser comparadas as mediccedilotildees de base e poacutes-intervenccedilatildeo Muitas vezes as mudanccedilas podem ser pequenas mas deve haver alguma melhoria em pelo menos um ou dois resultados para que a intervenccedilatildeo seja considerada um sucesso
A avaliaccedilatildeo dos resultados tenta distinguir entre a influecircncia da intervenccedilatildeo nessas mudanccedilas e a influecircncia de outros factores externos Mas geralmente os avaliadores teratildeo que optar pela atribuiccedilatildeo parcial de um resultado a uma intervenccedilatildeo ou serviccedilo especiacutefico devido agrave dificuldade em determinar uma relaccedilatildeo directa e causal entre o serviccedilo prestado e uma determinada mudanccedila
As avaliaccedilotildees de resultados utilizam geralmente um desenho natildeo experimental (geralmente denominado ldquopreacute e poacutes-avaliaccedilatildeordquo) que simplesmente mede as mudanccedilas antes e depois de uma intervenccedilatildeo ou seja diferente do desenho experimental (que compara os participantes com um grupo de controlo com designaccedilatildeo aleatoacuteria a ambos os grupos) ou do desenho semi-experimental (que compara os participantes com um grupo de controlo mas sem a designaccedilatildeo aleatoacuteria)
O desenho natildeo experimental eacute aceitaacutevel para as mediccedilotildees e relatoacuterios padratildeo dos resultados a meacutedio e longo prazo As ONGs raramente usam os desenhos experimentais Apesar de uma organizaccedilatildeo de grande porte e com muitos recursos poder ocasionalmente receber assistecircncia de especialistas para um desenho experimental a maioria delas acha que as consideraccedilotildees eacuteticas e logiacutesticas impedem a designaccedilatildeo aleatoacuteria dos participantes aos grupos de intervenccedilatildeo e de controlo Aleacutem disso o custo de recolher dados de um grupo de controlo seraacute provavelmente muito elevado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 932
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A avaliaccedilatildeo do impacto eacute outro componente da avaliaccedilatildeo somativa Eacute mais ampla do que a avaliaccedilatildeo de resultados e avalia os efeitos liacutequidos ou gerais ndash tanto intencionais como natildeo intencionais ndash de todo um programa grupo de programas ou grupo de organizaccedilotildees As avaliaccedilotildees de impacto geralmente se estendem por um periacuteodo de 3 a 5 anos
OUTROS TIPOS DE AVALIACcedilOtildeES
Anaacutelise de custo-benefiacutecio e custo-eficaacutecia Estes tipos de anaacutelise tratam da eficiecircncia da intervenccedilatildeo ao analisar os resultados em termos dos seus custos financeiros e do seu valor
Investigaccedilatildeo operacional Trata-se de um balanccedilo ou avaliaccedilatildeo de uma intervenccedilatildeo especiacutefica no contexto de um programa mais amplo que estaacute a fazer vaacuterias intervenccedilotildees A investigaccedilatildeo operacional eacute usada para testar e avaliar novas abordagens de prestaccedilatildeo de serviccedilos de sauacutede Eacute tambeacutem usada para identificar problemas na prestaccedilatildeo de serviccedilos e oferecer soluccedilotildees
A investigaccedilatildeo operacional eacute uma ferramenta poderosa que os gestores de programas e os tomadores de decisotildees podem usar para melhorar e expandir os serviccedilos Os estudos de investigaccedilatildeo operacional comparam intervenccedilotildees que estatildeo dentro da esfera de influecircncia do gestor Os exemplos incluem a avaliaccedilatildeo da eficaacutecia de uma nova estrateacutegia de prevenccedilatildeo de VIHSIDA um novo curso de formaccedilatildeo um novo conjunto de procedimentos para gerir medicamentos um novo meacutetodo contraceptivo ou um novo serviccedilo de sauacutede reprodutiva
O Toolkit de Investigaccedilatildeo Operacional do Programa Horizons sobre VIHSIDA do Population Council fornece informaccedilotildees detalhadas para criar um estudo de investigaccedilatildeo operacional
CONSIDERACcedilOtildeES PARA A FORMULACcedilAtildeO DE UMA AVALIACcedilAtildeO
O que avaliar para responder agrave pergunta ldquoE entatildeordquo Se quiser saber como gestor se as suas actividades tiveram realmente sucesso precisa preparar todas as intervenccedilotildees tendo em mente a avaliaccedilatildeo e incorporar a avaliaccedilatildeo ao seu planeamento organizacional geral Ao definir objectivos deve se perguntar Como saberemos se estamos a atingir esses objectivos Este eacute o ponto de partida para a avaliaccedilatildeo
Seja qual for o porte da sua intervenccedilatildeo ou serviccedilo e o alcance da avaliaccedilatildeo precisaraacute responder a trecircs perguntas durante a fase de desenho e planeamento
1 O que a sua intervenccedilatildeo ou serviccedilo conseguiraacute realizar a curto e longo prazo Se implementar um conjunto de actividades com sucesso ao longo do tempo o que seraacute diferente
2 Como conceptualiza as suas actividades ndash qual eacute a loacutegica subjacente Duas abordagens para identificar a loacutegica do programa satildeo discutidas neste capiacutetulo na secccedilatildeo intitulada Ferramentas e Abordagens Praacuteticas para MampA
3 Que indicadores pode usar para identificar o progresso no alcance dos resultados
Para responder agrave pergunta ldquoE entatildeordquo vocecirc precisa avaliar os factores sobre os quais tem um niacutevel razoaacutevel de controlo Por exemplo um novo serviccedilo criado para oferecer alojamento a pessoas que vivem com SIDA natildeo pode controlar ou afectar a expectativa de vida das pessoas agraves quais atende Mas ao fornecer um ambiente estaacutevel para elas viverem o serviccedilo pode diminuir o niacutevel de stresse e melhorar a qualidade de vida dessas pessoas que antes eram forccediladas a se mudar com frequecircncia
Depois de tratar da pergunta ldquoE entatildeordquo deve tambeacutem se certificar de que a avaliaccedilatildeo seja concebida de forma que quando o processo estiver concluiacutedo vocecirc possa abordar os cinco toacutepicos principais da avaliaccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 933
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
1 Relevacircncia Foi uma boa ideia fazer a intervenccedilatildeo considerando-se a situaccedilatildeo e a necessidade de melhorias Ela tratou das prioridades do grupo alvo ou beneficiaacuterio Por que sim ou por que natildeo
2 Eficaacutecia Os resultados produtos e actividades foram realizados Por que sim ou por que natildeo A loacutegica da intervenccedilatildeo eacute correcta
3 Eficiecircncia Os insumos (recursos e tempo) foram usados da melhor forma possiacutevel para atingir os resultados a meacutedio e longo prazo Por que sim ou por que natildeo O que vocecirc e sua equipa poderiam fazer de modo diferente no futuro para maximizar os resultados a um custo aceitaacutevel
4 Impacto Em que medida a sua intervenccedilatildeo contribuiu para as metas nacionais ou de longo prazo Que consequecircncias natildeo intencionais (positivas ou negativas) suas actividades tiveram Por que essas consequecircncias aconteceram
5 Sustentabilidade Eacute provaacutevel que os resultados positivos continuem depois que sua intervenccedilatildeo terminar Por que sim ou por que natildeo
Uma uacuteltima advertecircncia assim como a monitoria pode-se complicar demasiado a avaliaccedilatildeo Ao preparar um plano de avaliaccedilatildeo o melhor eacute seleccionar um grupo pequeno de indicadores e resistir agrave tentaccedilatildeo de avaliar todos os aspectos da sua intervenccedilatildeo
Assim como a monitoria a avaliaccedilatildeo soacute eacute uacutetil se as informaccedilotildees forem repassadas em tempo haacutebil para o gestor e outros tomadores de decisotildees e grupos de interesse Um problema comum com as avaliaccedilotildees intercalares eacute que os resultados geralmente soacute satildeo informados de 6 a 8 meses mais tarde o que deixa apenas 1 ou 2 anos para fazer mudanccedilas mais permanentes antes que se esgotem os fundos do governo ou da agecircncia doadora
COMO SELECCIONAR SUAS FONTES DE DADOS
Esta secccedilatildeo descreve trecircs tipos de fontes de dados que satildeo comummente usadas para uma avaliaccedilatildeo dados recolhidos rotineiramente inqueacuteritos de grande escala e teacutecnicas de avaliaccedilatildeo raacutepida inclusive a avaliaccedilatildeo participativa
Dados de rotina Os dados recolhidos e analisados rotineiramente por um SIS satildeo denominados ldquoestatiacutesticas de serviccedilordquo Pode-se utilizar vaacuterios sistemas de informaccedilatildeo de serviccedilos de rotina para monitorar os serviccedilos Alguns deles satildeo o sistema baacutesico de registo e relatoacuterio de SIS os sistemas especiais de relatoacuterios sobre programas (por ex tuberculose malaacuteria imunizaccedilatildeo VIH planeamento familiar etc) os sistemas de relatoacuterios sobre agentes comunitaacuterios especiais (por ex registos de agentes comunitaacuterios de sauacutede) o sistema de informaccedilotildees para a vigilacircncia de doenccedilas e o controlo notificaccedilatildeo e resposta a surtos e os relatoacuterios para os sistemas de suporte especiais (por ex medicamentos encaminhamentos e gestatildeo financeira e de recursos humanos)
Esses sistemas fornecem dados que estatildeo imediatamente disponiacuteveis e cujo objectivo eacute informar o que estaacute a acontecer no sector de sauacutede Os dados de rotina incluem por exemplo o nuacutemero de consultas de preacute-natal em uma cliacutenica o nuacutemero e tipo de vacinaccedilotildees fornecidas no local ou o nuacutemero e tipos de contraceptivos fornecidos mensalmente
Os dados sobre os serviccedilos satildeo geralmente recolhidos pelos centros de sauacutede ou postos de sauacutede e enviados para o proacuteximo niacutevel superior do sistema (geralmente o distrito) para serem agregados Esses dados podem entatildeo ser enviados ao proacuteximo niacutevel superior (regional ou provincial) para posterior agregaccedilatildeo antes que cheguem finalmente ao niacutevel central do Ministeacuterio da Sauacutede
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 934
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Idealmente os gestores de centros de sauacutede e ao niacutevel do distrito usam esses dados para orientar as operaccedilotildees diaacuterias acompanhar o desempenho e a prestaccedilatildeo de contas e tomar decisotildees que continuem a melhorar o desempenho Mas haacute vaacuterios obstaacuteculos a essa utilizaccedilatildeo
Muito frequentemente os dados de rotina satildeo imprecisos ou incompletos Apesar dos que utilizam o SIS tentarem produzir informaccedilotildees de alta qualidade e em tempo haacutebil haacute muitas oportunidades de introduzir erros Pode haver pouco apoio para que os gestores e seu pessoal se concentrem nos procedimentos correctos de recolha registo e agregaccedilatildeo dos dados
Os sistemas de sauacutede de vaacuterios paiacuteses enfatizam a importacircncia de apresentar relatoacuterios para os niacuteveis superiores mas natildeo estabeleceram procedimentos e incentivos para encorajar aqueles que fornecem informaccedilotildees a utilizaacute-las mesmo quando os dados satildeo de boa qualidade
Outra dificuldade eacute que as estatiacutesticas sobre serviccedilos fornecem informaccedilotildees apenas sobre os utentes que utilizam os serviccedilos de sauacutede Natildeo podem fornecer informaccedilotildees sobre as muitas pessoas que natildeo utilizam os serviccedilos
Por tudo isso natildeo se pode confiar apenas nas estatiacutesticas sobre serviccedilos para fazer uma avaliaccedilatildeo Elas satildeo melhor utilizadas para a monitoria de rotina dos problemas de sauacutede puacuteblica e dos serviccedilos essenciais relacionados
Inqueacuteritos em grande escala Os inqueacuteritos em grande escala satildeo outra fonte de informaccedilotildees imediatamente disponiacuteveis Incluem inqueacuteritos de base populacional tais como as Inqueacuterito Demograacutefico e de Sauacutede (IDS) dos EUA avaliaccedilotildees completas de centros de sauacutede como a Anaacutelise de Situaccedilatildeo do Population Council e os censos nacionais Em vaacuterios casos os gestores podem usar os dados de um inqueacuterito em grande escala existente para fornecer o contexto para a interpretaccedilatildeo dos dados capturados atraveacutes das suas proacuteprias avaliaccedilotildees
Por exemplo as IDS satildeo realizadas periodicamente para caracterizar a situaccedilatildeo de sauacutede em um paiacutes ou regiatildeo geograacutefica de grande extensatildeo para vaacuterios grupos populacionais homens mulheres crianccedilas bebeacutes e assim por diante Mas os dados das IDS natildeo podem normalmente ser desagregados para uso pelos gestores no niacutevel de distrito ou comunidade
Aleacutem disso como as IDS satildeo realizadas apenas a cada trecircs ou cinco anos as informaccedilotildees que fornecem podem natildeo estar suficientemente actualizadas para as necessidades de avaliaccedilatildeo dos gestores Apesar dessas dificuldades os dados das IDS satildeo uacuteteis para compreender tendecircncias regionais ou nacionais que podem ajudar a explicar dados recolhidos em uma avaliaccedilatildeo de foco especiacutefico
Avaliaccedilotildees raacutepidas Satildeo formas raacutepidas e econoacutemicas de obter informaccedilotildees para a tomada de decisotildees principalmente ao niacutevel da actividade Os exemplos incluem entrevistas quando os utentes saem de suas consultas as avaliaccedilotildees de pequena escala dos centros de sauacutede os inqueacuteritos raacutepidos por amostragem o exame analiacutetico de registos as entrevistas com grupos de enfoque e outros meacutetodos participativos
Poderaacute usar teacutecnicas de avaliaccedilatildeo raacutepida para complementar as informaccedilotildees obtidas com dados de rotina ou inqueacuteritos de grande escala As avaliaccedilotildees raacutepidas podem-lhe fornecer informaccedilotildees valiosas sobre sua aacuterea de captaccedilatildeo e sua aacuterea de responsabilidade mais ampla ndash ou seja as comunidades e as populaccedilotildees que deveriam ter acesso aos serviccedilos essenciais prestados por um centro de sauacutede determinado Elas podem tambeacutem fornecer contexto e uma compreensatildeo qualitativa dos dados quantitativos recolhidos pelos meacutetodos mais formais
Dentro da categoria de avaliaccedilotildees raacutepidas os meacutetodos participativos e os inqueacuteritos raacutepidos por amostragem merecem a sua atenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 935
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Meacutetodos participativos (tambeacutem chamados de aprendizagem e acccedilatildeo participativas) Essas teacutecnicas e meacutetodos visam incorporar o conhecimento e as opiniotildees dos membros da comunidade no planeamento e gestatildeo de projectos de desenvolvimento no esforccedilo para influenciar as poliacuteticas e na implementaccedilatildeo de programas Eles permitem incluir vozes da comunidade nas poliacuteticas no planeamento e nos inqueacuteritos e criam um senso de propriedade e participaccedilatildeo nos resultados de MampA e nas recomendaccedilotildees feitas pela organizaccedilatildeo e por seus beneficiaacuterios
Ao contraacuterio de outras teacutecnicas de avaliaccedilatildeo raacutepida os meacutetodos participativos natildeo se baseiam em amostragens Eles usam entrevistas individuais ou com informantes essenciais (inclusive entrevistas com utentes ao saiacuterem de suas consultas) entrevistas em grupo estudos de caso e outros meacutetodos qualitativos para identificar as condiccedilotildees locais e entender as perspectivas e prioridades locais
Em vaacuterios locais haacute membros da comunidade que natildeo podem ler nem escrever e por isso os meacutetodos participativos dependem frequentemente da comunicaccedilatildeo oral com apoio de imagens siacutembolos objectos fiacutesicos e memoacuteria colectiva
Os meacutetodos participativos podem ser usados antes durante e apoacutes a implementaccedilatildeo de uma intervenccedilatildeo ou um conjunto de actividades Eles fornecem informaccedilotildees para o projecto e a avaliaccedilatildeo e permitem a participaccedilatildeo activa das partes interessadas na tomada de decisotildees Durante a implementaccedilatildeo os meacutetodos participativos satildeo uacuteteis para identificar e solucionar problemas
Aproveite para examinar e utilizar uma lista de recursos online sobre inqueacuterito qualitativo e directrizes sobre discussotildees em grupos de enfoque no Community Tool Box da Universidade de Kansas
Inqueacuteritos raacutepidos por amostragem Estes inqueacuteritos podem ser utilizados para recolher informaccedilotildees padronizadas de uma amostra pequena e cuidadosamente seleccionada de pessoas ou domiciacutelios em uma aacuterea beneficiaacuteria Eles podem descrever as condiccedilotildees em uma comunidade particular ou grupo-alvo e permitem comparar grupos diferentes em um determinado momento ou mudanccedilas no mesmo grupo ao longo do tempo Permitem tambeacutem comparar condiccedilotildees actuais com os resultados planeados
Um dos inqueacuteritos mais comuns de pequena amostragem eacute o inqueacuterito CAP (Conhecimentos Atitudes e Praacuteticas) baseado em uma amostra de 30 agrupamentos
Amostragem para Garantia de Qualidade de Lotes (Lot Quality Sampling - LQAS) Essa eacute outra teacutecnica de avaliaccedilatildeo raacutepida que se usa cada vez mais na aacuterea de sauacutede puacuteblica A LQAS utiliza amostragens muito pequenas para obter informaccedilotildees confiaacuteveis em uma pequena aacuterea geograacutefica ou unidade administrativa Pode ser usada para detectar de forma precisa os extremos do desempenho ndash para determinar se uma intervenccedilatildeo foi mais aleacutem de um limiar superior de desempenho ou natildeo conseguiu atingir um limiar inferior de desempenho em termos de qualidade ou cobertura As amostras de lotes podem tambeacutem ser combinadas para fornecer estimativas de cobertura em uma aacuterea geograacutefica mais ampla
Uma busca na Web revelaraacute recursos uacuteteis aqui temos um sobre os inqueacuteritos CAP e outro sobre LQAS A aacuterea de MampA do website do CORE Group inclui ligaccedilotildees com ferramentas e recursos importantes para a avaliaccedilatildeo raacutepida criados pelo Grupo de Trabalho de MampA do CORE Group
Como gestor deve revisar todas as fontes de dados jaacute existentes antes de planear a sua avaliaccedilatildeo A Tabela 7 apresenta as vantagens e desvantagens das trecircs principais fontes de
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 936
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 7 Resumo das trecircs fontes de dados mais comuns para uma avaliaccedilatildeo
Fonte de dados Vantagens Limitaccedilotildees
Estatiacutesticas de serviccedilo Dados sobre a populaccedilatildeo de utentes e serviccedilos cliacutenicos que satildeo recolhidos rotineiramente nos registos dos utentes e nos registos cliacutenicos
Disponiacuteveis imediatamente
Cobrem todos os tipos de serviccedilos de sauacutede e todas as aacutereas do paiacutes
Podem ser desagregados para os niacuteveis local e de distrito
Uso econoacutemico
Soacute lhe informam sobre clientes actuais sem informaccedilotildees sobre as pessoas que natildeo usam os serviccedilos de sauacutede e podem ser utentes em potencial
Natildeo fornecem informaccedilotildees sobre valores percepccedilotildees ou comportamentos da comunidade
Natildeo reflectem as pessoas que optam por fontes privadas de serviccedilos
Podem ser inexactas se os locais de prestaccedilatildeo de serviccedilos natildeo registarem os dados correctamente de forma legiacutevel e em tempo haacutebil
Inqueacuteritos de grande escala Inqueacuteritos de base populacional e avaliaccedilotildees de grande escala dos centros de sauacutede
Dados relevantes precisos e confiaacuteveis
Podem medir as tendecircncias nacionais de sauacutede identificar aacutereas com problemas e ajudar a concentrar os recursos do paiacutes em aacutereas de maior carecircncia
Geram valores meacutedios para as aacutereas urbanas e rurais regiotildees e proviacutencias
Fornecem um contexto para interpretar os dados recolhidos localmente
Podem gerar informaccedilotildees adicionais a partir dos seus conjuntos de dados informatizados
Geralmente natildeo podem desagregar os dados para fornecer meacutedias para as aacutereas sub-regionais (distritos ou municipalidades)
Geralmente natildeo satildeo realizadas anualmente os dados se tornam desactualizados rapidamente se as populaccedilotildees ou condiccedilotildees de sauacutede se modificarem rapidamente
Avaliaccedilotildees raacutepidas Meacutetodos focados para avaliar as necessidades locais e tomar decisotildees em acircmbito local
Raacutepidas e econoacutemicas
Resultam em acccedilatildeo local
Haacute directrizes para ajudar os gestores em vaacuterias dessas teacutecnicas
Fornecem aos gestores a capacidade de recolher os dados necessaacuterios
Os inqueacuteritos domiciliares (por ex LQAS ou CAP) podem obter precisatildeo suficiente para fins de avaliaccedilatildeo
Equilibra a necessidade de resultados representativos e objectivos com a necessidade de usar projectos levemente menos rigorosos que satildeo mais viaacuteveis em aacutereas locais
Usam escala e acircmbito reduzidos para produzir resultados em tempo haacutebil e de baixo custo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 937
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
dados que foram discutidas acima estatiacutesticas rotineiras de serviccedilos inqueacuteritos em grande escala e teacutecnicas de avaliaccedilatildeo raacutepida
Que niacutevel de qualidade os dados do SIS precisam ter para serem uacuteteis ndash que niacutevel de abrangecircncia precisatildeo e apresentaccedilatildeo em tempo haacutebil Para as suas necessidades de gestatildeo mesmo que natildeo sejam perfeitos os dados podem ser suficientemente bons para ter um efeito poderoso como nos mostra o exemplo de Madagascar
Dados do SIS pontos fortes e limitaccedilotildees
Subestimar o valor e a utilidade do SIS eacute infelizmente uma tendecircncia Eacute verdade que o SIS tem problemas frequentemente mas tambeacutem eacute grande o seu potencial Como vimos em
Como usar e melhorar dados imperfeitos do SIS ndash Um exemplo de Madagascar
Um SIS de base comunitaacuteria mais preciso e mais oportuno Um projecto de Madagascar implementou um meacutetodo baseado na comunidade para aumentar o uso de meacutetodos de planeamento familiar denominado ldquoComunidades Campeatildesrdquo em 50 dos 110 distritos do paiacutes O meacutetodo utilizou exclusivamente os dados do SIS para monitorar e avaliar as realizaccedilotildees das comunidades participantes
Em primeiro lugar foi estabelecida uma base de referecircncia para cada comunidade ao usar os dados do seu centro de sauacutede Em seguida o pessoal do centro de sauacutede e os representantes da comunidade identificaram metas para 10 indicadores que determinariam se uma comunidade tinha alcanccedilado a posiccedilatildeo de campeatilde apoacutes 12 meses de implementaccedilatildeo Cada comunidade monitorava seu proacuteprio progresso em uma reuniatildeo trimestral de verificaccedilatildeo
Apoacutes 12 meses o pessoal do projecto voltou a cada comunidade para avaliar os resultados Examinaram os dados do relatoacuterio de monitoria de rotina de cada centro de sauacutede e para cada indicador Prepararam tambeacutem um relatoacuterio sobre os dados de cada comunidade e o enviaram para o supervisor de niacutevel distrital para a sua confirmaccedilatildeo com base nos registos informatizados do distrito As fontes de dados para os relatoacuterios do centro de sauacutede e registos de distrito foram as mesmas (registos dos centros de sauacutede) e por isso raramente ocorreu uma discrepacircncia Mas o que interessava era envolver o supervisor distrital no exame dos dados do centro de sauacutede para mostrar a utilidade de se usar ateacute mesmo dados simples nesse niacutevel
O projecto tambeacutem cooperou com o Ministeacuterio da Sauacutede a niacutevel distrital para melhorar a precisatildeo a abrangecircncia e a prontidatildeo do SIS A ecircnfase era obter dados mais completos dos centros de sauacutede e reduzir o tempo gasto pelo escritoacuterio distrital para receber o relatoacuterio do centro de sauacutede apreciaacute-lo devolvecirc-lo ao centro para qualquer correcccedilatildeo recebecirc-lo novamente dar entrada dos dados no sistema e finalmente enviaacute-los ao niacutevel central Os distritos satildeo responsaacuteveis por cooperar com os centros de sauacutede para melhorar o registo de dados e actualizar suas proacuteprias teacutecnicas de processamento de dados
Apoacutes dois anos de assistecircncia teacutecnica o SIS tinha realmente melhorado segundo os indicadores de precisatildeo abrangecircncia e prontidatildeo As melhorias mais notaacuteveis foram em prontidatildeo o tempo gasto pelo escritoacuterio distrital no processo descrito acima reduziu-se de 12 para 3 meses
Imperfeitas mais mesmo assim valiosos Deve-se lembrar que o projecto ldquoComunidades Campeatildesrdquo teve oacuteptimo resultado apesar dos dados imperfeitos Seu numerador (o nuacutemero de utentes regulares de planeamento familiar) era detalhado e preciso Mas suas estimativas das taxas de prevalecircncia do uso de contraceptivos natildeo eram muito precisas porque o denominador (nuacutemero de mulheres em idade reprodutiva) era apenas uma estimativa baseada num censo desactualizado e em estimativas anuais do governo sobre percentagens de crescimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 938
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Madagascar o projecto Comunidades Campeatildes melhorou o sistema substancialmente num periacuteodo de dois anos Nesse caso o sistema jaacute se encontrava relativamente funcional porque projectos anteriores haviam feito um grande esforccedilo para implantar o sistema e tornaacute-lo mais soacutelido Ao aprimorar a forma como o sistema era administrado e os dados eram usados o projecto posterior conseguiu fazer uma grande diferenccedila por meio de pequenas modificaccedilotildees
Os dados do SIS natildeo satildeo 100 exactos e nunca seratildeo Esta eacute a realidade com a qual todos os gestores tecircm que trabalhar Mas os dados natildeo precisam ser perfeitos para serem uacuteteis Eacute possiacutevel fazer a monitoria e a gestatildeo com dados imperfeitos Informaccedilotildees obtidas em tempo
(continuaccedilatildeo)
No entanto o projecto constatou que as taxas de prevalecircncia de uso de contraceptivos eram suficientemente boas para acompanhar o desempenho das comunidades que participavam do meacutetodo de Comunidades Campeatildes O pessoal do projecto tambeacutem complementou as comparaccedilotildees dessas taxas com as comparaccedilotildees dos valores do numerador nuacutemeros simples que faziam sentido para o pessoal do centro de sauacutede e tambeacutem para as comunidades
O niacutevel central comeccedilou a organizar workshops regionais trimestrais para divulgar os resultados ao niacutevel distrital Juntos os gestores dos niacuteveis distritais regionais e centrais analisaram o progresso e classificaram os distritos com base no seu desempenho Usaram a anaacutelise de causa-raiz ndash um processo que identifica as causas subjacentes de um problema ndash para entender os obstaacuteculos enfrentados pelos distritos que apresentavam baixo desempenho (Consulte o Apecircndice A no Capiacutetulo 2 deste guia para obter mais informaccedilotildees sobre a anaacutelise de causa-raiz) Finalmente o Ministeacuterio de Sauacutede mobilizou o apoio de agecircncias doadoras e de organizaccedilotildees parceiras para ajudaacute-los a melhorar
O ministeacuterio comeccedilou a usar as informaccedilotildees de sauacutede para administrar realmente o sistema de sauacutede Antes dessa intervenccedilatildeo poucas organizaccedilotildees confiavam ou utilizavam os dados do SIS Mas quando ficou claro que o sistema funcionava as agecircncias doadoras passaram a confiar as organizaccedilotildees parceiras passaram a utilizaacute-lo e o ministeacuterio se orgulhou do trabalho Pela primeira vez tinham uma visatildeo mais niacutetida do que acontecia em todo o paiacutes e podiam usar essas informaccedilotildees para buscar o apoio de agecircncias doadoras se necessaacuterio
Do mesmo modo os centros de sauacutede raramente usavam seus proacuteprios dados Eles simplesmente faziam os registos e os enviavam para o escritoacuterio distrital sem nem mesmo receber retroinformaccedilatildeo do mesmo Apoacutes a conclusatildeo do projecto perceberam como os dados mais precisos podiam ser usados em seu benefiacutecio e das comunidades
Os distritos tambeacutem actuavam antes de uma forma pouco informada Cada distrito dependia apenas dos seus proacuteprios dados e funcionava num vaacutecuo As mudanccedilas no SIS e o encorajamento do governo central forneceram aos distritos oportunidades para comparar seu trabalho e aprender uns com os outros
Aprendizagem com dados mais precisos completos e oportunos Os dados satildeo geralmente utilizados para fazer comparaccedilotildees mas satildeo menos frequentemente utilizados como ferramenta de aprendizagem Nesse caso depois que os relatoacuterios comeccedilaram a chegar dentro do prazo o Ministeacuterio da Sauacutede usou os dados ndash inclusive dados imperfeitos ndash para descobrir que distritos tinham um desempenho ruim e que distritos estavam melhor que os outros Assim aprenderam com os de melhor desempenho ao perguntar Por que seus resultados satildeo tatildeo bons O que estavam a fazer de diferente O que poderia ser replicado Finalmente aplicaram a aprendizagem ao usar esses distritos como modelos e ao oferecer mais apoio aos de pior desempenho
Todo o sistema de sauacutede se entusiasmou com as informaccedilotildees que podiam produzir e usar A comeccedilar do topo esse entusiasmo chegou aos niacuteveis inferiores e os motivou a melhorar sua recolha e processamento de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 939
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
haacutebil e com 75 de precisatildeo satildeo melhores que as informaccedilotildees com 95 de precisatildeo que chegam com vaacuterios meses de atraso
Apesar do seu grande valor por si soacutes os dados do SIS natildeo atenderatildeo a todas as necessidades de informaccedilatildeo de muitas organizaccedilotildees Algumas organizaccedilotildees e agecircncias doadoras precisam de dados que exigem avaliaccedilotildees ou sistemas especiais Aleacutem disso vaacuterias intervenccedilotildees foram projectadas para modificar o conhecimento as atitudes e as praacuteticas dos beneficiaacuterios factores que natildeo satildeo capturados nos dados de serviccedilo Eacute importante usar os dados do SIS sempre que possiacutevel e complementaacute-los com avaliaccedilotildees locais quando necessaacuterio
Como gestor de um programa de sauacutede ou de serviccedilos de sauacutede parte do seu trabalho deveria ser o de melhorar o SIS em seu paiacutes Ele eacute o uacutenico sistema de informaccedilotildees sustentaacutevel na maioria dos paiacuteses Os sistemas de informaccedilatildeo criados e mantidos por agecircncias doadoras ou organizaccedilotildees externas tecircm duraccedilatildeo limitada mas o SIS eacute parte permanente do seu legado
Se todos os parceiros e agecircncias doadoras trabalharem com o Ministeacuterio de Sauacutede para prestar assistecircncia teacutecnica e financeira ao SIS ele poderaacute render informaccedilotildees que trazem grandes melhorias para os serviccedilos de sauacutede e que justificam plenamente o investimento no mesmo
Praacuteticas comprovadas
Um sistema de MampA deveria proporcionar aos gestores o que eles precisam saber para agir Deve se basear em indicadores relevantes faacuteceis de usar e que possam ser fornecidos em tempo haacutebil para os ciclos de planeamento e apresentaccedilatildeo de relatoacuterios
Os resultados de MampA natildeo se destinam apenas ao pessoal de MampA da sua organizaccedilatildeo ou agrave agecircncia doadora As informaccedilotildees de MampA satildeo um recurso fundamental para as acccedilotildees e a aprendizagem Se o seu processo de MampA tiver mecanismos de retroinformaccedilatildeo que permitam aos tomadores de decisotildees reflectirem sobre os resultados e absorverem o que precisam para seus proacuteprios fins eles assumiratildeo o controlo do processo e utilizaratildeo o que ele oferecer
Se vocecirc define suas actividades de MampA no comeccedilo de uma intervenccedilatildeo ou projecto junto com o plano de acccedilatildeo para o projecto teraacute mais oportunidades de orientar e acompanhar a implementaccedilatildeo das actividades
Quando satildeo demasiado elaborados e complicados os planos de MampA natildeo satildeo usados Elabore um plano de MampA simples escolha ferramentas de monitoria faacuteceis de usar e seleccione a menor quantidade possiacutevel de indicadores para acompanhar o progresso e introduzir as mudanccedilas necessaacuterias ao longo do caminho
Para fortalecer um SIS eacute preciso trabalhar com as pessoas envolvidas os responsaacuteveis pelo sistema que registam transferem analisam comunicam e utilizam os dados e as informaccedilotildees para a gestatildeo dos serviccedilos
Ao fornecer os dados do SIS para os tomadores de decisotildees vocecirc deve reconhecer as diferenccedilas na frequecircncia dos relatoacuterios e nas quantidades de dados agregados e desagregados necessaacuterios aos niacuteveis diferentes de governo ou agraves organizaccedilotildees natildeo governamentais
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 931
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
de workshops de formaccedilatildeo realizados nuacutemero de participantes dos workshops) assim como entrevistas individuais ou grupos de enfoque entre os beneficiaacuterios Nas intervenccedilotildees de menor porte eacute uma boa praacutetica realizar uma avaliaccedilatildeo de processo mesmo se limitada agrave retroinformaccedilatildeo dos participantes
Avaliaccedilatildeo somativa Este tipo de avaliaccedilatildeo eacute realizada apoacutes a conclusatildeo de um grupo de actividades ou da intervenccedilatildeo para avaliar a qualidade da intervenccedilatildeo e os seus principais resultados A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo a avaliaccedilatildeo do impacto a anaacutelise de custo-benefiacutecio e custo-eficaacutecia e a investigaccedilatildeo operacional
A avaliaccedilatildeo somativa inclui a avaliaccedilatildeo dos resultados a meacutedio e longo prazo que avalia em que medida uma equipa unidade ou organizaccedilatildeo inteira atingiram seus resultados esperados A avaliaccedilatildeo dos resultados eacute usada para demonstrar que existe uma cultura de prestaccedilatildeo de contas para aperfeiccediloar o projecto de actividades organizacionais para melhorar a distribuiccedilatildeo dos recursos e para promover intervenccedilotildees futuras bem-sucedidas As principais perguntas satildeo Que modificaccedilotildees ocorreram na vida das pessoas das famiacutelias ou da comunidade como resultado do nosso trabalho Que diferenccedila fizemos
Como observamos anteriormente neste capiacutetulo os resultados a meacutedio e longo prazo satildeo geralmente mudanccedilas mensuraacuteveis eou observaacuteveis em duas dimensotildees A primeira dimensatildeo abrange a conscientizaccedilatildeo o conhecimento as atitudes os valores e as habilidades dos participantes de um programa ou dos beneficiaacuterios dos serviccedilos durante ou depois de seu envolvimento na intervenccedilatildeo A segunda dimensatildeo implica mudanccedilas no comportamento desses mesmos grupos
Idealmente as duas dimensotildees deveriam ser medidas em trecircs pontos no comeccedilo e no final do periacuteodo de implementaccedilatildeo e se possiacutevel apoacutes um periacuteodo de acompanhamento adequado Se a mediccedilatildeo do acompanhamento natildeo for viaacutevel pelo menos devem ser comparadas as mediccedilotildees de base e poacutes-intervenccedilatildeo Muitas vezes as mudanccedilas podem ser pequenas mas deve haver alguma melhoria em pelo menos um ou dois resultados para que a intervenccedilatildeo seja considerada um sucesso
A avaliaccedilatildeo dos resultados tenta distinguir entre a influecircncia da intervenccedilatildeo nessas mudanccedilas e a influecircncia de outros factores externos Mas geralmente os avaliadores teratildeo que optar pela atribuiccedilatildeo parcial de um resultado a uma intervenccedilatildeo ou serviccedilo especiacutefico devido agrave dificuldade em determinar uma relaccedilatildeo directa e causal entre o serviccedilo prestado e uma determinada mudanccedila
As avaliaccedilotildees de resultados utilizam geralmente um desenho natildeo experimental (geralmente denominado ldquopreacute e poacutes-avaliaccedilatildeordquo) que simplesmente mede as mudanccedilas antes e depois de uma intervenccedilatildeo ou seja diferente do desenho experimental (que compara os participantes com um grupo de controlo com designaccedilatildeo aleatoacuteria a ambos os grupos) ou do desenho semi-experimental (que compara os participantes com um grupo de controlo mas sem a designaccedilatildeo aleatoacuteria)
O desenho natildeo experimental eacute aceitaacutevel para as mediccedilotildees e relatoacuterios padratildeo dos resultados a meacutedio e longo prazo As ONGs raramente usam os desenhos experimentais Apesar de uma organizaccedilatildeo de grande porte e com muitos recursos poder ocasionalmente receber assistecircncia de especialistas para um desenho experimental a maioria delas acha que as consideraccedilotildees eacuteticas e logiacutesticas impedem a designaccedilatildeo aleatoacuteria dos participantes aos grupos de intervenccedilatildeo e de controlo Aleacutem disso o custo de recolher dados de um grupo de controlo seraacute provavelmente muito elevado
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 932
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A avaliaccedilatildeo do impacto eacute outro componente da avaliaccedilatildeo somativa Eacute mais ampla do que a avaliaccedilatildeo de resultados e avalia os efeitos liacutequidos ou gerais ndash tanto intencionais como natildeo intencionais ndash de todo um programa grupo de programas ou grupo de organizaccedilotildees As avaliaccedilotildees de impacto geralmente se estendem por um periacuteodo de 3 a 5 anos
OUTROS TIPOS DE AVALIACcedilOtildeES
Anaacutelise de custo-benefiacutecio e custo-eficaacutecia Estes tipos de anaacutelise tratam da eficiecircncia da intervenccedilatildeo ao analisar os resultados em termos dos seus custos financeiros e do seu valor
Investigaccedilatildeo operacional Trata-se de um balanccedilo ou avaliaccedilatildeo de uma intervenccedilatildeo especiacutefica no contexto de um programa mais amplo que estaacute a fazer vaacuterias intervenccedilotildees A investigaccedilatildeo operacional eacute usada para testar e avaliar novas abordagens de prestaccedilatildeo de serviccedilos de sauacutede Eacute tambeacutem usada para identificar problemas na prestaccedilatildeo de serviccedilos e oferecer soluccedilotildees
A investigaccedilatildeo operacional eacute uma ferramenta poderosa que os gestores de programas e os tomadores de decisotildees podem usar para melhorar e expandir os serviccedilos Os estudos de investigaccedilatildeo operacional comparam intervenccedilotildees que estatildeo dentro da esfera de influecircncia do gestor Os exemplos incluem a avaliaccedilatildeo da eficaacutecia de uma nova estrateacutegia de prevenccedilatildeo de VIHSIDA um novo curso de formaccedilatildeo um novo conjunto de procedimentos para gerir medicamentos um novo meacutetodo contraceptivo ou um novo serviccedilo de sauacutede reprodutiva
O Toolkit de Investigaccedilatildeo Operacional do Programa Horizons sobre VIHSIDA do Population Council fornece informaccedilotildees detalhadas para criar um estudo de investigaccedilatildeo operacional
CONSIDERACcedilOtildeES PARA A FORMULACcedilAtildeO DE UMA AVALIACcedilAtildeO
O que avaliar para responder agrave pergunta ldquoE entatildeordquo Se quiser saber como gestor se as suas actividades tiveram realmente sucesso precisa preparar todas as intervenccedilotildees tendo em mente a avaliaccedilatildeo e incorporar a avaliaccedilatildeo ao seu planeamento organizacional geral Ao definir objectivos deve se perguntar Como saberemos se estamos a atingir esses objectivos Este eacute o ponto de partida para a avaliaccedilatildeo
Seja qual for o porte da sua intervenccedilatildeo ou serviccedilo e o alcance da avaliaccedilatildeo precisaraacute responder a trecircs perguntas durante a fase de desenho e planeamento
1 O que a sua intervenccedilatildeo ou serviccedilo conseguiraacute realizar a curto e longo prazo Se implementar um conjunto de actividades com sucesso ao longo do tempo o que seraacute diferente
2 Como conceptualiza as suas actividades ndash qual eacute a loacutegica subjacente Duas abordagens para identificar a loacutegica do programa satildeo discutidas neste capiacutetulo na secccedilatildeo intitulada Ferramentas e Abordagens Praacuteticas para MampA
3 Que indicadores pode usar para identificar o progresso no alcance dos resultados
Para responder agrave pergunta ldquoE entatildeordquo vocecirc precisa avaliar os factores sobre os quais tem um niacutevel razoaacutevel de controlo Por exemplo um novo serviccedilo criado para oferecer alojamento a pessoas que vivem com SIDA natildeo pode controlar ou afectar a expectativa de vida das pessoas agraves quais atende Mas ao fornecer um ambiente estaacutevel para elas viverem o serviccedilo pode diminuir o niacutevel de stresse e melhorar a qualidade de vida dessas pessoas que antes eram forccediladas a se mudar com frequecircncia
Depois de tratar da pergunta ldquoE entatildeordquo deve tambeacutem se certificar de que a avaliaccedilatildeo seja concebida de forma que quando o processo estiver concluiacutedo vocecirc possa abordar os cinco toacutepicos principais da avaliaccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 933
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
1 Relevacircncia Foi uma boa ideia fazer a intervenccedilatildeo considerando-se a situaccedilatildeo e a necessidade de melhorias Ela tratou das prioridades do grupo alvo ou beneficiaacuterio Por que sim ou por que natildeo
2 Eficaacutecia Os resultados produtos e actividades foram realizados Por que sim ou por que natildeo A loacutegica da intervenccedilatildeo eacute correcta
3 Eficiecircncia Os insumos (recursos e tempo) foram usados da melhor forma possiacutevel para atingir os resultados a meacutedio e longo prazo Por que sim ou por que natildeo O que vocecirc e sua equipa poderiam fazer de modo diferente no futuro para maximizar os resultados a um custo aceitaacutevel
4 Impacto Em que medida a sua intervenccedilatildeo contribuiu para as metas nacionais ou de longo prazo Que consequecircncias natildeo intencionais (positivas ou negativas) suas actividades tiveram Por que essas consequecircncias aconteceram
5 Sustentabilidade Eacute provaacutevel que os resultados positivos continuem depois que sua intervenccedilatildeo terminar Por que sim ou por que natildeo
Uma uacuteltima advertecircncia assim como a monitoria pode-se complicar demasiado a avaliaccedilatildeo Ao preparar um plano de avaliaccedilatildeo o melhor eacute seleccionar um grupo pequeno de indicadores e resistir agrave tentaccedilatildeo de avaliar todos os aspectos da sua intervenccedilatildeo
Assim como a monitoria a avaliaccedilatildeo soacute eacute uacutetil se as informaccedilotildees forem repassadas em tempo haacutebil para o gestor e outros tomadores de decisotildees e grupos de interesse Um problema comum com as avaliaccedilotildees intercalares eacute que os resultados geralmente soacute satildeo informados de 6 a 8 meses mais tarde o que deixa apenas 1 ou 2 anos para fazer mudanccedilas mais permanentes antes que se esgotem os fundos do governo ou da agecircncia doadora
COMO SELECCIONAR SUAS FONTES DE DADOS
Esta secccedilatildeo descreve trecircs tipos de fontes de dados que satildeo comummente usadas para uma avaliaccedilatildeo dados recolhidos rotineiramente inqueacuteritos de grande escala e teacutecnicas de avaliaccedilatildeo raacutepida inclusive a avaliaccedilatildeo participativa
Dados de rotina Os dados recolhidos e analisados rotineiramente por um SIS satildeo denominados ldquoestatiacutesticas de serviccedilordquo Pode-se utilizar vaacuterios sistemas de informaccedilatildeo de serviccedilos de rotina para monitorar os serviccedilos Alguns deles satildeo o sistema baacutesico de registo e relatoacuterio de SIS os sistemas especiais de relatoacuterios sobre programas (por ex tuberculose malaacuteria imunizaccedilatildeo VIH planeamento familiar etc) os sistemas de relatoacuterios sobre agentes comunitaacuterios especiais (por ex registos de agentes comunitaacuterios de sauacutede) o sistema de informaccedilotildees para a vigilacircncia de doenccedilas e o controlo notificaccedilatildeo e resposta a surtos e os relatoacuterios para os sistemas de suporte especiais (por ex medicamentos encaminhamentos e gestatildeo financeira e de recursos humanos)
Esses sistemas fornecem dados que estatildeo imediatamente disponiacuteveis e cujo objectivo eacute informar o que estaacute a acontecer no sector de sauacutede Os dados de rotina incluem por exemplo o nuacutemero de consultas de preacute-natal em uma cliacutenica o nuacutemero e tipo de vacinaccedilotildees fornecidas no local ou o nuacutemero e tipos de contraceptivos fornecidos mensalmente
Os dados sobre os serviccedilos satildeo geralmente recolhidos pelos centros de sauacutede ou postos de sauacutede e enviados para o proacuteximo niacutevel superior do sistema (geralmente o distrito) para serem agregados Esses dados podem entatildeo ser enviados ao proacuteximo niacutevel superior (regional ou provincial) para posterior agregaccedilatildeo antes que cheguem finalmente ao niacutevel central do Ministeacuterio da Sauacutede
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 934
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Idealmente os gestores de centros de sauacutede e ao niacutevel do distrito usam esses dados para orientar as operaccedilotildees diaacuterias acompanhar o desempenho e a prestaccedilatildeo de contas e tomar decisotildees que continuem a melhorar o desempenho Mas haacute vaacuterios obstaacuteculos a essa utilizaccedilatildeo
Muito frequentemente os dados de rotina satildeo imprecisos ou incompletos Apesar dos que utilizam o SIS tentarem produzir informaccedilotildees de alta qualidade e em tempo haacutebil haacute muitas oportunidades de introduzir erros Pode haver pouco apoio para que os gestores e seu pessoal se concentrem nos procedimentos correctos de recolha registo e agregaccedilatildeo dos dados
Os sistemas de sauacutede de vaacuterios paiacuteses enfatizam a importacircncia de apresentar relatoacuterios para os niacuteveis superiores mas natildeo estabeleceram procedimentos e incentivos para encorajar aqueles que fornecem informaccedilotildees a utilizaacute-las mesmo quando os dados satildeo de boa qualidade
Outra dificuldade eacute que as estatiacutesticas sobre serviccedilos fornecem informaccedilotildees apenas sobre os utentes que utilizam os serviccedilos de sauacutede Natildeo podem fornecer informaccedilotildees sobre as muitas pessoas que natildeo utilizam os serviccedilos
Por tudo isso natildeo se pode confiar apenas nas estatiacutesticas sobre serviccedilos para fazer uma avaliaccedilatildeo Elas satildeo melhor utilizadas para a monitoria de rotina dos problemas de sauacutede puacuteblica e dos serviccedilos essenciais relacionados
Inqueacuteritos em grande escala Os inqueacuteritos em grande escala satildeo outra fonte de informaccedilotildees imediatamente disponiacuteveis Incluem inqueacuteritos de base populacional tais como as Inqueacuterito Demograacutefico e de Sauacutede (IDS) dos EUA avaliaccedilotildees completas de centros de sauacutede como a Anaacutelise de Situaccedilatildeo do Population Council e os censos nacionais Em vaacuterios casos os gestores podem usar os dados de um inqueacuterito em grande escala existente para fornecer o contexto para a interpretaccedilatildeo dos dados capturados atraveacutes das suas proacuteprias avaliaccedilotildees
Por exemplo as IDS satildeo realizadas periodicamente para caracterizar a situaccedilatildeo de sauacutede em um paiacutes ou regiatildeo geograacutefica de grande extensatildeo para vaacuterios grupos populacionais homens mulheres crianccedilas bebeacutes e assim por diante Mas os dados das IDS natildeo podem normalmente ser desagregados para uso pelos gestores no niacutevel de distrito ou comunidade
Aleacutem disso como as IDS satildeo realizadas apenas a cada trecircs ou cinco anos as informaccedilotildees que fornecem podem natildeo estar suficientemente actualizadas para as necessidades de avaliaccedilatildeo dos gestores Apesar dessas dificuldades os dados das IDS satildeo uacuteteis para compreender tendecircncias regionais ou nacionais que podem ajudar a explicar dados recolhidos em uma avaliaccedilatildeo de foco especiacutefico
Avaliaccedilotildees raacutepidas Satildeo formas raacutepidas e econoacutemicas de obter informaccedilotildees para a tomada de decisotildees principalmente ao niacutevel da actividade Os exemplos incluem entrevistas quando os utentes saem de suas consultas as avaliaccedilotildees de pequena escala dos centros de sauacutede os inqueacuteritos raacutepidos por amostragem o exame analiacutetico de registos as entrevistas com grupos de enfoque e outros meacutetodos participativos
Poderaacute usar teacutecnicas de avaliaccedilatildeo raacutepida para complementar as informaccedilotildees obtidas com dados de rotina ou inqueacuteritos de grande escala As avaliaccedilotildees raacutepidas podem-lhe fornecer informaccedilotildees valiosas sobre sua aacuterea de captaccedilatildeo e sua aacuterea de responsabilidade mais ampla ndash ou seja as comunidades e as populaccedilotildees que deveriam ter acesso aos serviccedilos essenciais prestados por um centro de sauacutede determinado Elas podem tambeacutem fornecer contexto e uma compreensatildeo qualitativa dos dados quantitativos recolhidos pelos meacutetodos mais formais
Dentro da categoria de avaliaccedilotildees raacutepidas os meacutetodos participativos e os inqueacuteritos raacutepidos por amostragem merecem a sua atenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 935
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Meacutetodos participativos (tambeacutem chamados de aprendizagem e acccedilatildeo participativas) Essas teacutecnicas e meacutetodos visam incorporar o conhecimento e as opiniotildees dos membros da comunidade no planeamento e gestatildeo de projectos de desenvolvimento no esforccedilo para influenciar as poliacuteticas e na implementaccedilatildeo de programas Eles permitem incluir vozes da comunidade nas poliacuteticas no planeamento e nos inqueacuteritos e criam um senso de propriedade e participaccedilatildeo nos resultados de MampA e nas recomendaccedilotildees feitas pela organizaccedilatildeo e por seus beneficiaacuterios
Ao contraacuterio de outras teacutecnicas de avaliaccedilatildeo raacutepida os meacutetodos participativos natildeo se baseiam em amostragens Eles usam entrevistas individuais ou com informantes essenciais (inclusive entrevistas com utentes ao saiacuterem de suas consultas) entrevistas em grupo estudos de caso e outros meacutetodos qualitativos para identificar as condiccedilotildees locais e entender as perspectivas e prioridades locais
Em vaacuterios locais haacute membros da comunidade que natildeo podem ler nem escrever e por isso os meacutetodos participativos dependem frequentemente da comunicaccedilatildeo oral com apoio de imagens siacutembolos objectos fiacutesicos e memoacuteria colectiva
Os meacutetodos participativos podem ser usados antes durante e apoacutes a implementaccedilatildeo de uma intervenccedilatildeo ou um conjunto de actividades Eles fornecem informaccedilotildees para o projecto e a avaliaccedilatildeo e permitem a participaccedilatildeo activa das partes interessadas na tomada de decisotildees Durante a implementaccedilatildeo os meacutetodos participativos satildeo uacuteteis para identificar e solucionar problemas
Aproveite para examinar e utilizar uma lista de recursos online sobre inqueacuterito qualitativo e directrizes sobre discussotildees em grupos de enfoque no Community Tool Box da Universidade de Kansas
Inqueacuteritos raacutepidos por amostragem Estes inqueacuteritos podem ser utilizados para recolher informaccedilotildees padronizadas de uma amostra pequena e cuidadosamente seleccionada de pessoas ou domiciacutelios em uma aacuterea beneficiaacuteria Eles podem descrever as condiccedilotildees em uma comunidade particular ou grupo-alvo e permitem comparar grupos diferentes em um determinado momento ou mudanccedilas no mesmo grupo ao longo do tempo Permitem tambeacutem comparar condiccedilotildees actuais com os resultados planeados
Um dos inqueacuteritos mais comuns de pequena amostragem eacute o inqueacuterito CAP (Conhecimentos Atitudes e Praacuteticas) baseado em uma amostra de 30 agrupamentos
Amostragem para Garantia de Qualidade de Lotes (Lot Quality Sampling - LQAS) Essa eacute outra teacutecnica de avaliaccedilatildeo raacutepida que se usa cada vez mais na aacuterea de sauacutede puacuteblica A LQAS utiliza amostragens muito pequenas para obter informaccedilotildees confiaacuteveis em uma pequena aacuterea geograacutefica ou unidade administrativa Pode ser usada para detectar de forma precisa os extremos do desempenho ndash para determinar se uma intervenccedilatildeo foi mais aleacutem de um limiar superior de desempenho ou natildeo conseguiu atingir um limiar inferior de desempenho em termos de qualidade ou cobertura As amostras de lotes podem tambeacutem ser combinadas para fornecer estimativas de cobertura em uma aacuterea geograacutefica mais ampla
Uma busca na Web revelaraacute recursos uacuteteis aqui temos um sobre os inqueacuteritos CAP e outro sobre LQAS A aacuterea de MampA do website do CORE Group inclui ligaccedilotildees com ferramentas e recursos importantes para a avaliaccedilatildeo raacutepida criados pelo Grupo de Trabalho de MampA do CORE Group
Como gestor deve revisar todas as fontes de dados jaacute existentes antes de planear a sua avaliaccedilatildeo A Tabela 7 apresenta as vantagens e desvantagens das trecircs principais fontes de
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 936
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 7 Resumo das trecircs fontes de dados mais comuns para uma avaliaccedilatildeo
Fonte de dados Vantagens Limitaccedilotildees
Estatiacutesticas de serviccedilo Dados sobre a populaccedilatildeo de utentes e serviccedilos cliacutenicos que satildeo recolhidos rotineiramente nos registos dos utentes e nos registos cliacutenicos
Disponiacuteveis imediatamente
Cobrem todos os tipos de serviccedilos de sauacutede e todas as aacutereas do paiacutes
Podem ser desagregados para os niacuteveis local e de distrito
Uso econoacutemico
Soacute lhe informam sobre clientes actuais sem informaccedilotildees sobre as pessoas que natildeo usam os serviccedilos de sauacutede e podem ser utentes em potencial
Natildeo fornecem informaccedilotildees sobre valores percepccedilotildees ou comportamentos da comunidade
Natildeo reflectem as pessoas que optam por fontes privadas de serviccedilos
Podem ser inexactas se os locais de prestaccedilatildeo de serviccedilos natildeo registarem os dados correctamente de forma legiacutevel e em tempo haacutebil
Inqueacuteritos de grande escala Inqueacuteritos de base populacional e avaliaccedilotildees de grande escala dos centros de sauacutede
Dados relevantes precisos e confiaacuteveis
Podem medir as tendecircncias nacionais de sauacutede identificar aacutereas com problemas e ajudar a concentrar os recursos do paiacutes em aacutereas de maior carecircncia
Geram valores meacutedios para as aacutereas urbanas e rurais regiotildees e proviacutencias
Fornecem um contexto para interpretar os dados recolhidos localmente
Podem gerar informaccedilotildees adicionais a partir dos seus conjuntos de dados informatizados
Geralmente natildeo podem desagregar os dados para fornecer meacutedias para as aacutereas sub-regionais (distritos ou municipalidades)
Geralmente natildeo satildeo realizadas anualmente os dados se tornam desactualizados rapidamente se as populaccedilotildees ou condiccedilotildees de sauacutede se modificarem rapidamente
Avaliaccedilotildees raacutepidas Meacutetodos focados para avaliar as necessidades locais e tomar decisotildees em acircmbito local
Raacutepidas e econoacutemicas
Resultam em acccedilatildeo local
Haacute directrizes para ajudar os gestores em vaacuterias dessas teacutecnicas
Fornecem aos gestores a capacidade de recolher os dados necessaacuterios
Os inqueacuteritos domiciliares (por ex LQAS ou CAP) podem obter precisatildeo suficiente para fins de avaliaccedilatildeo
Equilibra a necessidade de resultados representativos e objectivos com a necessidade de usar projectos levemente menos rigorosos que satildeo mais viaacuteveis em aacutereas locais
Usam escala e acircmbito reduzidos para produzir resultados em tempo haacutebil e de baixo custo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 937
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
dados que foram discutidas acima estatiacutesticas rotineiras de serviccedilos inqueacuteritos em grande escala e teacutecnicas de avaliaccedilatildeo raacutepida
Que niacutevel de qualidade os dados do SIS precisam ter para serem uacuteteis ndash que niacutevel de abrangecircncia precisatildeo e apresentaccedilatildeo em tempo haacutebil Para as suas necessidades de gestatildeo mesmo que natildeo sejam perfeitos os dados podem ser suficientemente bons para ter um efeito poderoso como nos mostra o exemplo de Madagascar
Dados do SIS pontos fortes e limitaccedilotildees
Subestimar o valor e a utilidade do SIS eacute infelizmente uma tendecircncia Eacute verdade que o SIS tem problemas frequentemente mas tambeacutem eacute grande o seu potencial Como vimos em
Como usar e melhorar dados imperfeitos do SIS ndash Um exemplo de Madagascar
Um SIS de base comunitaacuteria mais preciso e mais oportuno Um projecto de Madagascar implementou um meacutetodo baseado na comunidade para aumentar o uso de meacutetodos de planeamento familiar denominado ldquoComunidades Campeatildesrdquo em 50 dos 110 distritos do paiacutes O meacutetodo utilizou exclusivamente os dados do SIS para monitorar e avaliar as realizaccedilotildees das comunidades participantes
Em primeiro lugar foi estabelecida uma base de referecircncia para cada comunidade ao usar os dados do seu centro de sauacutede Em seguida o pessoal do centro de sauacutede e os representantes da comunidade identificaram metas para 10 indicadores que determinariam se uma comunidade tinha alcanccedilado a posiccedilatildeo de campeatilde apoacutes 12 meses de implementaccedilatildeo Cada comunidade monitorava seu proacuteprio progresso em uma reuniatildeo trimestral de verificaccedilatildeo
Apoacutes 12 meses o pessoal do projecto voltou a cada comunidade para avaliar os resultados Examinaram os dados do relatoacuterio de monitoria de rotina de cada centro de sauacutede e para cada indicador Prepararam tambeacutem um relatoacuterio sobre os dados de cada comunidade e o enviaram para o supervisor de niacutevel distrital para a sua confirmaccedilatildeo com base nos registos informatizados do distrito As fontes de dados para os relatoacuterios do centro de sauacutede e registos de distrito foram as mesmas (registos dos centros de sauacutede) e por isso raramente ocorreu uma discrepacircncia Mas o que interessava era envolver o supervisor distrital no exame dos dados do centro de sauacutede para mostrar a utilidade de se usar ateacute mesmo dados simples nesse niacutevel
O projecto tambeacutem cooperou com o Ministeacuterio da Sauacutede a niacutevel distrital para melhorar a precisatildeo a abrangecircncia e a prontidatildeo do SIS A ecircnfase era obter dados mais completos dos centros de sauacutede e reduzir o tempo gasto pelo escritoacuterio distrital para receber o relatoacuterio do centro de sauacutede apreciaacute-lo devolvecirc-lo ao centro para qualquer correcccedilatildeo recebecirc-lo novamente dar entrada dos dados no sistema e finalmente enviaacute-los ao niacutevel central Os distritos satildeo responsaacuteveis por cooperar com os centros de sauacutede para melhorar o registo de dados e actualizar suas proacuteprias teacutecnicas de processamento de dados
Apoacutes dois anos de assistecircncia teacutecnica o SIS tinha realmente melhorado segundo os indicadores de precisatildeo abrangecircncia e prontidatildeo As melhorias mais notaacuteveis foram em prontidatildeo o tempo gasto pelo escritoacuterio distrital no processo descrito acima reduziu-se de 12 para 3 meses
Imperfeitas mais mesmo assim valiosos Deve-se lembrar que o projecto ldquoComunidades Campeatildesrdquo teve oacuteptimo resultado apesar dos dados imperfeitos Seu numerador (o nuacutemero de utentes regulares de planeamento familiar) era detalhado e preciso Mas suas estimativas das taxas de prevalecircncia do uso de contraceptivos natildeo eram muito precisas porque o denominador (nuacutemero de mulheres em idade reprodutiva) era apenas uma estimativa baseada num censo desactualizado e em estimativas anuais do governo sobre percentagens de crescimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 938
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Madagascar o projecto Comunidades Campeatildes melhorou o sistema substancialmente num periacuteodo de dois anos Nesse caso o sistema jaacute se encontrava relativamente funcional porque projectos anteriores haviam feito um grande esforccedilo para implantar o sistema e tornaacute-lo mais soacutelido Ao aprimorar a forma como o sistema era administrado e os dados eram usados o projecto posterior conseguiu fazer uma grande diferenccedila por meio de pequenas modificaccedilotildees
Os dados do SIS natildeo satildeo 100 exactos e nunca seratildeo Esta eacute a realidade com a qual todos os gestores tecircm que trabalhar Mas os dados natildeo precisam ser perfeitos para serem uacuteteis Eacute possiacutevel fazer a monitoria e a gestatildeo com dados imperfeitos Informaccedilotildees obtidas em tempo
(continuaccedilatildeo)
No entanto o projecto constatou que as taxas de prevalecircncia de uso de contraceptivos eram suficientemente boas para acompanhar o desempenho das comunidades que participavam do meacutetodo de Comunidades Campeatildes O pessoal do projecto tambeacutem complementou as comparaccedilotildees dessas taxas com as comparaccedilotildees dos valores do numerador nuacutemeros simples que faziam sentido para o pessoal do centro de sauacutede e tambeacutem para as comunidades
O niacutevel central comeccedilou a organizar workshops regionais trimestrais para divulgar os resultados ao niacutevel distrital Juntos os gestores dos niacuteveis distritais regionais e centrais analisaram o progresso e classificaram os distritos com base no seu desempenho Usaram a anaacutelise de causa-raiz ndash um processo que identifica as causas subjacentes de um problema ndash para entender os obstaacuteculos enfrentados pelos distritos que apresentavam baixo desempenho (Consulte o Apecircndice A no Capiacutetulo 2 deste guia para obter mais informaccedilotildees sobre a anaacutelise de causa-raiz) Finalmente o Ministeacuterio de Sauacutede mobilizou o apoio de agecircncias doadoras e de organizaccedilotildees parceiras para ajudaacute-los a melhorar
O ministeacuterio comeccedilou a usar as informaccedilotildees de sauacutede para administrar realmente o sistema de sauacutede Antes dessa intervenccedilatildeo poucas organizaccedilotildees confiavam ou utilizavam os dados do SIS Mas quando ficou claro que o sistema funcionava as agecircncias doadoras passaram a confiar as organizaccedilotildees parceiras passaram a utilizaacute-lo e o ministeacuterio se orgulhou do trabalho Pela primeira vez tinham uma visatildeo mais niacutetida do que acontecia em todo o paiacutes e podiam usar essas informaccedilotildees para buscar o apoio de agecircncias doadoras se necessaacuterio
Do mesmo modo os centros de sauacutede raramente usavam seus proacuteprios dados Eles simplesmente faziam os registos e os enviavam para o escritoacuterio distrital sem nem mesmo receber retroinformaccedilatildeo do mesmo Apoacutes a conclusatildeo do projecto perceberam como os dados mais precisos podiam ser usados em seu benefiacutecio e das comunidades
Os distritos tambeacutem actuavam antes de uma forma pouco informada Cada distrito dependia apenas dos seus proacuteprios dados e funcionava num vaacutecuo As mudanccedilas no SIS e o encorajamento do governo central forneceram aos distritos oportunidades para comparar seu trabalho e aprender uns com os outros
Aprendizagem com dados mais precisos completos e oportunos Os dados satildeo geralmente utilizados para fazer comparaccedilotildees mas satildeo menos frequentemente utilizados como ferramenta de aprendizagem Nesse caso depois que os relatoacuterios comeccedilaram a chegar dentro do prazo o Ministeacuterio da Sauacutede usou os dados ndash inclusive dados imperfeitos ndash para descobrir que distritos tinham um desempenho ruim e que distritos estavam melhor que os outros Assim aprenderam com os de melhor desempenho ao perguntar Por que seus resultados satildeo tatildeo bons O que estavam a fazer de diferente O que poderia ser replicado Finalmente aplicaram a aprendizagem ao usar esses distritos como modelos e ao oferecer mais apoio aos de pior desempenho
Todo o sistema de sauacutede se entusiasmou com as informaccedilotildees que podiam produzir e usar A comeccedilar do topo esse entusiasmo chegou aos niacuteveis inferiores e os motivou a melhorar sua recolha e processamento de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 939
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
haacutebil e com 75 de precisatildeo satildeo melhores que as informaccedilotildees com 95 de precisatildeo que chegam com vaacuterios meses de atraso
Apesar do seu grande valor por si soacutes os dados do SIS natildeo atenderatildeo a todas as necessidades de informaccedilatildeo de muitas organizaccedilotildees Algumas organizaccedilotildees e agecircncias doadoras precisam de dados que exigem avaliaccedilotildees ou sistemas especiais Aleacutem disso vaacuterias intervenccedilotildees foram projectadas para modificar o conhecimento as atitudes e as praacuteticas dos beneficiaacuterios factores que natildeo satildeo capturados nos dados de serviccedilo Eacute importante usar os dados do SIS sempre que possiacutevel e complementaacute-los com avaliaccedilotildees locais quando necessaacuterio
Como gestor de um programa de sauacutede ou de serviccedilos de sauacutede parte do seu trabalho deveria ser o de melhorar o SIS em seu paiacutes Ele eacute o uacutenico sistema de informaccedilotildees sustentaacutevel na maioria dos paiacuteses Os sistemas de informaccedilatildeo criados e mantidos por agecircncias doadoras ou organizaccedilotildees externas tecircm duraccedilatildeo limitada mas o SIS eacute parte permanente do seu legado
Se todos os parceiros e agecircncias doadoras trabalharem com o Ministeacuterio de Sauacutede para prestar assistecircncia teacutecnica e financeira ao SIS ele poderaacute render informaccedilotildees que trazem grandes melhorias para os serviccedilos de sauacutede e que justificam plenamente o investimento no mesmo
Praacuteticas comprovadas
Um sistema de MampA deveria proporcionar aos gestores o que eles precisam saber para agir Deve se basear em indicadores relevantes faacuteceis de usar e que possam ser fornecidos em tempo haacutebil para os ciclos de planeamento e apresentaccedilatildeo de relatoacuterios
Os resultados de MampA natildeo se destinam apenas ao pessoal de MampA da sua organizaccedilatildeo ou agrave agecircncia doadora As informaccedilotildees de MampA satildeo um recurso fundamental para as acccedilotildees e a aprendizagem Se o seu processo de MampA tiver mecanismos de retroinformaccedilatildeo que permitam aos tomadores de decisotildees reflectirem sobre os resultados e absorverem o que precisam para seus proacuteprios fins eles assumiratildeo o controlo do processo e utilizaratildeo o que ele oferecer
Se vocecirc define suas actividades de MampA no comeccedilo de uma intervenccedilatildeo ou projecto junto com o plano de acccedilatildeo para o projecto teraacute mais oportunidades de orientar e acompanhar a implementaccedilatildeo das actividades
Quando satildeo demasiado elaborados e complicados os planos de MampA natildeo satildeo usados Elabore um plano de MampA simples escolha ferramentas de monitoria faacuteceis de usar e seleccione a menor quantidade possiacutevel de indicadores para acompanhar o progresso e introduzir as mudanccedilas necessaacuterias ao longo do caminho
Para fortalecer um SIS eacute preciso trabalhar com as pessoas envolvidas os responsaacuteveis pelo sistema que registam transferem analisam comunicam e utilizam os dados e as informaccedilotildees para a gestatildeo dos serviccedilos
Ao fornecer os dados do SIS para os tomadores de decisotildees vocecirc deve reconhecer as diferenccedilas na frequecircncia dos relatoacuterios e nas quantidades de dados agregados e desagregados necessaacuterios aos niacuteveis diferentes de governo ou agraves organizaccedilotildees natildeo governamentais
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 932
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A avaliaccedilatildeo do impacto eacute outro componente da avaliaccedilatildeo somativa Eacute mais ampla do que a avaliaccedilatildeo de resultados e avalia os efeitos liacutequidos ou gerais ndash tanto intencionais como natildeo intencionais ndash de todo um programa grupo de programas ou grupo de organizaccedilotildees As avaliaccedilotildees de impacto geralmente se estendem por um periacuteodo de 3 a 5 anos
OUTROS TIPOS DE AVALIACcedilOtildeES
Anaacutelise de custo-benefiacutecio e custo-eficaacutecia Estes tipos de anaacutelise tratam da eficiecircncia da intervenccedilatildeo ao analisar os resultados em termos dos seus custos financeiros e do seu valor
Investigaccedilatildeo operacional Trata-se de um balanccedilo ou avaliaccedilatildeo de uma intervenccedilatildeo especiacutefica no contexto de um programa mais amplo que estaacute a fazer vaacuterias intervenccedilotildees A investigaccedilatildeo operacional eacute usada para testar e avaliar novas abordagens de prestaccedilatildeo de serviccedilos de sauacutede Eacute tambeacutem usada para identificar problemas na prestaccedilatildeo de serviccedilos e oferecer soluccedilotildees
A investigaccedilatildeo operacional eacute uma ferramenta poderosa que os gestores de programas e os tomadores de decisotildees podem usar para melhorar e expandir os serviccedilos Os estudos de investigaccedilatildeo operacional comparam intervenccedilotildees que estatildeo dentro da esfera de influecircncia do gestor Os exemplos incluem a avaliaccedilatildeo da eficaacutecia de uma nova estrateacutegia de prevenccedilatildeo de VIHSIDA um novo curso de formaccedilatildeo um novo conjunto de procedimentos para gerir medicamentos um novo meacutetodo contraceptivo ou um novo serviccedilo de sauacutede reprodutiva
O Toolkit de Investigaccedilatildeo Operacional do Programa Horizons sobre VIHSIDA do Population Council fornece informaccedilotildees detalhadas para criar um estudo de investigaccedilatildeo operacional
CONSIDERACcedilOtildeES PARA A FORMULACcedilAtildeO DE UMA AVALIACcedilAtildeO
O que avaliar para responder agrave pergunta ldquoE entatildeordquo Se quiser saber como gestor se as suas actividades tiveram realmente sucesso precisa preparar todas as intervenccedilotildees tendo em mente a avaliaccedilatildeo e incorporar a avaliaccedilatildeo ao seu planeamento organizacional geral Ao definir objectivos deve se perguntar Como saberemos se estamos a atingir esses objectivos Este eacute o ponto de partida para a avaliaccedilatildeo
Seja qual for o porte da sua intervenccedilatildeo ou serviccedilo e o alcance da avaliaccedilatildeo precisaraacute responder a trecircs perguntas durante a fase de desenho e planeamento
1 O que a sua intervenccedilatildeo ou serviccedilo conseguiraacute realizar a curto e longo prazo Se implementar um conjunto de actividades com sucesso ao longo do tempo o que seraacute diferente
2 Como conceptualiza as suas actividades ndash qual eacute a loacutegica subjacente Duas abordagens para identificar a loacutegica do programa satildeo discutidas neste capiacutetulo na secccedilatildeo intitulada Ferramentas e Abordagens Praacuteticas para MampA
3 Que indicadores pode usar para identificar o progresso no alcance dos resultados
Para responder agrave pergunta ldquoE entatildeordquo vocecirc precisa avaliar os factores sobre os quais tem um niacutevel razoaacutevel de controlo Por exemplo um novo serviccedilo criado para oferecer alojamento a pessoas que vivem com SIDA natildeo pode controlar ou afectar a expectativa de vida das pessoas agraves quais atende Mas ao fornecer um ambiente estaacutevel para elas viverem o serviccedilo pode diminuir o niacutevel de stresse e melhorar a qualidade de vida dessas pessoas que antes eram forccediladas a se mudar com frequecircncia
Depois de tratar da pergunta ldquoE entatildeordquo deve tambeacutem se certificar de que a avaliaccedilatildeo seja concebida de forma que quando o processo estiver concluiacutedo vocecirc possa abordar os cinco toacutepicos principais da avaliaccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 933
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
1 Relevacircncia Foi uma boa ideia fazer a intervenccedilatildeo considerando-se a situaccedilatildeo e a necessidade de melhorias Ela tratou das prioridades do grupo alvo ou beneficiaacuterio Por que sim ou por que natildeo
2 Eficaacutecia Os resultados produtos e actividades foram realizados Por que sim ou por que natildeo A loacutegica da intervenccedilatildeo eacute correcta
3 Eficiecircncia Os insumos (recursos e tempo) foram usados da melhor forma possiacutevel para atingir os resultados a meacutedio e longo prazo Por que sim ou por que natildeo O que vocecirc e sua equipa poderiam fazer de modo diferente no futuro para maximizar os resultados a um custo aceitaacutevel
4 Impacto Em que medida a sua intervenccedilatildeo contribuiu para as metas nacionais ou de longo prazo Que consequecircncias natildeo intencionais (positivas ou negativas) suas actividades tiveram Por que essas consequecircncias aconteceram
5 Sustentabilidade Eacute provaacutevel que os resultados positivos continuem depois que sua intervenccedilatildeo terminar Por que sim ou por que natildeo
Uma uacuteltima advertecircncia assim como a monitoria pode-se complicar demasiado a avaliaccedilatildeo Ao preparar um plano de avaliaccedilatildeo o melhor eacute seleccionar um grupo pequeno de indicadores e resistir agrave tentaccedilatildeo de avaliar todos os aspectos da sua intervenccedilatildeo
Assim como a monitoria a avaliaccedilatildeo soacute eacute uacutetil se as informaccedilotildees forem repassadas em tempo haacutebil para o gestor e outros tomadores de decisotildees e grupos de interesse Um problema comum com as avaliaccedilotildees intercalares eacute que os resultados geralmente soacute satildeo informados de 6 a 8 meses mais tarde o que deixa apenas 1 ou 2 anos para fazer mudanccedilas mais permanentes antes que se esgotem os fundos do governo ou da agecircncia doadora
COMO SELECCIONAR SUAS FONTES DE DADOS
Esta secccedilatildeo descreve trecircs tipos de fontes de dados que satildeo comummente usadas para uma avaliaccedilatildeo dados recolhidos rotineiramente inqueacuteritos de grande escala e teacutecnicas de avaliaccedilatildeo raacutepida inclusive a avaliaccedilatildeo participativa
Dados de rotina Os dados recolhidos e analisados rotineiramente por um SIS satildeo denominados ldquoestatiacutesticas de serviccedilordquo Pode-se utilizar vaacuterios sistemas de informaccedilatildeo de serviccedilos de rotina para monitorar os serviccedilos Alguns deles satildeo o sistema baacutesico de registo e relatoacuterio de SIS os sistemas especiais de relatoacuterios sobre programas (por ex tuberculose malaacuteria imunizaccedilatildeo VIH planeamento familiar etc) os sistemas de relatoacuterios sobre agentes comunitaacuterios especiais (por ex registos de agentes comunitaacuterios de sauacutede) o sistema de informaccedilotildees para a vigilacircncia de doenccedilas e o controlo notificaccedilatildeo e resposta a surtos e os relatoacuterios para os sistemas de suporte especiais (por ex medicamentos encaminhamentos e gestatildeo financeira e de recursos humanos)
Esses sistemas fornecem dados que estatildeo imediatamente disponiacuteveis e cujo objectivo eacute informar o que estaacute a acontecer no sector de sauacutede Os dados de rotina incluem por exemplo o nuacutemero de consultas de preacute-natal em uma cliacutenica o nuacutemero e tipo de vacinaccedilotildees fornecidas no local ou o nuacutemero e tipos de contraceptivos fornecidos mensalmente
Os dados sobre os serviccedilos satildeo geralmente recolhidos pelos centros de sauacutede ou postos de sauacutede e enviados para o proacuteximo niacutevel superior do sistema (geralmente o distrito) para serem agregados Esses dados podem entatildeo ser enviados ao proacuteximo niacutevel superior (regional ou provincial) para posterior agregaccedilatildeo antes que cheguem finalmente ao niacutevel central do Ministeacuterio da Sauacutede
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 934
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Idealmente os gestores de centros de sauacutede e ao niacutevel do distrito usam esses dados para orientar as operaccedilotildees diaacuterias acompanhar o desempenho e a prestaccedilatildeo de contas e tomar decisotildees que continuem a melhorar o desempenho Mas haacute vaacuterios obstaacuteculos a essa utilizaccedilatildeo
Muito frequentemente os dados de rotina satildeo imprecisos ou incompletos Apesar dos que utilizam o SIS tentarem produzir informaccedilotildees de alta qualidade e em tempo haacutebil haacute muitas oportunidades de introduzir erros Pode haver pouco apoio para que os gestores e seu pessoal se concentrem nos procedimentos correctos de recolha registo e agregaccedilatildeo dos dados
Os sistemas de sauacutede de vaacuterios paiacuteses enfatizam a importacircncia de apresentar relatoacuterios para os niacuteveis superiores mas natildeo estabeleceram procedimentos e incentivos para encorajar aqueles que fornecem informaccedilotildees a utilizaacute-las mesmo quando os dados satildeo de boa qualidade
Outra dificuldade eacute que as estatiacutesticas sobre serviccedilos fornecem informaccedilotildees apenas sobre os utentes que utilizam os serviccedilos de sauacutede Natildeo podem fornecer informaccedilotildees sobre as muitas pessoas que natildeo utilizam os serviccedilos
Por tudo isso natildeo se pode confiar apenas nas estatiacutesticas sobre serviccedilos para fazer uma avaliaccedilatildeo Elas satildeo melhor utilizadas para a monitoria de rotina dos problemas de sauacutede puacuteblica e dos serviccedilos essenciais relacionados
Inqueacuteritos em grande escala Os inqueacuteritos em grande escala satildeo outra fonte de informaccedilotildees imediatamente disponiacuteveis Incluem inqueacuteritos de base populacional tais como as Inqueacuterito Demograacutefico e de Sauacutede (IDS) dos EUA avaliaccedilotildees completas de centros de sauacutede como a Anaacutelise de Situaccedilatildeo do Population Council e os censos nacionais Em vaacuterios casos os gestores podem usar os dados de um inqueacuterito em grande escala existente para fornecer o contexto para a interpretaccedilatildeo dos dados capturados atraveacutes das suas proacuteprias avaliaccedilotildees
Por exemplo as IDS satildeo realizadas periodicamente para caracterizar a situaccedilatildeo de sauacutede em um paiacutes ou regiatildeo geograacutefica de grande extensatildeo para vaacuterios grupos populacionais homens mulheres crianccedilas bebeacutes e assim por diante Mas os dados das IDS natildeo podem normalmente ser desagregados para uso pelos gestores no niacutevel de distrito ou comunidade
Aleacutem disso como as IDS satildeo realizadas apenas a cada trecircs ou cinco anos as informaccedilotildees que fornecem podem natildeo estar suficientemente actualizadas para as necessidades de avaliaccedilatildeo dos gestores Apesar dessas dificuldades os dados das IDS satildeo uacuteteis para compreender tendecircncias regionais ou nacionais que podem ajudar a explicar dados recolhidos em uma avaliaccedilatildeo de foco especiacutefico
Avaliaccedilotildees raacutepidas Satildeo formas raacutepidas e econoacutemicas de obter informaccedilotildees para a tomada de decisotildees principalmente ao niacutevel da actividade Os exemplos incluem entrevistas quando os utentes saem de suas consultas as avaliaccedilotildees de pequena escala dos centros de sauacutede os inqueacuteritos raacutepidos por amostragem o exame analiacutetico de registos as entrevistas com grupos de enfoque e outros meacutetodos participativos
Poderaacute usar teacutecnicas de avaliaccedilatildeo raacutepida para complementar as informaccedilotildees obtidas com dados de rotina ou inqueacuteritos de grande escala As avaliaccedilotildees raacutepidas podem-lhe fornecer informaccedilotildees valiosas sobre sua aacuterea de captaccedilatildeo e sua aacuterea de responsabilidade mais ampla ndash ou seja as comunidades e as populaccedilotildees que deveriam ter acesso aos serviccedilos essenciais prestados por um centro de sauacutede determinado Elas podem tambeacutem fornecer contexto e uma compreensatildeo qualitativa dos dados quantitativos recolhidos pelos meacutetodos mais formais
Dentro da categoria de avaliaccedilotildees raacutepidas os meacutetodos participativos e os inqueacuteritos raacutepidos por amostragem merecem a sua atenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 935
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Meacutetodos participativos (tambeacutem chamados de aprendizagem e acccedilatildeo participativas) Essas teacutecnicas e meacutetodos visam incorporar o conhecimento e as opiniotildees dos membros da comunidade no planeamento e gestatildeo de projectos de desenvolvimento no esforccedilo para influenciar as poliacuteticas e na implementaccedilatildeo de programas Eles permitem incluir vozes da comunidade nas poliacuteticas no planeamento e nos inqueacuteritos e criam um senso de propriedade e participaccedilatildeo nos resultados de MampA e nas recomendaccedilotildees feitas pela organizaccedilatildeo e por seus beneficiaacuterios
Ao contraacuterio de outras teacutecnicas de avaliaccedilatildeo raacutepida os meacutetodos participativos natildeo se baseiam em amostragens Eles usam entrevistas individuais ou com informantes essenciais (inclusive entrevistas com utentes ao saiacuterem de suas consultas) entrevistas em grupo estudos de caso e outros meacutetodos qualitativos para identificar as condiccedilotildees locais e entender as perspectivas e prioridades locais
Em vaacuterios locais haacute membros da comunidade que natildeo podem ler nem escrever e por isso os meacutetodos participativos dependem frequentemente da comunicaccedilatildeo oral com apoio de imagens siacutembolos objectos fiacutesicos e memoacuteria colectiva
Os meacutetodos participativos podem ser usados antes durante e apoacutes a implementaccedilatildeo de uma intervenccedilatildeo ou um conjunto de actividades Eles fornecem informaccedilotildees para o projecto e a avaliaccedilatildeo e permitem a participaccedilatildeo activa das partes interessadas na tomada de decisotildees Durante a implementaccedilatildeo os meacutetodos participativos satildeo uacuteteis para identificar e solucionar problemas
Aproveite para examinar e utilizar uma lista de recursos online sobre inqueacuterito qualitativo e directrizes sobre discussotildees em grupos de enfoque no Community Tool Box da Universidade de Kansas
Inqueacuteritos raacutepidos por amostragem Estes inqueacuteritos podem ser utilizados para recolher informaccedilotildees padronizadas de uma amostra pequena e cuidadosamente seleccionada de pessoas ou domiciacutelios em uma aacuterea beneficiaacuteria Eles podem descrever as condiccedilotildees em uma comunidade particular ou grupo-alvo e permitem comparar grupos diferentes em um determinado momento ou mudanccedilas no mesmo grupo ao longo do tempo Permitem tambeacutem comparar condiccedilotildees actuais com os resultados planeados
Um dos inqueacuteritos mais comuns de pequena amostragem eacute o inqueacuterito CAP (Conhecimentos Atitudes e Praacuteticas) baseado em uma amostra de 30 agrupamentos
Amostragem para Garantia de Qualidade de Lotes (Lot Quality Sampling - LQAS) Essa eacute outra teacutecnica de avaliaccedilatildeo raacutepida que se usa cada vez mais na aacuterea de sauacutede puacuteblica A LQAS utiliza amostragens muito pequenas para obter informaccedilotildees confiaacuteveis em uma pequena aacuterea geograacutefica ou unidade administrativa Pode ser usada para detectar de forma precisa os extremos do desempenho ndash para determinar se uma intervenccedilatildeo foi mais aleacutem de um limiar superior de desempenho ou natildeo conseguiu atingir um limiar inferior de desempenho em termos de qualidade ou cobertura As amostras de lotes podem tambeacutem ser combinadas para fornecer estimativas de cobertura em uma aacuterea geograacutefica mais ampla
Uma busca na Web revelaraacute recursos uacuteteis aqui temos um sobre os inqueacuteritos CAP e outro sobre LQAS A aacuterea de MampA do website do CORE Group inclui ligaccedilotildees com ferramentas e recursos importantes para a avaliaccedilatildeo raacutepida criados pelo Grupo de Trabalho de MampA do CORE Group
Como gestor deve revisar todas as fontes de dados jaacute existentes antes de planear a sua avaliaccedilatildeo A Tabela 7 apresenta as vantagens e desvantagens das trecircs principais fontes de
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 936
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 7 Resumo das trecircs fontes de dados mais comuns para uma avaliaccedilatildeo
Fonte de dados Vantagens Limitaccedilotildees
Estatiacutesticas de serviccedilo Dados sobre a populaccedilatildeo de utentes e serviccedilos cliacutenicos que satildeo recolhidos rotineiramente nos registos dos utentes e nos registos cliacutenicos
Disponiacuteveis imediatamente
Cobrem todos os tipos de serviccedilos de sauacutede e todas as aacutereas do paiacutes
Podem ser desagregados para os niacuteveis local e de distrito
Uso econoacutemico
Soacute lhe informam sobre clientes actuais sem informaccedilotildees sobre as pessoas que natildeo usam os serviccedilos de sauacutede e podem ser utentes em potencial
Natildeo fornecem informaccedilotildees sobre valores percepccedilotildees ou comportamentos da comunidade
Natildeo reflectem as pessoas que optam por fontes privadas de serviccedilos
Podem ser inexactas se os locais de prestaccedilatildeo de serviccedilos natildeo registarem os dados correctamente de forma legiacutevel e em tempo haacutebil
Inqueacuteritos de grande escala Inqueacuteritos de base populacional e avaliaccedilotildees de grande escala dos centros de sauacutede
Dados relevantes precisos e confiaacuteveis
Podem medir as tendecircncias nacionais de sauacutede identificar aacutereas com problemas e ajudar a concentrar os recursos do paiacutes em aacutereas de maior carecircncia
Geram valores meacutedios para as aacutereas urbanas e rurais regiotildees e proviacutencias
Fornecem um contexto para interpretar os dados recolhidos localmente
Podem gerar informaccedilotildees adicionais a partir dos seus conjuntos de dados informatizados
Geralmente natildeo podem desagregar os dados para fornecer meacutedias para as aacutereas sub-regionais (distritos ou municipalidades)
Geralmente natildeo satildeo realizadas anualmente os dados se tornam desactualizados rapidamente se as populaccedilotildees ou condiccedilotildees de sauacutede se modificarem rapidamente
Avaliaccedilotildees raacutepidas Meacutetodos focados para avaliar as necessidades locais e tomar decisotildees em acircmbito local
Raacutepidas e econoacutemicas
Resultam em acccedilatildeo local
Haacute directrizes para ajudar os gestores em vaacuterias dessas teacutecnicas
Fornecem aos gestores a capacidade de recolher os dados necessaacuterios
Os inqueacuteritos domiciliares (por ex LQAS ou CAP) podem obter precisatildeo suficiente para fins de avaliaccedilatildeo
Equilibra a necessidade de resultados representativos e objectivos com a necessidade de usar projectos levemente menos rigorosos que satildeo mais viaacuteveis em aacutereas locais
Usam escala e acircmbito reduzidos para produzir resultados em tempo haacutebil e de baixo custo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 937
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
dados que foram discutidas acima estatiacutesticas rotineiras de serviccedilos inqueacuteritos em grande escala e teacutecnicas de avaliaccedilatildeo raacutepida
Que niacutevel de qualidade os dados do SIS precisam ter para serem uacuteteis ndash que niacutevel de abrangecircncia precisatildeo e apresentaccedilatildeo em tempo haacutebil Para as suas necessidades de gestatildeo mesmo que natildeo sejam perfeitos os dados podem ser suficientemente bons para ter um efeito poderoso como nos mostra o exemplo de Madagascar
Dados do SIS pontos fortes e limitaccedilotildees
Subestimar o valor e a utilidade do SIS eacute infelizmente uma tendecircncia Eacute verdade que o SIS tem problemas frequentemente mas tambeacutem eacute grande o seu potencial Como vimos em
Como usar e melhorar dados imperfeitos do SIS ndash Um exemplo de Madagascar
Um SIS de base comunitaacuteria mais preciso e mais oportuno Um projecto de Madagascar implementou um meacutetodo baseado na comunidade para aumentar o uso de meacutetodos de planeamento familiar denominado ldquoComunidades Campeatildesrdquo em 50 dos 110 distritos do paiacutes O meacutetodo utilizou exclusivamente os dados do SIS para monitorar e avaliar as realizaccedilotildees das comunidades participantes
Em primeiro lugar foi estabelecida uma base de referecircncia para cada comunidade ao usar os dados do seu centro de sauacutede Em seguida o pessoal do centro de sauacutede e os representantes da comunidade identificaram metas para 10 indicadores que determinariam se uma comunidade tinha alcanccedilado a posiccedilatildeo de campeatilde apoacutes 12 meses de implementaccedilatildeo Cada comunidade monitorava seu proacuteprio progresso em uma reuniatildeo trimestral de verificaccedilatildeo
Apoacutes 12 meses o pessoal do projecto voltou a cada comunidade para avaliar os resultados Examinaram os dados do relatoacuterio de monitoria de rotina de cada centro de sauacutede e para cada indicador Prepararam tambeacutem um relatoacuterio sobre os dados de cada comunidade e o enviaram para o supervisor de niacutevel distrital para a sua confirmaccedilatildeo com base nos registos informatizados do distrito As fontes de dados para os relatoacuterios do centro de sauacutede e registos de distrito foram as mesmas (registos dos centros de sauacutede) e por isso raramente ocorreu uma discrepacircncia Mas o que interessava era envolver o supervisor distrital no exame dos dados do centro de sauacutede para mostrar a utilidade de se usar ateacute mesmo dados simples nesse niacutevel
O projecto tambeacutem cooperou com o Ministeacuterio da Sauacutede a niacutevel distrital para melhorar a precisatildeo a abrangecircncia e a prontidatildeo do SIS A ecircnfase era obter dados mais completos dos centros de sauacutede e reduzir o tempo gasto pelo escritoacuterio distrital para receber o relatoacuterio do centro de sauacutede apreciaacute-lo devolvecirc-lo ao centro para qualquer correcccedilatildeo recebecirc-lo novamente dar entrada dos dados no sistema e finalmente enviaacute-los ao niacutevel central Os distritos satildeo responsaacuteveis por cooperar com os centros de sauacutede para melhorar o registo de dados e actualizar suas proacuteprias teacutecnicas de processamento de dados
Apoacutes dois anos de assistecircncia teacutecnica o SIS tinha realmente melhorado segundo os indicadores de precisatildeo abrangecircncia e prontidatildeo As melhorias mais notaacuteveis foram em prontidatildeo o tempo gasto pelo escritoacuterio distrital no processo descrito acima reduziu-se de 12 para 3 meses
Imperfeitas mais mesmo assim valiosos Deve-se lembrar que o projecto ldquoComunidades Campeatildesrdquo teve oacuteptimo resultado apesar dos dados imperfeitos Seu numerador (o nuacutemero de utentes regulares de planeamento familiar) era detalhado e preciso Mas suas estimativas das taxas de prevalecircncia do uso de contraceptivos natildeo eram muito precisas porque o denominador (nuacutemero de mulheres em idade reprodutiva) era apenas uma estimativa baseada num censo desactualizado e em estimativas anuais do governo sobre percentagens de crescimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 938
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Madagascar o projecto Comunidades Campeatildes melhorou o sistema substancialmente num periacuteodo de dois anos Nesse caso o sistema jaacute se encontrava relativamente funcional porque projectos anteriores haviam feito um grande esforccedilo para implantar o sistema e tornaacute-lo mais soacutelido Ao aprimorar a forma como o sistema era administrado e os dados eram usados o projecto posterior conseguiu fazer uma grande diferenccedila por meio de pequenas modificaccedilotildees
Os dados do SIS natildeo satildeo 100 exactos e nunca seratildeo Esta eacute a realidade com a qual todos os gestores tecircm que trabalhar Mas os dados natildeo precisam ser perfeitos para serem uacuteteis Eacute possiacutevel fazer a monitoria e a gestatildeo com dados imperfeitos Informaccedilotildees obtidas em tempo
(continuaccedilatildeo)
No entanto o projecto constatou que as taxas de prevalecircncia de uso de contraceptivos eram suficientemente boas para acompanhar o desempenho das comunidades que participavam do meacutetodo de Comunidades Campeatildes O pessoal do projecto tambeacutem complementou as comparaccedilotildees dessas taxas com as comparaccedilotildees dos valores do numerador nuacutemeros simples que faziam sentido para o pessoal do centro de sauacutede e tambeacutem para as comunidades
O niacutevel central comeccedilou a organizar workshops regionais trimestrais para divulgar os resultados ao niacutevel distrital Juntos os gestores dos niacuteveis distritais regionais e centrais analisaram o progresso e classificaram os distritos com base no seu desempenho Usaram a anaacutelise de causa-raiz ndash um processo que identifica as causas subjacentes de um problema ndash para entender os obstaacuteculos enfrentados pelos distritos que apresentavam baixo desempenho (Consulte o Apecircndice A no Capiacutetulo 2 deste guia para obter mais informaccedilotildees sobre a anaacutelise de causa-raiz) Finalmente o Ministeacuterio de Sauacutede mobilizou o apoio de agecircncias doadoras e de organizaccedilotildees parceiras para ajudaacute-los a melhorar
O ministeacuterio comeccedilou a usar as informaccedilotildees de sauacutede para administrar realmente o sistema de sauacutede Antes dessa intervenccedilatildeo poucas organizaccedilotildees confiavam ou utilizavam os dados do SIS Mas quando ficou claro que o sistema funcionava as agecircncias doadoras passaram a confiar as organizaccedilotildees parceiras passaram a utilizaacute-lo e o ministeacuterio se orgulhou do trabalho Pela primeira vez tinham uma visatildeo mais niacutetida do que acontecia em todo o paiacutes e podiam usar essas informaccedilotildees para buscar o apoio de agecircncias doadoras se necessaacuterio
Do mesmo modo os centros de sauacutede raramente usavam seus proacuteprios dados Eles simplesmente faziam os registos e os enviavam para o escritoacuterio distrital sem nem mesmo receber retroinformaccedilatildeo do mesmo Apoacutes a conclusatildeo do projecto perceberam como os dados mais precisos podiam ser usados em seu benefiacutecio e das comunidades
Os distritos tambeacutem actuavam antes de uma forma pouco informada Cada distrito dependia apenas dos seus proacuteprios dados e funcionava num vaacutecuo As mudanccedilas no SIS e o encorajamento do governo central forneceram aos distritos oportunidades para comparar seu trabalho e aprender uns com os outros
Aprendizagem com dados mais precisos completos e oportunos Os dados satildeo geralmente utilizados para fazer comparaccedilotildees mas satildeo menos frequentemente utilizados como ferramenta de aprendizagem Nesse caso depois que os relatoacuterios comeccedilaram a chegar dentro do prazo o Ministeacuterio da Sauacutede usou os dados ndash inclusive dados imperfeitos ndash para descobrir que distritos tinham um desempenho ruim e que distritos estavam melhor que os outros Assim aprenderam com os de melhor desempenho ao perguntar Por que seus resultados satildeo tatildeo bons O que estavam a fazer de diferente O que poderia ser replicado Finalmente aplicaram a aprendizagem ao usar esses distritos como modelos e ao oferecer mais apoio aos de pior desempenho
Todo o sistema de sauacutede se entusiasmou com as informaccedilotildees que podiam produzir e usar A comeccedilar do topo esse entusiasmo chegou aos niacuteveis inferiores e os motivou a melhorar sua recolha e processamento de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 939
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
haacutebil e com 75 de precisatildeo satildeo melhores que as informaccedilotildees com 95 de precisatildeo que chegam com vaacuterios meses de atraso
Apesar do seu grande valor por si soacutes os dados do SIS natildeo atenderatildeo a todas as necessidades de informaccedilatildeo de muitas organizaccedilotildees Algumas organizaccedilotildees e agecircncias doadoras precisam de dados que exigem avaliaccedilotildees ou sistemas especiais Aleacutem disso vaacuterias intervenccedilotildees foram projectadas para modificar o conhecimento as atitudes e as praacuteticas dos beneficiaacuterios factores que natildeo satildeo capturados nos dados de serviccedilo Eacute importante usar os dados do SIS sempre que possiacutevel e complementaacute-los com avaliaccedilotildees locais quando necessaacuterio
Como gestor de um programa de sauacutede ou de serviccedilos de sauacutede parte do seu trabalho deveria ser o de melhorar o SIS em seu paiacutes Ele eacute o uacutenico sistema de informaccedilotildees sustentaacutevel na maioria dos paiacuteses Os sistemas de informaccedilatildeo criados e mantidos por agecircncias doadoras ou organizaccedilotildees externas tecircm duraccedilatildeo limitada mas o SIS eacute parte permanente do seu legado
Se todos os parceiros e agecircncias doadoras trabalharem com o Ministeacuterio de Sauacutede para prestar assistecircncia teacutecnica e financeira ao SIS ele poderaacute render informaccedilotildees que trazem grandes melhorias para os serviccedilos de sauacutede e que justificam plenamente o investimento no mesmo
Praacuteticas comprovadas
Um sistema de MampA deveria proporcionar aos gestores o que eles precisam saber para agir Deve se basear em indicadores relevantes faacuteceis de usar e que possam ser fornecidos em tempo haacutebil para os ciclos de planeamento e apresentaccedilatildeo de relatoacuterios
Os resultados de MampA natildeo se destinam apenas ao pessoal de MampA da sua organizaccedilatildeo ou agrave agecircncia doadora As informaccedilotildees de MampA satildeo um recurso fundamental para as acccedilotildees e a aprendizagem Se o seu processo de MampA tiver mecanismos de retroinformaccedilatildeo que permitam aos tomadores de decisotildees reflectirem sobre os resultados e absorverem o que precisam para seus proacuteprios fins eles assumiratildeo o controlo do processo e utilizaratildeo o que ele oferecer
Se vocecirc define suas actividades de MampA no comeccedilo de uma intervenccedilatildeo ou projecto junto com o plano de acccedilatildeo para o projecto teraacute mais oportunidades de orientar e acompanhar a implementaccedilatildeo das actividades
Quando satildeo demasiado elaborados e complicados os planos de MampA natildeo satildeo usados Elabore um plano de MampA simples escolha ferramentas de monitoria faacuteceis de usar e seleccione a menor quantidade possiacutevel de indicadores para acompanhar o progresso e introduzir as mudanccedilas necessaacuterias ao longo do caminho
Para fortalecer um SIS eacute preciso trabalhar com as pessoas envolvidas os responsaacuteveis pelo sistema que registam transferem analisam comunicam e utilizam os dados e as informaccedilotildees para a gestatildeo dos serviccedilos
Ao fornecer os dados do SIS para os tomadores de decisotildees vocecirc deve reconhecer as diferenccedilas na frequecircncia dos relatoacuterios e nas quantidades de dados agregados e desagregados necessaacuterios aos niacuteveis diferentes de governo ou agraves organizaccedilotildees natildeo governamentais
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 933
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
1 Relevacircncia Foi uma boa ideia fazer a intervenccedilatildeo considerando-se a situaccedilatildeo e a necessidade de melhorias Ela tratou das prioridades do grupo alvo ou beneficiaacuterio Por que sim ou por que natildeo
2 Eficaacutecia Os resultados produtos e actividades foram realizados Por que sim ou por que natildeo A loacutegica da intervenccedilatildeo eacute correcta
3 Eficiecircncia Os insumos (recursos e tempo) foram usados da melhor forma possiacutevel para atingir os resultados a meacutedio e longo prazo Por que sim ou por que natildeo O que vocecirc e sua equipa poderiam fazer de modo diferente no futuro para maximizar os resultados a um custo aceitaacutevel
4 Impacto Em que medida a sua intervenccedilatildeo contribuiu para as metas nacionais ou de longo prazo Que consequecircncias natildeo intencionais (positivas ou negativas) suas actividades tiveram Por que essas consequecircncias aconteceram
5 Sustentabilidade Eacute provaacutevel que os resultados positivos continuem depois que sua intervenccedilatildeo terminar Por que sim ou por que natildeo
Uma uacuteltima advertecircncia assim como a monitoria pode-se complicar demasiado a avaliaccedilatildeo Ao preparar um plano de avaliaccedilatildeo o melhor eacute seleccionar um grupo pequeno de indicadores e resistir agrave tentaccedilatildeo de avaliar todos os aspectos da sua intervenccedilatildeo
Assim como a monitoria a avaliaccedilatildeo soacute eacute uacutetil se as informaccedilotildees forem repassadas em tempo haacutebil para o gestor e outros tomadores de decisotildees e grupos de interesse Um problema comum com as avaliaccedilotildees intercalares eacute que os resultados geralmente soacute satildeo informados de 6 a 8 meses mais tarde o que deixa apenas 1 ou 2 anos para fazer mudanccedilas mais permanentes antes que se esgotem os fundos do governo ou da agecircncia doadora
COMO SELECCIONAR SUAS FONTES DE DADOS
Esta secccedilatildeo descreve trecircs tipos de fontes de dados que satildeo comummente usadas para uma avaliaccedilatildeo dados recolhidos rotineiramente inqueacuteritos de grande escala e teacutecnicas de avaliaccedilatildeo raacutepida inclusive a avaliaccedilatildeo participativa
Dados de rotina Os dados recolhidos e analisados rotineiramente por um SIS satildeo denominados ldquoestatiacutesticas de serviccedilordquo Pode-se utilizar vaacuterios sistemas de informaccedilatildeo de serviccedilos de rotina para monitorar os serviccedilos Alguns deles satildeo o sistema baacutesico de registo e relatoacuterio de SIS os sistemas especiais de relatoacuterios sobre programas (por ex tuberculose malaacuteria imunizaccedilatildeo VIH planeamento familiar etc) os sistemas de relatoacuterios sobre agentes comunitaacuterios especiais (por ex registos de agentes comunitaacuterios de sauacutede) o sistema de informaccedilotildees para a vigilacircncia de doenccedilas e o controlo notificaccedilatildeo e resposta a surtos e os relatoacuterios para os sistemas de suporte especiais (por ex medicamentos encaminhamentos e gestatildeo financeira e de recursos humanos)
Esses sistemas fornecem dados que estatildeo imediatamente disponiacuteveis e cujo objectivo eacute informar o que estaacute a acontecer no sector de sauacutede Os dados de rotina incluem por exemplo o nuacutemero de consultas de preacute-natal em uma cliacutenica o nuacutemero e tipo de vacinaccedilotildees fornecidas no local ou o nuacutemero e tipos de contraceptivos fornecidos mensalmente
Os dados sobre os serviccedilos satildeo geralmente recolhidos pelos centros de sauacutede ou postos de sauacutede e enviados para o proacuteximo niacutevel superior do sistema (geralmente o distrito) para serem agregados Esses dados podem entatildeo ser enviados ao proacuteximo niacutevel superior (regional ou provincial) para posterior agregaccedilatildeo antes que cheguem finalmente ao niacutevel central do Ministeacuterio da Sauacutede
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 934
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Idealmente os gestores de centros de sauacutede e ao niacutevel do distrito usam esses dados para orientar as operaccedilotildees diaacuterias acompanhar o desempenho e a prestaccedilatildeo de contas e tomar decisotildees que continuem a melhorar o desempenho Mas haacute vaacuterios obstaacuteculos a essa utilizaccedilatildeo
Muito frequentemente os dados de rotina satildeo imprecisos ou incompletos Apesar dos que utilizam o SIS tentarem produzir informaccedilotildees de alta qualidade e em tempo haacutebil haacute muitas oportunidades de introduzir erros Pode haver pouco apoio para que os gestores e seu pessoal se concentrem nos procedimentos correctos de recolha registo e agregaccedilatildeo dos dados
Os sistemas de sauacutede de vaacuterios paiacuteses enfatizam a importacircncia de apresentar relatoacuterios para os niacuteveis superiores mas natildeo estabeleceram procedimentos e incentivos para encorajar aqueles que fornecem informaccedilotildees a utilizaacute-las mesmo quando os dados satildeo de boa qualidade
Outra dificuldade eacute que as estatiacutesticas sobre serviccedilos fornecem informaccedilotildees apenas sobre os utentes que utilizam os serviccedilos de sauacutede Natildeo podem fornecer informaccedilotildees sobre as muitas pessoas que natildeo utilizam os serviccedilos
Por tudo isso natildeo se pode confiar apenas nas estatiacutesticas sobre serviccedilos para fazer uma avaliaccedilatildeo Elas satildeo melhor utilizadas para a monitoria de rotina dos problemas de sauacutede puacuteblica e dos serviccedilos essenciais relacionados
Inqueacuteritos em grande escala Os inqueacuteritos em grande escala satildeo outra fonte de informaccedilotildees imediatamente disponiacuteveis Incluem inqueacuteritos de base populacional tais como as Inqueacuterito Demograacutefico e de Sauacutede (IDS) dos EUA avaliaccedilotildees completas de centros de sauacutede como a Anaacutelise de Situaccedilatildeo do Population Council e os censos nacionais Em vaacuterios casos os gestores podem usar os dados de um inqueacuterito em grande escala existente para fornecer o contexto para a interpretaccedilatildeo dos dados capturados atraveacutes das suas proacuteprias avaliaccedilotildees
Por exemplo as IDS satildeo realizadas periodicamente para caracterizar a situaccedilatildeo de sauacutede em um paiacutes ou regiatildeo geograacutefica de grande extensatildeo para vaacuterios grupos populacionais homens mulheres crianccedilas bebeacutes e assim por diante Mas os dados das IDS natildeo podem normalmente ser desagregados para uso pelos gestores no niacutevel de distrito ou comunidade
Aleacutem disso como as IDS satildeo realizadas apenas a cada trecircs ou cinco anos as informaccedilotildees que fornecem podem natildeo estar suficientemente actualizadas para as necessidades de avaliaccedilatildeo dos gestores Apesar dessas dificuldades os dados das IDS satildeo uacuteteis para compreender tendecircncias regionais ou nacionais que podem ajudar a explicar dados recolhidos em uma avaliaccedilatildeo de foco especiacutefico
Avaliaccedilotildees raacutepidas Satildeo formas raacutepidas e econoacutemicas de obter informaccedilotildees para a tomada de decisotildees principalmente ao niacutevel da actividade Os exemplos incluem entrevistas quando os utentes saem de suas consultas as avaliaccedilotildees de pequena escala dos centros de sauacutede os inqueacuteritos raacutepidos por amostragem o exame analiacutetico de registos as entrevistas com grupos de enfoque e outros meacutetodos participativos
Poderaacute usar teacutecnicas de avaliaccedilatildeo raacutepida para complementar as informaccedilotildees obtidas com dados de rotina ou inqueacuteritos de grande escala As avaliaccedilotildees raacutepidas podem-lhe fornecer informaccedilotildees valiosas sobre sua aacuterea de captaccedilatildeo e sua aacuterea de responsabilidade mais ampla ndash ou seja as comunidades e as populaccedilotildees que deveriam ter acesso aos serviccedilos essenciais prestados por um centro de sauacutede determinado Elas podem tambeacutem fornecer contexto e uma compreensatildeo qualitativa dos dados quantitativos recolhidos pelos meacutetodos mais formais
Dentro da categoria de avaliaccedilotildees raacutepidas os meacutetodos participativos e os inqueacuteritos raacutepidos por amostragem merecem a sua atenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 935
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Meacutetodos participativos (tambeacutem chamados de aprendizagem e acccedilatildeo participativas) Essas teacutecnicas e meacutetodos visam incorporar o conhecimento e as opiniotildees dos membros da comunidade no planeamento e gestatildeo de projectos de desenvolvimento no esforccedilo para influenciar as poliacuteticas e na implementaccedilatildeo de programas Eles permitem incluir vozes da comunidade nas poliacuteticas no planeamento e nos inqueacuteritos e criam um senso de propriedade e participaccedilatildeo nos resultados de MampA e nas recomendaccedilotildees feitas pela organizaccedilatildeo e por seus beneficiaacuterios
Ao contraacuterio de outras teacutecnicas de avaliaccedilatildeo raacutepida os meacutetodos participativos natildeo se baseiam em amostragens Eles usam entrevistas individuais ou com informantes essenciais (inclusive entrevistas com utentes ao saiacuterem de suas consultas) entrevistas em grupo estudos de caso e outros meacutetodos qualitativos para identificar as condiccedilotildees locais e entender as perspectivas e prioridades locais
Em vaacuterios locais haacute membros da comunidade que natildeo podem ler nem escrever e por isso os meacutetodos participativos dependem frequentemente da comunicaccedilatildeo oral com apoio de imagens siacutembolos objectos fiacutesicos e memoacuteria colectiva
Os meacutetodos participativos podem ser usados antes durante e apoacutes a implementaccedilatildeo de uma intervenccedilatildeo ou um conjunto de actividades Eles fornecem informaccedilotildees para o projecto e a avaliaccedilatildeo e permitem a participaccedilatildeo activa das partes interessadas na tomada de decisotildees Durante a implementaccedilatildeo os meacutetodos participativos satildeo uacuteteis para identificar e solucionar problemas
Aproveite para examinar e utilizar uma lista de recursos online sobre inqueacuterito qualitativo e directrizes sobre discussotildees em grupos de enfoque no Community Tool Box da Universidade de Kansas
Inqueacuteritos raacutepidos por amostragem Estes inqueacuteritos podem ser utilizados para recolher informaccedilotildees padronizadas de uma amostra pequena e cuidadosamente seleccionada de pessoas ou domiciacutelios em uma aacuterea beneficiaacuteria Eles podem descrever as condiccedilotildees em uma comunidade particular ou grupo-alvo e permitem comparar grupos diferentes em um determinado momento ou mudanccedilas no mesmo grupo ao longo do tempo Permitem tambeacutem comparar condiccedilotildees actuais com os resultados planeados
Um dos inqueacuteritos mais comuns de pequena amostragem eacute o inqueacuterito CAP (Conhecimentos Atitudes e Praacuteticas) baseado em uma amostra de 30 agrupamentos
Amostragem para Garantia de Qualidade de Lotes (Lot Quality Sampling - LQAS) Essa eacute outra teacutecnica de avaliaccedilatildeo raacutepida que se usa cada vez mais na aacuterea de sauacutede puacuteblica A LQAS utiliza amostragens muito pequenas para obter informaccedilotildees confiaacuteveis em uma pequena aacuterea geograacutefica ou unidade administrativa Pode ser usada para detectar de forma precisa os extremos do desempenho ndash para determinar se uma intervenccedilatildeo foi mais aleacutem de um limiar superior de desempenho ou natildeo conseguiu atingir um limiar inferior de desempenho em termos de qualidade ou cobertura As amostras de lotes podem tambeacutem ser combinadas para fornecer estimativas de cobertura em uma aacuterea geograacutefica mais ampla
Uma busca na Web revelaraacute recursos uacuteteis aqui temos um sobre os inqueacuteritos CAP e outro sobre LQAS A aacuterea de MampA do website do CORE Group inclui ligaccedilotildees com ferramentas e recursos importantes para a avaliaccedilatildeo raacutepida criados pelo Grupo de Trabalho de MampA do CORE Group
Como gestor deve revisar todas as fontes de dados jaacute existentes antes de planear a sua avaliaccedilatildeo A Tabela 7 apresenta as vantagens e desvantagens das trecircs principais fontes de
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 936
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 7 Resumo das trecircs fontes de dados mais comuns para uma avaliaccedilatildeo
Fonte de dados Vantagens Limitaccedilotildees
Estatiacutesticas de serviccedilo Dados sobre a populaccedilatildeo de utentes e serviccedilos cliacutenicos que satildeo recolhidos rotineiramente nos registos dos utentes e nos registos cliacutenicos
Disponiacuteveis imediatamente
Cobrem todos os tipos de serviccedilos de sauacutede e todas as aacutereas do paiacutes
Podem ser desagregados para os niacuteveis local e de distrito
Uso econoacutemico
Soacute lhe informam sobre clientes actuais sem informaccedilotildees sobre as pessoas que natildeo usam os serviccedilos de sauacutede e podem ser utentes em potencial
Natildeo fornecem informaccedilotildees sobre valores percepccedilotildees ou comportamentos da comunidade
Natildeo reflectem as pessoas que optam por fontes privadas de serviccedilos
Podem ser inexactas se os locais de prestaccedilatildeo de serviccedilos natildeo registarem os dados correctamente de forma legiacutevel e em tempo haacutebil
Inqueacuteritos de grande escala Inqueacuteritos de base populacional e avaliaccedilotildees de grande escala dos centros de sauacutede
Dados relevantes precisos e confiaacuteveis
Podem medir as tendecircncias nacionais de sauacutede identificar aacutereas com problemas e ajudar a concentrar os recursos do paiacutes em aacutereas de maior carecircncia
Geram valores meacutedios para as aacutereas urbanas e rurais regiotildees e proviacutencias
Fornecem um contexto para interpretar os dados recolhidos localmente
Podem gerar informaccedilotildees adicionais a partir dos seus conjuntos de dados informatizados
Geralmente natildeo podem desagregar os dados para fornecer meacutedias para as aacutereas sub-regionais (distritos ou municipalidades)
Geralmente natildeo satildeo realizadas anualmente os dados se tornam desactualizados rapidamente se as populaccedilotildees ou condiccedilotildees de sauacutede se modificarem rapidamente
Avaliaccedilotildees raacutepidas Meacutetodos focados para avaliar as necessidades locais e tomar decisotildees em acircmbito local
Raacutepidas e econoacutemicas
Resultam em acccedilatildeo local
Haacute directrizes para ajudar os gestores em vaacuterias dessas teacutecnicas
Fornecem aos gestores a capacidade de recolher os dados necessaacuterios
Os inqueacuteritos domiciliares (por ex LQAS ou CAP) podem obter precisatildeo suficiente para fins de avaliaccedilatildeo
Equilibra a necessidade de resultados representativos e objectivos com a necessidade de usar projectos levemente menos rigorosos que satildeo mais viaacuteveis em aacutereas locais
Usam escala e acircmbito reduzidos para produzir resultados em tempo haacutebil e de baixo custo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 937
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
dados que foram discutidas acima estatiacutesticas rotineiras de serviccedilos inqueacuteritos em grande escala e teacutecnicas de avaliaccedilatildeo raacutepida
Que niacutevel de qualidade os dados do SIS precisam ter para serem uacuteteis ndash que niacutevel de abrangecircncia precisatildeo e apresentaccedilatildeo em tempo haacutebil Para as suas necessidades de gestatildeo mesmo que natildeo sejam perfeitos os dados podem ser suficientemente bons para ter um efeito poderoso como nos mostra o exemplo de Madagascar
Dados do SIS pontos fortes e limitaccedilotildees
Subestimar o valor e a utilidade do SIS eacute infelizmente uma tendecircncia Eacute verdade que o SIS tem problemas frequentemente mas tambeacutem eacute grande o seu potencial Como vimos em
Como usar e melhorar dados imperfeitos do SIS ndash Um exemplo de Madagascar
Um SIS de base comunitaacuteria mais preciso e mais oportuno Um projecto de Madagascar implementou um meacutetodo baseado na comunidade para aumentar o uso de meacutetodos de planeamento familiar denominado ldquoComunidades Campeatildesrdquo em 50 dos 110 distritos do paiacutes O meacutetodo utilizou exclusivamente os dados do SIS para monitorar e avaliar as realizaccedilotildees das comunidades participantes
Em primeiro lugar foi estabelecida uma base de referecircncia para cada comunidade ao usar os dados do seu centro de sauacutede Em seguida o pessoal do centro de sauacutede e os representantes da comunidade identificaram metas para 10 indicadores que determinariam se uma comunidade tinha alcanccedilado a posiccedilatildeo de campeatilde apoacutes 12 meses de implementaccedilatildeo Cada comunidade monitorava seu proacuteprio progresso em uma reuniatildeo trimestral de verificaccedilatildeo
Apoacutes 12 meses o pessoal do projecto voltou a cada comunidade para avaliar os resultados Examinaram os dados do relatoacuterio de monitoria de rotina de cada centro de sauacutede e para cada indicador Prepararam tambeacutem um relatoacuterio sobre os dados de cada comunidade e o enviaram para o supervisor de niacutevel distrital para a sua confirmaccedilatildeo com base nos registos informatizados do distrito As fontes de dados para os relatoacuterios do centro de sauacutede e registos de distrito foram as mesmas (registos dos centros de sauacutede) e por isso raramente ocorreu uma discrepacircncia Mas o que interessava era envolver o supervisor distrital no exame dos dados do centro de sauacutede para mostrar a utilidade de se usar ateacute mesmo dados simples nesse niacutevel
O projecto tambeacutem cooperou com o Ministeacuterio da Sauacutede a niacutevel distrital para melhorar a precisatildeo a abrangecircncia e a prontidatildeo do SIS A ecircnfase era obter dados mais completos dos centros de sauacutede e reduzir o tempo gasto pelo escritoacuterio distrital para receber o relatoacuterio do centro de sauacutede apreciaacute-lo devolvecirc-lo ao centro para qualquer correcccedilatildeo recebecirc-lo novamente dar entrada dos dados no sistema e finalmente enviaacute-los ao niacutevel central Os distritos satildeo responsaacuteveis por cooperar com os centros de sauacutede para melhorar o registo de dados e actualizar suas proacuteprias teacutecnicas de processamento de dados
Apoacutes dois anos de assistecircncia teacutecnica o SIS tinha realmente melhorado segundo os indicadores de precisatildeo abrangecircncia e prontidatildeo As melhorias mais notaacuteveis foram em prontidatildeo o tempo gasto pelo escritoacuterio distrital no processo descrito acima reduziu-se de 12 para 3 meses
Imperfeitas mais mesmo assim valiosos Deve-se lembrar que o projecto ldquoComunidades Campeatildesrdquo teve oacuteptimo resultado apesar dos dados imperfeitos Seu numerador (o nuacutemero de utentes regulares de planeamento familiar) era detalhado e preciso Mas suas estimativas das taxas de prevalecircncia do uso de contraceptivos natildeo eram muito precisas porque o denominador (nuacutemero de mulheres em idade reprodutiva) era apenas uma estimativa baseada num censo desactualizado e em estimativas anuais do governo sobre percentagens de crescimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 938
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Madagascar o projecto Comunidades Campeatildes melhorou o sistema substancialmente num periacuteodo de dois anos Nesse caso o sistema jaacute se encontrava relativamente funcional porque projectos anteriores haviam feito um grande esforccedilo para implantar o sistema e tornaacute-lo mais soacutelido Ao aprimorar a forma como o sistema era administrado e os dados eram usados o projecto posterior conseguiu fazer uma grande diferenccedila por meio de pequenas modificaccedilotildees
Os dados do SIS natildeo satildeo 100 exactos e nunca seratildeo Esta eacute a realidade com a qual todos os gestores tecircm que trabalhar Mas os dados natildeo precisam ser perfeitos para serem uacuteteis Eacute possiacutevel fazer a monitoria e a gestatildeo com dados imperfeitos Informaccedilotildees obtidas em tempo
(continuaccedilatildeo)
No entanto o projecto constatou que as taxas de prevalecircncia de uso de contraceptivos eram suficientemente boas para acompanhar o desempenho das comunidades que participavam do meacutetodo de Comunidades Campeatildes O pessoal do projecto tambeacutem complementou as comparaccedilotildees dessas taxas com as comparaccedilotildees dos valores do numerador nuacutemeros simples que faziam sentido para o pessoal do centro de sauacutede e tambeacutem para as comunidades
O niacutevel central comeccedilou a organizar workshops regionais trimestrais para divulgar os resultados ao niacutevel distrital Juntos os gestores dos niacuteveis distritais regionais e centrais analisaram o progresso e classificaram os distritos com base no seu desempenho Usaram a anaacutelise de causa-raiz ndash um processo que identifica as causas subjacentes de um problema ndash para entender os obstaacuteculos enfrentados pelos distritos que apresentavam baixo desempenho (Consulte o Apecircndice A no Capiacutetulo 2 deste guia para obter mais informaccedilotildees sobre a anaacutelise de causa-raiz) Finalmente o Ministeacuterio de Sauacutede mobilizou o apoio de agecircncias doadoras e de organizaccedilotildees parceiras para ajudaacute-los a melhorar
O ministeacuterio comeccedilou a usar as informaccedilotildees de sauacutede para administrar realmente o sistema de sauacutede Antes dessa intervenccedilatildeo poucas organizaccedilotildees confiavam ou utilizavam os dados do SIS Mas quando ficou claro que o sistema funcionava as agecircncias doadoras passaram a confiar as organizaccedilotildees parceiras passaram a utilizaacute-lo e o ministeacuterio se orgulhou do trabalho Pela primeira vez tinham uma visatildeo mais niacutetida do que acontecia em todo o paiacutes e podiam usar essas informaccedilotildees para buscar o apoio de agecircncias doadoras se necessaacuterio
Do mesmo modo os centros de sauacutede raramente usavam seus proacuteprios dados Eles simplesmente faziam os registos e os enviavam para o escritoacuterio distrital sem nem mesmo receber retroinformaccedilatildeo do mesmo Apoacutes a conclusatildeo do projecto perceberam como os dados mais precisos podiam ser usados em seu benefiacutecio e das comunidades
Os distritos tambeacutem actuavam antes de uma forma pouco informada Cada distrito dependia apenas dos seus proacuteprios dados e funcionava num vaacutecuo As mudanccedilas no SIS e o encorajamento do governo central forneceram aos distritos oportunidades para comparar seu trabalho e aprender uns com os outros
Aprendizagem com dados mais precisos completos e oportunos Os dados satildeo geralmente utilizados para fazer comparaccedilotildees mas satildeo menos frequentemente utilizados como ferramenta de aprendizagem Nesse caso depois que os relatoacuterios comeccedilaram a chegar dentro do prazo o Ministeacuterio da Sauacutede usou os dados ndash inclusive dados imperfeitos ndash para descobrir que distritos tinham um desempenho ruim e que distritos estavam melhor que os outros Assim aprenderam com os de melhor desempenho ao perguntar Por que seus resultados satildeo tatildeo bons O que estavam a fazer de diferente O que poderia ser replicado Finalmente aplicaram a aprendizagem ao usar esses distritos como modelos e ao oferecer mais apoio aos de pior desempenho
Todo o sistema de sauacutede se entusiasmou com as informaccedilotildees que podiam produzir e usar A comeccedilar do topo esse entusiasmo chegou aos niacuteveis inferiores e os motivou a melhorar sua recolha e processamento de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 939
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
haacutebil e com 75 de precisatildeo satildeo melhores que as informaccedilotildees com 95 de precisatildeo que chegam com vaacuterios meses de atraso
Apesar do seu grande valor por si soacutes os dados do SIS natildeo atenderatildeo a todas as necessidades de informaccedilatildeo de muitas organizaccedilotildees Algumas organizaccedilotildees e agecircncias doadoras precisam de dados que exigem avaliaccedilotildees ou sistemas especiais Aleacutem disso vaacuterias intervenccedilotildees foram projectadas para modificar o conhecimento as atitudes e as praacuteticas dos beneficiaacuterios factores que natildeo satildeo capturados nos dados de serviccedilo Eacute importante usar os dados do SIS sempre que possiacutevel e complementaacute-los com avaliaccedilotildees locais quando necessaacuterio
Como gestor de um programa de sauacutede ou de serviccedilos de sauacutede parte do seu trabalho deveria ser o de melhorar o SIS em seu paiacutes Ele eacute o uacutenico sistema de informaccedilotildees sustentaacutevel na maioria dos paiacuteses Os sistemas de informaccedilatildeo criados e mantidos por agecircncias doadoras ou organizaccedilotildees externas tecircm duraccedilatildeo limitada mas o SIS eacute parte permanente do seu legado
Se todos os parceiros e agecircncias doadoras trabalharem com o Ministeacuterio de Sauacutede para prestar assistecircncia teacutecnica e financeira ao SIS ele poderaacute render informaccedilotildees que trazem grandes melhorias para os serviccedilos de sauacutede e que justificam plenamente o investimento no mesmo
Praacuteticas comprovadas
Um sistema de MampA deveria proporcionar aos gestores o que eles precisam saber para agir Deve se basear em indicadores relevantes faacuteceis de usar e que possam ser fornecidos em tempo haacutebil para os ciclos de planeamento e apresentaccedilatildeo de relatoacuterios
Os resultados de MampA natildeo se destinam apenas ao pessoal de MampA da sua organizaccedilatildeo ou agrave agecircncia doadora As informaccedilotildees de MampA satildeo um recurso fundamental para as acccedilotildees e a aprendizagem Se o seu processo de MampA tiver mecanismos de retroinformaccedilatildeo que permitam aos tomadores de decisotildees reflectirem sobre os resultados e absorverem o que precisam para seus proacuteprios fins eles assumiratildeo o controlo do processo e utilizaratildeo o que ele oferecer
Se vocecirc define suas actividades de MampA no comeccedilo de uma intervenccedilatildeo ou projecto junto com o plano de acccedilatildeo para o projecto teraacute mais oportunidades de orientar e acompanhar a implementaccedilatildeo das actividades
Quando satildeo demasiado elaborados e complicados os planos de MampA natildeo satildeo usados Elabore um plano de MampA simples escolha ferramentas de monitoria faacuteceis de usar e seleccione a menor quantidade possiacutevel de indicadores para acompanhar o progresso e introduzir as mudanccedilas necessaacuterias ao longo do caminho
Para fortalecer um SIS eacute preciso trabalhar com as pessoas envolvidas os responsaacuteveis pelo sistema que registam transferem analisam comunicam e utilizam os dados e as informaccedilotildees para a gestatildeo dos serviccedilos
Ao fornecer os dados do SIS para os tomadores de decisotildees vocecirc deve reconhecer as diferenccedilas na frequecircncia dos relatoacuterios e nas quantidades de dados agregados e desagregados necessaacuterios aos niacuteveis diferentes de governo ou agraves organizaccedilotildees natildeo governamentais
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 934
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Idealmente os gestores de centros de sauacutede e ao niacutevel do distrito usam esses dados para orientar as operaccedilotildees diaacuterias acompanhar o desempenho e a prestaccedilatildeo de contas e tomar decisotildees que continuem a melhorar o desempenho Mas haacute vaacuterios obstaacuteculos a essa utilizaccedilatildeo
Muito frequentemente os dados de rotina satildeo imprecisos ou incompletos Apesar dos que utilizam o SIS tentarem produzir informaccedilotildees de alta qualidade e em tempo haacutebil haacute muitas oportunidades de introduzir erros Pode haver pouco apoio para que os gestores e seu pessoal se concentrem nos procedimentos correctos de recolha registo e agregaccedilatildeo dos dados
Os sistemas de sauacutede de vaacuterios paiacuteses enfatizam a importacircncia de apresentar relatoacuterios para os niacuteveis superiores mas natildeo estabeleceram procedimentos e incentivos para encorajar aqueles que fornecem informaccedilotildees a utilizaacute-las mesmo quando os dados satildeo de boa qualidade
Outra dificuldade eacute que as estatiacutesticas sobre serviccedilos fornecem informaccedilotildees apenas sobre os utentes que utilizam os serviccedilos de sauacutede Natildeo podem fornecer informaccedilotildees sobre as muitas pessoas que natildeo utilizam os serviccedilos
Por tudo isso natildeo se pode confiar apenas nas estatiacutesticas sobre serviccedilos para fazer uma avaliaccedilatildeo Elas satildeo melhor utilizadas para a monitoria de rotina dos problemas de sauacutede puacuteblica e dos serviccedilos essenciais relacionados
Inqueacuteritos em grande escala Os inqueacuteritos em grande escala satildeo outra fonte de informaccedilotildees imediatamente disponiacuteveis Incluem inqueacuteritos de base populacional tais como as Inqueacuterito Demograacutefico e de Sauacutede (IDS) dos EUA avaliaccedilotildees completas de centros de sauacutede como a Anaacutelise de Situaccedilatildeo do Population Council e os censos nacionais Em vaacuterios casos os gestores podem usar os dados de um inqueacuterito em grande escala existente para fornecer o contexto para a interpretaccedilatildeo dos dados capturados atraveacutes das suas proacuteprias avaliaccedilotildees
Por exemplo as IDS satildeo realizadas periodicamente para caracterizar a situaccedilatildeo de sauacutede em um paiacutes ou regiatildeo geograacutefica de grande extensatildeo para vaacuterios grupos populacionais homens mulheres crianccedilas bebeacutes e assim por diante Mas os dados das IDS natildeo podem normalmente ser desagregados para uso pelos gestores no niacutevel de distrito ou comunidade
Aleacutem disso como as IDS satildeo realizadas apenas a cada trecircs ou cinco anos as informaccedilotildees que fornecem podem natildeo estar suficientemente actualizadas para as necessidades de avaliaccedilatildeo dos gestores Apesar dessas dificuldades os dados das IDS satildeo uacuteteis para compreender tendecircncias regionais ou nacionais que podem ajudar a explicar dados recolhidos em uma avaliaccedilatildeo de foco especiacutefico
Avaliaccedilotildees raacutepidas Satildeo formas raacutepidas e econoacutemicas de obter informaccedilotildees para a tomada de decisotildees principalmente ao niacutevel da actividade Os exemplos incluem entrevistas quando os utentes saem de suas consultas as avaliaccedilotildees de pequena escala dos centros de sauacutede os inqueacuteritos raacutepidos por amostragem o exame analiacutetico de registos as entrevistas com grupos de enfoque e outros meacutetodos participativos
Poderaacute usar teacutecnicas de avaliaccedilatildeo raacutepida para complementar as informaccedilotildees obtidas com dados de rotina ou inqueacuteritos de grande escala As avaliaccedilotildees raacutepidas podem-lhe fornecer informaccedilotildees valiosas sobre sua aacuterea de captaccedilatildeo e sua aacuterea de responsabilidade mais ampla ndash ou seja as comunidades e as populaccedilotildees que deveriam ter acesso aos serviccedilos essenciais prestados por um centro de sauacutede determinado Elas podem tambeacutem fornecer contexto e uma compreensatildeo qualitativa dos dados quantitativos recolhidos pelos meacutetodos mais formais
Dentro da categoria de avaliaccedilotildees raacutepidas os meacutetodos participativos e os inqueacuteritos raacutepidos por amostragem merecem a sua atenccedilatildeo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 935
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Meacutetodos participativos (tambeacutem chamados de aprendizagem e acccedilatildeo participativas) Essas teacutecnicas e meacutetodos visam incorporar o conhecimento e as opiniotildees dos membros da comunidade no planeamento e gestatildeo de projectos de desenvolvimento no esforccedilo para influenciar as poliacuteticas e na implementaccedilatildeo de programas Eles permitem incluir vozes da comunidade nas poliacuteticas no planeamento e nos inqueacuteritos e criam um senso de propriedade e participaccedilatildeo nos resultados de MampA e nas recomendaccedilotildees feitas pela organizaccedilatildeo e por seus beneficiaacuterios
Ao contraacuterio de outras teacutecnicas de avaliaccedilatildeo raacutepida os meacutetodos participativos natildeo se baseiam em amostragens Eles usam entrevistas individuais ou com informantes essenciais (inclusive entrevistas com utentes ao saiacuterem de suas consultas) entrevistas em grupo estudos de caso e outros meacutetodos qualitativos para identificar as condiccedilotildees locais e entender as perspectivas e prioridades locais
Em vaacuterios locais haacute membros da comunidade que natildeo podem ler nem escrever e por isso os meacutetodos participativos dependem frequentemente da comunicaccedilatildeo oral com apoio de imagens siacutembolos objectos fiacutesicos e memoacuteria colectiva
Os meacutetodos participativos podem ser usados antes durante e apoacutes a implementaccedilatildeo de uma intervenccedilatildeo ou um conjunto de actividades Eles fornecem informaccedilotildees para o projecto e a avaliaccedilatildeo e permitem a participaccedilatildeo activa das partes interessadas na tomada de decisotildees Durante a implementaccedilatildeo os meacutetodos participativos satildeo uacuteteis para identificar e solucionar problemas
Aproveite para examinar e utilizar uma lista de recursos online sobre inqueacuterito qualitativo e directrizes sobre discussotildees em grupos de enfoque no Community Tool Box da Universidade de Kansas
Inqueacuteritos raacutepidos por amostragem Estes inqueacuteritos podem ser utilizados para recolher informaccedilotildees padronizadas de uma amostra pequena e cuidadosamente seleccionada de pessoas ou domiciacutelios em uma aacuterea beneficiaacuteria Eles podem descrever as condiccedilotildees em uma comunidade particular ou grupo-alvo e permitem comparar grupos diferentes em um determinado momento ou mudanccedilas no mesmo grupo ao longo do tempo Permitem tambeacutem comparar condiccedilotildees actuais com os resultados planeados
Um dos inqueacuteritos mais comuns de pequena amostragem eacute o inqueacuterito CAP (Conhecimentos Atitudes e Praacuteticas) baseado em uma amostra de 30 agrupamentos
Amostragem para Garantia de Qualidade de Lotes (Lot Quality Sampling - LQAS) Essa eacute outra teacutecnica de avaliaccedilatildeo raacutepida que se usa cada vez mais na aacuterea de sauacutede puacuteblica A LQAS utiliza amostragens muito pequenas para obter informaccedilotildees confiaacuteveis em uma pequena aacuterea geograacutefica ou unidade administrativa Pode ser usada para detectar de forma precisa os extremos do desempenho ndash para determinar se uma intervenccedilatildeo foi mais aleacutem de um limiar superior de desempenho ou natildeo conseguiu atingir um limiar inferior de desempenho em termos de qualidade ou cobertura As amostras de lotes podem tambeacutem ser combinadas para fornecer estimativas de cobertura em uma aacuterea geograacutefica mais ampla
Uma busca na Web revelaraacute recursos uacuteteis aqui temos um sobre os inqueacuteritos CAP e outro sobre LQAS A aacuterea de MampA do website do CORE Group inclui ligaccedilotildees com ferramentas e recursos importantes para a avaliaccedilatildeo raacutepida criados pelo Grupo de Trabalho de MampA do CORE Group
Como gestor deve revisar todas as fontes de dados jaacute existentes antes de planear a sua avaliaccedilatildeo A Tabela 7 apresenta as vantagens e desvantagens das trecircs principais fontes de
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 936
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 7 Resumo das trecircs fontes de dados mais comuns para uma avaliaccedilatildeo
Fonte de dados Vantagens Limitaccedilotildees
Estatiacutesticas de serviccedilo Dados sobre a populaccedilatildeo de utentes e serviccedilos cliacutenicos que satildeo recolhidos rotineiramente nos registos dos utentes e nos registos cliacutenicos
Disponiacuteveis imediatamente
Cobrem todos os tipos de serviccedilos de sauacutede e todas as aacutereas do paiacutes
Podem ser desagregados para os niacuteveis local e de distrito
Uso econoacutemico
Soacute lhe informam sobre clientes actuais sem informaccedilotildees sobre as pessoas que natildeo usam os serviccedilos de sauacutede e podem ser utentes em potencial
Natildeo fornecem informaccedilotildees sobre valores percepccedilotildees ou comportamentos da comunidade
Natildeo reflectem as pessoas que optam por fontes privadas de serviccedilos
Podem ser inexactas se os locais de prestaccedilatildeo de serviccedilos natildeo registarem os dados correctamente de forma legiacutevel e em tempo haacutebil
Inqueacuteritos de grande escala Inqueacuteritos de base populacional e avaliaccedilotildees de grande escala dos centros de sauacutede
Dados relevantes precisos e confiaacuteveis
Podem medir as tendecircncias nacionais de sauacutede identificar aacutereas com problemas e ajudar a concentrar os recursos do paiacutes em aacutereas de maior carecircncia
Geram valores meacutedios para as aacutereas urbanas e rurais regiotildees e proviacutencias
Fornecem um contexto para interpretar os dados recolhidos localmente
Podem gerar informaccedilotildees adicionais a partir dos seus conjuntos de dados informatizados
Geralmente natildeo podem desagregar os dados para fornecer meacutedias para as aacutereas sub-regionais (distritos ou municipalidades)
Geralmente natildeo satildeo realizadas anualmente os dados se tornam desactualizados rapidamente se as populaccedilotildees ou condiccedilotildees de sauacutede se modificarem rapidamente
Avaliaccedilotildees raacutepidas Meacutetodos focados para avaliar as necessidades locais e tomar decisotildees em acircmbito local
Raacutepidas e econoacutemicas
Resultam em acccedilatildeo local
Haacute directrizes para ajudar os gestores em vaacuterias dessas teacutecnicas
Fornecem aos gestores a capacidade de recolher os dados necessaacuterios
Os inqueacuteritos domiciliares (por ex LQAS ou CAP) podem obter precisatildeo suficiente para fins de avaliaccedilatildeo
Equilibra a necessidade de resultados representativos e objectivos com a necessidade de usar projectos levemente menos rigorosos que satildeo mais viaacuteveis em aacutereas locais
Usam escala e acircmbito reduzidos para produzir resultados em tempo haacutebil e de baixo custo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 937
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
dados que foram discutidas acima estatiacutesticas rotineiras de serviccedilos inqueacuteritos em grande escala e teacutecnicas de avaliaccedilatildeo raacutepida
Que niacutevel de qualidade os dados do SIS precisam ter para serem uacuteteis ndash que niacutevel de abrangecircncia precisatildeo e apresentaccedilatildeo em tempo haacutebil Para as suas necessidades de gestatildeo mesmo que natildeo sejam perfeitos os dados podem ser suficientemente bons para ter um efeito poderoso como nos mostra o exemplo de Madagascar
Dados do SIS pontos fortes e limitaccedilotildees
Subestimar o valor e a utilidade do SIS eacute infelizmente uma tendecircncia Eacute verdade que o SIS tem problemas frequentemente mas tambeacutem eacute grande o seu potencial Como vimos em
Como usar e melhorar dados imperfeitos do SIS ndash Um exemplo de Madagascar
Um SIS de base comunitaacuteria mais preciso e mais oportuno Um projecto de Madagascar implementou um meacutetodo baseado na comunidade para aumentar o uso de meacutetodos de planeamento familiar denominado ldquoComunidades Campeatildesrdquo em 50 dos 110 distritos do paiacutes O meacutetodo utilizou exclusivamente os dados do SIS para monitorar e avaliar as realizaccedilotildees das comunidades participantes
Em primeiro lugar foi estabelecida uma base de referecircncia para cada comunidade ao usar os dados do seu centro de sauacutede Em seguida o pessoal do centro de sauacutede e os representantes da comunidade identificaram metas para 10 indicadores que determinariam se uma comunidade tinha alcanccedilado a posiccedilatildeo de campeatilde apoacutes 12 meses de implementaccedilatildeo Cada comunidade monitorava seu proacuteprio progresso em uma reuniatildeo trimestral de verificaccedilatildeo
Apoacutes 12 meses o pessoal do projecto voltou a cada comunidade para avaliar os resultados Examinaram os dados do relatoacuterio de monitoria de rotina de cada centro de sauacutede e para cada indicador Prepararam tambeacutem um relatoacuterio sobre os dados de cada comunidade e o enviaram para o supervisor de niacutevel distrital para a sua confirmaccedilatildeo com base nos registos informatizados do distrito As fontes de dados para os relatoacuterios do centro de sauacutede e registos de distrito foram as mesmas (registos dos centros de sauacutede) e por isso raramente ocorreu uma discrepacircncia Mas o que interessava era envolver o supervisor distrital no exame dos dados do centro de sauacutede para mostrar a utilidade de se usar ateacute mesmo dados simples nesse niacutevel
O projecto tambeacutem cooperou com o Ministeacuterio da Sauacutede a niacutevel distrital para melhorar a precisatildeo a abrangecircncia e a prontidatildeo do SIS A ecircnfase era obter dados mais completos dos centros de sauacutede e reduzir o tempo gasto pelo escritoacuterio distrital para receber o relatoacuterio do centro de sauacutede apreciaacute-lo devolvecirc-lo ao centro para qualquer correcccedilatildeo recebecirc-lo novamente dar entrada dos dados no sistema e finalmente enviaacute-los ao niacutevel central Os distritos satildeo responsaacuteveis por cooperar com os centros de sauacutede para melhorar o registo de dados e actualizar suas proacuteprias teacutecnicas de processamento de dados
Apoacutes dois anos de assistecircncia teacutecnica o SIS tinha realmente melhorado segundo os indicadores de precisatildeo abrangecircncia e prontidatildeo As melhorias mais notaacuteveis foram em prontidatildeo o tempo gasto pelo escritoacuterio distrital no processo descrito acima reduziu-se de 12 para 3 meses
Imperfeitas mais mesmo assim valiosos Deve-se lembrar que o projecto ldquoComunidades Campeatildesrdquo teve oacuteptimo resultado apesar dos dados imperfeitos Seu numerador (o nuacutemero de utentes regulares de planeamento familiar) era detalhado e preciso Mas suas estimativas das taxas de prevalecircncia do uso de contraceptivos natildeo eram muito precisas porque o denominador (nuacutemero de mulheres em idade reprodutiva) era apenas uma estimativa baseada num censo desactualizado e em estimativas anuais do governo sobre percentagens de crescimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 938
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Madagascar o projecto Comunidades Campeatildes melhorou o sistema substancialmente num periacuteodo de dois anos Nesse caso o sistema jaacute se encontrava relativamente funcional porque projectos anteriores haviam feito um grande esforccedilo para implantar o sistema e tornaacute-lo mais soacutelido Ao aprimorar a forma como o sistema era administrado e os dados eram usados o projecto posterior conseguiu fazer uma grande diferenccedila por meio de pequenas modificaccedilotildees
Os dados do SIS natildeo satildeo 100 exactos e nunca seratildeo Esta eacute a realidade com a qual todos os gestores tecircm que trabalhar Mas os dados natildeo precisam ser perfeitos para serem uacuteteis Eacute possiacutevel fazer a monitoria e a gestatildeo com dados imperfeitos Informaccedilotildees obtidas em tempo
(continuaccedilatildeo)
No entanto o projecto constatou que as taxas de prevalecircncia de uso de contraceptivos eram suficientemente boas para acompanhar o desempenho das comunidades que participavam do meacutetodo de Comunidades Campeatildes O pessoal do projecto tambeacutem complementou as comparaccedilotildees dessas taxas com as comparaccedilotildees dos valores do numerador nuacutemeros simples que faziam sentido para o pessoal do centro de sauacutede e tambeacutem para as comunidades
O niacutevel central comeccedilou a organizar workshops regionais trimestrais para divulgar os resultados ao niacutevel distrital Juntos os gestores dos niacuteveis distritais regionais e centrais analisaram o progresso e classificaram os distritos com base no seu desempenho Usaram a anaacutelise de causa-raiz ndash um processo que identifica as causas subjacentes de um problema ndash para entender os obstaacuteculos enfrentados pelos distritos que apresentavam baixo desempenho (Consulte o Apecircndice A no Capiacutetulo 2 deste guia para obter mais informaccedilotildees sobre a anaacutelise de causa-raiz) Finalmente o Ministeacuterio de Sauacutede mobilizou o apoio de agecircncias doadoras e de organizaccedilotildees parceiras para ajudaacute-los a melhorar
O ministeacuterio comeccedilou a usar as informaccedilotildees de sauacutede para administrar realmente o sistema de sauacutede Antes dessa intervenccedilatildeo poucas organizaccedilotildees confiavam ou utilizavam os dados do SIS Mas quando ficou claro que o sistema funcionava as agecircncias doadoras passaram a confiar as organizaccedilotildees parceiras passaram a utilizaacute-lo e o ministeacuterio se orgulhou do trabalho Pela primeira vez tinham uma visatildeo mais niacutetida do que acontecia em todo o paiacutes e podiam usar essas informaccedilotildees para buscar o apoio de agecircncias doadoras se necessaacuterio
Do mesmo modo os centros de sauacutede raramente usavam seus proacuteprios dados Eles simplesmente faziam os registos e os enviavam para o escritoacuterio distrital sem nem mesmo receber retroinformaccedilatildeo do mesmo Apoacutes a conclusatildeo do projecto perceberam como os dados mais precisos podiam ser usados em seu benefiacutecio e das comunidades
Os distritos tambeacutem actuavam antes de uma forma pouco informada Cada distrito dependia apenas dos seus proacuteprios dados e funcionava num vaacutecuo As mudanccedilas no SIS e o encorajamento do governo central forneceram aos distritos oportunidades para comparar seu trabalho e aprender uns com os outros
Aprendizagem com dados mais precisos completos e oportunos Os dados satildeo geralmente utilizados para fazer comparaccedilotildees mas satildeo menos frequentemente utilizados como ferramenta de aprendizagem Nesse caso depois que os relatoacuterios comeccedilaram a chegar dentro do prazo o Ministeacuterio da Sauacutede usou os dados ndash inclusive dados imperfeitos ndash para descobrir que distritos tinham um desempenho ruim e que distritos estavam melhor que os outros Assim aprenderam com os de melhor desempenho ao perguntar Por que seus resultados satildeo tatildeo bons O que estavam a fazer de diferente O que poderia ser replicado Finalmente aplicaram a aprendizagem ao usar esses distritos como modelos e ao oferecer mais apoio aos de pior desempenho
Todo o sistema de sauacutede se entusiasmou com as informaccedilotildees que podiam produzir e usar A comeccedilar do topo esse entusiasmo chegou aos niacuteveis inferiores e os motivou a melhorar sua recolha e processamento de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 939
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
haacutebil e com 75 de precisatildeo satildeo melhores que as informaccedilotildees com 95 de precisatildeo que chegam com vaacuterios meses de atraso
Apesar do seu grande valor por si soacutes os dados do SIS natildeo atenderatildeo a todas as necessidades de informaccedilatildeo de muitas organizaccedilotildees Algumas organizaccedilotildees e agecircncias doadoras precisam de dados que exigem avaliaccedilotildees ou sistemas especiais Aleacutem disso vaacuterias intervenccedilotildees foram projectadas para modificar o conhecimento as atitudes e as praacuteticas dos beneficiaacuterios factores que natildeo satildeo capturados nos dados de serviccedilo Eacute importante usar os dados do SIS sempre que possiacutevel e complementaacute-los com avaliaccedilotildees locais quando necessaacuterio
Como gestor de um programa de sauacutede ou de serviccedilos de sauacutede parte do seu trabalho deveria ser o de melhorar o SIS em seu paiacutes Ele eacute o uacutenico sistema de informaccedilotildees sustentaacutevel na maioria dos paiacuteses Os sistemas de informaccedilatildeo criados e mantidos por agecircncias doadoras ou organizaccedilotildees externas tecircm duraccedilatildeo limitada mas o SIS eacute parte permanente do seu legado
Se todos os parceiros e agecircncias doadoras trabalharem com o Ministeacuterio de Sauacutede para prestar assistecircncia teacutecnica e financeira ao SIS ele poderaacute render informaccedilotildees que trazem grandes melhorias para os serviccedilos de sauacutede e que justificam plenamente o investimento no mesmo
Praacuteticas comprovadas
Um sistema de MampA deveria proporcionar aos gestores o que eles precisam saber para agir Deve se basear em indicadores relevantes faacuteceis de usar e que possam ser fornecidos em tempo haacutebil para os ciclos de planeamento e apresentaccedilatildeo de relatoacuterios
Os resultados de MampA natildeo se destinam apenas ao pessoal de MampA da sua organizaccedilatildeo ou agrave agecircncia doadora As informaccedilotildees de MampA satildeo um recurso fundamental para as acccedilotildees e a aprendizagem Se o seu processo de MampA tiver mecanismos de retroinformaccedilatildeo que permitam aos tomadores de decisotildees reflectirem sobre os resultados e absorverem o que precisam para seus proacuteprios fins eles assumiratildeo o controlo do processo e utilizaratildeo o que ele oferecer
Se vocecirc define suas actividades de MampA no comeccedilo de uma intervenccedilatildeo ou projecto junto com o plano de acccedilatildeo para o projecto teraacute mais oportunidades de orientar e acompanhar a implementaccedilatildeo das actividades
Quando satildeo demasiado elaborados e complicados os planos de MampA natildeo satildeo usados Elabore um plano de MampA simples escolha ferramentas de monitoria faacuteceis de usar e seleccione a menor quantidade possiacutevel de indicadores para acompanhar o progresso e introduzir as mudanccedilas necessaacuterias ao longo do caminho
Para fortalecer um SIS eacute preciso trabalhar com as pessoas envolvidas os responsaacuteveis pelo sistema que registam transferem analisam comunicam e utilizam os dados e as informaccedilotildees para a gestatildeo dos serviccedilos
Ao fornecer os dados do SIS para os tomadores de decisotildees vocecirc deve reconhecer as diferenccedilas na frequecircncia dos relatoacuterios e nas quantidades de dados agregados e desagregados necessaacuterios aos niacuteveis diferentes de governo ou agraves organizaccedilotildees natildeo governamentais
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 935
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Meacutetodos participativos (tambeacutem chamados de aprendizagem e acccedilatildeo participativas) Essas teacutecnicas e meacutetodos visam incorporar o conhecimento e as opiniotildees dos membros da comunidade no planeamento e gestatildeo de projectos de desenvolvimento no esforccedilo para influenciar as poliacuteticas e na implementaccedilatildeo de programas Eles permitem incluir vozes da comunidade nas poliacuteticas no planeamento e nos inqueacuteritos e criam um senso de propriedade e participaccedilatildeo nos resultados de MampA e nas recomendaccedilotildees feitas pela organizaccedilatildeo e por seus beneficiaacuterios
Ao contraacuterio de outras teacutecnicas de avaliaccedilatildeo raacutepida os meacutetodos participativos natildeo se baseiam em amostragens Eles usam entrevistas individuais ou com informantes essenciais (inclusive entrevistas com utentes ao saiacuterem de suas consultas) entrevistas em grupo estudos de caso e outros meacutetodos qualitativos para identificar as condiccedilotildees locais e entender as perspectivas e prioridades locais
Em vaacuterios locais haacute membros da comunidade que natildeo podem ler nem escrever e por isso os meacutetodos participativos dependem frequentemente da comunicaccedilatildeo oral com apoio de imagens siacutembolos objectos fiacutesicos e memoacuteria colectiva
Os meacutetodos participativos podem ser usados antes durante e apoacutes a implementaccedilatildeo de uma intervenccedilatildeo ou um conjunto de actividades Eles fornecem informaccedilotildees para o projecto e a avaliaccedilatildeo e permitem a participaccedilatildeo activa das partes interessadas na tomada de decisotildees Durante a implementaccedilatildeo os meacutetodos participativos satildeo uacuteteis para identificar e solucionar problemas
Aproveite para examinar e utilizar uma lista de recursos online sobre inqueacuterito qualitativo e directrizes sobre discussotildees em grupos de enfoque no Community Tool Box da Universidade de Kansas
Inqueacuteritos raacutepidos por amostragem Estes inqueacuteritos podem ser utilizados para recolher informaccedilotildees padronizadas de uma amostra pequena e cuidadosamente seleccionada de pessoas ou domiciacutelios em uma aacuterea beneficiaacuteria Eles podem descrever as condiccedilotildees em uma comunidade particular ou grupo-alvo e permitem comparar grupos diferentes em um determinado momento ou mudanccedilas no mesmo grupo ao longo do tempo Permitem tambeacutem comparar condiccedilotildees actuais com os resultados planeados
Um dos inqueacuteritos mais comuns de pequena amostragem eacute o inqueacuterito CAP (Conhecimentos Atitudes e Praacuteticas) baseado em uma amostra de 30 agrupamentos
Amostragem para Garantia de Qualidade de Lotes (Lot Quality Sampling - LQAS) Essa eacute outra teacutecnica de avaliaccedilatildeo raacutepida que se usa cada vez mais na aacuterea de sauacutede puacuteblica A LQAS utiliza amostragens muito pequenas para obter informaccedilotildees confiaacuteveis em uma pequena aacuterea geograacutefica ou unidade administrativa Pode ser usada para detectar de forma precisa os extremos do desempenho ndash para determinar se uma intervenccedilatildeo foi mais aleacutem de um limiar superior de desempenho ou natildeo conseguiu atingir um limiar inferior de desempenho em termos de qualidade ou cobertura As amostras de lotes podem tambeacutem ser combinadas para fornecer estimativas de cobertura em uma aacuterea geograacutefica mais ampla
Uma busca na Web revelaraacute recursos uacuteteis aqui temos um sobre os inqueacuteritos CAP e outro sobre LQAS A aacuterea de MampA do website do CORE Group inclui ligaccedilotildees com ferramentas e recursos importantes para a avaliaccedilatildeo raacutepida criados pelo Grupo de Trabalho de MampA do CORE Group
Como gestor deve revisar todas as fontes de dados jaacute existentes antes de planear a sua avaliaccedilatildeo A Tabela 7 apresenta as vantagens e desvantagens das trecircs principais fontes de
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 936
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 7 Resumo das trecircs fontes de dados mais comuns para uma avaliaccedilatildeo
Fonte de dados Vantagens Limitaccedilotildees
Estatiacutesticas de serviccedilo Dados sobre a populaccedilatildeo de utentes e serviccedilos cliacutenicos que satildeo recolhidos rotineiramente nos registos dos utentes e nos registos cliacutenicos
Disponiacuteveis imediatamente
Cobrem todos os tipos de serviccedilos de sauacutede e todas as aacutereas do paiacutes
Podem ser desagregados para os niacuteveis local e de distrito
Uso econoacutemico
Soacute lhe informam sobre clientes actuais sem informaccedilotildees sobre as pessoas que natildeo usam os serviccedilos de sauacutede e podem ser utentes em potencial
Natildeo fornecem informaccedilotildees sobre valores percepccedilotildees ou comportamentos da comunidade
Natildeo reflectem as pessoas que optam por fontes privadas de serviccedilos
Podem ser inexactas se os locais de prestaccedilatildeo de serviccedilos natildeo registarem os dados correctamente de forma legiacutevel e em tempo haacutebil
Inqueacuteritos de grande escala Inqueacuteritos de base populacional e avaliaccedilotildees de grande escala dos centros de sauacutede
Dados relevantes precisos e confiaacuteveis
Podem medir as tendecircncias nacionais de sauacutede identificar aacutereas com problemas e ajudar a concentrar os recursos do paiacutes em aacutereas de maior carecircncia
Geram valores meacutedios para as aacutereas urbanas e rurais regiotildees e proviacutencias
Fornecem um contexto para interpretar os dados recolhidos localmente
Podem gerar informaccedilotildees adicionais a partir dos seus conjuntos de dados informatizados
Geralmente natildeo podem desagregar os dados para fornecer meacutedias para as aacutereas sub-regionais (distritos ou municipalidades)
Geralmente natildeo satildeo realizadas anualmente os dados se tornam desactualizados rapidamente se as populaccedilotildees ou condiccedilotildees de sauacutede se modificarem rapidamente
Avaliaccedilotildees raacutepidas Meacutetodos focados para avaliar as necessidades locais e tomar decisotildees em acircmbito local
Raacutepidas e econoacutemicas
Resultam em acccedilatildeo local
Haacute directrizes para ajudar os gestores em vaacuterias dessas teacutecnicas
Fornecem aos gestores a capacidade de recolher os dados necessaacuterios
Os inqueacuteritos domiciliares (por ex LQAS ou CAP) podem obter precisatildeo suficiente para fins de avaliaccedilatildeo
Equilibra a necessidade de resultados representativos e objectivos com a necessidade de usar projectos levemente menos rigorosos que satildeo mais viaacuteveis em aacutereas locais
Usam escala e acircmbito reduzidos para produzir resultados em tempo haacutebil e de baixo custo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 937
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
dados que foram discutidas acima estatiacutesticas rotineiras de serviccedilos inqueacuteritos em grande escala e teacutecnicas de avaliaccedilatildeo raacutepida
Que niacutevel de qualidade os dados do SIS precisam ter para serem uacuteteis ndash que niacutevel de abrangecircncia precisatildeo e apresentaccedilatildeo em tempo haacutebil Para as suas necessidades de gestatildeo mesmo que natildeo sejam perfeitos os dados podem ser suficientemente bons para ter um efeito poderoso como nos mostra o exemplo de Madagascar
Dados do SIS pontos fortes e limitaccedilotildees
Subestimar o valor e a utilidade do SIS eacute infelizmente uma tendecircncia Eacute verdade que o SIS tem problemas frequentemente mas tambeacutem eacute grande o seu potencial Como vimos em
Como usar e melhorar dados imperfeitos do SIS ndash Um exemplo de Madagascar
Um SIS de base comunitaacuteria mais preciso e mais oportuno Um projecto de Madagascar implementou um meacutetodo baseado na comunidade para aumentar o uso de meacutetodos de planeamento familiar denominado ldquoComunidades Campeatildesrdquo em 50 dos 110 distritos do paiacutes O meacutetodo utilizou exclusivamente os dados do SIS para monitorar e avaliar as realizaccedilotildees das comunidades participantes
Em primeiro lugar foi estabelecida uma base de referecircncia para cada comunidade ao usar os dados do seu centro de sauacutede Em seguida o pessoal do centro de sauacutede e os representantes da comunidade identificaram metas para 10 indicadores que determinariam se uma comunidade tinha alcanccedilado a posiccedilatildeo de campeatilde apoacutes 12 meses de implementaccedilatildeo Cada comunidade monitorava seu proacuteprio progresso em uma reuniatildeo trimestral de verificaccedilatildeo
Apoacutes 12 meses o pessoal do projecto voltou a cada comunidade para avaliar os resultados Examinaram os dados do relatoacuterio de monitoria de rotina de cada centro de sauacutede e para cada indicador Prepararam tambeacutem um relatoacuterio sobre os dados de cada comunidade e o enviaram para o supervisor de niacutevel distrital para a sua confirmaccedilatildeo com base nos registos informatizados do distrito As fontes de dados para os relatoacuterios do centro de sauacutede e registos de distrito foram as mesmas (registos dos centros de sauacutede) e por isso raramente ocorreu uma discrepacircncia Mas o que interessava era envolver o supervisor distrital no exame dos dados do centro de sauacutede para mostrar a utilidade de se usar ateacute mesmo dados simples nesse niacutevel
O projecto tambeacutem cooperou com o Ministeacuterio da Sauacutede a niacutevel distrital para melhorar a precisatildeo a abrangecircncia e a prontidatildeo do SIS A ecircnfase era obter dados mais completos dos centros de sauacutede e reduzir o tempo gasto pelo escritoacuterio distrital para receber o relatoacuterio do centro de sauacutede apreciaacute-lo devolvecirc-lo ao centro para qualquer correcccedilatildeo recebecirc-lo novamente dar entrada dos dados no sistema e finalmente enviaacute-los ao niacutevel central Os distritos satildeo responsaacuteveis por cooperar com os centros de sauacutede para melhorar o registo de dados e actualizar suas proacuteprias teacutecnicas de processamento de dados
Apoacutes dois anos de assistecircncia teacutecnica o SIS tinha realmente melhorado segundo os indicadores de precisatildeo abrangecircncia e prontidatildeo As melhorias mais notaacuteveis foram em prontidatildeo o tempo gasto pelo escritoacuterio distrital no processo descrito acima reduziu-se de 12 para 3 meses
Imperfeitas mais mesmo assim valiosos Deve-se lembrar que o projecto ldquoComunidades Campeatildesrdquo teve oacuteptimo resultado apesar dos dados imperfeitos Seu numerador (o nuacutemero de utentes regulares de planeamento familiar) era detalhado e preciso Mas suas estimativas das taxas de prevalecircncia do uso de contraceptivos natildeo eram muito precisas porque o denominador (nuacutemero de mulheres em idade reprodutiva) era apenas uma estimativa baseada num censo desactualizado e em estimativas anuais do governo sobre percentagens de crescimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 938
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Madagascar o projecto Comunidades Campeatildes melhorou o sistema substancialmente num periacuteodo de dois anos Nesse caso o sistema jaacute se encontrava relativamente funcional porque projectos anteriores haviam feito um grande esforccedilo para implantar o sistema e tornaacute-lo mais soacutelido Ao aprimorar a forma como o sistema era administrado e os dados eram usados o projecto posterior conseguiu fazer uma grande diferenccedila por meio de pequenas modificaccedilotildees
Os dados do SIS natildeo satildeo 100 exactos e nunca seratildeo Esta eacute a realidade com a qual todos os gestores tecircm que trabalhar Mas os dados natildeo precisam ser perfeitos para serem uacuteteis Eacute possiacutevel fazer a monitoria e a gestatildeo com dados imperfeitos Informaccedilotildees obtidas em tempo
(continuaccedilatildeo)
No entanto o projecto constatou que as taxas de prevalecircncia de uso de contraceptivos eram suficientemente boas para acompanhar o desempenho das comunidades que participavam do meacutetodo de Comunidades Campeatildes O pessoal do projecto tambeacutem complementou as comparaccedilotildees dessas taxas com as comparaccedilotildees dos valores do numerador nuacutemeros simples que faziam sentido para o pessoal do centro de sauacutede e tambeacutem para as comunidades
O niacutevel central comeccedilou a organizar workshops regionais trimestrais para divulgar os resultados ao niacutevel distrital Juntos os gestores dos niacuteveis distritais regionais e centrais analisaram o progresso e classificaram os distritos com base no seu desempenho Usaram a anaacutelise de causa-raiz ndash um processo que identifica as causas subjacentes de um problema ndash para entender os obstaacuteculos enfrentados pelos distritos que apresentavam baixo desempenho (Consulte o Apecircndice A no Capiacutetulo 2 deste guia para obter mais informaccedilotildees sobre a anaacutelise de causa-raiz) Finalmente o Ministeacuterio de Sauacutede mobilizou o apoio de agecircncias doadoras e de organizaccedilotildees parceiras para ajudaacute-los a melhorar
O ministeacuterio comeccedilou a usar as informaccedilotildees de sauacutede para administrar realmente o sistema de sauacutede Antes dessa intervenccedilatildeo poucas organizaccedilotildees confiavam ou utilizavam os dados do SIS Mas quando ficou claro que o sistema funcionava as agecircncias doadoras passaram a confiar as organizaccedilotildees parceiras passaram a utilizaacute-lo e o ministeacuterio se orgulhou do trabalho Pela primeira vez tinham uma visatildeo mais niacutetida do que acontecia em todo o paiacutes e podiam usar essas informaccedilotildees para buscar o apoio de agecircncias doadoras se necessaacuterio
Do mesmo modo os centros de sauacutede raramente usavam seus proacuteprios dados Eles simplesmente faziam os registos e os enviavam para o escritoacuterio distrital sem nem mesmo receber retroinformaccedilatildeo do mesmo Apoacutes a conclusatildeo do projecto perceberam como os dados mais precisos podiam ser usados em seu benefiacutecio e das comunidades
Os distritos tambeacutem actuavam antes de uma forma pouco informada Cada distrito dependia apenas dos seus proacuteprios dados e funcionava num vaacutecuo As mudanccedilas no SIS e o encorajamento do governo central forneceram aos distritos oportunidades para comparar seu trabalho e aprender uns com os outros
Aprendizagem com dados mais precisos completos e oportunos Os dados satildeo geralmente utilizados para fazer comparaccedilotildees mas satildeo menos frequentemente utilizados como ferramenta de aprendizagem Nesse caso depois que os relatoacuterios comeccedilaram a chegar dentro do prazo o Ministeacuterio da Sauacutede usou os dados ndash inclusive dados imperfeitos ndash para descobrir que distritos tinham um desempenho ruim e que distritos estavam melhor que os outros Assim aprenderam com os de melhor desempenho ao perguntar Por que seus resultados satildeo tatildeo bons O que estavam a fazer de diferente O que poderia ser replicado Finalmente aplicaram a aprendizagem ao usar esses distritos como modelos e ao oferecer mais apoio aos de pior desempenho
Todo o sistema de sauacutede se entusiasmou com as informaccedilotildees que podiam produzir e usar A comeccedilar do topo esse entusiasmo chegou aos niacuteveis inferiores e os motivou a melhorar sua recolha e processamento de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 939
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
haacutebil e com 75 de precisatildeo satildeo melhores que as informaccedilotildees com 95 de precisatildeo que chegam com vaacuterios meses de atraso
Apesar do seu grande valor por si soacutes os dados do SIS natildeo atenderatildeo a todas as necessidades de informaccedilatildeo de muitas organizaccedilotildees Algumas organizaccedilotildees e agecircncias doadoras precisam de dados que exigem avaliaccedilotildees ou sistemas especiais Aleacutem disso vaacuterias intervenccedilotildees foram projectadas para modificar o conhecimento as atitudes e as praacuteticas dos beneficiaacuterios factores que natildeo satildeo capturados nos dados de serviccedilo Eacute importante usar os dados do SIS sempre que possiacutevel e complementaacute-los com avaliaccedilotildees locais quando necessaacuterio
Como gestor de um programa de sauacutede ou de serviccedilos de sauacutede parte do seu trabalho deveria ser o de melhorar o SIS em seu paiacutes Ele eacute o uacutenico sistema de informaccedilotildees sustentaacutevel na maioria dos paiacuteses Os sistemas de informaccedilatildeo criados e mantidos por agecircncias doadoras ou organizaccedilotildees externas tecircm duraccedilatildeo limitada mas o SIS eacute parte permanente do seu legado
Se todos os parceiros e agecircncias doadoras trabalharem com o Ministeacuterio de Sauacutede para prestar assistecircncia teacutecnica e financeira ao SIS ele poderaacute render informaccedilotildees que trazem grandes melhorias para os serviccedilos de sauacutede e que justificam plenamente o investimento no mesmo
Praacuteticas comprovadas
Um sistema de MampA deveria proporcionar aos gestores o que eles precisam saber para agir Deve se basear em indicadores relevantes faacuteceis de usar e que possam ser fornecidos em tempo haacutebil para os ciclos de planeamento e apresentaccedilatildeo de relatoacuterios
Os resultados de MampA natildeo se destinam apenas ao pessoal de MampA da sua organizaccedilatildeo ou agrave agecircncia doadora As informaccedilotildees de MampA satildeo um recurso fundamental para as acccedilotildees e a aprendizagem Se o seu processo de MampA tiver mecanismos de retroinformaccedilatildeo que permitam aos tomadores de decisotildees reflectirem sobre os resultados e absorverem o que precisam para seus proacuteprios fins eles assumiratildeo o controlo do processo e utilizaratildeo o que ele oferecer
Se vocecirc define suas actividades de MampA no comeccedilo de uma intervenccedilatildeo ou projecto junto com o plano de acccedilatildeo para o projecto teraacute mais oportunidades de orientar e acompanhar a implementaccedilatildeo das actividades
Quando satildeo demasiado elaborados e complicados os planos de MampA natildeo satildeo usados Elabore um plano de MampA simples escolha ferramentas de monitoria faacuteceis de usar e seleccione a menor quantidade possiacutevel de indicadores para acompanhar o progresso e introduzir as mudanccedilas necessaacuterias ao longo do caminho
Para fortalecer um SIS eacute preciso trabalhar com as pessoas envolvidas os responsaacuteveis pelo sistema que registam transferem analisam comunicam e utilizam os dados e as informaccedilotildees para a gestatildeo dos serviccedilos
Ao fornecer os dados do SIS para os tomadores de decisotildees vocecirc deve reconhecer as diferenccedilas na frequecircncia dos relatoacuterios e nas quantidades de dados agregados e desagregados necessaacuterios aos niacuteveis diferentes de governo ou agraves organizaccedilotildees natildeo governamentais
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 936
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
TABELA 7 Resumo das trecircs fontes de dados mais comuns para uma avaliaccedilatildeo
Fonte de dados Vantagens Limitaccedilotildees
Estatiacutesticas de serviccedilo Dados sobre a populaccedilatildeo de utentes e serviccedilos cliacutenicos que satildeo recolhidos rotineiramente nos registos dos utentes e nos registos cliacutenicos
Disponiacuteveis imediatamente
Cobrem todos os tipos de serviccedilos de sauacutede e todas as aacutereas do paiacutes
Podem ser desagregados para os niacuteveis local e de distrito
Uso econoacutemico
Soacute lhe informam sobre clientes actuais sem informaccedilotildees sobre as pessoas que natildeo usam os serviccedilos de sauacutede e podem ser utentes em potencial
Natildeo fornecem informaccedilotildees sobre valores percepccedilotildees ou comportamentos da comunidade
Natildeo reflectem as pessoas que optam por fontes privadas de serviccedilos
Podem ser inexactas se os locais de prestaccedilatildeo de serviccedilos natildeo registarem os dados correctamente de forma legiacutevel e em tempo haacutebil
Inqueacuteritos de grande escala Inqueacuteritos de base populacional e avaliaccedilotildees de grande escala dos centros de sauacutede
Dados relevantes precisos e confiaacuteveis
Podem medir as tendecircncias nacionais de sauacutede identificar aacutereas com problemas e ajudar a concentrar os recursos do paiacutes em aacutereas de maior carecircncia
Geram valores meacutedios para as aacutereas urbanas e rurais regiotildees e proviacutencias
Fornecem um contexto para interpretar os dados recolhidos localmente
Podem gerar informaccedilotildees adicionais a partir dos seus conjuntos de dados informatizados
Geralmente natildeo podem desagregar os dados para fornecer meacutedias para as aacutereas sub-regionais (distritos ou municipalidades)
Geralmente natildeo satildeo realizadas anualmente os dados se tornam desactualizados rapidamente se as populaccedilotildees ou condiccedilotildees de sauacutede se modificarem rapidamente
Avaliaccedilotildees raacutepidas Meacutetodos focados para avaliar as necessidades locais e tomar decisotildees em acircmbito local
Raacutepidas e econoacutemicas
Resultam em acccedilatildeo local
Haacute directrizes para ajudar os gestores em vaacuterias dessas teacutecnicas
Fornecem aos gestores a capacidade de recolher os dados necessaacuterios
Os inqueacuteritos domiciliares (por ex LQAS ou CAP) podem obter precisatildeo suficiente para fins de avaliaccedilatildeo
Equilibra a necessidade de resultados representativos e objectivos com a necessidade de usar projectos levemente menos rigorosos que satildeo mais viaacuteveis em aacutereas locais
Usam escala e acircmbito reduzidos para produzir resultados em tempo haacutebil e de baixo custo
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 937
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
dados que foram discutidas acima estatiacutesticas rotineiras de serviccedilos inqueacuteritos em grande escala e teacutecnicas de avaliaccedilatildeo raacutepida
Que niacutevel de qualidade os dados do SIS precisam ter para serem uacuteteis ndash que niacutevel de abrangecircncia precisatildeo e apresentaccedilatildeo em tempo haacutebil Para as suas necessidades de gestatildeo mesmo que natildeo sejam perfeitos os dados podem ser suficientemente bons para ter um efeito poderoso como nos mostra o exemplo de Madagascar
Dados do SIS pontos fortes e limitaccedilotildees
Subestimar o valor e a utilidade do SIS eacute infelizmente uma tendecircncia Eacute verdade que o SIS tem problemas frequentemente mas tambeacutem eacute grande o seu potencial Como vimos em
Como usar e melhorar dados imperfeitos do SIS ndash Um exemplo de Madagascar
Um SIS de base comunitaacuteria mais preciso e mais oportuno Um projecto de Madagascar implementou um meacutetodo baseado na comunidade para aumentar o uso de meacutetodos de planeamento familiar denominado ldquoComunidades Campeatildesrdquo em 50 dos 110 distritos do paiacutes O meacutetodo utilizou exclusivamente os dados do SIS para monitorar e avaliar as realizaccedilotildees das comunidades participantes
Em primeiro lugar foi estabelecida uma base de referecircncia para cada comunidade ao usar os dados do seu centro de sauacutede Em seguida o pessoal do centro de sauacutede e os representantes da comunidade identificaram metas para 10 indicadores que determinariam se uma comunidade tinha alcanccedilado a posiccedilatildeo de campeatilde apoacutes 12 meses de implementaccedilatildeo Cada comunidade monitorava seu proacuteprio progresso em uma reuniatildeo trimestral de verificaccedilatildeo
Apoacutes 12 meses o pessoal do projecto voltou a cada comunidade para avaliar os resultados Examinaram os dados do relatoacuterio de monitoria de rotina de cada centro de sauacutede e para cada indicador Prepararam tambeacutem um relatoacuterio sobre os dados de cada comunidade e o enviaram para o supervisor de niacutevel distrital para a sua confirmaccedilatildeo com base nos registos informatizados do distrito As fontes de dados para os relatoacuterios do centro de sauacutede e registos de distrito foram as mesmas (registos dos centros de sauacutede) e por isso raramente ocorreu uma discrepacircncia Mas o que interessava era envolver o supervisor distrital no exame dos dados do centro de sauacutede para mostrar a utilidade de se usar ateacute mesmo dados simples nesse niacutevel
O projecto tambeacutem cooperou com o Ministeacuterio da Sauacutede a niacutevel distrital para melhorar a precisatildeo a abrangecircncia e a prontidatildeo do SIS A ecircnfase era obter dados mais completos dos centros de sauacutede e reduzir o tempo gasto pelo escritoacuterio distrital para receber o relatoacuterio do centro de sauacutede apreciaacute-lo devolvecirc-lo ao centro para qualquer correcccedilatildeo recebecirc-lo novamente dar entrada dos dados no sistema e finalmente enviaacute-los ao niacutevel central Os distritos satildeo responsaacuteveis por cooperar com os centros de sauacutede para melhorar o registo de dados e actualizar suas proacuteprias teacutecnicas de processamento de dados
Apoacutes dois anos de assistecircncia teacutecnica o SIS tinha realmente melhorado segundo os indicadores de precisatildeo abrangecircncia e prontidatildeo As melhorias mais notaacuteveis foram em prontidatildeo o tempo gasto pelo escritoacuterio distrital no processo descrito acima reduziu-se de 12 para 3 meses
Imperfeitas mais mesmo assim valiosos Deve-se lembrar que o projecto ldquoComunidades Campeatildesrdquo teve oacuteptimo resultado apesar dos dados imperfeitos Seu numerador (o nuacutemero de utentes regulares de planeamento familiar) era detalhado e preciso Mas suas estimativas das taxas de prevalecircncia do uso de contraceptivos natildeo eram muito precisas porque o denominador (nuacutemero de mulheres em idade reprodutiva) era apenas uma estimativa baseada num censo desactualizado e em estimativas anuais do governo sobre percentagens de crescimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 938
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Madagascar o projecto Comunidades Campeatildes melhorou o sistema substancialmente num periacuteodo de dois anos Nesse caso o sistema jaacute se encontrava relativamente funcional porque projectos anteriores haviam feito um grande esforccedilo para implantar o sistema e tornaacute-lo mais soacutelido Ao aprimorar a forma como o sistema era administrado e os dados eram usados o projecto posterior conseguiu fazer uma grande diferenccedila por meio de pequenas modificaccedilotildees
Os dados do SIS natildeo satildeo 100 exactos e nunca seratildeo Esta eacute a realidade com a qual todos os gestores tecircm que trabalhar Mas os dados natildeo precisam ser perfeitos para serem uacuteteis Eacute possiacutevel fazer a monitoria e a gestatildeo com dados imperfeitos Informaccedilotildees obtidas em tempo
(continuaccedilatildeo)
No entanto o projecto constatou que as taxas de prevalecircncia de uso de contraceptivos eram suficientemente boas para acompanhar o desempenho das comunidades que participavam do meacutetodo de Comunidades Campeatildes O pessoal do projecto tambeacutem complementou as comparaccedilotildees dessas taxas com as comparaccedilotildees dos valores do numerador nuacutemeros simples que faziam sentido para o pessoal do centro de sauacutede e tambeacutem para as comunidades
O niacutevel central comeccedilou a organizar workshops regionais trimestrais para divulgar os resultados ao niacutevel distrital Juntos os gestores dos niacuteveis distritais regionais e centrais analisaram o progresso e classificaram os distritos com base no seu desempenho Usaram a anaacutelise de causa-raiz ndash um processo que identifica as causas subjacentes de um problema ndash para entender os obstaacuteculos enfrentados pelos distritos que apresentavam baixo desempenho (Consulte o Apecircndice A no Capiacutetulo 2 deste guia para obter mais informaccedilotildees sobre a anaacutelise de causa-raiz) Finalmente o Ministeacuterio de Sauacutede mobilizou o apoio de agecircncias doadoras e de organizaccedilotildees parceiras para ajudaacute-los a melhorar
O ministeacuterio comeccedilou a usar as informaccedilotildees de sauacutede para administrar realmente o sistema de sauacutede Antes dessa intervenccedilatildeo poucas organizaccedilotildees confiavam ou utilizavam os dados do SIS Mas quando ficou claro que o sistema funcionava as agecircncias doadoras passaram a confiar as organizaccedilotildees parceiras passaram a utilizaacute-lo e o ministeacuterio se orgulhou do trabalho Pela primeira vez tinham uma visatildeo mais niacutetida do que acontecia em todo o paiacutes e podiam usar essas informaccedilotildees para buscar o apoio de agecircncias doadoras se necessaacuterio
Do mesmo modo os centros de sauacutede raramente usavam seus proacuteprios dados Eles simplesmente faziam os registos e os enviavam para o escritoacuterio distrital sem nem mesmo receber retroinformaccedilatildeo do mesmo Apoacutes a conclusatildeo do projecto perceberam como os dados mais precisos podiam ser usados em seu benefiacutecio e das comunidades
Os distritos tambeacutem actuavam antes de uma forma pouco informada Cada distrito dependia apenas dos seus proacuteprios dados e funcionava num vaacutecuo As mudanccedilas no SIS e o encorajamento do governo central forneceram aos distritos oportunidades para comparar seu trabalho e aprender uns com os outros
Aprendizagem com dados mais precisos completos e oportunos Os dados satildeo geralmente utilizados para fazer comparaccedilotildees mas satildeo menos frequentemente utilizados como ferramenta de aprendizagem Nesse caso depois que os relatoacuterios comeccedilaram a chegar dentro do prazo o Ministeacuterio da Sauacutede usou os dados ndash inclusive dados imperfeitos ndash para descobrir que distritos tinham um desempenho ruim e que distritos estavam melhor que os outros Assim aprenderam com os de melhor desempenho ao perguntar Por que seus resultados satildeo tatildeo bons O que estavam a fazer de diferente O que poderia ser replicado Finalmente aplicaram a aprendizagem ao usar esses distritos como modelos e ao oferecer mais apoio aos de pior desempenho
Todo o sistema de sauacutede se entusiasmou com as informaccedilotildees que podiam produzir e usar A comeccedilar do topo esse entusiasmo chegou aos niacuteveis inferiores e os motivou a melhorar sua recolha e processamento de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 939
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
haacutebil e com 75 de precisatildeo satildeo melhores que as informaccedilotildees com 95 de precisatildeo que chegam com vaacuterios meses de atraso
Apesar do seu grande valor por si soacutes os dados do SIS natildeo atenderatildeo a todas as necessidades de informaccedilatildeo de muitas organizaccedilotildees Algumas organizaccedilotildees e agecircncias doadoras precisam de dados que exigem avaliaccedilotildees ou sistemas especiais Aleacutem disso vaacuterias intervenccedilotildees foram projectadas para modificar o conhecimento as atitudes e as praacuteticas dos beneficiaacuterios factores que natildeo satildeo capturados nos dados de serviccedilo Eacute importante usar os dados do SIS sempre que possiacutevel e complementaacute-los com avaliaccedilotildees locais quando necessaacuterio
Como gestor de um programa de sauacutede ou de serviccedilos de sauacutede parte do seu trabalho deveria ser o de melhorar o SIS em seu paiacutes Ele eacute o uacutenico sistema de informaccedilotildees sustentaacutevel na maioria dos paiacuteses Os sistemas de informaccedilatildeo criados e mantidos por agecircncias doadoras ou organizaccedilotildees externas tecircm duraccedilatildeo limitada mas o SIS eacute parte permanente do seu legado
Se todos os parceiros e agecircncias doadoras trabalharem com o Ministeacuterio de Sauacutede para prestar assistecircncia teacutecnica e financeira ao SIS ele poderaacute render informaccedilotildees que trazem grandes melhorias para os serviccedilos de sauacutede e que justificam plenamente o investimento no mesmo
Praacuteticas comprovadas
Um sistema de MampA deveria proporcionar aos gestores o que eles precisam saber para agir Deve se basear em indicadores relevantes faacuteceis de usar e que possam ser fornecidos em tempo haacutebil para os ciclos de planeamento e apresentaccedilatildeo de relatoacuterios
Os resultados de MampA natildeo se destinam apenas ao pessoal de MampA da sua organizaccedilatildeo ou agrave agecircncia doadora As informaccedilotildees de MampA satildeo um recurso fundamental para as acccedilotildees e a aprendizagem Se o seu processo de MampA tiver mecanismos de retroinformaccedilatildeo que permitam aos tomadores de decisotildees reflectirem sobre os resultados e absorverem o que precisam para seus proacuteprios fins eles assumiratildeo o controlo do processo e utilizaratildeo o que ele oferecer
Se vocecirc define suas actividades de MampA no comeccedilo de uma intervenccedilatildeo ou projecto junto com o plano de acccedilatildeo para o projecto teraacute mais oportunidades de orientar e acompanhar a implementaccedilatildeo das actividades
Quando satildeo demasiado elaborados e complicados os planos de MampA natildeo satildeo usados Elabore um plano de MampA simples escolha ferramentas de monitoria faacuteceis de usar e seleccione a menor quantidade possiacutevel de indicadores para acompanhar o progresso e introduzir as mudanccedilas necessaacuterias ao longo do caminho
Para fortalecer um SIS eacute preciso trabalhar com as pessoas envolvidas os responsaacuteveis pelo sistema que registam transferem analisam comunicam e utilizam os dados e as informaccedilotildees para a gestatildeo dos serviccedilos
Ao fornecer os dados do SIS para os tomadores de decisotildees vocecirc deve reconhecer as diferenccedilas na frequecircncia dos relatoacuterios e nas quantidades de dados agregados e desagregados necessaacuterios aos niacuteveis diferentes de governo ou agraves organizaccedilotildees natildeo governamentais
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 937
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
dados que foram discutidas acima estatiacutesticas rotineiras de serviccedilos inqueacuteritos em grande escala e teacutecnicas de avaliaccedilatildeo raacutepida
Que niacutevel de qualidade os dados do SIS precisam ter para serem uacuteteis ndash que niacutevel de abrangecircncia precisatildeo e apresentaccedilatildeo em tempo haacutebil Para as suas necessidades de gestatildeo mesmo que natildeo sejam perfeitos os dados podem ser suficientemente bons para ter um efeito poderoso como nos mostra o exemplo de Madagascar
Dados do SIS pontos fortes e limitaccedilotildees
Subestimar o valor e a utilidade do SIS eacute infelizmente uma tendecircncia Eacute verdade que o SIS tem problemas frequentemente mas tambeacutem eacute grande o seu potencial Como vimos em
Como usar e melhorar dados imperfeitos do SIS ndash Um exemplo de Madagascar
Um SIS de base comunitaacuteria mais preciso e mais oportuno Um projecto de Madagascar implementou um meacutetodo baseado na comunidade para aumentar o uso de meacutetodos de planeamento familiar denominado ldquoComunidades Campeatildesrdquo em 50 dos 110 distritos do paiacutes O meacutetodo utilizou exclusivamente os dados do SIS para monitorar e avaliar as realizaccedilotildees das comunidades participantes
Em primeiro lugar foi estabelecida uma base de referecircncia para cada comunidade ao usar os dados do seu centro de sauacutede Em seguida o pessoal do centro de sauacutede e os representantes da comunidade identificaram metas para 10 indicadores que determinariam se uma comunidade tinha alcanccedilado a posiccedilatildeo de campeatilde apoacutes 12 meses de implementaccedilatildeo Cada comunidade monitorava seu proacuteprio progresso em uma reuniatildeo trimestral de verificaccedilatildeo
Apoacutes 12 meses o pessoal do projecto voltou a cada comunidade para avaliar os resultados Examinaram os dados do relatoacuterio de monitoria de rotina de cada centro de sauacutede e para cada indicador Prepararam tambeacutem um relatoacuterio sobre os dados de cada comunidade e o enviaram para o supervisor de niacutevel distrital para a sua confirmaccedilatildeo com base nos registos informatizados do distrito As fontes de dados para os relatoacuterios do centro de sauacutede e registos de distrito foram as mesmas (registos dos centros de sauacutede) e por isso raramente ocorreu uma discrepacircncia Mas o que interessava era envolver o supervisor distrital no exame dos dados do centro de sauacutede para mostrar a utilidade de se usar ateacute mesmo dados simples nesse niacutevel
O projecto tambeacutem cooperou com o Ministeacuterio da Sauacutede a niacutevel distrital para melhorar a precisatildeo a abrangecircncia e a prontidatildeo do SIS A ecircnfase era obter dados mais completos dos centros de sauacutede e reduzir o tempo gasto pelo escritoacuterio distrital para receber o relatoacuterio do centro de sauacutede apreciaacute-lo devolvecirc-lo ao centro para qualquer correcccedilatildeo recebecirc-lo novamente dar entrada dos dados no sistema e finalmente enviaacute-los ao niacutevel central Os distritos satildeo responsaacuteveis por cooperar com os centros de sauacutede para melhorar o registo de dados e actualizar suas proacuteprias teacutecnicas de processamento de dados
Apoacutes dois anos de assistecircncia teacutecnica o SIS tinha realmente melhorado segundo os indicadores de precisatildeo abrangecircncia e prontidatildeo As melhorias mais notaacuteveis foram em prontidatildeo o tempo gasto pelo escritoacuterio distrital no processo descrito acima reduziu-se de 12 para 3 meses
Imperfeitas mais mesmo assim valiosos Deve-se lembrar que o projecto ldquoComunidades Campeatildesrdquo teve oacuteptimo resultado apesar dos dados imperfeitos Seu numerador (o nuacutemero de utentes regulares de planeamento familiar) era detalhado e preciso Mas suas estimativas das taxas de prevalecircncia do uso de contraceptivos natildeo eram muito precisas porque o denominador (nuacutemero de mulheres em idade reprodutiva) era apenas uma estimativa baseada num censo desactualizado e em estimativas anuais do governo sobre percentagens de crescimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 938
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Madagascar o projecto Comunidades Campeatildes melhorou o sistema substancialmente num periacuteodo de dois anos Nesse caso o sistema jaacute se encontrava relativamente funcional porque projectos anteriores haviam feito um grande esforccedilo para implantar o sistema e tornaacute-lo mais soacutelido Ao aprimorar a forma como o sistema era administrado e os dados eram usados o projecto posterior conseguiu fazer uma grande diferenccedila por meio de pequenas modificaccedilotildees
Os dados do SIS natildeo satildeo 100 exactos e nunca seratildeo Esta eacute a realidade com a qual todos os gestores tecircm que trabalhar Mas os dados natildeo precisam ser perfeitos para serem uacuteteis Eacute possiacutevel fazer a monitoria e a gestatildeo com dados imperfeitos Informaccedilotildees obtidas em tempo
(continuaccedilatildeo)
No entanto o projecto constatou que as taxas de prevalecircncia de uso de contraceptivos eram suficientemente boas para acompanhar o desempenho das comunidades que participavam do meacutetodo de Comunidades Campeatildes O pessoal do projecto tambeacutem complementou as comparaccedilotildees dessas taxas com as comparaccedilotildees dos valores do numerador nuacutemeros simples que faziam sentido para o pessoal do centro de sauacutede e tambeacutem para as comunidades
O niacutevel central comeccedilou a organizar workshops regionais trimestrais para divulgar os resultados ao niacutevel distrital Juntos os gestores dos niacuteveis distritais regionais e centrais analisaram o progresso e classificaram os distritos com base no seu desempenho Usaram a anaacutelise de causa-raiz ndash um processo que identifica as causas subjacentes de um problema ndash para entender os obstaacuteculos enfrentados pelos distritos que apresentavam baixo desempenho (Consulte o Apecircndice A no Capiacutetulo 2 deste guia para obter mais informaccedilotildees sobre a anaacutelise de causa-raiz) Finalmente o Ministeacuterio de Sauacutede mobilizou o apoio de agecircncias doadoras e de organizaccedilotildees parceiras para ajudaacute-los a melhorar
O ministeacuterio comeccedilou a usar as informaccedilotildees de sauacutede para administrar realmente o sistema de sauacutede Antes dessa intervenccedilatildeo poucas organizaccedilotildees confiavam ou utilizavam os dados do SIS Mas quando ficou claro que o sistema funcionava as agecircncias doadoras passaram a confiar as organizaccedilotildees parceiras passaram a utilizaacute-lo e o ministeacuterio se orgulhou do trabalho Pela primeira vez tinham uma visatildeo mais niacutetida do que acontecia em todo o paiacutes e podiam usar essas informaccedilotildees para buscar o apoio de agecircncias doadoras se necessaacuterio
Do mesmo modo os centros de sauacutede raramente usavam seus proacuteprios dados Eles simplesmente faziam os registos e os enviavam para o escritoacuterio distrital sem nem mesmo receber retroinformaccedilatildeo do mesmo Apoacutes a conclusatildeo do projecto perceberam como os dados mais precisos podiam ser usados em seu benefiacutecio e das comunidades
Os distritos tambeacutem actuavam antes de uma forma pouco informada Cada distrito dependia apenas dos seus proacuteprios dados e funcionava num vaacutecuo As mudanccedilas no SIS e o encorajamento do governo central forneceram aos distritos oportunidades para comparar seu trabalho e aprender uns com os outros
Aprendizagem com dados mais precisos completos e oportunos Os dados satildeo geralmente utilizados para fazer comparaccedilotildees mas satildeo menos frequentemente utilizados como ferramenta de aprendizagem Nesse caso depois que os relatoacuterios comeccedilaram a chegar dentro do prazo o Ministeacuterio da Sauacutede usou os dados ndash inclusive dados imperfeitos ndash para descobrir que distritos tinham um desempenho ruim e que distritos estavam melhor que os outros Assim aprenderam com os de melhor desempenho ao perguntar Por que seus resultados satildeo tatildeo bons O que estavam a fazer de diferente O que poderia ser replicado Finalmente aplicaram a aprendizagem ao usar esses distritos como modelos e ao oferecer mais apoio aos de pior desempenho
Todo o sistema de sauacutede se entusiasmou com as informaccedilotildees que podiam produzir e usar A comeccedilar do topo esse entusiasmo chegou aos niacuteveis inferiores e os motivou a melhorar sua recolha e processamento de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 939
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
haacutebil e com 75 de precisatildeo satildeo melhores que as informaccedilotildees com 95 de precisatildeo que chegam com vaacuterios meses de atraso
Apesar do seu grande valor por si soacutes os dados do SIS natildeo atenderatildeo a todas as necessidades de informaccedilatildeo de muitas organizaccedilotildees Algumas organizaccedilotildees e agecircncias doadoras precisam de dados que exigem avaliaccedilotildees ou sistemas especiais Aleacutem disso vaacuterias intervenccedilotildees foram projectadas para modificar o conhecimento as atitudes e as praacuteticas dos beneficiaacuterios factores que natildeo satildeo capturados nos dados de serviccedilo Eacute importante usar os dados do SIS sempre que possiacutevel e complementaacute-los com avaliaccedilotildees locais quando necessaacuterio
Como gestor de um programa de sauacutede ou de serviccedilos de sauacutede parte do seu trabalho deveria ser o de melhorar o SIS em seu paiacutes Ele eacute o uacutenico sistema de informaccedilotildees sustentaacutevel na maioria dos paiacuteses Os sistemas de informaccedilatildeo criados e mantidos por agecircncias doadoras ou organizaccedilotildees externas tecircm duraccedilatildeo limitada mas o SIS eacute parte permanente do seu legado
Se todos os parceiros e agecircncias doadoras trabalharem com o Ministeacuterio de Sauacutede para prestar assistecircncia teacutecnica e financeira ao SIS ele poderaacute render informaccedilotildees que trazem grandes melhorias para os serviccedilos de sauacutede e que justificam plenamente o investimento no mesmo
Praacuteticas comprovadas
Um sistema de MampA deveria proporcionar aos gestores o que eles precisam saber para agir Deve se basear em indicadores relevantes faacuteceis de usar e que possam ser fornecidos em tempo haacutebil para os ciclos de planeamento e apresentaccedilatildeo de relatoacuterios
Os resultados de MampA natildeo se destinam apenas ao pessoal de MampA da sua organizaccedilatildeo ou agrave agecircncia doadora As informaccedilotildees de MampA satildeo um recurso fundamental para as acccedilotildees e a aprendizagem Se o seu processo de MampA tiver mecanismos de retroinformaccedilatildeo que permitam aos tomadores de decisotildees reflectirem sobre os resultados e absorverem o que precisam para seus proacuteprios fins eles assumiratildeo o controlo do processo e utilizaratildeo o que ele oferecer
Se vocecirc define suas actividades de MampA no comeccedilo de uma intervenccedilatildeo ou projecto junto com o plano de acccedilatildeo para o projecto teraacute mais oportunidades de orientar e acompanhar a implementaccedilatildeo das actividades
Quando satildeo demasiado elaborados e complicados os planos de MampA natildeo satildeo usados Elabore um plano de MampA simples escolha ferramentas de monitoria faacuteceis de usar e seleccione a menor quantidade possiacutevel de indicadores para acompanhar o progresso e introduzir as mudanccedilas necessaacuterias ao longo do caminho
Para fortalecer um SIS eacute preciso trabalhar com as pessoas envolvidas os responsaacuteveis pelo sistema que registam transferem analisam comunicam e utilizam os dados e as informaccedilotildees para a gestatildeo dos serviccedilos
Ao fornecer os dados do SIS para os tomadores de decisotildees vocecirc deve reconhecer as diferenccedilas na frequecircncia dos relatoacuterios e nas quantidades de dados agregados e desagregados necessaacuterios aos niacuteveis diferentes de governo ou agraves organizaccedilotildees natildeo governamentais
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 938
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Madagascar o projecto Comunidades Campeatildes melhorou o sistema substancialmente num periacuteodo de dois anos Nesse caso o sistema jaacute se encontrava relativamente funcional porque projectos anteriores haviam feito um grande esforccedilo para implantar o sistema e tornaacute-lo mais soacutelido Ao aprimorar a forma como o sistema era administrado e os dados eram usados o projecto posterior conseguiu fazer uma grande diferenccedila por meio de pequenas modificaccedilotildees
Os dados do SIS natildeo satildeo 100 exactos e nunca seratildeo Esta eacute a realidade com a qual todos os gestores tecircm que trabalhar Mas os dados natildeo precisam ser perfeitos para serem uacuteteis Eacute possiacutevel fazer a monitoria e a gestatildeo com dados imperfeitos Informaccedilotildees obtidas em tempo
(continuaccedilatildeo)
No entanto o projecto constatou que as taxas de prevalecircncia de uso de contraceptivos eram suficientemente boas para acompanhar o desempenho das comunidades que participavam do meacutetodo de Comunidades Campeatildes O pessoal do projecto tambeacutem complementou as comparaccedilotildees dessas taxas com as comparaccedilotildees dos valores do numerador nuacutemeros simples que faziam sentido para o pessoal do centro de sauacutede e tambeacutem para as comunidades
O niacutevel central comeccedilou a organizar workshops regionais trimestrais para divulgar os resultados ao niacutevel distrital Juntos os gestores dos niacuteveis distritais regionais e centrais analisaram o progresso e classificaram os distritos com base no seu desempenho Usaram a anaacutelise de causa-raiz ndash um processo que identifica as causas subjacentes de um problema ndash para entender os obstaacuteculos enfrentados pelos distritos que apresentavam baixo desempenho (Consulte o Apecircndice A no Capiacutetulo 2 deste guia para obter mais informaccedilotildees sobre a anaacutelise de causa-raiz) Finalmente o Ministeacuterio de Sauacutede mobilizou o apoio de agecircncias doadoras e de organizaccedilotildees parceiras para ajudaacute-los a melhorar
O ministeacuterio comeccedilou a usar as informaccedilotildees de sauacutede para administrar realmente o sistema de sauacutede Antes dessa intervenccedilatildeo poucas organizaccedilotildees confiavam ou utilizavam os dados do SIS Mas quando ficou claro que o sistema funcionava as agecircncias doadoras passaram a confiar as organizaccedilotildees parceiras passaram a utilizaacute-lo e o ministeacuterio se orgulhou do trabalho Pela primeira vez tinham uma visatildeo mais niacutetida do que acontecia em todo o paiacutes e podiam usar essas informaccedilotildees para buscar o apoio de agecircncias doadoras se necessaacuterio
Do mesmo modo os centros de sauacutede raramente usavam seus proacuteprios dados Eles simplesmente faziam os registos e os enviavam para o escritoacuterio distrital sem nem mesmo receber retroinformaccedilatildeo do mesmo Apoacutes a conclusatildeo do projecto perceberam como os dados mais precisos podiam ser usados em seu benefiacutecio e das comunidades
Os distritos tambeacutem actuavam antes de uma forma pouco informada Cada distrito dependia apenas dos seus proacuteprios dados e funcionava num vaacutecuo As mudanccedilas no SIS e o encorajamento do governo central forneceram aos distritos oportunidades para comparar seu trabalho e aprender uns com os outros
Aprendizagem com dados mais precisos completos e oportunos Os dados satildeo geralmente utilizados para fazer comparaccedilotildees mas satildeo menos frequentemente utilizados como ferramenta de aprendizagem Nesse caso depois que os relatoacuterios comeccedilaram a chegar dentro do prazo o Ministeacuterio da Sauacutede usou os dados ndash inclusive dados imperfeitos ndash para descobrir que distritos tinham um desempenho ruim e que distritos estavam melhor que os outros Assim aprenderam com os de melhor desempenho ao perguntar Por que seus resultados satildeo tatildeo bons O que estavam a fazer de diferente O que poderia ser replicado Finalmente aplicaram a aprendizagem ao usar esses distritos como modelos e ao oferecer mais apoio aos de pior desempenho
Todo o sistema de sauacutede se entusiasmou com as informaccedilotildees que podiam produzir e usar A comeccedilar do topo esse entusiasmo chegou aos niacuteveis inferiores e os motivou a melhorar sua recolha e processamento de dados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 939
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
haacutebil e com 75 de precisatildeo satildeo melhores que as informaccedilotildees com 95 de precisatildeo que chegam com vaacuterios meses de atraso
Apesar do seu grande valor por si soacutes os dados do SIS natildeo atenderatildeo a todas as necessidades de informaccedilatildeo de muitas organizaccedilotildees Algumas organizaccedilotildees e agecircncias doadoras precisam de dados que exigem avaliaccedilotildees ou sistemas especiais Aleacutem disso vaacuterias intervenccedilotildees foram projectadas para modificar o conhecimento as atitudes e as praacuteticas dos beneficiaacuterios factores que natildeo satildeo capturados nos dados de serviccedilo Eacute importante usar os dados do SIS sempre que possiacutevel e complementaacute-los com avaliaccedilotildees locais quando necessaacuterio
Como gestor de um programa de sauacutede ou de serviccedilos de sauacutede parte do seu trabalho deveria ser o de melhorar o SIS em seu paiacutes Ele eacute o uacutenico sistema de informaccedilotildees sustentaacutevel na maioria dos paiacuteses Os sistemas de informaccedilatildeo criados e mantidos por agecircncias doadoras ou organizaccedilotildees externas tecircm duraccedilatildeo limitada mas o SIS eacute parte permanente do seu legado
Se todos os parceiros e agecircncias doadoras trabalharem com o Ministeacuterio de Sauacutede para prestar assistecircncia teacutecnica e financeira ao SIS ele poderaacute render informaccedilotildees que trazem grandes melhorias para os serviccedilos de sauacutede e que justificam plenamente o investimento no mesmo
Praacuteticas comprovadas
Um sistema de MampA deveria proporcionar aos gestores o que eles precisam saber para agir Deve se basear em indicadores relevantes faacuteceis de usar e que possam ser fornecidos em tempo haacutebil para os ciclos de planeamento e apresentaccedilatildeo de relatoacuterios
Os resultados de MampA natildeo se destinam apenas ao pessoal de MampA da sua organizaccedilatildeo ou agrave agecircncia doadora As informaccedilotildees de MampA satildeo um recurso fundamental para as acccedilotildees e a aprendizagem Se o seu processo de MampA tiver mecanismos de retroinformaccedilatildeo que permitam aos tomadores de decisotildees reflectirem sobre os resultados e absorverem o que precisam para seus proacuteprios fins eles assumiratildeo o controlo do processo e utilizaratildeo o que ele oferecer
Se vocecirc define suas actividades de MampA no comeccedilo de uma intervenccedilatildeo ou projecto junto com o plano de acccedilatildeo para o projecto teraacute mais oportunidades de orientar e acompanhar a implementaccedilatildeo das actividades
Quando satildeo demasiado elaborados e complicados os planos de MampA natildeo satildeo usados Elabore um plano de MampA simples escolha ferramentas de monitoria faacuteceis de usar e seleccione a menor quantidade possiacutevel de indicadores para acompanhar o progresso e introduzir as mudanccedilas necessaacuterias ao longo do caminho
Para fortalecer um SIS eacute preciso trabalhar com as pessoas envolvidas os responsaacuteveis pelo sistema que registam transferem analisam comunicam e utilizam os dados e as informaccedilotildees para a gestatildeo dos serviccedilos
Ao fornecer os dados do SIS para os tomadores de decisotildees vocecirc deve reconhecer as diferenccedilas na frequecircncia dos relatoacuterios e nas quantidades de dados agregados e desagregados necessaacuterios aos niacuteveis diferentes de governo ou agraves organizaccedilotildees natildeo governamentais
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 939
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
haacutebil e com 75 de precisatildeo satildeo melhores que as informaccedilotildees com 95 de precisatildeo que chegam com vaacuterios meses de atraso
Apesar do seu grande valor por si soacutes os dados do SIS natildeo atenderatildeo a todas as necessidades de informaccedilatildeo de muitas organizaccedilotildees Algumas organizaccedilotildees e agecircncias doadoras precisam de dados que exigem avaliaccedilotildees ou sistemas especiais Aleacutem disso vaacuterias intervenccedilotildees foram projectadas para modificar o conhecimento as atitudes e as praacuteticas dos beneficiaacuterios factores que natildeo satildeo capturados nos dados de serviccedilo Eacute importante usar os dados do SIS sempre que possiacutevel e complementaacute-los com avaliaccedilotildees locais quando necessaacuterio
Como gestor de um programa de sauacutede ou de serviccedilos de sauacutede parte do seu trabalho deveria ser o de melhorar o SIS em seu paiacutes Ele eacute o uacutenico sistema de informaccedilotildees sustentaacutevel na maioria dos paiacuteses Os sistemas de informaccedilatildeo criados e mantidos por agecircncias doadoras ou organizaccedilotildees externas tecircm duraccedilatildeo limitada mas o SIS eacute parte permanente do seu legado
Se todos os parceiros e agecircncias doadoras trabalharem com o Ministeacuterio de Sauacutede para prestar assistecircncia teacutecnica e financeira ao SIS ele poderaacute render informaccedilotildees que trazem grandes melhorias para os serviccedilos de sauacutede e que justificam plenamente o investimento no mesmo
Praacuteticas comprovadas
Um sistema de MampA deveria proporcionar aos gestores o que eles precisam saber para agir Deve se basear em indicadores relevantes faacuteceis de usar e que possam ser fornecidos em tempo haacutebil para os ciclos de planeamento e apresentaccedilatildeo de relatoacuterios
Os resultados de MampA natildeo se destinam apenas ao pessoal de MampA da sua organizaccedilatildeo ou agrave agecircncia doadora As informaccedilotildees de MampA satildeo um recurso fundamental para as acccedilotildees e a aprendizagem Se o seu processo de MampA tiver mecanismos de retroinformaccedilatildeo que permitam aos tomadores de decisotildees reflectirem sobre os resultados e absorverem o que precisam para seus proacuteprios fins eles assumiratildeo o controlo do processo e utilizaratildeo o que ele oferecer
Se vocecirc define suas actividades de MampA no comeccedilo de uma intervenccedilatildeo ou projecto junto com o plano de acccedilatildeo para o projecto teraacute mais oportunidades de orientar e acompanhar a implementaccedilatildeo das actividades
Quando satildeo demasiado elaborados e complicados os planos de MampA natildeo satildeo usados Elabore um plano de MampA simples escolha ferramentas de monitoria faacuteceis de usar e seleccione a menor quantidade possiacutevel de indicadores para acompanhar o progresso e introduzir as mudanccedilas necessaacuterias ao longo do caminho
Para fortalecer um SIS eacute preciso trabalhar com as pessoas envolvidas os responsaacuteveis pelo sistema que registam transferem analisam comunicam e utilizam os dados e as informaccedilotildees para a gestatildeo dos serviccedilos
Ao fornecer os dados do SIS para os tomadores de decisotildees vocecirc deve reconhecer as diferenccedilas na frequecircncia dos relatoacuterios e nas quantidades de dados agregados e desagregados necessaacuterios aos niacuteveis diferentes de governo ou agraves organizaccedilotildees natildeo governamentais
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 940
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
A monitoria de rotina lhe daacute como gestor as informaccedilotildees de que precisa para acompanhar o progresso no alcance de suas metas e para gerir sua unidade com eficaacutecia Ela permite que detecte os problemas e faccedila mudanccedilas rapidamente Uma avaliaccedilatildeo natildeo pode-lhe dar esse tipo de informaccedilatildeo
Em muitos casos os dados imperfeitos mas prontamente disponiacuteveis satildeo suficientes para atender agraves necessidades baacutesicas de gestatildeo
Apoie o pessoal do centro de sauacutede para utilizar os dados prontamente disponiacuteveis para monitorar e gerir os serviccedilos mesmo que a qualidade dos dados natildeo seja boa Se eles utilizarem rotineiramente os dados que recolhem veratildeo por que a qualidade dos dados eacute importante Isso aumentaraacute a probabilidade de tomarem as medidas necessaacuterias para melhorar a recolha e processamento de dados e gerar dados mais vaacutelidos e completos
Use as estatiacutesticas de serviccedilo para recolher dados especiacuteficos a uma aacuterea de captaccedilatildeo e complemente esses dados com outras teacutecnicas ndash tais como as ferramentas de avaliaccedilatildeo raacutepida ndash para recolher informaccedilotildees adicionais sobre suas aacutereas mais amplas de responsabilidade
Glossaacuterio de termos de MampA
aacuterea especiacutefica Local preparado especificamente para as utentes onde podem receber informaccedilotildees fazer perguntas trocar ideias agrave vontade
avaliaccedilatildeo Anaacutelise da medida em que os resultados foram atingidos O objectivo da avaliaccedilatildeo eacute tambeacutem compreender por que os resultados foram ou natildeo atingidos Ela eacute geralmente baseada em informaccedilotildees obtidas com a monitoria de rotina combinadas com a mediccedilatildeo dos resultados a meacutedio e longo prazo e do impacto
avaliaccedilatildeo formativa Usada para orientar o desenho e a implementaccedilatildeo de um programa ou intervenccedilatildeo Eacute usada para garantir que as actividades incluam as ldquomelhoresrdquo ou ldquomais promissorasrdquo praacuteticas para aumentar as chances de sucesso Inclui a avaliaccedilatildeo das necessidades e a avaliaccedilatildeo do processo
avaliaccedilatildeo participativa Teacutecnicas e meacutetodos que visam incorporar o conhecimento e as opiniotildees dos membros da comunidade ao planeamento e implementaccedilatildeo dos programas de sauacutede Tambeacutem denominada aprendizagem e acccedilatildeo participativa
avaliaccedilatildeo raacutepida Formas raacutepidas e econoacutemicas de fornecer informaccedilotildees para a tomada de decisotildees especialmente no niacutevel das actividades Os exemplos incluem entrevistas dos utentes ao saiacuterem dos centros avaliaccedilotildees em pequena escala dos centros de sauacutede inqueacuteritos raacutepidos por amostragem exame analiacutetico dos registos entrevistas com grupos de enfoque e outros meacutetodos participativos
avaliaccedilatildeo somativa Avaliaccedilatildeo feita para medir a qualidade do desempenho e a obtenccedilatildeo de resultados essenciais apoacutes a conclusatildeo de uma intervenccedilatildeo ou conjunto de actividades As avaliaccedilotildees somativas incluem a avaliaccedilatildeo de resultados a meacutedio e longo prazo a avaliaccedilatildeo de impacto a avaliaccedilatildeo de custo-eficaacutecia e o inqueacuterito operacional
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 941
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
criteacuterios SMART Conjunto de cinco padrotildees usados para verificar se um resultado ou objectivo se desenvolve em termos mensuraacuteveis Os criteacuterios satildeo Especiacutefico (Specific) Mensuraacutevel (Measurable) Apropriado (Appropriate) Realista (Realistic) e de Tiempo limitado (Time Bound)
dados de base Dados recolhidos durante os estaacutegios iniciais de um projecto antes do iniacutecio das actividades Os dados de base identificam o ponto a partir do qual se pode avaliar o progresso no alcance dos resultados pretendidos
dados de rotina Informaccedilotildees sobre a prestaccedilatildeo de serviccedilos de sauacutede recolhidas regularmente atraveacutes do sistema de informaccedilotildees de sauacutede Tambeacutem denominados estatiacutesticas de serviccedilos
dados primaacuterios Informaccedilotildees que vocecirc mesmo recolhe por exemplo atraveacutes de uma teacutecnica de avaliaccedilatildeo raacutepida ou entrevistas com informantes essenciais pelo uso de um guia estruturado
dados secundaacuterios Informaccedilotildees de fontes existentes (tais como os dados de rotina o censo ou a Pesquisa Demograacutefica ou de Sauacutede) em contraste com dados primaacuterios que a proacutepria pessoa recolhe
fonte de dados Eacute de onde vecircm as informaccedilotildees sobre um indicador Todos os indicadores possuem sua proacutepria fonte de dados Fontes de dados comuns incluem estatiacutesticas de serviccedilos registos da organizaccedilatildeo utentes e a comunidade
impacto Mudanccedila a longo prazo do estado de sauacutede de uma populaccedilatildeo geralmente um resultado combinado de vaacuterios programas ao longo do tempo (por exemplo a taxa total de fertilidade ou as taxas de mortalidade e morbidade materna)
indicador Factor quantitativo ou qualitativo associado com a avaliaccedilatildeo da mudanccedila ou o desempenho de uma actividade especiacutefica Eacute um marcador de mudanccedila ao longo do tempo
indicador substituto Medida indirecta que se aproxima do alvo ou resultado ou que o representa quando as informaccedilotildees directas natildeo estatildeo disponiacuteveis Por exemplo dois anos de protecccedilatildeo (CYP) eacute um indicador substituto comum para uso do planeamento familiar quando os dados da taxa de prevalecircncia do uso de contraceptivos natildeo estatildeo disponiacuteveis
insumos Recursos necessaacuterios para obter um resultado esperado (por ex os recursos financeiros e humanos os suprimentos os produtos e os centros de sauacutede)
metas Resultados a longo prazo em niacutevel nacional ou organizacional que uma intervenccedilatildeo pretende conseguir
monitoria Acompanhamento regular das mudanccedilas nos indicadores ao longo do tempo para medir o progresso no alcance dos resultados ao recolher informaccedilotildees sobre insumos processos e resultados imediatos
monitoria do processo Selecccedilatildeo e acompanhamento dos insumos e produtos das actividades por exemplo quem foi treinado em que toacutepicos e com que frequecircncia A monitoria do processo natildeo monitora o progresso no alcance das metas ela soacute acompanha a conclusatildeo da actividade
niacuteveis de resultados Os vaacuterios estaacutegios dos resultados definidos na sequecircncia de resultados
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 942
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
painel de indicadores de desempenho Representaccedilatildeo visual de uma paacutegina com as informaccedilotildees mais importantes e necessaacuterias para gerir um projecto
plano de monitoria e avaliaccedilatildeo (MampA) Define que indicadores seratildeo medidos como seratildeo medidos quando e por quem Um plano de MampA ajuda os gestores a escolher indicadores confiaacuteveis e a medir esses indicadores de forma organizada
processo Actividades executadas atraveacutes do seu plano de implementaccedilatildeo (por ex fornecimento de novos meacutetodos contraceptivos definiccedilatildeo de um curriacuteculo formaccedilatildeo de profissionais de sauacutede)
produto Produto imediato ou directo das actividades (por ex nuacutemero de pessoas formadas nuacutemero de novos utentes de planeamento familiar nuacutemero de produtos distribuiacutedos)
quadro conceptual Diagrama de um conjunto de viacutenculos teoacutericos entre as actividades e vaacuterios outros factores que supostamente levam aos resultados imediatos (ou produtos) e os resultados de meacutedio e longo prazo esperados Ao contraacuterio do Quadro Loacutegico o quadro conceptual natildeo pressupotildee uma relaccedilatildeo simples e linear de causa e efeito entre os insumos produtos e resultados a meacutedio e longo prazo
quadro loacutegico Ferramenta de gestatildeo que utiliza uma matriz para indicaras conexotildees da sequecircncia de resultados (insumos rarr processos (actividade) rarr produtos rarr resultados rarr impacto) principais pressupostos e como os produtos e resultados seratildeo monitorados e avaliados Tambeacutem denominado de quadro loacutegico ou modelo loacutegico
resultado Realizaccedilatildeo loacutegica e esperada que pode ser medida apoacutes a implementaccedilatildeo de um programa ou serviccedilo
resultados Mudanccedilas a curto prazo em uma populaccedilatildeo beneficiaacuteria como resultado de um conjunto de actividades
sequecircncia de resultados Relaccedilotildees sequenciais e causais entre os niacuteveis de resultados descritos no quadro loacutegico (insumos actividades produtos resultados e impacto)
sistema de informaccedilotildees sobre sauacutede (SIS) Refere-se geralmente aos muitos subsistemas diferentes que fornecem informaccedilotildees de rotina necessaacuterias para gerir os serviccedilos de sauacutede Agraves vezes chamado de sistema de informaccedilotildees para a gestatildeo de sauacutede (SIGS) ou sistema de informaccedilotildees de gestatildeo (SIG)
Referecircncias e recursos
INFORMACcedilOtildeES PARA GESTAtildeO DE SERVICcedilOS DE SAUacuteDE
Bertrand Jane T Robert J Magnani e Naomi Rutenberg Evaluating Family Planning Pro-grams with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (acessado Jan 22 2010)
Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 linked on httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 linked on httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (acessado Jan 22 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 943
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Organizaccedilatildeo Mundial da Sauacutede Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genebra Organizaccedilatildeo Mundial da Sauacutede 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (acessado Marccedilo 7 2014)
Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990
Rossi Peter H Howard E Freeman and Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999
Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (acessado Jan 22 2010)
UNAIDS Organizaccedilatildeo Mundial da Sauacutede e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (acessado Jan 22 2010)
World Bank Group and Carleton University ldquoData Collection Methodsrdquo Module 8 of the International Program for Development Evaluation Training Ottawa IPDET
MONITORIA PARA A ACCcedilAtildeO
International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (acessado Jan 27 2010)
Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (acessado Abril 1 2010)
Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (acessado Jan 26 2010)
mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (acessado Jan 27 2010)
mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center undated httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (acessado Jan 27 2010)
Organizaccedilatildeo Mundial da Sauacutede Ferramentas e recursos sobre sistemas de informaccedilatildeo para os gestores de linha de frente em httpwwwwhointmanagementresourcesinformationen (acessado Marccedilo 6 2014)
mdashmdashmdashmdash Ferramentas e recursos sobre teacutecnicas de MampA para os gestores distritais e de niacutevel superior do website da OMS httpwwwwhointmanagementdistrictmonitoring _evaluationenindexhtml (acessado Jan 27 2010)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 944
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
ABORDAGENS E FERRAMENTAS PRAacuteTICAS PARA MampA
Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (acessado Nov 18 2009)
Bertrand Jane T e Gabriela Escudero Compendium of Indicators for Evaluating Reproductive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (acessado Jan 22 2010)
Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (acessado Jan 22 2010)
Guijt Irene e John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (acessado Jan 22 2010)
Lippeveld Theo Rainer Sauerborn e Claude Bodart Design and Implementation of Health Information Systems Genebra Organizaccedilatildeo Mundial da Sauacutede 2000
Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 link em httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (acessado Jan 22 2010)
mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (acessado Jan 22 2010) YEacute pre-ciso estar registado na LeaderNet para acessar o curso o registo eacute gratuito
Marsh David R Juan Carlos Alegre e Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (acessado Jan 22 2010)
Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38
Sapsford R Survey Research Newbury Park CA Sage Publications 1999
Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47
US Agency for International Development Monitoring and Evaluation (MampE) Fundamentals Curso do Global Health e-Learning Center da USAID httpglobalhealthlearning orglogincfm (acessado Jan 22 2010)
mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) and 10 (Conducting Focus Group Interviews) all 1996 (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 945
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (acessado Marccedilo 7 2014)
AVALIACcedilAtildeO PARA FINS DE APRENDIZAGEM
Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980
Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (acessado Jan 13 2010)
Organizaccedilatildeo Mundial da Sauacutede ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genebra Orga-nizaccedilatildeo Mundial da Sauacutede 1981
mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genebra Organizaccedilatildeo Mundial da Sauacutede 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (acessado Jan 22 2010)
Reisman Jane e Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000
Veney James e Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991
Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (acessado Marccedilo 6 2014)
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 946
wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
APEcircNDICE A Exemplo de um Quadro Loacutegico do Banco Interamericano de Desenvolvimento
A loacutegica para este quadro
1 Se as actividades (promoccedilatildeo formaccedilatildeo etc) forem bem realizadas e supondo-se a existecircncia de condiccedilotildees econoacutemicas e poliacuteticas favoraacuteveis e a disponibilidade de recursos (monetaacuterios humanos e tecnoloacutegicos) os pais seratildeo cadastrados os funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios receberatildeo formaccedilatildeo os materiais estaratildeo agrave disposiccedilatildeo as visitas domiciliares seratildeo feitas e um sistema administrativo e um SIG estaratildeo a funcionar
2 Se os produtos forem obtidos e supondo-se uma baixa rotatividade dos funcionaacuterios que fazem visitas domiciliares e outros funcionaacuterios entatildeo ocorreratildeo mudanccedilas nas praacuteticas parentais e no ambiente domeacutestico com o qual a crianccedila interage
3 Se o comportamento dos pais e o ambiente domeacutestico melhorarem e supondo-se a existecircncia de cuidadores formados que continuem a oferecer cuidados e que a estrutura familiar se mantenha ou melhore entatildeo a condiccedilatildeo de sauacutede nutricional e psicoloacutegica das crianccedilas melhoraraacute
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento
9 GESTAtildeO DAS INFORMACcedilOtildeES MONITORIA E AVALIACcedilAtildeO 947
copy 2010 MANAGEMENT SCIENCES FOR HEALTH SISTEMAS DE SAUacuteDE EM ACCcedilAtildeO
Quadro loacutegico para um programa de visita domiciliar com educaccedilatildeo parental
Meta (objectivo geral)
Melhorar o desenvolvimento de crianccedilas pequenas do nascimento aos 3 anos em aacutereas urbanas marginais
Indicador
Elevar a condiccedilatildeo de desenvolvimento de x crianccedilas em x em 5 anos como indicado por medidas de estado de sauacutede condiccedilatildeo nutricional e desenvolvimento psicossocial
Verificaccedilatildeo
Sauacutede rede de cuidados de sauacutede para cada crianccedila
Nutriccedilatildeo registos de monitoria de crescimento no centro
Psicossocial desempenho em testes padronizados
Propoacutesito (objectivo especiacutefico)
Fornecer agraves crianccedilas educaccedilatildeo e cuidados de qualidade atraveacutes de praacuteticas aprimoradas de educaccedilatildeo de filhos e mudanccedilas no ambiente domeacutestico
Indicadores
Mudanccedilas nas praacuteticas de x dos pais participantes
Mudanccedilas no ambiente domeacutestico
Verificaccedilatildeo
Observaccedilotildees perioacutedicas de uma amostra de pais e domiciacutelios interacccedilatildeo com crianccedilas questionaacuterios relatoacuterios de supervisores
Pressupostos
Pais que receberam formaccedilatildeo ou outros cuidadores continuam a prestar cuidados
Continuidade nas condiccedilotildees econoacutemicas e familiares
Produtos
Participantes cadastrados
Visitantes domiciliares formados supervisores e directores
Materiais desenvolvidos
Visitas domiciliares
Formaccedilatildeo parental realizada
Sistema administrativo em funcionamento
SIG em funcionamento
Indicadores
x participantes de baixa renda cadastrados
x cuidadores formados
Guias parentais desenvolvidos e distribuiacutedos para x famiacutelias
Visitas domiciliares realizadas
SIG e sistema administrativo em funcionamento
Verificaccedilatildeo
Dados do SIG sobre o pessoal em formaccedilatildeo pais e materiais
Avaliaccedilotildees de conheci-mentos e habilidades do pessoal apoacutes a formaccedilatildeo inicial e durante o curso de formaccedilatildeo contiacutenua observaccedilatildeo das interacccedilotildees entre o visitante domiciliar e os pais
Questionaacuterios verificam conhecimento e atitudes dos pais
Pressupostos
Baixa rotatividade dos visitantes domiciliares e outros funcionaacuterios
Capacidade de chegar agrave populaccedilatildeo desejada
Actividades
Cadastrar os pais
Seleccionar e treinar os visitantes domiciliares e outros funcionaacuterios
Criar materiais
Criar um sistema administrativo
Fornecer formaccedilatildeo e supervisatildeo contiacutenuas
Realizar visitas domiciliares
Criar um sistema de monitoria e avaliaccedilatildeo
Recursos
Orccedilamento
Tecnologia
Recursos Humanos
Verificaccedilatildeo
Plano de acccedilatildeo orccedilamentos e registos contaacutebeis
Estudos que mostrem que o modelo escolhido e o curriacuteculo funcionam
Avaliaccedilotildees para ver se as actividades foram natildeo soacute executadas mas tambeacutem bem executadas
Curriculum vitae
Pressupostos
Vontade poliacutetica
Estabilidade econoacutemica e poliacutetica razoaacutevel
Fonte Banco Interamericano de Desenvolvimento