![Page 1: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/1.jpg)
Introdução ao uso de indicadores no monitoramento e avaliação de programas
Paulo de Martino Jannuzzi
![Page 2: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/2.jpg)
Tópicos da Apresentação
1. Conceitos básicos sobre Indicadores
2. Monitoramento e Avaliação de Programas
3. Agenda de trabalho ANIPES
![Page 3: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/3.jpg)
Tópicos da Apresentação
1. Conceitos básicos sobre Indicadores
BibliografiaGUIMARÃES, J.R.S e JANNUZZI, P.M. IDH, Indicadores sintéticos e suas aplicações em políticas públicas: uma análise crítica. Revista Brasileira. Est. Urbanos e Regionais, Salvador 7 (1):73-89, 2005.JANNUZZI, P.M. Indicadores sociais no Brasil. Campinas: Alínea/Puc-Campinas, 2001, 146 p.JANNUZZI, P.M. Indicadores para diagnóstico, monitoramento e avaliação de programas sociais no Brasil. Revista do Serviço Público. Brasília 56(2):137-160, abr/jun 2005.
![Page 4: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/4.jpg)
![Page 5: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/5.jpg)
O terremoto de 8 graus da escala Richter atingiu o
município de Wenchuan, na província de Sichuan, às 14h28 do dia 12 de maio
2008
![Page 6: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/6.jpg)
![Page 7: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/7.jpg)
Por que o interesse crescente por Indicadores
• Retomada do planejamento como instrumento para a ação
pública - PPA, LDO, Plano Diretor, Estatuto da Cidade
• Novos formatos de execução das políticas sociais
• Pressão por maior efetividade do gasto social
• Mudança da auditoria TCU : formalidade -> resultados
• Reforma Gerencial da Administração Pública
• Forte aumento do nível médio de qualificação dos gestores públicos
![Page 8: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/8.jpg)
Ciclo de Políticas Públicas
Definição de Agenda
Percepção e definição de problemas,
“agenda setting” FormulaçãoIdentificação de
alternativas e avaliação das opções, decisão e
elaboração de programas
DemandasNovas/recorrentes;
nacionais/internacionais
ImplementaçãoPlano de ações, monitoramento.
AvaliaçãoResultados, impactos,
eventual correção da ação, término
ou reinício do ciclo.
Sistema de Dados e Indicadores para
o Diagnóstico
Indicadores para tomada de decisão
quanto aos programas
Painel de Indicadores para Monitoramento
Dados e Indicadores de Pesquisas de
Avaliação
![Page 9: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/9.jpg)
Funcionalismo PúblicoTotal 2002 – 2006 (mil)
Esfera 2002 2006 Var %
Federal 805,4 831,2 3,2
Estadual 2.902,0 3.152,0 8,6
Municipal 3.290,5 4.217,0 28,2
Total – 3 esf 6.997,9 8.200,2 17,2
Total RAIS 28.683,9 35.155,2 22,6
Por que o interesse crescente por Indicadores
![Page 10: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/10.jpg)
Funcionalismo Público com nível superiorTotal 2002 – 2006 (mil)
Por que o interesse crescente por Indicadores
Esfera 2002 2006 Var %
Federal 303,7 378,0 24,5
Estadual 970,6 1.272,4 31,1
Municipal 600,3 1.048,1 74,6
Total – 3 esf 1.874,6 2.698,5 44,0
Total RAIS 3.670,9 5.266,0 43,5
![Page 11: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/11.jpg)
O que é um Indicador ? Para que serve ?
![Page 12: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/12.jpg)
Retratando a realidade social....
![Page 13: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/13.jpg)
Retratando a realidade social....
![Page 14: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/14.jpg)
Retratando a realidade social....
![Page 15: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/15.jpg)
Retratando a realidade social....
![Page 16: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/16.jpg)
Retratando a realidade social....
![Page 17: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/17.jpg)
– Recurso metodológico para “retratar” a realidade social, de forma simplificada, mas objetiva e padronizada
– Medidas que operacionalizam um conceito abstrato ou dimensão de interesse da ação pública
Conceito Indicadores a construir
Composição material da habitação
Condições de Vida Infraestrutura urbana e entorno
da população Disponibilidade de alimentos
Rendimentos
Inserção no mercado de trabalho
Indicadores Sociais
![Page 18: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/18.jpg)
Construção de Indicadores Sociais
![Page 19: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/19.jpg)
Alguns exemplos de indicadores e seus usos
![Page 20: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/20.jpg)
Taxa de mortalidade infantil
Violëncia
Em 100 mil
![Page 21: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/21.jpg)
Taxa de analfabetismo
![Page 22: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/22.jpg)
Taxa de desemprego
![Page 23: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/23.jpg)
Índice de Gini
![Page 24: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/24.jpg)
Coeficiente técnicos de recursos
![Page 25: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/25.jpg)
Índice Sintético : um exemplo
![Page 26: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/26.jpg)
Quais são as principais fontes de dados para construção de
indicadores ?
![Page 27: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/27.jpg)
I B G E
Unidades Regionais
Unidades Regionais
AgênciasMunicipais
AgênciasMunicipais
AgênciasMunicipais
Ministérios
INEP
Datasus
Min Trab
Agências estaduais
Estatísticas
SEADE
FEE
IPARDES
SEI
FJP
Sistema Estatístico Nacional
Data-prev
Senarc e Sagi/
MDS
Min C&T
Sec Planej
IDESP
![Page 28: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/28.jpg)
Subsistema de
Estatísticas Sociais
Estatísticas Demográficas
Estatísticas do Trabalho
Estatísticas da Saúde Estatísticas
da Educação
Estatísticas da Pobreza
Subsistema de Estatísticas Econômicas
Estatísticas Industriais
Estatísticas dos
Serviços
Estatísticas do
Comércio
Estatísticas Agropecuárias
Contas Nacionais
Sistema Estatístico Nacional
Estatísticas ambientais
![Page 29: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/29.jpg)
Principais fontes de estatísticas
Subsistema de Estatísticas sociais
1. Censos Demográficos decenais/Contagens
2. Pesquisa Nacional por Amostra Domicílios
3. Pesquisas amostrais específicas
4. Reg. Administrativos e Pesquisas dos Ministérios
5. Estatísticas Vitais
![Page 30: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/30.jpg)
Censos Demográficos
•Primeiro: 1872 Depois de 1940, decenal
•Contagens populacionais no meio do decênio
•Cobertura total do território nacional
•40 milhões de domicílios em 2000
•Mais de 150 mil recenseadores
•Principal fonte de dados municipais
•Questionário básico (dom, família,sexo, idade, alfabetização)
•Questionário da amostra (10% dos domicílios)
•Coleta de informações comparativa/e detalhada (educação, ocupação, rendimentos, migração, nupcialidade etc)
![Page 31: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/31.jpg)
Pesquisa Nacional Amostra Domicílios (PNAD)
• Primeira: 1967 – depois de 1970, anual.• Cobertura quase total (exclusive zona rural da antiga região Norte até 2003) e cobertura completa a partir de 2004.• Amostra de aprox. 140 mil domicílios.• Resultados para estados e regiões metropolitanas.• Principal fonte de dados em nível estadual.• Escopo temático similar ao Censo (amostra). • Investigações específicas (fecundidade, anticoncepção, migração, mobilidade social, educação, saúde, associativismo, participação política, bens de consumo, consumo de energia, trabalho, trabalho infantil, previdência, segurança alimentar, merenda escolar, acesso a programas de transferência de renda.)
![Page 32: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/32.jpg)
Pesquisa Nacional por Amostra de Domicílios
![Page 33: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/33.jpg)
Pesquisa com amostra probabilística – IBGE
Pesquisa Nacional por Amostra de Domicílios
![Page 34: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/34.jpg)
Registros Administrativos* IBGE Estatísticas do Registro Civil anual Pesq. Inf. Básicas Municipais anual* Ministério do Trabalho RAIS anual CAGED mensal * Ministério da Educação Censo Escolar anual Censo do Ensino Superior anual Sist Aval Educ Basica – Pv Brasil bi-anual
* Ministério da Saúde: Estatísticas de mortalidade anual Registro de Vacinações anual Assistência Médico-Sanitária irregular Notificação de Nascidos Vivos anual Estatísticas Produção SUS mensal
* Outros Anuário da Previdência Social anual Estatísticas Arrecad. Federal anual
![Page 35: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/35.jpg)
Pesquisa de Informações Básicas Municipais (MUNIC)
Informações municipais sobre:– Estrutura administrativa– Nível de participação e formas de controle social
(conselhos municipais)– Instrumentos de planejamento municipal (Plano
Plurianual, Plano Diretor, Lei de Parcelamento do solo, etc)
– Justiça e segurança (delegacia de mulheres, juizado de pequenas causas, etc)
– Cultura e lazer (bibliotecas públicas, livrarias, jornais locais, ginásios de esporte, etc)
Indicadores para:– Grau de participação e controle popular da ação
pública– Estágio de desenvolvimento institucional do
planejamento e gestão pública municipal
![Page 36: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/36.jpg)
Registros administrativos dos Ministérios, Secretarias e Programas
Extração de informações e
integração em um Data Warehouse
(DW)
Imagens de satélite
Chave de integração:
município ou indivíduo
![Page 37: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/37.jpg)
Quais são as principais publicações de indicadores sociais ?
![Page 38: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/38.jpg)
![Page 39: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/39.jpg)
![Page 40: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/40.jpg)
![Page 41: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/41.jpg)
![Page 42: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/42.jpg)
![Page 43: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/43.jpg)
![Page 44: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/44.jpg)
![Page 45: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/45.jpg)
Sites na Internet
IBGE www.ibge.gov.br INEP www.inep.gov.br DATASUS www.datasus.gov.br Ministério Trabalho www.mte.gov.br Ministério Planejamento www.planejamento.gov.br FEE (RS) www.fee.gov.br IPARDES (PR) www.ipardes.gov.br SEADE(SP) www.seade.gov.br Nações Unidas www.un.org/databases OCDE www.oecd.org/statistics OIT www.ilo.org OMS www.who.int/whosis OPAS www.paho.org PNUD www.unpd.org/ toppages/statistics B. Est.Trabalho EUA www.bls.gov Bureau Censo EUA www.census.gov
![Page 46: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/46.jpg)
![Page 47: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/47.jpg)
![Page 48: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/48.jpg)
![Page 49: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/49.jpg)
A escolha de indicadores para uso no Ciclo de Políticas Públicas deveria se pautar, ademais da revelância dos mesmos à proposta
– Pelas propriedades de que dispõe
– Pela natureza de seu uso/interpretação
Indicadores: Propriedades e Classificações
![Page 50: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/50.jpg)
Propriedades dos Indicadores
1. Relevância Social 2. Validade
3. Confiabilidade4. Cobertura
5. Sensibilidade6. Especificidade
7. Periodicidade na atualização8. Desagregabilidade
9. Factibilidade para obtenção10. Comunicabilidade
11. Replicabilidade de sua construção12. Historicidade
![Page 51: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/51.jpg)
Diagnóstico
Avaliação Formulação
Implementação
Indicadores para retratar a realidade social - amplitude
temática e escala
Indicadores Sintéticos ou Multicritérios para tomada de decisão
Indicadores especificos e conclusivos acerca
da eficiência, eficácia e efetividade dos
programas
Indicadores no Ciclo das Pol Públicas
Indicadores para “filmar” as mudanças - sensibilidade, periodicidade
![Page 52: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/52.jpg)
Propriedades dos Indicadores
![Page 53: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/53.jpg)
Propriedades dos Indicadores
![Page 54: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/54.jpg)
Propriedades dos Indicadores
![Page 55: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/55.jpg)
Propriedades dos Indicadores
![Page 56: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/56.jpg)
Propriedades dos Indicadores
![Page 57: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/57.jpg)
Propriedades dos Indicadores
![Page 58: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/58.jpg)
Propriedades dos Indicadores
![Page 59: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/59.jpg)
Classificação dos Indicadores
![Page 60: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/60.jpg)
Indicadores objetivos e subjetivos
![Page 61: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/61.jpg)
Indicadores objetivos e subjetivos
![Page 62: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/62.jpg)
Indicadores objetivos e subjetivos
![Page 63: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/63.jpg)
Indicadores objetivos e subjetivos
![Page 64: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/64.jpg)
Indicador 1
Método deaglutinação
Índice composto ou sintético
Indicador 2
Indicador 3Índice de custo de vida
Indice de Desenvolvimento Humano
Que dimensões utilizar ?
Como combinar ?
Que pesos atribuir ?
Indicadores analíticos ou sintéticos
![Page 65: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/65.jpg)
Índice Sintético : um exemploIndicadores Analíticos ou Sintéticos
![Page 66: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/66.jpg)
Índice Sintético : um exemploIndicadores Analíticos ou Sintéticos
![Page 67: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/67.jpg)
Indicadores Analíticos ou Sintéticos
AnoP= Tx. média de
aprovação
Média da nota
padronizada
IDEB = N x P
Taxa média de
abandono %
M= Taxa média de
permanência
IDEB+= NxPxM
1999 78,00 4,56 3,55 10,20 89,8 3,19
2001 79,70 4,33 3,45 8,20 91,8 3,17
2003 80,80 4,42 3,57 6,60 93,4 3,34
2005 81,60 4,61 3,76 5,70 94,3 3,55
Var. 1999-2005 4,62 1,27 5,94 -44,12 5,01 11,25
![Page 68: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/68.jpg)
Indicador-insumoRecurso:
quantidade de médicos por mil habitantes ou
gasto monetário per capita em
saúde
Indicador-processo
Uso dos recursos:Consultas ao mês por Criança até
1 ano
Indicador-produto
Resultado efetivo:Taxa de
morbidade ou mortalidade infantil por
causa específica
Ciclo de formulação e avaliação
Indicador-impactoDesdobramentos
Mais abrangentes
Melhora do nível nutricionalMelhora do
desempenho escolar
Economia futura em gastos com
saúde
Indicadores seg. natureza processual
![Page 69: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/69.jpg)
Finalizando.....
Há muitas estratégias diferentes para retratar a
realidade social através de indicadores.....
![Page 70: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/70.jpg)
Tópicos da Apresentação
2. Monitoramento e Avaliação de Programas
CARVALHO, S.N. Avaliação de programas sociais: balanço das experiênciase contribuição para o debate. São Paulo em Perspectiva, São Paulo,17(3-4): 185-197, 2003COTTA,T.C. Metodologias de avaliação de programas e projetos sociais: análise de resultados e impacto. Revista do Serviço Público, Brasilia, 49(2):103-124, 1998.WORTHERN, B.R. et al. Avaliação de programas: concepções e práticas. São Paulo: EdUsp/Ed. Gente, 2004,
![Page 71: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/71.jpg)
Constatação 1
As metodologias de avaliação de programas sociais têm sido objeto de severas críticas. Basicamente, afirma-se que, na prática, as avaliações não subsidiam o processo
decisório porque seus resultados são inconclusivos, inoportunos e irrelevantes. Inconclusivos em função das
próprias limitações deste tipo de estudo, inoportunos devido à morosidade do processo avaliativo e irrelevantes,
porque não respondem às demandas informacionais de todos os agentes sociais afetos à intervenção (COTTA
1998, p.118).
![Page 72: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/72.jpg)
Constatação 2
De vez em quando, uma “avaliação” mal concebida ou mal executada produz informações que, no melhor dos
casos, seriam enganosas e, no pior, absolutamente falsas. Embora essas ocorrências sejam raras, podem causar
problemas graves. Como geralmente tem ar de respeitabilidade, essas avaliações não costumam ser
questionadas, e o resultado é que decisões importantes sobre programas e serviços essenciais baseiam-se
inadvertidamente em informações falaciosas. (WORTHEN et al. 2004, p.44).
![Page 73: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/73.jpg)
Possíveis fatores que contribuem para tal
1) Tecnocratismo ingênuo – Capacidade de implementação superestimada – Implementação Programada
2) Deficiências na estruturação de Sistemas de Monitoramento
3) Problemas na especificação de Pesquisas de Avaliação
4) Falta de experiência sobre a Avaliabilidade efetiva dos programas públicos, por ser área de conhecimento relativamente nova no país, com forte demanda
1) Campo ainda em profissionalização
2) Falta de rigor metodológico e de informações específicas
3) Problemas na formação acadêmica quanto ao uso de métodos quantitativos e qualitativos e acerca da complementaridade dos mesmos
4) Necessidade de incorporação de novas metodologias com recursos computacionais
![Page 74: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/74.jpg)
Possíveis fatores que contribuem para tal
1) Tecnocratismo ingênuo – Capacidade de implementação superestimada – Implementação Programada
2) Deficiências na estruturação de Sistemas de Monitoramento
3) Problemas na especificação de Pesquisas de Avaliação
4) Falta de experiência sobre a Avaliabilidade efetiva dos programas públicos, por ser área de conhecimento relativamente nova no país, com forte demanda
1) Campo ainda em profissionalização2) Falta de rigor metodológico e de informações específicas
3) Problemas na formação acadêmica quanto ao uso de métodos quantitativos e qualitativos e acerca da complementaridade dos mesmos
4) Necessidade de incorporação de novas metodologias com recursos computacionais
![Page 75: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/75.jpg)
Linha do Tempo da Pesquisa em Avaliação nos EUA
1800-
1940
Estudos avaliativos na Educação Básica- currículos, desempenho, testes - seguindo preocupação e modelos na Inglaterra.
Com o aparecimento de especialistas em eficiência na indústria, iniciam-se estudos avaliativos isolados na Administração Pública (Saúde Pública, Moradia, Trabalho).
1940-
1965
Métodos e técnicas de pesquisa para melhorar eficiência de processos, desenvolvida na Segunda Guerra, passa a ser aplicada na avaliação de programas de qualificação profissional, moradia, planejamento familiar, educação.
Forte influência de técnicas quantitativas psicométricas, aquelas aplicadas na indústria, desenhos experimentais e quase experimentais (aval. resultados)
![Page 76: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/76.jpg)
Linha do Tempo da Pesquisa em Avaliação nos EUA
1965-
1980
1965 – Lei propondo aumento substancial do financiamento à educação e bolsas de estudo paras escolas municipais e universidades, requerendo avaliação de resultados e impactos.
Grande impulso na avaliação de programas em pobreza, qualificação profissional, criminalidade, saúde infantil com a constituição da Great Society (institucionalização do Estado de Bem-Estar Social americano).
Introdução de técnicas de planejamento e programação nos Departamentos (ministérios) Federais.
Carência de profissionais com formação adequada leva à criação de vários programas de mestrado na área, com proposição de desenhos avaliativos mais ecléticos (abordagens qualitativas, voltadas a avaliação de processos)
Produção de vários livros, manuais clássicos e revistas períódicas especializadas
![Page 77: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/77.jpg)
Linha do Tempo da Pesquisa em Avaliação nos EUA
1980-
dias atuais
No Governo Reagan, com a ênfase na desregulamentação e descentralização na prestação de serviços e programas sociais, há um arrefecimento na avaliação em nível federal no seu mandato (8 anos), contrabalançado pela demanda crescente nos estados e municípios.
Entrada de cena das ONGS- com a privatização dos serviços sociais induzida pelo Governo Reagan- também requerem estudos de avaliação, para justificar e validar experiências inovadores e financiamentos de Agências Federais e Privadas
Institucionalização crescente da atividade de avaliação de programas, com profissionais especializados, criação de Associação de Profissionais – American Evaluation Association (1985) e em outros países
Estabelecimento de Diretrizes de Avaliação de Programas na AEA e adotadas em alguns estados e municípios, como critérios para contratação
Reconhecimento da natureza trans-disciplinar da pesquisa avaliativa, da necessidade de desenhos quali-quantitativos integrados, da avaliação interna, emprego de novos recursos tecnológicos
![Page 78: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/78.jpg)
Principais fontes de pesquisas em Avaliação de Programas
American Evatuation Association
www.eval.org
Evaluation Practice
New Directions for Program Evatuation
Encontro anual em outubro-novembro nos EUA
No site há material de treinamento, instrumentos de pesquisa usados, meios de consulta e busca de consultores e instituições especializadas
Canadian Evaluation Society
www.evatuationcanada.ca
Canadian Journal of Program Evatuation
Conferência anual em maio
Material de consulta
European Evaluation Society
www.europeanevaluation.org
Evaluation
Conferência bi-anual em novembro
Material de consulta
Societé Française d´Evaluation
http://www.sfe.asso.fr
Evaluation et mesure de la performance
Jornadas de Estudos anuais – nacional e internacional
Material de consulta
![Page 79: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/79.jpg)
Principais fontes de pesquisas em Avaliação de Programas
![Page 80: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/80.jpg)
Principais fontes de pesquisas em Avaliação de Programas - Brasil
Principais Publicações (várias no www.scielo.br )
Revista do Serviço Público (ENAP)
Revista de Administração Pùblica (RAP)
Revista de Saúde Pública
Revista São Paulo em Perspectiva
Estudos em Avaliação Educacional (Carlos Chagas)
Planejamento e Políticas Públicas (IPEA)
Revista Avaliação em Políticas Públicas (MAPP-UFC)
Publicações do IPEA (Textos para Discussão, Estado da Nação)
Publicações do IBGE (Indicadores Sociais, Publ.anual PNAD)
Políticas Públicas em Foco (Cebrap- Fundap)
Associações Científicas
ANPAD
www.anpad.org.br
Revista de Administração Contemporânea
Encontros anuais, com seções específicas em Gestão Pública e com eventos bi-anuais do ENAPG – Encontro Nacional de Administração Pública e Governo
ANPOCS
ANPEC
ANPED
ABEP
ABET
Rev.Bras. Ciências Sociais
Rev.ANPEC
Rev.Bras. Educação
Rev.Bras.Estudos Populacionais
Rev.da ABET (Estudos do Trabalho)
![Page 81: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/81.jpg)
Principais fontes de pesquisas em Avaliação de Programas - Brasil
Tribunal de Contas da Uniáo
www.tcu.gov.br
Relatorios de Auditoria e Avaliação de Programas
Material de consulta e treinamento
Secretaria de Avaliação e Gestão da Informação
SAGI do MDS
www.mds.gov.br
Relatórios metodológicos das Pesquisas de Avaliação
Instrumentos de pesquisa
Recursos de acesso ao banco de dados do Cadastro Unico
Associação Brasileira de Avaliação Educacional
www.abave.org.br
Fundada em 2003
Material de consulta dispinível
Eventos anuais
Rede Brasileira de Avaliação
www.avaliabrasil.org.br
Fundada em 2002 (site fora do ar em 2008)
Esforço de estruturação em rede pelo país – ONGs, Governo, universidades
Enfoque multidisciplinar (psicologia social a pesquisa operacional)
![Page 82: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/82.jpg)
Confusão entre Monitoramento e Avaliação de Programas
Vários termos similares e relacionados, mas distintos
– Sistemas de Informação para Gestão
– Visitas e contatos de acompanhamento e gestão
– Sistema de Indicadores de Monitoramento
– Pesquisas de Avaliação
– Estudos de Políticas Públicas
– Auditorias operacionais CGU
– Avaliação de Programas do TCU
![Page 83: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/83.jpg)
Confusão entre Monitoramento e Avaliação de Programas
Ministério do Desenvolvimento Social – 4 Secretarias Nacionais
• 3 Voltadas à Implementação dos Programas– SENARC (Bolsa Familia)
– SNAS ( Peti, BPC, PAIF etc)
– SESAN (PAA, Rest. Populares etc)
• SAGI - Gestão da Informação e Avaliação dos Programas » Gestão da Informação: desenvolvimento de ferramentas para coleta
de dados e para integração de sistemas de informação para produzir indicadores de monitoramento dos programas
» Avaliação de Programas: contratação de pesquisas avaliativas externas para os programas
![Page 84: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/84.jpg)
Confusão entre Monitoramento e Avaliação de Programas
Monitoramento – Coutinho (2001, p.11) define o monitoramento como
um processo sistemático e contínuo que, produzindo informações sintéticas e em tempo eficaz, permite rápida avaliação situacional e a intervenção oportuna que confirma ou corrige as ações monitoradas”.
– Rua (2004,p.6) define o monitoramento como: Um conjunto de estratégias de “acompanhamento” de uma
política programa ou projeto, de modo a identificar de maneira oportuna e tempestivamente as vantagens e pontos frágeis na sua execução, a fim de efetuar os ajustes e correções necessárias à maximização dos seus resultados e impactos.
![Page 85: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/85.jpg)
Confusão entre Monitoramento e Avaliação de Programas
Monitoramento – O monitoramento e avaliação dos programas de governo
são ferramentas essenciais para a boa prática gerencial. A avaliação é um procedimento que deve ocorrer em todas as etapas permitindo ao gestor federal o acompanhamento das ações e sua revisão e redirecionamento quando necessário.
– Enquanto o monitoramento é uma atividade gerencial interna, que se realiza durante o período de execução e operação, a avaliação pode ser realizada antes ou durante a implementação, como ao concluir uma etapa ou projeto como um todo, ou mesmo algum tempo depois, devendo se preocupar com o impacto provocado pela intervenção pública em seus beneficiários”. (TCU, 2006, p. 75).
![Page 86: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/86.jpg)
Confusão entre Monitoramento e Avaliação de Programas
Monitoramento Avaliação
Atividade de gestão interna e contínua.
Atividade interna ou externa.
Acontece durante a implementação do programa ou projeto.
Pode acontecer antes, durante ou depois da implementação de um programa ou projeto.
Compara o que está sendo realizado com o que foi planejado.
Com base em dados levantados pelo monitoramento e outras fontes, julga o desempenho de um projeto de acordo com critérios pré- estabelecidos, tais como: eficácia, eficiência, efetividade, sustentabilidade, dentre outros
Fonte: Adaptado a partir de SEPLAN/SGA, 2005
![Page 87: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/87.jpg)
Extração de informações e
integração em um Data Warehouse
(DW)
Imagens de satélite
Chave de integração:
município ou indivíduo
Estruturação de um Sistema de Monitoramento: Integração de Informações de diferentes fontes
![Page 88: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/88.jpg)
Outras instituições
Cadastros e Registros
Transacionais de Programas
Pro-Social
Registro de Alunos
Empresa SP
Frente de Trabalho
.........
Gestores Estaduais
Técnicos de Secretarias
DW
Sim-Gov
SEADE
Indicadores Municipais Seade
Projeções populacionais
Investimentos anunciados
RAIS- CAGED
Pesquisas Municipais
Pesquisa Empr Desemp
Integrando IMO+Qualificação Profissional
Chave de Integração:
Individuos
Chave de Integração:
Municípios
Chave de Integração:
Município-Individuo
Chaves de Recuperação:
Região
Município
Programação
Indicadores
Dados Dados
IBGE
Pesquisa nacional por Am.Dom
Censos Demográficos
Pesquisas Econômicas
Órgãos Externos
DataPrev
DataSus
SED/Mins Trabalho
.......
![Page 89: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/89.jpg)
![Page 90: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/90.jpg)
![Page 91: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/91.jpg)
Avaliabilidade do programa (Worthen et al 2004)
Situações em que a Avaliação não é adequada:
Não há sequer um sistema de monitoramento/gestão do programa
A avaliação produziria resultados triviais
Os resultados da avaliação não serão usados
A avaliação não tem como produzir informações úteis e válidas
A avaliação é prematura para o estágio do programa
O avaliação será apropriada para fins não justificáveis
![Page 92: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/92.jpg)
Avaliabilidade do programa (Worthen et al 2004)
Passos para estudo da avaliabilidade Verificação preliminar
– O programa já engrenou ou tem problemas de gestão– Não é o caso de visitas e auditorias– Há sistemas ou registros informatizados acerca dos procedimentos– Já existe um conjunto mínimo de indicadores de monitoramento
Existem elementos para orientar a demanda de avaliação– “Esclarecer o modelo ou a teoria do programa”– “Examinar o programa na implementação para determinar se
corresponde ao modelo e se tem condições de alcançar suas metas e objetivos”
– “Explorar diferentes abordagens da avaliação para determinar o grau em que satisfazem as necessidades de informação dos interessados e se sua implementação é praticável”.
– “Definir as prioridades da avaliação e com os usos que se pretende fazer em estudo”
![Page 93: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/93.jpg)
Estratégia Metodológica
1) Técnica de coleta de dadosFontes secundárias e documentaisObservação Realização de entrevistas Realização de Grupos Focais ou Grupos de DiscussãoLevantamentos de Campo
Experimentos e quase-experimentos
2) Amostra, Sujeitos, SituaçõesAmostra probabilística Amostra intencional ou conveniência
3) Instrumentos de pesquisaRoteiroFormulário, QuestionárioGravação, Filmagem, Foto, Mapeamento
![Page 94: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/94.jpg)
Tópicos da Apresentação
3. Agenda de trabalho Anipes
![Page 95: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/95.jpg)
A Anipes
Associação de instituições e órgãos estaduais e municipais que tem como atividade subsidiar as atividades de:
– planejamento governamental;– formulação e monitoramento de políticas públicas.
Fundada em 1996 (formalmente em 1999) Congrega atualmente mais de 20 instituições, de norte a sul do
país, vinculadas a governos estaduais e municípios, além do IBGE e IPEA.
![Page 96: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/96.jpg)
www.anipes.org.br
![Page 97: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/97.jpg)
Gestão Anipes 2008-2009
Seade-SP, Sei-BA e Fee-RS
Pauta de trabalho: – Maior integração e compartilhamento de experiências entre
seus filiados – Maior visibilidade institucional entre Governos Estaduais e
Ministérios– Projetos institucionais
IBGE:Sistema Integrado de Projeções e Estimativas Populacionais IPEA:Estudos e Pesquisas da Rede Ipea-Anipes MDS/Senarc: Uso e Exploração analítica do CadUnico
![Page 98: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/98.jpg)
Cursos Anipes 2008
![Page 99: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/99.jpg)
Cursos Anipes 2008
![Page 100: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/100.jpg)
Cursos Anipes 2008
![Page 101: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/101.jpg)
Cursos Anipes 2008
![Page 102: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas](https://reader034.vdocuments.net/reader034/viewer/2022042614/5571f2da49795947648d2857/html5/thumbnails/102.jpg)
Propostas de Atividades para 2009
Projeto MDS/Senarc
Oficina de uso do Cadunico para produção de estatísticas públicas Acompanhamento do recadastramento das famílias, com produção
de indicadores semestrais e comparação anual com PNADs 2007 a 2009 e Censo 2010, em nível estadual
Estudo piloto da expansão das periferias das grandes cidades com imagens de satélites (INPE)
Desenvolvimento de material para Capacitação de gestores municipais e estaduais na produção de indicadores e dados do CadUnico