Slide 1
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação de Políticas Públicas –um Enfoque Orçamentário
Marcelo PrudenteCoordenação Geral de Avaliação de Políticas Públicas
SEARI/SOF/MP
Slide 2
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
O problema orçamentário –Introdução
Slide 3
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação de Políticas Públicas – um enfoque orçamentário
Boa alocação de recursos
Avaliação como instrumento de gestão
Base em “evidências”
Conhecimento da política pública
“realismo orçamentário”
Opinião mais qualificada sobre a alocação de recursos
Reduzir a orçamentação com base em “achismos”
Aprendizado institucional contínuo
Slide 4
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Contexto fiscal a partir de 2015
Contexto de restrição fiscal
Queda de arrecadação Trajetória de aumento de despesas obrigatórias
Elevado déficit primárioEC 95/2016
Pressão demandas sociais “país em desenvolvimento”
Slide 5
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Contexto de restrição fiscal: arrecadação
17,0
16,3
17,0
18,4
19,519,7
20,7
21,8
21,0
21,7
22,6 22,6 22,823,1
22,2
23,7
22,6
22,0 22,1
21,120,8 21,0
20,6
16,0
17,0
18,0
19,0
20,0
21,0
22,0
23,0
24,0
1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017
Evolução das Receitas Primárias % PIB1995-2017
Fonte: SOF/MP.
- R$200 bilhões
Trajetória descendente
Slide 6
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Contexto de restrição fiscal: crescimento da despesa
Fonte: SOF/MP.
19,59
18,68
19,19
20,25
20,58 20,73
20,32
21,04
21,67
20,51
20,44 20,67
21,43
22,73
23,44
22,64
18,0
19,0
20,0
21,0
22,0
23,0
24,0
2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017
Trajetória ascendente
Evolução das Despesas Primárias em % do PIB – 2002 - 2017
Slide 7
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Contexto de restrição fiscal: déficit primário
Slide 8
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Modelo de disciplina fiscal: metas de resultado
Resultado Primário
Fonte: PLDO 2019
Anexo de Metas Fiscais (LDO)
2019 2020 2021
-139,0-110
-70
Meta Fiscal
139Bi R$ déficit:- Atividade econômica- Imposto empresas- Refis- Desonerações tributárias
Slide 9
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Exigência de despesa pública mais eficiente
Maior rendimento / Melhor desempenho
Como saber se a despesa é mais eficiente?
Avaliação da despesa
Aumento da importância da avaliação
Definição prioridades
Contexto fiscal a partir de 2015
Avaliação ganhou importância nos órgãos centrais – SOF, SEPLAN, STN, TCU, IPEA
Slide 10
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Benefícios Previdenciários
44%
Pessoal e Encargos Sociais
22%
Outras Despesas Obrigatórias
14%
Despesas Discricionárias - Todos os Poderes
20%
Composição do gasto primário em 2017
Slide 11
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Benefícios Previdenciários
44%
Pessoal e Encargos Sociais
22%
Outras Despesas
Obrigatórias14%
Despesas Discricionárias -
Todos os Poderes20%
Composição do gasto primário em 2017
72%
28%
Benefícios Previdenciários
Urbano
Rural
Slide 12
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Outras Despesas
Obrigatórias14%
Composição do gasto primário em 2017
1,0%
1,1%
1,3%
1,5%
1,9%
3,0%
4,2%
Fundeb (Complementação da União)
Compensação ao RGPS pelas desonerações da Folha
Abono
Subsídios, Subvenções, Pró-Agro
Outras Despesas Obrigatórias
Seguro Desemprego
BPC da LOAS/RMV
Outras Despesas Obrigatórias
Slide 13
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Despesas Discricionárias
- Todos os Poderes
20%
Composição do gasto primário em 2017
0,9%
2,3%
2,6%
2,7%
3,7%
7,5%
Poder Legislativo, Judiciário e MPU
PAC
Gasto da Educação (exc. Pessoal)
Gasto da Assistência Social (exc.Pessoal e BPC)
Demais Despesas Discricionárias doExecutivo
Gasto da Saúde (exc. Pessoal)
Despesas Discricionárias - Todos Poderes
Slide 14
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Classificação da Rigidez Orçamentária
Nível de Rigidez
Especificação Despesas Incluídas
5 Despesas públicas decorrentes de direitos individuais especificados no texto constitucional, com regras claras de acesso e de vigência dos benefícios
Benefícios previdenciários e assistenciais, gastos de pessoal, abono e seguro desemprego, emendas parlamentares obrigatórias, dentre outras.
4 Direitos coletivos de amplo suporte político e vinculações de receitas estabelecidas na constituição
Despesas de custeio e investimentos nas áreas de saúde e educação (gastos mínimos em Ações e Serviços Públicos de Saúde e Manutenção e Desenvolvimento de Ensino), bem como a complementação do FUNDEB e o repasse do FCDF, dentre outras.
3 Demais direitos individuais e coletivos atribuídos a setores vulneráveis, mediante lei ordinária
Bolsa Família, Complemento FGTS, Compensação do RGPS, Benefícios de Legislação Especial, Transferência ANA/ANEEL, dentre outras com menor impacto fiscal.
2 Obrigações assumidas pelo governo mediante contratos e convênios
Convênios assinados pelo governo e subsídios para execução de programas governamentais.
1 Demais obrigações Demais despesas não listadas nos itens acima e que não são submetidas à limitação de empenho pela LDO.
Fonte: Relatório Fiscal do Tesouro Nacional de 2017, pág. 45.
Slide 15
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
85,7%84,7%
84,1% 84,5%
89,3%90,2%
87,7%
91,0%
89,3%
93,7%
78,0%
80,0%
82,0%
84,0%
86,0%
88,0%
90,0%
92,0%
94,0%
96,0%
2013 2014 2015 2016 2017
Rigidez da Despesa Primária
Restrito Ampliado
Ampliado (Níveis 5, 4, 3, 2, 1)
Restrito (Níveis 5, 4, 3)
O Tesouro Nacional especifica indicadores agregados de rigidez orçamentária
• Esses indicadores evidenciam o espaço para cumprimento das metas fiscais
Em 2017, 6% das despesas eram discricionárias (não rígidas).
Aproximadamente, R$ 80 bilhões.
Se considerado os Restos a Pagar, apenas 2,5% do orçamento foi não rígido
em 2017.Aproximadamente, R$ 31 bilhões.
Rigidez Orçamentária
Fonte: Relatório Fiscal do Tesouro Nacional de 2017, págs: 44-52
Slide 16
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Rigidez Orçamentária
Fonte: Instituto Fiscal Independente. Apresentação CAE Senado 20/11/2018
O Instituição Fiscal Independente (Senado) também calcula a rigidez orçamentária e chega a resultados parecidos:
Slide 17
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Rigidez orçamentária: despesas obrigatórias
Slide 18
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Composição do Gasto Primário - 2017(R$ milhões Correntes) Fonte RTN - dez/2017
Despesas Primárias 2017 %Benefícios Previdenciários - Urbano 443.061,0 34%Pessoal e Encargos Sociais (Inclusive servidores inativos e pensionistas) 287.938,0 22%Benefícios Previdenciários - Rural 121.668,0 9%Gasto da Saúde (exc. Pessoal) 97.767,6 7%Benefícios de Prestação Continuada da LOAS/RMV 54.499,1 4%Demais Despesas Discricionárias do Executivo 47.425,3 4%Seguro Desemprego 38.489,2 3%Gasto da Assistência Social (exc. Pessoal e BPC) (inclui Bolsa Família) 34.971,6 3%Gasto da Educação (exc. Pessoal) 33.423,8 3%PAC 29.883,7 2%Demais Despesas Obrigatórias 28.932,7 2%Subsídios, Subvenções e Proagro 19.021 1%Abono 16.827 1%Compensação ao RGPS pelas Desonerações da Folha 14.112,0 1%FUNDEB (Complem. União) 13.273,1 1%Poder Legislativo, Judiciário e Ministério Público da União 12.207,6 1%Sentenças Judiciais e Precatórios 10.838,8 1%DESPESA TOTAL 1.304.332,3 100%
Demais Despesas Obrigatórias: Anistiados; Apoio Fin. EE/MM; Benefícios de Legislação Especial e Indenizações; Convênios; Doações; Fabricação de Cédulas e Moedas; Fundo Constitucional do DF; FDA/FNDE; Lei Kandir (LC nº 87/96 e 102/00); Reserva de Contingência; Ressarc. Est./Mun. Comb. Fósseis; Transferências Multas ANEEL; Auxílio CDE;
Créditos Extraordinários (exceto PAC); Complemento do FGTS (LC nº 101/01). Demais Despesas Discricionárias do Executivo: Demais Ministérios; Emissões de TDA.
Slide 19
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Enfoque orçamentário – papel da avaliação
Tomada de decisão
Instrumento para melhorar a alocação de recursos no orçamento
Base para revisão dos gastos públicos
LDO 2019: plano de revisão de despesa (art. 15, II)
Indicar políticas prioritárias que deveriam ser preservadas
Slide 20
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Enfoque orçamentário – focos de interesse
Investigar Prioridades da sociedade e do governo
Desempenho – maximização da eficiência e efetividade
Economicidade - custos razoáveis
Capacidade Fiscal
Crise FiscalGanham relevância eficiência, economicidade,
impacto nas contas públicas
Slide 21
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação de Políticas Públicas
Slide 22
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
O que é avaliação de políticas públicas?
Alguns conceitos“Conjunto de procedimentos técnicos para produzir informação e conhecimento para o desenho ex-ante, implementação e validação ex post de programas e projetos sociais”
Januzzi (2014, p. 26)
“Uma cuidadosa avaliação retrospectiva do mérito, excelência e valor da administração, produção e resultado das intervenções governamentais com a intenção de ter papel importante nas ações práticas do futuro”.
Vedung (1997, p. 3)
“As avaliações são análises periódicas e objetivas de uma política pública, projeto ou programa planejado, em andamento ou concluído. As avaliações são usadas para responder perguntas específicas, geralmente relacionadas ao desenho, à implementação ou aos resultados.”
Banco Mundial (2016, p .8)
Para uma revisão dos conceitos de avaliação, ver Brousselle (2011, cap. 2)
Slide 23
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
O que é avaliação de políticas públicas?
Pode analisar
Desenho da política
Arranjos de implementação Custos
FocalizaçãoResultados de
curto prazo
Impactos sociais de longo
prazo
Slide 24
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
O que é avaliação de políticas públicas?
Cumprimento dos objetivos do programa (produto/entrega)
Custos e benefícios da intervenção
Impactos mais abrangentes
Eficácia
Economicidade e Eficiência
Efetividade
Verificar
Slide 25
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliar é lidar com a complexidade
Os avaliadores devem atentar para a natureza complexa dos problemas sociais e das intervenções públicas
• Problemas e demandas sociais têm múltiplas causas• Ex: Pobreza, violência, entre outros
• Públicos-alvo dos programas são distintos ou amplos• Ex: Educação Básica, PBF
• Tipos de entregas são diversas – dinheiro, serviços, produtos• PBF, Educação, Farmácia Popular
Simples Complicado Complexo
Slide 26
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Ciclo das políticas públicas
Problemas e demandas
sociais
Definição de agenda
Percepção e definição das
questões públicas
FormulaçãoDiagnóstico e desenho de
programas
Tomada de DecisãoSobre programasse
público-alvo
ImplementaçãoProdução e oferta de
serviços
AvaliaçãoAnálise de
resultados e impactos
Decisão sobre continuidade / início
do ciclo
Lasswell(1956)
Slide 27
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Abordagens sobre o processo das políticas públicas
•Contexo institucional – organizações políticas, regras, legislação, burocratasInstitucional
•Fatores econômicos e sociais – crises econômicas, maiorias políticasSocio-econômicas
•Distribuição do poder, interação formal e informal entre atoresGrupos e redes
• Intenções, crenças e formação dos decisores das políticasIdeias
•Fatores que levam a mudanças radicais nas políticas: lobbies, crises políticas, mudança da opinião públicaEquilíbrio pontuado
• Janelas de oportunidades, empreendedores da políticaMúltiplos fluxos
•Como as ações individuais moldam a política públicaEscolha racional
Slide 28
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Porque avaliar?
Slide 29
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Intervenção pública
• As intervenções governamentais buscam alterar fenômenos para corrigir uma situação problemática• Por exemplo, melhorar índices educacionais ou reduzir o déficit habitacional
• No entanto, não basta apenas a “boa intenção” da política, sim verificar os resultados e boa práticas
Componentes das Intervenções:• Dimensão física – recursos mobilizados
• Dimensão organizacional – regras do jogo
• Dimensão simbólica – crenças e valores
Slide 30
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Intervenção pública
O caso do IDEB do Ensino Médio
3,2
3,4
3,6
3,8
4,0
4,2
4,4
4,6
4,8
2007 2009 2011 2013 2015 2017
Ideb Observado Ideb Projetado
Trajetória Desejada
Trajetória Observada
Efeito desejado
Intervenção• Estrutura (recursos financeiros, técnicos e
organizacionais)• Atores• Processos
Avaliação de impacto
Avaliação de custos, eficiência
Avaliação de desenho
Slide 31
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Objetivos da avaliação*
Accountability**
• Legal
• Fiscal
• Entrega
• Cobertura
• Impacto
• Eficiência
Melhoria
• Determinar o mérito/ valor de programas
• Identificar pontos fortes e fracos
• Subsidiar tomada de decisão (instrumento de gestão)
• Produzir evidências que contribuam para o aperfeiçoamento de políticas públicas
Aprendizado (efeito
secundário)
• Aprendizado institucional
• Compilação de dados
Outros
• Razões estratégicas: legitimar política, desviar atenção,
* Verdung (1997, p. 101- 114) ** Rossi e Freeman (1989, apud Verdung, 1997, p. 103)
Slide 32
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Classificações das avaliações
Quanto à finalidade Formativa ou somativa
Quanto ao tempo
Quanto à posição do avaliador
Ex ante ou Ex post
Interna ou externa
Quanto à metodologia
Quantitativa, Qualitativa, Métodos combinados
Slide 33
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Finalidade: formativa e somativa
FormativaFase inicial do programa; objetivo de
aperfeiçoamento / correção de rumos
Somativaaferir mérito/valor do programa, subsidiando
tomadores de decisão (continuidade ou descontinuidade, expansão ou redução)
Risco
Avaliações somativas em programas que ainda não se desenvolveram plenamente
Maturidade do programa
Slide 34
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Momento: Ex ante e Ex post
Ex anteAntes de iniciar programa, antecipando
fatores considerados no processo decisório
Ex postQuando o projeto está em execução ou já
foi concluído
O Decreto nº 9.191/2017 estabelece questões a serem analisadas na elaboração de atos normativos do poder executivo federal
Referências para consulta
Slide 35
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Interna
Gestores e técnicos que trabalham no programa ou projeto
VantagensAcesso facilitado a dados e conhecimento dos
procedimentos do programa
Avaliação de melhorias nos programas
Desvantagens Viés favorável à equipe do programa
Possível imersão da equipe em problemas rotineiros insignificantes, impedindo visão de
variáveis críticas
Posição de quem avalia: interna
Slide 36
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Posição de quem avalia: externa
Vantagens
Desvantagens
Avaliação tende a ser menos enviesada (?)
Distância permite visão das variáveis críticas do programa (accountability)
Avaliadores externos não conhecem profundamente dimensão prática do programa
Dificuldade de acesso a dados
Externa
Especialistas de fora do programa (pesquisadores, consultores externos)
Slide 37
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Metodologia de avaliação
• Os métodos de avaliação se baseiam nos tipos de dados einformações disponíveis
• Dados quantitativos: medições numéricas e estão associados aescalas numéricas• Ex: dados orçamentários, dados de emprego, notas da educação básica, custo dos
medicamentos, entre outros
• Dados qualitativos: dados expressos por meio de linguagem ouimagens• Ex: marcos legais, opinião de especialistas e beneficiários dos programas, entre
outros
Ideal: combinar métodos
Slide 38
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Metodologia de avaliação• Não existe um método “padrão ouro” para avaliar uma política
• A literatura de avaliação de políticas públicas mostra grande diversidademetodológica e diversos exemplo de como produzir bons estudos
• No entanto, recomenda-se:• Privilegiar múltiplos métodos;
• Rigor analítico;
• Apostar em equipes multidisciplinares;
• Entender profundamente o programa avaliado (contexto, arranjooperacional, complexidade de implementação).
Slide 39
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliações: benefícios
Institucionalização da avaliação contribui para orientação para
resultados – melhor desempenho
Desloca a energia da organização para onde ela é mais necessária
Aprendizado institucional permite melhor tomada de
decisão
Talvez o maior benefício da avaliação de políticas públicas não seja o
resultado direto que ela produz, mas o processo de aprendizado da
política que a acompanha. (HOWLETT E RAMESH, 1995)
Slide 40
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliações: obstáculos e problemas
Ansiedade e postura defensiva
Intempestividade
Conclusões precipitadas
Questões políticas
Receptividade
É comum as pessoas não gostarem de ter seu trabalho avaliado
Informação precisa, mas produzida a custos muito altos ou em tempo não condizente com a tomada de decisão
Informação rapidamente produzida, mas não consistente em termos metodológicos
Por trás de cada programa há um grupo de interesse ou pessoas beneficiadas
Tomadores de decisão podem estar focados em outras problemáticas
Slide 41
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliações: sugestões
Explicitar objetivo da avaliação para gestores
Buscar tempestividade e utilidade para a tomada de decisão
Equilíbrio entre profundidade da avaliação
e tempestividade dos achados
Avaliadores devem entender os estilos cognitivos dos usuários da informação
Analisar méritos e deméritos do programa
Tentar responder à pergunta da avaliação e não justificar uma ideia já concebida
Banco Mundial: Expenditure Review, objetivo de enxugar
gastos
Slide 42
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Mitos das Avaliações: alertas*
GARCIA (2015)
Mito da facilidade
Mito da impossibilidade
Resultante do desconhecimento da complexidade envolvida no processo (das conexões do
programa), fazendo que este seja entregue a equipes ou pessoas de boa vontade, mas sem o
devido preparo.
Impossibilidade de julgar ações complexas, por não existirem instrumentos capazes de fazê-lo. Tal mito se constituiria em um mecanismo de defesa
daqueles que temem a avaliação.
Slide 43
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliações: alertas
Fonte: WORTHEN et al. 2004, apud PPT Jannuzzi - PPT de Jannuzzi (SAGI/MDS)
Avaliações podem fornecer resultados inconclusivos, inoportunos, irrelevantes e tendenciosos
Avaliação mal concebida ou mal executada pode produzir informações enganosas ou falsas
Decisões importantes sobre programas e serviços essenciais acabam baseando-se inadvertidamente em informações falaciosas
Slide 44
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Tipologias de Avaliação
Slide 45
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Orçamento e Avaliação
Problemas e demandas
sociais
Definição de agenda
Percepção e definição das
questões públicas
FormulaçãoDiagnóstico e desenho de
programas
Tomada de DecisãoSobre programas e
público-alvo
ImplementaçãoProdução e oferta de
serviços
AvaliaçãoAnálise de
resultados e impactos
Decisão sobre continuidade / início
do ciclo
Avaliação de diagnóstico: problema Avaliação de diagnóstico: desenho
Avaliação de resultados e impactos
Avaliação de impacto
Orçamento
Avaliação de processo (monitoramento)
Slide 46
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Influência política
PressãoParlamentares
Lobistas e empreiteiros
Canais burocráticos e políticos
Formação da Agenda
Demandas sociais
Sociedade organizada Ação política
Governo
Burocracia
Slide 47
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Formação de agenda
• Portanto, os problemas são socialmente construídos
• Os problemas precisam ser estruturados• Formulação
• Descrição
• Clareza
• Para serem compreendidos, os problemas devem ser representados por modelos
Slide 48
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Objetivo ImpactoResultadoProdutoProcessoInsumo
Objetivos definidos
Inputs / Recursos alocados
Atividades / Ações
desenvolvidas
Outputs / Entregas de
bens e serviços
Resultado imediato da intervenção
(público-alvo)
Resultado final da
intervenção (sociedade)
Economicidade
Eficácia
Eficiência
Efetividade
Dimensões da avaliação: desempenho (monitoramento)
Slide 49
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação de Resultado e Impacto
Dimensões do desempenho
Economicidade – custo de produção (insumos)
Eficiência - relação entre custos incorridos e entregas ou resultados / benefícios gerados
Eficácia – entrega de bens e serviços (alcance dos objetivos e metas de produto / output)
Efetividade – alcance dos objetivos e metas relacionados à resolução do problema (efeitos para público-alvo e sociedade como um todo)
Slide 50
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação de Diagnóstico*
Fase de planejamento e desenho dos programas
* Ver capítulos 5 e 6 de Brouselle et al (2016)
Slide 51
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Diagnóstico: aspectos orçamentários
ProblemaQual o problema? A existência do problema deve estar
baseada em evidências : extensão, identificação
Por que é necessário intervir? Quais as causas sobre as quais se quer e se pode agir?Qual a melhor intervenção?Para qual grupo a intervenção deve ser dirigida?
Qual o custo de uma possível solução?
Há programas que atuam
sobre o problema?
Slide 52
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação de Desenho
Arranjo institucional Papéis dos atores e suas capacidades
Análise dos produtos esperados e das metas
Insumos a serem aportados
Focalização: público-alvo e cobertura geográfica
Papel do programa dentro do contexto da política pública
Análise do objetivo da intervenção (viabilidade)
Jannuzzi (2013)
Atentar para os seguintes pontos:
Slide 53
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Teoria do programa (modelo lógico)
• Analisa o mérito da intervenção do ponto de vista de seu modelo teórico (hipóteses causais) e do modelo operacional (hipóteses de intervenção).
• Essencial para:• Fazer as perguntas corretas (diagnóstico do problema)• Atribuição dos efeitos a mecanismos específicos (causas e
consequências)• Facilitar a avaliação
“Só vale à pena avaliar intervenções bem fundamentadas” (Champagne et al., 2011)
Slide 54
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Fazendo as perguntas corretasUma pergunta bem formulada é o ponto de partida de uma avaliação
Deve ser guiada pelo interesse
central da política em questão
Hipóteses bem-definidas e testáveis
• Específicos• Mensuráveis• Atribuíveis• Realistas• Direcionados
Seleção de indicadores de
resultado e desempenho
Professores capacitados e os livros didáticos distribuídos, favorecem a aplicação do conteúdo e os alunos seguirem o currículo.
Fonte: Banco Mundial (2016) Cap. 2
qual é o efeito de um
novo currículo
de matemática sobre
as notas dos testes
dos alunos?
Slide 55
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Teoria do programa (modelo lógico)
Objetivo intermediário(conhecimentos, atitudes)
Efeitos diretos da intervenção (utilização de preservativos)
Efeitos sobre o objetivo de saúde almejado (redução da incidência do HIV)
Objetivos específicos da intervenção (modificação do comportamento de
utilização de preservativos)
HIPÓTESE DA INTERVENÇÃO
HIPÓTESE CAUSAL
AtividadesProcessos
RecursosEstrutura
(um programa de educação sanitária)
VALIDADE DOS MEIOS
Modelo lógico teórico: redução da incidência do HIV
Fonte: Champagne et al (2011)
Slide 56
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Teoria do programa (modelo lógico)
Estrutura simplificada do modelo lógico operacional (DST)
Insumo Processo Produto Resultado Impacto
Médicos por mil habitantes
Orçamento previsto
Recursos financeiros
liberados no mês
Médicos contratados
Campanhas realizadas
Diminuição da taxa de
morbidade por doenças DST
Aumento da expectativa de
vida da população
Fonte: Ministério do PlanejamentoBanco Mundial (2016) Cap. 2
Lado da oferta(implementação)
ResultadosDemanda + Oferta
Slide 57
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação de Desenho: Teoria do programa
Análise da consistência interna (teoria do programa)
Insumos e atividades previstas compatíveis com os produtos e resultados esperados
Papéis a serem desempenhados pelos atores compatíveis com suas capacidades
Arranjos institucionais previstos compatíveis com a realidade
Metas equilibradas: nem modestas nem ambiciosas demais
Indicadores para monitorar e avaliar a política
Slide 58
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação de Desenho: Focalização
Critérios de definição do público-alvo (correta caracterização e identificação do potencialbeneficiário)
Pop. potencial
Pop. elegível
Pop. priorizada
F
O
C
A
L
I
Z
A
Ç
Ã
O
Toda população possivelmente envolvida no problema
Parcela da população que poderá se candidatar por atender aos critérios de elegibilidade
Em função do excesso de demanda, podem ser estabelecidos critérios de priorização
Qdo não há focalização – pop. Potencial = pop.elegível
Residências sem esgotamento sanitário
Até 1 s.m per capita
Chefiados por mulher, com portador de deficiência, idoso
Ex: Programa de Melhoria Habitacional
OBS: na necessidade de redução de gastos, focalização pode ser umaforma de preservar quem mais precisa da política pública
Slide 59
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação de Desenho: aspectos orçamentários
Reflexos no custo
Objetivo determinado
Programa Focalizado Metas críveis
Nível de financiamento
Slide 60
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação de Processo*
* Ver capítulos 7 e 10 de Brouselle et al (2016)
Slide 61
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação de Processo / Implementação
Fonte: Jannuzzi (2013)
Verificar se o programa está sendo implementado como previsto
Capacidade operacional das instituições de prover bens ou serviços ao público-
alvo - desempenho satisfatório?
Observar se o desenho está funcionando ou necessita de ajustes
Incidência de fatores que facilitaram ou dificultaram desempenho do programa
Etapa de execução do programa
Considerar o contexto de implantação dos programas
Slide 62
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Estratégia de Implementação
• Execução direta
• Execução descentralizada
Convênios
Transferências voluntárias
Impacto na alocação de recursos
Exigência de contrapartida (LDO)
Avaliação de Processo / Implementação: aspectos orçamentários
Slide 63
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação de Processo / Implementação: aspectos orçamentários
Gestão e governança
Economicidade
Oportunidade de economicidade (redução de custo)
Oportunidade de maior eficiência (custo-benefício)
Entraves à eficácia (entrega dos produtos LOA)
Contexto de restrição fiscal - oportunidade de redução de custo ou aumento de eficiência?
Slide 64
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação de Processo / Implementação: aspectos orçamentários
Análise da acessibilidade
• Prazos (tempo)
• Distâncias (geográfica)
• Custos para os clientes (financeira)
• Cultural
• Informacional
Análise da Qualidade
• Melhoria contínua da qualidade
• Gestão da qualidade total
Análise da pertinência
• “um serviço será pertinente se puder ser eficiente (ou eficaz) segundo dados cientíticos
Fonte: Brouselle (2011) Cap. 7
Slide 65
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Objetivo ImpactoResultadoProdutoProcessoInsumo
Objetivos definidos
Inputs / Recursos alocados
Atividades / Ações
desenvolvidas
Outputs / Entregas de
bens e serviços
Resultado imediato da intervenção
(público-alvo)
Resultado final da
intervenção (sociedade)
Economicidade
Eficácia
Eficiência
Dimensões da avaliação: desempenho (monitoramento)
produtividade
Slide 66
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação de Impacto e Resultado
Getter et al.(2018). Avaliação de impacto na prática.
Slide 67
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação de impacto e resultados
• A avaliação de impacto estima as mudanças no bem-estar dosindivíduos que podem ser atribuídas a um projeto, política pública ouprograma específico.
• As avaliações de impacto abordam a efetividade de um programa em comparação com sua ausência
Enfoque: atribuição do resultado
Desafio central: identificar a relação
causal entre o programa ou política e os
resultados de interesse
Slide 68
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação de impacto e resultados
“Correlação não implica causação”
Ano
Diagn
óstico
ind
ividu
al
Ve
nd
as
($ M
ilhõ
es)
AutismoVendas Produtos Orgânicos
Slide 69
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação de impacto e resultados
“Correlação não implica causação”
Slide 70
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação de impacto e resultados
Qual o impacto de um programa sobre um resultado?
Qual é o efeito causal das bolsas de estudo na
frequência escolar e no desempenho acadêmico
dos alunos?
Se o chão de terra batida fosse substituído por um piso de cimento, qual seria o impacto sobre a saúde das crianças?
Será que estradas melhores aumentam o acesso aos mercados de trabalho e a renda familiar? E, se o fazem, em quanto?
O tamanho das turmas nas escolas influencia o desempenho dos alunos? E, se o faz, em quanto?
Fonte: : Getter et al.(2018). Cap. 2
Slide 71
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação de impacto e resultados
Tenha em mente:
• Os problemas estão descritos na literatura especializada:• A literatura médica descreve como parasitas são transmitidos e como a
infestação parasitária leva à diarreia infantil
• A cadeia lógica ajuda a entender os problemas
• Há métodos específicos para aferir o impacto de um programa
Fonte: Getter et al.(2018). Capítulo 2.
Gertler, Paul J., Sebastián Martínez, Patrick Premand,
Laura B. Rawlings e Christel M. J. Vermeersch. 2018.
Avaliação de Impacto na Prática, segunda edição.
Washington, DC: Banco Interamericano de
Desenvolvimento e Banco Mundial. Licença: CreativeCommons Attribution CC BY 3.0 IGO
Slide 72
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Objetivo ImpactoResultadoProdutoProcessoInsumo
Objetivos definidos
Inputs / Recursos alocados
Atividades / Ações
desenvolvidas
Outputs / Entregas de
bens e serviços
Resultado imediato da intervenção
(público-alvo)
Resultado final da
intervenção (sociedade)
Efetividade
Dimensões da avaliação: desempenho (monitoramento)
Slide 73
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Objetivo ImpactoResultadoProdutoProcessoInsumo
Objetivos definidos
Inputs / Recursos alocados
Atividades / Ações
desenvolvidas
Outputs / Entregas de
bens e serviços
Resultado imediato da intervenção
(público-alvo)
Resultado final da
intervenção (sociedade)
Economicidade
Eficácia
Eficiência
Efetividade
Dimensões da avaliação: desempenho (monitoramento)
Slide 74
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação de Resultado e Impacto
Dimensões do desempenho
Economicidade – custo de produção (insumos)
Eficiência - relação entre custos incorridos e entregas ou resultados / benefícios gerados
Eficácia – entrega de bens e serviços (alcance dos objetivos e metas de produto / output)
Efetividade – alcance dos objetivos e metas relacionados à resolução do problema (efeitos para público-alvo e sociedade como um todo)
Slide 75
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação de Resultado e Impacto
Desempenho da política
Geração de produtos (bens e serviços)
Geração de benefícios
Alcance de objetivos / cumprimento de metas
Efeitos para o público-alvo (curto, médio, longo prazo)
Verificar se o público-alvo foi, de fato, o público beneficiário atingido
Efeitos para a sociedade como um todo
Verificar se resultados / efeitos atribuídos decorrem da intervenção
(outros fatores / intervenções podem ser verdadeiros responsáveis)
Externalidades positivas e negativas / efeitos indiretos
Slide 76
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação de Resultado e Impacto
• Avaliação precipitada (antes do tempo necessário para o programa mostrarresultados) pode levar à descontinuidade de um bom programa, que talvezprecisasse apenas de ajustes.
• Avaliação tardia pode inviabilizar a correção de rumos.
Mais longas, custosas, com investigação mais exaustiva dos componentes da intervenção (pesquisa de campo, contratação de
instituições externas)
Maturidade do programa / Tempestividade
Fonte: Jannuzzi (2013)
Slide 77
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Fonte: Jannuzzi (2013)
Avaliação econômica
Externalidades
Contabilização de custos e clareza de indicadores
ACB: custos X produtos/resultados diretos
ACE: custos X resultados finais/impacto
Longo Prazo
Análise de Custo-Benefício e Análise de Custo-Efetividade
Slide 78
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação econômica: custo-benefício e custo-efetividade
Nem sempre é possível com precisão: variáveis externas
Slide 79
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Fonte: Jannuzzi (2013) Indicadores, Painéis de Monitoramento e Pesquisas de Avaliação como instrumentos paraaprimoramento de programas e projetos sociais. Apresentação de Power Point.
Avaliação econômica: custo-benefício e custo-efetividade
Comparação (ex: Benchmarking)
Considerar dinâmica econômica
Cuidado com a perda de qualidade.
Slide 80
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
IV. Avaliação Orçamentária
Slide 81
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Um visão da avaliação orçamentária
Secretaria do Tesouro do Canadá• Os avaliadores devem acessar não apenas a relevância do programa
ou o alcance dos resultados, mas também os recursos que o programa utiliza
Como os recursos foram utilizados para
alcançar os resultados?
O montante de recursos foi razoável
para alcançar os resultados
observados?
Há alternativas que podem alcançar os
mesmos (ou outros) resultados com níveis de recursos distintos?
Slide 82
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Canadá: Value for money
Valor para o dinheiro
Demonstração da relevância
Demonstração necessidade e responsividade
Alinhamento com as necessidades de governo
Alinhamento com as responsabilidades e papeis
federais
Demonstração do desempenho
Alcance dos resultados esperados (efetividade)
Demonstração de eficiência e economia
Qu
est
õe
s C
en
trai
s
Slide 83
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Servir de instrumento para melhorar a alocação de recursos no orçamento
Melhorar gestão da política e qualidade do gasto público
Avaliação e Orçamento
Desafio da avaliação
Slide 84
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Por que é difícil ser eficiente na alocação dos recursos públicos no orçamento?
Influência política
Multiplicidade de atores
Complexidade
Fonte: World Bank (2014) The Power of Public Investment
Management, p. 7 (com adaptações)
Slide 85
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Por que é difícil ser eficiente na alocação dos recursos públicos?
Falta sinergia
Lógica de gasto
Horizonte temporal
Anualidade do orçamento
Dificuldades de coordenação
Incremental
Curto prazo
Compromissos plurianuais
Slide 86
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação e Orçamento
Vinculação entre resultados da
avaliação e orçamento não é
imediata
Necessidade de levantar perguntas especificas sobre o
cenário orçamentário
Necessidade de “convencimento” dos tomadores de decisão
A política é a disputa pelo orçamento
Slide 87
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Especificidades da avaliação orçamentária
Ajuda na priorização da despesa governamental
Alocação recursos conforme relevância do programa
Estímulo aos órgãos para serem mais eficientes (protegerem suas dotações)
Identificação de desperdícios
Slide 88
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Especificidades da avaliação orçamentária
Avaliação vai na contramão das práticas incrementais
Preparação do orçamento geralmente não faz revisão da despesa já existente e foca na consideração do espaço para
novos gastos
É possível que programas ineficientes, de baixa prioridade ou desnecessários,
estejam sugando recursos
Avaliação pode servir de base para revisão da
despesa e para o debate sobre cortes não lineares, priorizando a eficiência e a
efetividade.
Redução da assimetria informacional
Prática dos cortes lineares em caso de contingenciamento
Só análise de desempenho nãobasta. Desempenho tem que estarcontextualizado (levar em conta aspolíticas que são mais necessáriaspara a sociedade)
Slide 89
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação Ex-ante: perspectiva orçamentáriaComo analisar o desenho de uma nova política sob o ponto de vista dos gastos
Slide 90
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação de Desenho: aspectos orçamentários
Desenho da política
favorece:
Economicidade (custo)?
Eficiência (custo-
benefício)?Custo-efetividade?
Eficácia (entrega dos
produtos previstos na
LOA)?
Contexto de restrição fiscal - existe oportunidade de redução
de custo ou aumento de eficiência?
Slide 91
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação de Desenho: aspectos orçamentários
Verificação do impacto fiscal: recursos necessários paraimplementar a política pública, inclusive em termos plurianuais
Evitar obras paralisadas, serviços descontinuados (desperdício derecursos)
Capacidade Fiscal
Adequação dos recursos orçamentários / compatibilidade com produtos e resultados
almejados
Ver capítulo 5 do guia de Análise Ex Ante
Slide 92
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Impacto orçamentário e financeiro
Política proposta deve respeitar legislação orçamentária, financeira e fiscal.
Programas novos concorrem com
despesas existentes
Constituição Federal(arts. 163 a 169) (EC 95/2016 )
PPA LDO LOA LRF
Manual Técnico do Orçamento (MTO)
Slide 93
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação de Desenho –aspectos orçamentários
PPA
LDO
LOA
Médio prazo
Prioridades e metas fiscais
Programação orçamentária
4 anos
Cenários fiscais de 3
anos
Anual
• Compatibilidade com o PPA e a LDO• Adequação orçamentária e financeira com a LOA
Slide 94
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Art. 9ºMetas de resultado fiscal
Art. 14Renúncia de receita
Arts. 15 e 16
Geração de despesa
Art. 17DOCC
Aspectos da LRF a serem considerados
Slide 95
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
DESPESA 1
Metas Fiscais (Art. 9º LRF)
Meta de resultado primário - LDO
Contingenciamento
Neutralidade fiscal
Compensação: Anulação parcial ou totalde dotações ou de créditosadicionais
DESPESA 2Para 2018, a LDO previu um déficit de R$ 159bilhões
Slide 96
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Concessão ou ampliação de incentivo ou benefício denatureza tributária
Renúncia de receita (artigo 14 LRF)
Gasto
tributárioEstimativa do impacto
orçamentário-financeiro (exercício vigência e dois
seguintes)
Renúncia considerada na estimativa
de receita da lei orçamentária e não
afetará as metas de resultados
fiscais previstas no Anexo LDO.
Medidas de compensação
+
OU
Slide 97
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Geração de despesa (Art.15 e 16 LRF)
Art. 16
Criação, expansão e aperfeiçoamento daação governamental que implique AUMENTODE DESPESA >> antes da licitação eempenho, deverá haver:
Fonte: Pascoal, Valdecir (2007) Direito Financeiro. Rio de Janeiro: Elsevier.
Estimativa do impacto orçamentário-financeiro no exercício financeiro em que deva entrar em vigor e nos dois subsequentes.
Declaração do Ordenador de Despesas de que o aumento tem adequação orçamentária e financeira com o PPA, LDO e LOA.
“Não observância dessas regras: gasto NÃO AUTORIZADO, IRREGULAR E LESIVO ao patrimônio público” (Art. 15)
Slide 98
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Despesa obrigatória de caráter continuado (artigo 17 da LRF)
• Despesa Corrente• Lei, MP ou ato administrativo
normativo• Mínimo 2 exercícios
Fonte: Pascoal, Valdecir (2007) Direito Financeiro. Rio de Janeiro: Elsevier.
DOCC (LRF)
O que a Administração precisa fazer?
• Impacto orçamentário-financeiro (exercício em vigor e doissubsequentes)
• Origem dos recursos
• Não afetará metas de resultados fiscais (Anexo LDO)
• Plano de COMPENSAÇÃO
Slide 99
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Ficar atento a...
Caráter obrigatório ou discricionário dadespesa
Aumento de despesas administrativas
Riscos potenciais
Impactos cruzados
Riscos fiscais
Saneamento X Saúde
Avaliação de Desenho: aspectos orçamentários
Slide 100
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Aspectos orçamentários: viés de otimismo
Fonte: World Bank (2014) The Power of Public Investment Management, p. 6
“Viés de otimismo”
Flyvberg (2009)
Ao analisar 258 projetos em 20 países, observou90% excedem estimativa• Sobrecusto:
Pontes e túneis – 34%Rodovias – 34%Ferrovias – 45%
Slide 101
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Aspectos orçamentários: impactos sistêmicos
Geração de uma despesa pode demandaroutra
Slide 102
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
• Por exemplo, a construção de Unidades de Pronto Atendimento gera despesas correntes
Porte 1
População da área de abrangência da UPA
50.000 a 100.000 habitantes
Área física mínima 700 m²
Número de atendimentos médicos em 24 horas
Média de 150
Número mínimo de médicos das 7h às 19h
2 médicos
Número mínimo de médicos das 19h às 7h
2 médicos
Número de mínimos de leitos de observação
7 leitos
Despesa de Investimento
Despesas correntes
Aspectos orçamentários: impactos sistêmicos
Po
rtar
ia 3
42
/20
13
Min
isté
rio
da
Saú
de
Slide 103
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Aspectos orçamentários: custos de manutenção
E a manutenção? Orçamentos futuros
Slide 104
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
X
Aspectos orçamentários: análise intertemporal do gasto
Boa política hoje pode poupar gastos futuros
Slide 105
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
• Ex: IGD-M do Bolsa Família
Aspectos orçamentários: proporcionalidade entre gastos administrativos e finalísticos
Gasto administrativo qualidade ao gasto finalístico
Capacidade institucional
Slide 106
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Dicas para avaliação orçamentária
Slide 107
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação orçamentária: possíveis abordagens
Análise da alocação de recursos a partir de olhar global da política (prioridades / sobreposição / impactos cruzados)
Governança orçamentária
“Revisão da despesa” - redução do gasto
Análise do impacto fiscal (curto, médio e longo prazos -plurianualidade)
Análise do desempenho de programas específicos (custos, resultados, impactos)
Fonte: Jannuzzi (2013)
Slide 108
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação orçamentária: Olhar global da política pública
Fonte: Jannuzzi (2013)
Conexão da alocação de recursos com demandas prioritárias da sociedade
Conexão da alocação de recursos com prioridades de governo (vínculo decisão política, planejamento/PPA e
orçamento)
Contribuição do programa para a política pública
Slide 109
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação orçamentária: Olhar global da política pública
Impacto em outras políticas (impactos cruzados) / Políticas complementares
Possíveis sobreposições
Foco além do curto prazo
Oportunidades para sinergias / economia de recursos
Fonte: Jannuzzi (2013)
Slide 110
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação orçamentária: Desempenho do programa
Desempenho: relação entre objetivos do programa, insumos empregados e produtos, resultados e impactos obtidos
Suficiência dos insumos para produzir produtos e resultados esperados - “realismo” orçamentário
Custo-efetividade
Comparação: programa ou desenho alternativo mais eficiente?
Custo-benefício
Slide 111
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação orçamentária: escolha dos programas avaliados
Cenário de restrição fiscal
Escolha deva levar em consideração
Capacidade da equipe de realizar a avaliação
Percepção de ineficiência ou de possibilidade de importante fonte de economia de recursos
Despesa emblemática ou prioritária para o órgão e o Governo
Magnitude da despesa
Definir com clareza o objeto a ser avaliado
Política pública, programa, conjunto de ações ou de planos orçamentários
Slide 112
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação orçamentária: Desempenho do programa
Desempenho - somente mais uma informação para a tomada de decisão
Desempenho ruim - decisão política pode ser inclusive de
aportar mais recursos
Fator político - tomada de decisão pode ir em sentido contrário ao do resultado da avaliação
Atrás de cada política pública - grupo de interesse ou pessoas beneficiadas
Importância social
Slide 113
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação orçamentária: fontes de informação
Fontes de informação
Entrevistas com executores/estudiosos da política
Informações do Acompanhamento Orçamentário (físico/financeiro)
Informações sobre monitoramento e avaliação de objetivos e metas do PPA
Registros administrativos (DataSUS, CadÚnico, Caged)
Pesquisas / bases de dados do IBGE, INEP ou outras instituições
Estudos do IPEA e outros institutos (Fiocruz, área de saúde)
Slide 114
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação orçamentária: Desempenho do programa
Fontes de informação
Acórdãos e relatórios de auditorias do TCU (esp. operacionais)
Literatura acadêmica Papers e estudos de organismos
internacionais (OCDE, Banco Mundial, FMI)
Relatórios de avaliação e de auditoria da CGU
Sugere-se mix de algumas dessas fontes (complementares). Fontes podem ser viesadas, daí a necessidade de equilíbrio.
Slide 115
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação orçamentária: Impacto fiscal
Estimativa do montante da despesa ou da receita no curto, médio e longo prazos
Plurianualidade
Compatibilidade com as metas fiscais
Slide 116
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação orçamentária: Impacto fiscal
Redução ou aumento de gasto ou de receita em outras rubricasImpacto fiscal cruzado
Despesas de manutenção: despesa com investimento gerando despesas correntes em exercícios futuros
Efeitos intertemporais: despesas com C&T e educação superior e aumento do IR no futuro
Impacto cruzado: despesa com intermediação de mão-de-obra (SINE) e redução de gasto com seguro-desemprego
Impactos sistêmicos: necessidade de complementaridade (geração de energia e linhas de transmissão)
Slide 117
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação orçamentária: “Revisão da Despesa”
Objetivo
Busca
Reduzir a despesa para reduzir o déficit ou equilibrar as
contas públicas
Gerar espaço fiscal para outras despesas prioritárias,
mediante redução de despesas “ineficientes” ou de “menor
importância”
Ganhos de eficiência: entregar o mesmo nível de produtos
ou serviços a um custo menor
Economia dos produtos: entregar menos produtos de
programas não prioritários
Slide 118
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação orçamentária: Governança Orçamentária
Ação “guarda-chuva”
Boa distribuição da alocaçãoPulverização
Remanejamentos
Dotação mais agregada
Timing
Fluxo de caixa
Boa alocação e gestão de recursos
Slide 119
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação orçamentária: Governança Orçamentária
Carteira de empreendimentos inadequada ao orçamento
Obras paradas ou em ritmo muito lento
Aumento do custo unitário nas próximas contratações
Gastos de remobilização
Slide 120
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
“Janela orçamentária”
“dinheiro aparece”
Manobras orçamentárias
Compatibilidade com orçamento
Avaliação orçamentária: Governança Orçamentária
Slide 121
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Subestimação de custos
696 milhões (estimativa inicial)
1,1 bilhão(custo final)
Fonte: Correio Braziliense, 2017.
Aumento de R$ 488,2 milhões no valor docontratoFonte: TCDF
27 ADITIVOS
Mal planejamento? Pressa? Falta de informação?
Despreparo dos técnicos? Falhas na fiscalização?
Avaliação orçamentária: Governança Orçamentária
Estádio Mané Garrincha
Slide 122
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Exemplo 1. Ferrovia Transnordestina
Restrição fiscal: “escalabilidade”
Escalonamento das entregas
Fonte: Jornal Nacional, 2017.
Exemplo 2. Ponte 25 de Abril
Avaliação orçamentária: Governança Orçamentária
Slide 123
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
“Elefantes brancos”
Fonte: World Bank (2014) The Power of Public Investment Management (p. 86-87)
1) Excesso de capacidade
2) Falta de recurso para operação/manutenção
3) Investimento nunca completado
Estudos de
previsão da
demanda
Avaliação orçamentária: Governança Orçamentária
Slide 124
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Desperdício
Custo de oportunidade
Falta de governança: baixa eficiência / custo elevado
Pode conduzir a...
Slide 125
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Implementação da avaliação – dicas
Processo de aprendizagem institucional contínuo e interativo
Proporcionar subsídios para a tomada de decisão mais consistente
Fundamental capacitar os servidores para avaliações
Avaliação
Mudar cultura da instituição
Slide 126
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Implementação da avaliação – dicas
Evitar “ESPASMOS AVALIATIVOS”
Quando determina-se aos subordinados avaliações das ações sem planejamento e preparação prévia (capacitação)
Transtorno na rotina dos subordinados
Dados defasados e pouco confiáveis
Tudo volta a ser como antes até próximo espasmo
Pouca utilidade para tomada de decisão
Resultados inconclusos e vagos
Slide 127
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação no Governo Federal
MP
CMAP
Ministérios Setoriais
Avaliação das Variáveis Macroeconômicas: desempenho dos agregados econômicos considerados relevantes para
o PPA
Iniciando processo
PPA
SOF
Avaliações dos Programas Temáticos: avaliação de cada programa temático / evolução de metas e indicadores
MP, MF, CC, CGUComitê de Monitoramento
e Avaliação de Políticas Públicas Federais
MDSSecretaria de Avaliação e Gestão da
Informação (SAGI)
Slide 128
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação orçamentária: desafios
Para avaliação orçamentária cumprir seu papel, necessário que processo de preparação do orçamento considere as evidências
encontradas sobre a política pública
RETROALIMENTAÇÃO
Conectar avaliação e orçamento
Avaliação ainda não foi “customizada” para as necessidades dos decisores orçamentários
Mas contexto está mudando: crise fiscal pressiona por aumento da eficiência e
economicidade
Slide 129
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação Orçamentária: exemplos
Slide 130
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Exemplos - Avaliações Realizadas
Fundo de Financiamento Estudantil – FIES
Objetivo Analisar o impacto orçamentário e a sustentabilidade fiscal do novo Fies (MP
785/2017).
Slide 131
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Histórico Fies
Exemplos - Avaliações Realizadas
Número de Contratos firmados pelo Fies financiados com recursos do Tesouro (Milhares)
32,676
154,3
377,8
559,8
732,6
287,4
192,5
173,9*100**
0
100
200
300
400
500
600
700
800
2009 2010 2011 2012 2013 2014 2015 2016 2017 2018
Fonte: MEC. Elaboração SOF/MP*Para 2017 o valor estimado
corresponde ao número de matrículasverificadas no 1º semestre mais as 75 milnovas vagas ofertadas no 2º semestre.
** Em 2018 100 mil vagas apenaspara o FIES I.
Slide 132
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Fonte: STN (2015); Câmara dos Deputados (2017);
TCU (2016).
* O percentual previsto terá que ser referendado pelo
Conselho Monetário Nacional (CMN). No caso do
Fies II, é possível que o CMN decida por deixar que
a taxa de juros seja regulada pelo mercado, sem
determinação de um percentual específico.
** Condições de concessão do financiamento ao
estudante definidas entre o agente financeiro, a
instituição de ensino superior e o estudante,
obedecidos os critérios estabelecidos pelo Conselho
Monetário Nacional.
Exemplos - Avaliações Realizadas
Fies: Público alvo
Fies-2010*
Fies-2015Fies-2017
Modalidade I Modalidade II Modalidade III
Critério de seleção
quanto à renda familiar
Até 10 s.m
(100%)
Até 15 s.m.
(75%)
Até 20 s.m.
(50%)
2,5 s.m. per
capita
Até 1,5 s.m. per capita
(cobertura total do FG-
Fies)
Até 3 s.m per capita
(cobertura parcial –
necessária
apresentação de
garantia)
Até 5 s.m. per
capita
Até 5 s.m. per
capita
Fontes: Câmara dos Deputados (2017), TCU
(2016).
*Valores financiados também dependentes do
percentual de comprometimento da renda
familiar.
Slide 133
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Intervenção: Estratégia de Atuação
Fonte: MP nº 785/2017; Câmara dos
Deputados (2017).
Slide 134
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Impacto Orçamentário e Financeiro
Exemplos - Avaliações Realizadas
FIES pode afetar o resultado
primário por 4 vias
Subsídio implícito
“Net Lending” / Inadimplência
Garantias
Taxa AdministrativaNovo modelo: o estudante arcará integralmente com os
custos administrativos
FGEDUC (aportes do governo); FG-FIES a partir de 2018 (tbaporte privado)
Registra-se como despesa primária o resultado integral dos desembolsos menos reembolsos (pagamentos recebidos)
Quanto maior a inadimplência, maior o gasto primário.
Incentivo aos programas de financiamento estudantil
Slide 135
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Novas regras do Fies e OrçamentoExemplos - Avaliações Realizadas
Subsídio implícito
“Net Lending” / Inadimplência
Garantias
Taxa AdministrativaProblema equacionado com pagamento da taxa administrativa pelo
estudante (e não mais pelo Governo Federal)
Criação de um novo fundo, o FG-Fies, que prevê um maior papel das mantenedoras das IES na garantia do risco, limitando o aporte do
governo federal à R$ 2 bilhões.
Transferência do risco da inadimplência dos contratos às IES privadas, a partir de contribuições variáveis ao FG-Fies. O retorno dos financiamentos concedidos será baseado na capacidade de
pagamento do estudante após a graduação, com base na renda (algo entre 10% e 14%). Em caso de desemprego, pagamento de valor
similar ao da coparticipação que já vinha pagando.
Permanece, mas possivelmente para um menor número de contratos
Slide 136
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Subsídio Implícito
Cenário Fies 2018
Mensalidade média R$ 1.063,00
Coparticipação média 21%
Prazo médio de utilização 48 meses
Taxa de inflação (IPCA) anual 6,1%
Taxa de Juros (Selic) anual 196%
Fonte: FNDE. Elaboração SOF/MP.
Para estimar o subsídio segundo o tempo de amortização, calculou-se cenários de pagamento considerando os parâmetros a seguir:
Slide 137
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Subsídio Implícito
Além do subsídio implícito em termos percentuais, simulou-se o tempo médio que os beneficiários levarão para quitar a dívida estudantil
Duas variáveis afetam o tempo de pagamento
Tamanho da coparticipação –função da faixa de renda familiar
Gênero e raça dos indivíduos –diferenças salariais
• Apenas 17% dos contratos têm por beneficiário homens brancos
• 60% dos contratos têm por beneficiário mulheres
Slide 138
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
De acordo com o exercício simulado, os recortes abaixo levarão, em média, paraamortizar a dívida:
Impacto orçamentário e fiscal de longo prazo
Quanto menor a renda, maior o tempo levado para amortizar a dívida e maior o subsídioimplícito
• 8 anos para homens brancos (30% de subsídio)
• 11,4 anos para homens negros (pardos e pretos)(34% de subsídio)
• 13 anos para as mulheres brancas (36% desubsídio)
• 22,9 anos para as mulheres negras (43% desubsídio)
Fonte: SOF/MP e Elaboração SOF/MP.
Slide 139
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Subsídio Implícito
Quanto maior o tempo de pagamento, maior o subsídio implícito
Entre os contratos simulados, verifica-se grande variação do tempo de pagamento, por conta da variação da renda dos indivíduos e do tamanho da coparticipação
O subsídio variará de 30% a 45%, a depender do tempo de amortização
Subsídio implícito em função do tempo (linha) e percentual de contratos amortizados por ano (barra) –ponderado por distribuição de renda e gênero
amo
rtizado
sde
Fonte: IBGE e FNDE. Elaboração SOF/MP
Slide 140
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Impacto orçamentário e fiscal de longo prazo
Retornos do valor financiado ao Tesouro Nacional ficarão entre 55% e 70% a depender do prazo de pagamento
Subsídio implícito potencialmente maior que o previsto pelo FNDE/MEC e pela Seae/MF (tempo de amortização considerando diferenças salariais de gênero e
raça e distribuição dos contratos em função desses fatores)
Tempo médio de amortização previsto
SOF - 15 anos (subsídio de 38%)
FNDE - 14 anos (subsídio de 36%)
Seae - 12 anos (subsídio de 35%)
Slide 141
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
CONCLUSÕES
A nova regra do Fies, levando-se em conta a previsão de vagas para 2018 (100 mil vagas Fies I), contribui para a sustentabilidade fiscal, pois:
Repassa para os estudantes as despesas administrativas
CMN pode alterar a taxa de juros do programa
Subsídio individual aumenta mas, com a redução de vagas, subsídio total tende a se reduzir
Transfere risco da inadimplência dos contratos às IES privadas, a partir de contribuições variáveis ao FG-Fies
Após o repasse inicial para o FG – Fies (R$ 2 bi), os novos aportes serão feitos pelo setor privado
Do ponto de vista fiscal, o Novo Fies 2018 alinha-se aos
esforços de equilíbrio das contas públicas. Além disso, o novo desenho do programa tem viés redistributivo ao
privilegiar o atendimento à população de baixa renda.
Slide 142
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Exemplos - Avaliações Realizadas
EMISSÃO DE PASSAPORTES
Objetivo: Analisar a situação orçamentária dos serviços de manutenção doSistema de Emissão de Passaporte, Controle do Tráfego Internacional e deRegistros de Estrangeiros, de responsabilidade do Departamento de PolíciaFederal, do Ministério Extraordinário de Segurança Pública.
A taxa de emissão do passaporte tem valor muito superior ao seu custo de emissão, gerando uma receita muito maior que a despesa com essa atividade. O valor excedente é direcionado para o custeio das demais ações do Departamento de Polícia Federal. O controle migratório, apesar de custar muito menos que a área de passaportes e ter menos visibilidade, apresenta maiores entraves operacionais, tanto na questão de pessoal quanto na de infraestrutura.
Slide 143
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Exemplos - Avaliações Realizadas
EMISSÃO DE PASSAPORTES
Comparação internacional
País Órgão responsávelTempo para
emissãoTaxa (US$) Vigência
Brasil Ministério da Justiça - DPF 10 dias 79,75 10 anos
Chile Serviço de Registro Civil e Identificação 6 dias úteis 147,32 5 anos
Argentina
Ministério do Interior - Registro Nacional de las
Personas (RENAPER) 15 dias 536 10 anos
USA
Departamento de Estado - Bureau of Consular
Affairs 2 a 3 semanas 1100 10 anos
Mexico Secretaria de Relaciones Exteriores Depende validade 136,58 10 anos
UK Home Office - Her Majesty's Passport Office 3 semanas 1056 10 anos
França
Ministério de Assuntos Estrangeiros e
Desenvolvimento Internacional
Depende do local
e do período da
solicitação. 105,94 10 anos
Colômbia Ministério das Relações Exteriores 1 a 5 dias 55,59
Turquia Turkish Police NI 174,68 10 anos
África do Sul Department of Home Affairs NI 33,50 10 anos
China Ministério de Assuntos Estrangeiros 10 dias úteis 25,21 10 anos
Slide 144
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
245,2
148,9
394,1
262
155,6
417,6379,1
203,1
582,2
273,2
211,9
485,1
253,8236,1
489,9
2013 2014 2015 2016 2017
Receita Taxas Passaporte Valor Empenhado Ação 2586 Superávit
Arrecadação com taxas dos passaportes vs. gastos da ação 2586 (em milhões de R$)
Fonte: SIOP. Elaboração: SOF/MPDG
Exemplos - Avaliações Realizadas
EMISSÃO DE PASSAPORTESDotação inicial e final alocada na Ação 2586 em milhões de R$ (de 2011 a 2017)
Ano LOA Dotação Atual (a) Empenhado (b) (b) / (a)
2011 78,0 155,8 138 84%
2012 133,0 149,7 131,5 88%
2013 90 170 148,9 88%
2014 170 170 155,6 92%
2015 160 204,4 203,1 99%
2016 158,9 211,9 211,9 100%
2017 129 247,4 236,1 95%
2018 253,1 253,1 - -
Fonte: SIOP. Elaboração: SOF/MPDG.
Custo cadernetaR$ 62,90
Slide 145
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Exemplos - Avaliações RealizadasEMISSÃO DE PASSAPORTES
O programa é efetivo
Produtividade: parece ser possível incrementar o nível de serviço sem aumento correspondente nos recursos orçamentários e financeiros, pelo aumento de produtividade – a melhoria tecnológica demanda menos servidores
Controle migratório, apesar de custar muito menos que a área de passaportes e ter menos visibilidade, apresenta maiores entraves operacionais, tanto na questão de pessoal quanto na de infraestrutura
Não é possível justificar que o cidadão não receba o documento pelo qual pagou devido a trâmites burocráticos relacionados à LOA
Slide 146
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Exemplos - Avaliações Realizadas
BOLSAS CAPES
Objetivo: Analisar a adequação orçamentária da alocação das bolsas de pós-graduação da CAPES sob o ponto de vista quantitativo e estratégico.
Mais de 80% dos recursos da Capes para concessão de bolsas destinam-se a três Programas (Demanda Social, PROEX – Programa de Excelência Acadêmica e PNPD – Programa Nacional de Pós-Doutorado).
Essa concentração reduz a capacidade da CAPES de representar sua visão estratégica para a ciência brasileira no longo prazo.
Sugere-se reavaliar o processo de distribuição de bolsas para a pós-graduação no país, considerando um melhor equilíbrio entre osprogramas de fomento institucionais e os programas estratégicos.
Slide 147
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Exemplos - Avaliações Realizadas
BOLSAS CAPES
Média da OCDE
(25 por 100 mil hab.)
9,3
0
10
20
30
40
50
Eslo
vênia
Suíç
aR
ein
o U
nid
oD
inam
arc
aIr
landa
Suécia
Fin
lândia
Austr
ália
Ale
manha
Eslo
váquia
Nova Z
elâ
ndia
Noru
ega
Coré
iaA
ustr
iaB
élg
ica
Espanha
Republica C
heca
Port
ugal
Esta
dos U
nid
os
Luxem
burg
oF
rança
Canadá
Rússia
Isra
el
Itália
Estô
nia
Lituânia
Letô
nia
Japão
Hungária
Polô
nia
Bra
sil
Turq
uia
Méxic
oC
hin
aC
hile
Indonédia
Índia
Colô
mbia
po
r 100 m
il h
ab
.
Doutores Formados por 100 mil hab. (países selecionados)
Fonte: OCDE.STATS. Elaboração SOF/MPDG
Slide 148
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Exemplos - Avaliações RealizadasBOLSAS CAPES
10
20
30
40
50
60
70
80
90
100
110
10
20
30
40
50
60
70
80
90
100
110
1996 1998 2000 2002 2004 2006 2008 2010 2012 2014 2016
Bols
as c
oncedid
as (
milh
are
s)
Bols
as p
or 1
00 m
il hab.
Legenda
Bolsas Concedidas (milhares)
Bolsas por 100 mil hab.Bolsas concedidas
pela CAPES – série
histórica
O crescimento do número de bolsas concedidas foi uma política exitosa Permitiu a fixação dos mestres e doutores nos programas, fortalecendo a pós graduação
nacional Permitiu desconcentrar territorialmente a pós-graduação nacional
Em 1996, 71,6 % das bolsas pagas concentravam-se na região Sudeste; em 2016, 47% iam para essa região; no Nordeste, houve aumento de participação: de 9,6% para 17,6% no mesmo período.
Slide 149
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Exemplos - Avaliações Realizadas
PISO DE ATENÇÃO BÁSICA VARIÁVEL – ESTRATÉGIA SAÚDE DA FAMÍLIA (ESF)
Objetivo: Analisar efeitos da Estratégia Saúde da Família (Atenção Básica) no acesso à saúde e nas condições de saúde da população.
O aumento de investimentos na Atenção Básica, expandindo oacesso a serviços adequados de saúde para a população maiscarente, contribui para a redução das desigualdades sociais
A ESF colabora também para diminuir as internações hospitalarespor condições sensíveis à atenção primária, reduzindo, portanto, ovolume de recursos necessários ao custeio dos tratamentos demédia e alta complexidade, sabidamente mais dispendiosos.
Slide 150
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Exemplos - Avaliações Realizadas
PISO DE ATENÇÃO BÁSICA VARIÁVEL – ESTRATÉGIA SAÚDE DA FAMÍLIA (ESF)
Mês/AnoEstimativa de População
CobertaCobertura (%) Equipes
set/02 54.251.519 31,47 16.463
set/03 60.676.037 34,74 18.524
set/04 69.884.206 39,43 21.475
set/05 76.040.405 42,90 23.664
set/06 85.488.821 46,06 26.650
set/07 82.655.385 43,92 25.551
set/08 93.552.974 587 29.684
set/09 97.219.297 51,27 30.746
set/10 100.794.325 52,63 31.974
set/11 103.341.603 54,17 32.847
set/12 106.855.618 55,55 34.090
set/13 109.813.892 56,61 35.061
set/14 121.973.023 666 39.229
set/15 126.158.982 62,16 40.672
set/16 129.227.431 63,20 41.727
set/17 130.487.012 63,31 42.105
Slide 151
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Exemplos - Avaliações Realizadas
PISO DE ATENÇÃO BÁSICA VARIÁVEL – ESTRATÉGIA SAÚDE DA FAMÍLIA (ESF)
10097,93 98,22 97,03
91,7987,79
85,4481,73
10097,45 97,56
95,76 94,60 93,2991,47 92,59
2000 2001 2002 2003 2004 2005 2006 2007
Queda nas taxas de internações hospitalares no Brasil em termos percentuais
Taxa deinternaçõespor condiçõessensíveis
Taxa deinternaçõespor outrascondições
Fonte: Datasus e IBGE
Slide 152
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Exemplos - Avaliações Realizadas
PISO DE ATENÇÃO BÁSICA VARIÁVEL – ESTRATÉGIA SAÚDE DA FAMÍLIA (ESF)
Investimentos em Atenção Básica reduzem gastos com internações
Os estudos, em geral, apontam para a diminuição das Internações por Condições Sensíveisà Atenção Primária em índice superior às demais internações no Brasil
Redução da mortalidade infantil: estudos comprovam que a implementação daESF contribuiu para a redução da mortalidade infantil
De 1996 a 2004, a mortalidade até 1 ano da população coberta por ESF sofreu umaredução de 42,65%, passando de 27,9 para 16,0 (por mil nascidos vivos), ou seja, uma reduçãomaior do que a verificada entre a população não coberta pela ESF (37,4%)
Cobertura heterogênea
Limitações impostas pela LRF para contratação de pessoal: as despesas compessoal referentes às equipes de Saúde da Família efetuadas pelos municípios,ainda que pagas com recursos recebidos da União, entram no cálculo do limitede pessoal para efeitos da LRF
Nesse sentido, os repasses federais para despesas em saúde não ampliam os limites dosmunicípios para despesas com pessoal, principal item das despesas com a ESF
Slide 153
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
REFERÊNCIAS SUGERIDAS
• BROUSSELLE, Astrid (Org.). Avaliação: conceitos e métodos. Rio de Janeiro: Editora Fiocruz, 2011.
• COTTA, Tereza. Metodologias de avaliação de programas e projetos sociais: análise de resultados e deimpacto. Revista do Serviço Público / ENAP, ano 49, nº 2, 1998.
• FORTIS, Martin Francisco de Almeida; GASPARINI, Carlos Eduardo. Plurianualidade orçamentária no Brasil:diagnóstico, rumos e desafios. Brasília: Enap, 2017.
• GARCIA. Ronaldo. C. Subsídios para organizar avaliações da ação governamental. In: CARDOSO JR. JoséCelso e CUNHA, Alexandre. Planejamento e Avaliação de Políticas Públicas. IPEA, 2015.
• GERTLER, Paul J. et al. Avaliação de Impacto na Prática, Segunda edição. World Bank Publications, 2018.
• GOBIERNO DE CHILE. Evaluación Focalizada de Ámbito - EFA. Dirección de Presupuestos. Octubre de 2016
• HOWLETT, M. e RAMESH, M. Studying Public Policy: policy cycles and policy subsystems. Oxford UniversityPress. 1995.
Continua na próxima pg.
Slide 154
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
REFERÊNCIAS SUGERIDAS
• JANNUZZI, Paulo. Avaliação de programas sociais no Brasil: repensando práticas e metodologias daspesquisas avaliativas. Planejamento e Políticas Públicas. nº 36, 2011.
• ________. Indicadores, Painéis de Monitoramento e Pesquisas de Avaliação como instrumentos paraaprimoramento de programas e projetos sociais. Apresentação de Power Point, 2013. Disponívelem: http://institutofonte.org.br/sites/default/files/PPT%20Paulo%20Jannuzzi.pdf
• ________. Avaliação de programas sociais: conceitos e referenciais de quem a realiza. Est. Aval.Educ., São Paulo, v. 25, n. 58, p. 22-42, maio/ago. 2014.
• MINISTÉRIO DO PLANEJAMENTO, ORÇAMENTO E GESTÃO. Indicadores - Orientações BásicasAplicadas à Gestão Pública. 2012.
• VEDUNG, Evert. Public policy and program evaluation. Routledge, 2017.
• WORTHEN, B. R.; SANDERS, J. R.; FITZPATRICK, J. L. (2004) Avaliação de Programas: concepções epráticas. São Paulo: Editora Gente.
Slide 155
XV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Obrigado!