pesquisas de avaliação de programas: da concepção à apropriação dos resultados

SAGI - Secretaria de Avaliação e Gestão da Informação

Pesquisas de avaliação de programas: da concepção à apropriação dos resultados

IV Seminário da Rede Brasileira de Monitoramento e AvaliaçãoMinicurso: Monitoramento e Avaliação de Programas Sociais e Gestão de Avaliações

13 de agosto de 2012

Marina Pereira NovoDepartamento de Avaliação

SAGI/MDS


• Cultura de M&A é relativamente recente internacionalmente e – sobretudo – no país

• Desafios são maiores para os programas sociais◦ Por que avaliar e monitorar?◦ Recessão da década de oitenta, crescimento de políticas compensatórias

desde então◦ Necessidade de apontar a eficiência, eficácia e efetividade das mesmas◦ Hibridismo de métodos e técnicas precisa ser adotado◦ Tomada de decisão pode esperar resultados

Contexto


• O papel de bancos de desenvolvimento internacionais (Banco Mundial, BID)

• O papel de organismos internacionais (Sistema ONU, DFID, Cooperação Espanhola)

• A necessidade de formação na área (academia vs gestão)• A prestação de serviços em M&A (academia vs mercado)

Contexto II


Ciclo de Avaliação: concepção,

instrumentos e resultados


Organograma – MDS


A criação do MDS, em janeiro de 2004, implicou o aumento significativodos investimentos em políticas de proteção, assistência e desenvolvimentosocial – que se traduzem em programas e ações de transferência de renda,segurança alimentar e nutricional, assistência social e inclusão produtiva.

•Fonte: VAITSMAN, RODRIGUES e PAES-SOUSA - 2006


Portaria MDS n.º 329, de 11 de outubro de 2006 – Institui e regulamenta a Política de Monitoramento e Avaliação.

Portaria MDS n.º 160, de 09 de maio de 2008 e alterações posteriores, e Portaria MDS nº 99, de 26 de fevereiro de 2010 – Tratam do Grupo de Trabalho (GTMA) responsável pela elaboração do Plano Anual de Monitoramento e Avaliação (PAMA).

Portaria MDS n.º 255, de 30 de julho de 2008 – Estabelece regras e prazos para a disponibilização de dados das pesquisas contratadas pelo MDS.

Lei de acesso à informação (Lei nº 12.527 de 18 de novembro de 2011)

Normativas e regulamentação – Avaliação no MDS


CONCEITO DE AVALIAÇÃO“Avaliar consiste fundamentalmente em fazer um julgamento de valor a respeito de uma intervenção, um serviço ou sobre qualquer um de seus componentes, com o objetivo de ajudar na tomada de decisão”(Contandriopoulos et al., 1997)


Razões para avaliar:

Subsidiar decisões gerenciais

Desenvolver e aprimorar intervenções

Promover o accountability

Empoderar grupos sociais

Condições para avaliar:

Disposição e apoio

Disponibilidade de recursos e tempo

Definição de perguntas avaliativas

Abertura à mudança


Avaliação de necessidade do programa

Avaliação de eficiência

Avaliação de desenho

Avaliação de processo

Avaliação de resultados e de impactos


Ciclo de avaliação da SAGI

Apresentação da demanda Elaboração do Termo de Referência (TOR)

Contratação da instituição executora

SAGI/SF

Definição da avaliação a ser realizadaRelevância do estudo propostoIdentificação de parceiros interinstitucionais relevantes

SAGI/SF

Elaboração do TOR pela SAGIRevisão do TOR pela secretaria finalística

SAGI/SAA e/ou Órgão de Cooperação Internacional Aprovação do TORElaboração de edital Avaliação de propostas técnicas e comerciaisAssinatura do contrato

Operacionalização Acompanhamento Resultados Finais

SAGI/SF/IE

Disponibilização dos dados necessários para a realização da pesquisaDefinição de questões relevantes para o estudo

SAGI/IE

Desenvolvimento dos instrumentos de pesquisaAcompanhamento in loco do trabalho de campoAnálise, discussão e aprovação de relatórios parciais e do relatório final

SAGI/SF/IE

Recomendações da avaliação Discussões com gestores e parceiros interinstitucionaisRetroalimentação dos programas


Estratégias de disseminação dos resultados das pesquisas

• Apresentação dos resultados finais ao MDS e parceiros• Coletivas de imprensa (ou seminários ou outros formatos)

abertos ao público externo• Disponibilização de sumários executivos, fichas e relatórios• Disponibilização de microdados


Onde encontrar informações sobre as pesquisas do MDS

• Publicações impressas e de distribuição gratuita

• Publicações virtuais e bases de dados:

– www.mds.gov.br

– www.mds.gov.br/gestaodainformacao/disseminacao

– aplicacoes.mds.gov.br/sagi/FerramentasSAGI/index.php?group=1


Pesquisas de avaliação concluídas, por ano, por secretaria finalística

Secretaria

ANO

Total2004 2005 2006 2007 2008 2009 2010 2011 2012

SENARC 1 1 6 0 2 1 0 7 2 20

SAIP 0 0 0 1 1 1 0 4 0 7

SNAS 0 4 6 1 3 3 6 9 0 32

SESAN 0 3 11 3 3 3 2 16 0 41

GERAL 0 2 2 3 2 4 4 15 0 32

Total por ano 1 10 25 8 11 12 12 51 2 132


METODOLOGIAS AVALIATIVAS• METODOLOGIAS QUANTITATIVAS

– Estudos quase-experimentais e experimentais (avaliações de resultado)

– Survey (avaliação de atividades e resultados)

• METODOLOGIAS QUALITATIVAS– Grupos focais (avaliação de atividades e resultados)

– Entrevistas em profundidades (avaliação de atividades e resultados)

– Estudos de caso (avaliação de atividades e resultados)

– Outros?

• METODOLOGIAS MISTAS


Estratégia de pesquisa sobre os conhecimentos, atitudes e

práticas financeiras das famílias inscritas no Cadastro Único para Programas Sociais

Estudo de caso: Abordagens qualitativas e quantitativas de pesquisa de avaliação de programas sociais


• A fim de promover o uso responsável dos serviços e produtos disponibilizados por meio da abertura das contas, o MDS pretende implementar, em âmbito nacional, uma série de ações de educação financeira voltadas para as famílias de baixa renda – assim consideradas as famílias que atendem aos requisitos para inclusão no Cadastro Único para Programas Sociais (CadÚnico)

CONTEXTO

17


• Escassez de literatura e conhecimento a respeito das práticas financeiras de famílias de baixa renda, insuficiência que compromete a capacidade de desenvolver ações eficazes para a educação financeira desse público.

QUESTÃO

18


• Como se aproximar da temática com suficiente profundidade e abrangência para dar lugar a uma estratégica de educação financeira nacional?

• Exercício: – Ideias para construir a estratégia de pesquisa?

QUESTÃO METODOLÓGICA

19


1. Realização de cinco grupos focais com pessoas inscritas no CadÚnico, visando uma primeira aproximação com o tema, bem como a obtenção de subsídios para elaboração de um questionário para pesquisa nacional sobre os conhecimentos, atitudes e práticas das famílias inscritas no CadÚnico em relação às suas finanças, aos seus orçamentos familiares e ao seu relacionamento com o sistema financeiro formal e informal;

ESTRATÉGIAS DE PESQUISA

20


2. Análise dos resultados dos grupos focais para definição dos blocos temáticos explorados na pesquisa nacional e delineamento de questões. O questionário decorrente dessa análise foi estruturado nos seguintes blocos: composição e administração do orçamento familiar; planejamento e decisões financeiras; acesso ao sistema financeiro e uso de serviços e produtos; percepções e interesses relativos a ações de educação financeira;

21



3. Aplicação de questionário na pesquisa nacional, que compreende entrevistas em 8.807 domicílios de famílias inscritas no CadÚnico, distribuídas entre 265 municípios. Estão sendo entrevistados o responsável familiar identificado no CadÚnico bem como seu cônjuge, caso este resida no mesmo domicílio;

22



4. Análise dos dados coletados na pesquisa nacional com vistas à proposição de ações de educação financeira para as famílias de baixa renda.

23



Por que realizar? Que tipo de aproximação se esperava?

Aspectos relativos à logística e recrutamento

Realização de grupos focais com pessoas inscritas no CadÚnico em cinco municípios, distribuídos nas cinco grandes regiões do país

Critérios de seleção dos municípios

Abordagem qualitativa


Por que realizar?

Aspectos relativos ao planejamento amostral

Construção do instrumento

Aplicação potencial de mais de 16 mil questionários (responsáveis pelo domicílio e seus cônjuges) em 265 municípios do país

Tratamento e análise dos dados

Utilização de resultados Além da construção da ação,

Caráter inovador da iniciativa como e quando disseminar?

Abordagem quantitativa


Nem tudo são flores…


Gargalos institucionais

Necessidade de nivelamento das unidades clientes em relação aos conceitos de M&A

Dificuldades relacionadas à priorização de demandas

Timing diverge entre a unidade implementadora e a avaliadora: o tempo da gestão e o

tempo da avaliação

Necessidade de maior integração entre a dimensão Monitoramento e Avaliação

Morosidade dos processos de contratação

Rotatividade e precariedade das relações de trabalho

Insuficiência de quadros em habilidades especificas

Equipamentos insuficientes e/ou inadequados para o atendimento de certas demandas

Dificuldades relacionadas à obtenção das bases de dados com o universo das pesquisas

Necessidade de consenso sobre a disponibilização pública dos dados


Necessidade de esforço continuado…


Para que a avaliação e monitoramento deixe de constituir inovação e efetivamente se incorpore à cultura – às crenças e práticas – do campo das políticas, é preciso garantir sua continuidade.

•Fonte: VAITSMAN, RODRIGUES e PAES-SOUSA - 2006


Síntese de experiências e habilidades presentes/necessárias• Experiência anterior no serviço público e junto a órgãos do sistema ONU

• Experiência de docência

• Experiência com comunidades tradicionais e populações específicas

• Experiência em análises de dados à luz de perspectiva teórica incluindo os eixos étnico/racial e de gênero

• Conhecimentos e experiência no uso de metodologias qualitativas e quantitativas de coleta e análise de dados, além de técnicas de análise demográfica

• Elaboração de projetos de pesquisa

• Conhecimentos sobre legislação e experiência na condução e acompanhamento de processos licitatórios

• Conhecimento e condução de processos administrativos

• Experiências com softwares qualitativos, quantitativos e de goerreferenciamento

• Conhecimento e atuação anterior nas políticas, programas, serviços e ações afetas ao MDS (segurança alimentar, assistência social e transferência de

renda)

• Conhecimento e experiência em análise de bases de dados sociais (IBGE, MDS e outras)

• Experiência na redação de conteúdo técnico, inclusive com a publicação de livros e artigos científicos

• Experiência em processos de formação, capacitação e multiplicação

• Experiência na construção de ferramentas informacionais

• Conhecimento de línguas estrangeiras


Grata pela atenção!Contatos: (61) 3433 1538

[email protected]@mds.gov.br

pesquisas de avaliação de programas: da concepção à apropriação dos resultados

Documents