avaliações baseadas em métodos mistos: oportunidades e desafios
Post on 22-Feb-2016
38 Views
Preview:
DESCRIPTION
TRANSCRIPT
SESSÃO 6UTILIZANDO MÉTODOS MISTOS
PARA REFORÇAR CADA ESTÁGIO DA AVALIAÇÃO
MICHAEL BAMBERGER E
THOMAZ CHIANCA
Avaliações baseadas em Métodos Mistos: Oportunidades e Desafios
IV Seminário Nacional da Rede Brasileira de Monitoramento e Avaliação
Rio de Janeiro, Agosto 13 2012
Resumo da Sessão2
1. Utilizando métodos mistos para fortalecer os desenhos convencionais de avaliação de impacto
2. Utilizando métodos mistos no estágio do desenho da avaliação
3. Desenhos de amostras com métodos mistos4. Abordagens de métodos mistos para coleta
de dados5. Interpretação e análise de dados com
métodos mistos6. Disseminação e relatórios utilizando
métodos mistos
1. Utilizando métodos mistos para fortalecer os desenhos convencionais de avaliação de impacto
3
Fortalecendo desenhos de avaliaçãoA. Reforçando a validade da construçãoB. Contextualizando a avaliaçãoC. Análise do processo de implementação do
projetoD. Aumentar a flexibilidade do desenho da
avaliaçã0E. Reforçar a estrutura da amostragemF. Prazo para avaliar os impactosG. Melhorar a combinação do grupo de controle
Reforçando a coleta de dados4
A. Reconstruir a linha de baseB. Melhorar a validade dos indicadoresC. Entrevistar grupos difíceis de alcançarD. Informações sobre tópicos sensíveisE. Atenção para regras contextuaisF. A possível perda do grupo de controle
Reforçando análise e utilização dos resultados de avaliação
5
A. Evitar longos atrasos em produzir recomendações e achados úteis
B. Melhores estimativas de não observáveisC. Reforçar a generalização para outras
configurações
2. Desenhos de avaliação baseados em métodos mistos
6
Integrar estruturas teóricas QUANT e QUALCombinar geração de hipóteses dedutivas
(QUANT) e indutivas (QUAL)Papel importante para modelos de teorias de
programa
7
Desenho [Formulação
E Justificativa]
EntradasProcesso de
Implementação[Atividades]
Entregas
Resultados[Desejado
e Não desejado]
Impactos[Desejado
e Não desejado]
Sustentabilidade
Contexto econômico no qual o projeto
opera
Ambiente e contexto político no qual o
projeto opera
Contexto institucional e operacional
Características culturais e socioeconômicas das populações afetadas
Um modelo lógico básico [Apostila 7-1]
Ambiente físico
Anos
Construir pressupostos
testáveis entre cada
etapa
A A AAA
Construir pressupostos testáveis sobre como os fatores contextuais afetam a implementação e os resultados
8
Mulheres têm acesso limitado para oportunidades econômicasdevido à falta de acesso a crédito e outros recursos produtivose ao controle social
Projeto oferece crédito, assistência
técnica e formação de grupoMulheres criam
negóciosMulheres não criam
negócios
Uso para doteMulher paga as dívidas
Marido se apropria do lucro
Geram lucros
Melhoria do bem-estarDoméstico no curto prazo
Lucro re-investido
Negócio sustentado
Empresa entra em falência
Limitações detempo
Falta de demanda
Pressões sociais
Falta de recursos produtivos
Melhoria permanenteno bem-estar doméstico
Melhoria dahabitação
Nutrição, saúde,vestuário
Melhoria da educaçãoespecialmente para
garotasMelhorias econômicas
Modelo da Cadeia de Resultados para o Programa de Desenvolvimento de Pequenas Empresas de Mulheres [Apostila 7-2]
Resultados positivos
Resultados
negativos
3. Desenhos de amostras utilizando métodos mistos [Apostila 7-3]
9
Estratégias básicas de MM Amostragem proposital e aleatória
Amostragem utilizando métodos mistos em paralelo
Amostragem MM sequencialAmostragem MM multi-níveis
Amostragem agrupada Amostragem separa unidades de análise
utilizando uma estrutura de amostragem mestre para assegurar a comparabilidade
4. Abordagens de métodos mistos para coleta de dados
10
Combinar todos os métodos de coleta de dados QUANT e QUAL
Métodos MM usados normalmente Observação Fontes secundárias e medidas discretas
Grupos focaisMétodos de discussão e participativos e PRAIntegrar entrevistas em profundidade e pesquisas
estruturadas
5. Abordagens do método misto para interpretação e análise de dados [Apostila 7-4]
11
Análise de dados MM paraleloConversão da análise de dados MMAnálise de dados MM sequencialAnálise de dados MM multi-nívelAplicar aspectos de estrutura analítica de
uma tradição com outra tradição
Utilizando métodos mistos para reforçar a interpretação dos achados
12
Análise estatística frequentemente inclui achados não esperados ou interessantes que podem não ser explicados por meio da estatística. Visitas rápidas de acompanhamento podem ajudar a explicar os achados.
Interpretando os achados13
Uma pesquisa QUANT de gerenciamento de água comunitário na Indonésia descobriu que com apenas uma exceção todo o fornecimento de água da vila era gerenciado por mulheres
Visitas de acompanhamento descobriram que uma única uma mulher gerenciou um negócio agrícola muito rentável – dessa forma, os homens estavam dispostos a gerenciar a água para permitir que as mulheres tivessem tempo para produzir e vender a produção diária
Fonte: Brown (2000)
14
Coleta de dados
QUANTDados sobre a
renda e despesas coletados
da pesquisa domiciliar
Análise de dados QUANT: Calculando média, distribuições
de frequência e desvio padrão de renda e despesas
Análise de dados QUAL
Revisão das notas das entrevistas e de observação. Análise utilizando método
comparativo constante
Coleta de dados QUAL
Sub-amostra de famílias
entrevistadas selecionadas. Entrevistas,
informantes chave e observação. Notas
detalhadas, entrevistas gravadas
e fotos.
PROCESSO DE TRIANGULAÇÃO
Descobertas comparadas,
reconciliadas e integradas. Quando
diferentes estimativas são
obtidas, todos os dados são revisados para entender por que as diferenças
ocorrem. Se necessário, as equipes podem retornar para o
campo para investigar mais.
Possível retorno para o campo
Validando achados por meio da triangulação
6. Relatórios e disseminação15
Relatórios muitas vezes são dirigidos a públicos mais abrangentes
Ir além de longos relatórios escritos e apresentações em PowerPoint Envolver os beneficiários nas apresentações Incluir visitas ao projeto nas apresentações
Estruturar a narrativa em torno da teoria de mudançaUso de apresentação audiovisual
Vídeos, fotosIncluir estudos de casoMétodos de apresentação sensíveis culturalmente
Dança, teatro, narração de histórias
Relatórios de resultado colaborativos (Apostila 7-6)
16
Definição do escopo
Processo de
entrevista
Coleta de dados
Integração e análise de dados
Painel de resultado
s
Workshop de Cúpula
ÍndiceInstâncias
de mudança significativa
Implicações
Gráfico de
resultados
Descrição do Programa e sua lóigica
top related