PLANEJANDO A PLANEJANDO A AVALIAÇÃO AVALIAÇÃO

MATRIZ MATRIZ AVALIATIVA AVALIATIVA

PLANEJANDO A AVALIAÇÃO

COMO DEFINIR O FOCODA AVALIAÇÃO ?

Por que iniciar um processo de Avaliação ?

Qual o seu propósito e que perguntas irá responder?

Qual será o uso dado às conclusões? Por quem?

O que deve ser avaliado, qual o objeto ? Você está interessado em avaliar o processo, os resultados ?

Qual será o papel dos envolvidos? Quem vai participar? Quem tem condições de ajudar na avaliação? Será necessário avaliador externo?

Existem recursos e tempo para avaliação?

O Programa ou Projeto já foi avaliado?

Qual o clima político e o contexto em torno da Avaliação?

COMO DEFINIR O FOCODA AVALIAÇÃO ?

PLANEJANDO A AVALIAÇÃO

AVALIADORES EXTERNOS - menos parciais em seus julgamentos; credibilidade, especialistas por demandas específicas, dirigem um “novo olhar” facilita e enriquece a coleta de dados mais controversos/conflituosos menos pressão em caso de resultados pouco populares.

AVALIADORES INTERNOS - maior conhecimento sobre o modelo e história do projeto; profundidade quanto aos interesses e preocupações dos interessados; conhecem a dinâmica dos processos decisórios e identifica as pessoas chave; continua na organização podendo seguir esforços; maior rapidez na avaliação; capacidades e limitações bem conhecidas.

AVALIADORES EXTERNOS E INTERNOS - a parceria incorpora as vantagens de cada uma e gera aprendizagem para uso institucional no futuro.

QUEM DEVE CONDUZIR A AVALIAÇÃO ?

PLANEJANDO A AVALIAÇÃO

2. IDENTIFICAÇÃO DOS INTERESSADOS

MARCO ZERO

As pessoas, os grupos ou as instituições que têm interesse ou são diretamente afetados pelo programa / projeto ou pela avaliação que se pretende implementar. Público - Alvo ; Agentes Sociais relevantes ( ex: líderes formais ou informais e as famílias, etc)

PROCESSO

• O Conteúdo : conceitos, objetivos e visões que orientam a concepção do projeto;• A Interação : relações humanas internas e externas ( especialmente com o público-alvo );• Os procedimentos : o método e a técnica adotada na execução das ações.

RESULTADOS Todos os envolvidos : ( ex. crianças, famílias, os representantes

da comunidade, a própria instituição responsável pelo projeto, parceiros e as instituições financiadoras ).

PLANEJANDO A AVALIAÇÃOCOMO ELABORAR UMA MATRIZ AVALIATIVA

PERGUNTA AVALIATIVA

INDICADORES QUALITATIVOS E QUANTITATIVOS

FONTES DE INFORMAÇÃO

PROCEDIMENTOS PARA COLETA DE DADOS (AMOSTRA, ESTRATÉGIAS, CRONOGRAMA

MÉTODOS PARA COLETA DE DADOS

ESTRATÉGIAS DE INTERPRETAÇÃO

MÉTODOS PARA ANÁLISE DOS DADOS

ORÇAMENTO

PROCEDIMENTOS PARA DIVULGAÇÃO PÚBLICOS , CONTEÚDO, FORMATO E CRONOGRAMA

1

2

3

4

9

5

6

7

8

1. SELEÇÃO DAS PERGUNTAS

- é elaborada uma lista de “todas” ou de “muitas” perguntas consideradas importantes para quem está solicitando a Avaliação, para quem está financiando, para quem trabalha no projeto, para quem é atendido e suas respectivas famílias, para lideranças locais onde o projeto é desenvolvido , e outros.

INSTRUMENTOS :INSTRUMENTOS : reuniões de grupo, entrevistas Individuais e até conversas informais são abordagens mais indicadas para se chegar a essa ampla lista de perguntas.

é o esforço para selecionar dessa grande lista as perguntas que deverão ser efetivamente respondidas pela Avaliação.

CRITÉRIOS : CRITÉRIOS : Grau de importância da pergunta para os interessados; Possibilidade de reduzir dúvidas existentes ou produzir informa- ções novas, não disponíveis no momento; Oportunidade de produzir informações relevantes, que podem influenciar decisões; Foco em aspectos críticos – referência de longo prazo; Influência no alcance e nos objetivos da Avaliação ; Viabilidade no tempo e com os recursos financeiros, humanos e metodológicos disponíveis.

1ª FASE1ª FASE - DIVERGENTE - DIVERGENTE

2ª FASE2ª FASE - CONVERGENTE - CONVERGENTE

MATRIZ PARA SELEÇÃO DAS PERGUNTAS

CRITÉRIOSPerguntas Avaliativas

Fase Divergente

1 2 3 4 5 6 N

A pergunta é relevante para os interessados?

Contribui para diminuir dúvidas e trata de informações que não estão disponíveis?

Possibilita gerar informações que facilitam tomada de decisões operacionais de política?

Está centrada em elementos críticos e de interesse constante e não passageiros?

Os objetivos ou a amplitude seriam comprometidos sem ela?

É possível responder a esta pergunta com os recursos financeiro e de pessoal disponíveis?

É possível responder esta pergunta com os métodos e as tecnologias disponíveis?

É possível responder a esta pergunta dentro do tempo que se dispõe?

RESULTADO FINAL ( somatório de respostas positivas )

2. IDENTIFICAÇÃO DOS INDICADORES

Ao serem selecionadas as perguntas, faz-se necessário em seguida pensar em respondê-las. Identificar as informações

para se chegar às respostas e estratégias mais adequadas para se coletar as informações.

Os INDICADORES são referências que ajudam a responder às Perguntas Avaliativas. São elementos concretos que indicam a medida de sucesso ou fracasso em relação aos processos e

resultados esperados. São observáveis na realidade, vão orientar os métodos da coleta de informações.

ROTEIRO PARA PRIORIZAÇÃO DOS INDICADORES

O indicador proposto é suficientemente representativo? Estão referenciados a partir dos objetivos, metas e ações? O indicador é aceito por ampla gama de especialistas internos e externos ? O indicador é compreensível para os não especialistas ?

TIPOS DE INDICADORES :

QUANTITATIVOS: medir “o que acontece/aconteceu” (deve mostrar a extensão da questão objeto da avaliação e as

características da população alvo).

QUALITATIVOS: analisar “como e porque acontece/aconteceu” ( deve explorar um problema e suas

possíveis soluções).

QUALIDADE DOS INDICADORES : Simplicidade Confiabilidade Validade Verificabilidade Disponibilidade / Acessibilidade Robutez Sinteticidade Discriminatoriedade Cobertura

ETAPAS DO PROJETO INDICADORES DO PROJETO7. Avaliação de Resultados do Projeto

7. Usuários com novas percepções, mais autoconfiantes e com auto estima elevada.

6. Avaliação do comportamento e atitudes dos profissionais

6. Profissionais oferecendo maior diversidade de atividades e abertos a escolhas de atividades pelos usuários.

5. Avaliação dos conhecimentos adquiridos

5. Profissionais demonstrando novos conhecimentos adquiridos.

4. Avaliação do grau de satisfação dos participantes

4. Satisfação dos participantes quanto as atividades expressa em instrumentos preenchidos ao final das atividades.

3. Avaliação da participação (numérica e de envolvimento) dos participantes

3. Percentual de participação nas atividades e registros de observação quanto ao grau de participação.

2. Implementação das Atividades previstas

2. Cumprimento das atividades previstas no projeto, bem como atividades não previstas realizadas.

1. Recursos físicos, financeiros, pessoas e conhecimento disponibilizados

1. Grau de disponibilização e uso de recursos físicos, financeiros, pessoas e conhecimentos disponibilizados.

OBJETIVO PERGUNTA AVALIATIVA

INDICADOR ( ES )

Avaliar o Resultado do Projeto X.

“ Cultura em Foco”

A cultura como instrumento para formação integral

das novas gerações.

Trabalha com jovens no horário alternado à escola com ações na área de cultura e arte

como apoio á escolarização.

EX:

1ª Qual é o percentual de promoção de séries

das crianças envolvidas no

Projeto ?

2ª Em que medida as crianças apresentam

mudanças sócio-culturais e

comportamentais relacionadas à

convivência na escola e no contexto

familiar ?

Trata de informações quantitativas , sem alto grau de dificuldade para seu desdobramento em Indicadores Aprovação escolar; Evasão escolar. Exige um esforço maior e devem ser propostos por educadores e outros especialistas da área envolvidos no Projeto. Retoma os dados do MARCO ZERO para identificar os comportamentos que eram alvo de determinadas questões e devem ser modificados com a intervenção do Projeto Gosto pela leitura e pela escrita; Domínio da linguagem oral; Capacidade de resolver problemas no cotidiano; Capacidade de adotar regras de conduta; Capacidade de ouvir o outro; Capacidade de lidar com diferenças; Capacidade para participar de atividades em grupo; Incorporação e hábitos culturais; Afetividade junto à família; Auto estima; Sociabilidade.

OBJETIVO GERAL : Ampliar o grau de satisfação e motivação dos professores da 2ª CRE do Município de Florais com vistas a imprimir maior qualidade aos processos de aprendizagem dos alunos e reduzir os indicadores

retenção e evasão escolar da 2ª CRE.

OBJETIVO ESPECÍFICO

ATIVIDADES INDICADORESQUANTITATIVOS

INDICADORES QUALITATIVOS

Qualificar professores nas áreas de

Planejamento, novas

Metodologias e formas de Avaliação

escolar da 2ª CRE.

Realizar Visitas Técnicas a outras Unidades Escolares e projetos similares que atuam

de forma

Número de Visitas realizadas;Freqüência Assiduidade dos

participantes;

Participação;Motivação;

Comportamento Propositivo;Capacidade de articulação

com as questões do cotidiano escolar.

Cursos de Capacitação nas áreas de Planejamento

Escolar; Novas Metodologias e Processos de Avaliação

Desempenho (grau ) obtido nos Trabalhos de Avaliação de

cada Módulo;Freqüência e Assiduidade;

Número (percentual) de ingressantes e concluintes.

Participação, Aquisição de novos conhecimentos;

Interação espírito de equipe;Liderança;Autonomia;

Desenvolver Oficinas para potencializar novas

habilidades pedagógicas que atuem como eixo motivacional e de elevação da auto estima que incidam nas práticas de

ensino.

Número de Oficinas e realizadas;

Freqüência e Assiduidade dos participantes;

Aquisição de novas habilidades pedagógicas;

Motivação;Auto Estima;

Capacidade de socialização dos conhecimentos e

experiências;Produção de práticas criativas

de ensino

Realizar Grupos Focais entre Professores, Equipe e Direção

visando monitoramento e avaliação das ações

desenvolvidas.

Número de Grupos e realizados;

Instrumentos aplicados;Relatórios produzidos;

Depoimentos individuais e grupais;

Nível de satisfação com o trabalho realizado;

OBJETIVO

PERGUNTA AVALIATIVA

INDICADOR ( ES )

RESULTADO IMPACTO

Avaliar o Resultado e o Impacto do

Projeto X.

EX:

Quais os Efeitos e Impactos do

Projeto X implantado

em 10 comunidades da Zona Norte da

Cidade do RJ para atender jovens evadidos do ensino fundamental,

sem atividade laboral e sem qualificação

profissional durante o período 1999/2002

?

Conclusão do ensino fundamental; Capacitação para o mundo do trabalho; Empregabilidade; Elevação da renda familiar; Acesso aos bens e à rede de Serviços Locais; Ressignificação das relações afetivo-familiares e comunitárias; Mudança de hábitos e padrões de risco; Outras formas de inclusão e conquistas evidenciadas.

Elevação dos índices de escolarização; Elevação dos níveis de renda e maior atividade econômica local; Redução dos índices de mortes por causas externas ( violentas ); Redução dos índices de incidência/reincidência de jovens envolvidos em conflitos com a lei; Participação comunitária; Fortalecimento da rede protetiva local; Implantação de políticas/programas intersetoriais voltados para jovens; Implicações ecológicas; Educação ambiental.

PERGUNTA AVALIATIVA

INDICADOR ( ES )

Programa

Inter Ação

Objetivo

Ampliar as oportunidades de inclusão

social de crianças e

adolescentes que vivem em

situação de risco na

cidade do RJ.

1ª Em que medida o Projeto está conseguindo contribuir para o desenvolvimento físico adequado das crianças e adolescentes atendidos ?

Existência de estratégia adequada para acompanhamento periódico da curva de crescimento (peso e altura) ; Percentual de crianças e adolescentes na faixa normal da curva de crescimento; Existência de estratégias adequadas para atendimento especial face a problemas de crescimento e/ou nutrição; Percentual com problemas de crescimento que estão recebendo atendimento especializado.

2ª Em que medida o Projeto contribui

para o desenvolvimento

cognitivo e de habilidades e competências

necessárias para o sucesso das crianças na

escola e na vida ?

Desenvolvimento do gosto pela leitura, pela escrita e domínio da língua oral; Desenvolvimento de raciocínio lógico e capacidade resolutiva para o cotidiano; Desenvolvimento de regras de conduta, habilidades para trabalhar diferenças, ouvir o outro , trabalhar em grupo e criatividade; Evolução das notas escolares, percentual de aprovação, de matriculados na escola e de evasão escolar.

3. SELEÇÃO DAS FONTES DE INFORMAÇÃO

Continuando o processo para responder às PERGUNTAS

AVALIATIVAS, é o momento de se determinarem quais as FONTES que poderão oferecer as INFORMAÇÕES necessárias sobre os INDICADORES.

Deve-se tomar cuidado com a tendência de achar que sempre é necessário coletar novas informações.

MUITAS VEZES JÁ EXISTEM ( documentos oficiais do projeto, fichas individuais, etc ) e só PRECISAM SER ORGANIZADAS .

É preciso IDENTIFICAR ONDE será possível CONSEGUIR AS INFORMAÇÕES e/ou QUEM PODERÁ FORNECÊ-LAS, para seguir no processo de seleção dos métodos e

instrumentos mais adequados.

São aquelas que passaram por alguma forma de elaboração analítica.

São constituídos principalmente por livros, teses, dissertações, monografias e artigos científicos, técnicos e profissionais, na forma de papel ou em meio de registro computacional.

RECURSOS : Os recursos secundários convencionais são: Bibliotecas, Institutos de Pesquisa e Formação, Bancos de Dados e a Internet.

FONTES Todo material que não recebeu uma tratamento analítico ( proveniente dos sistema de informação e registro convencional e cotidiano da organização – contábil, financeiro, gerencial, fiscal, registros de produção e serviços prestados, comercialização, administração de pessoal, registros de clientes, etc;)

Todo o material recolhido pela própria ou por outras pesquisas – entrevistas e observações; material oriundo da documentação formal e informal – referente à constituição e manutenção da organização

RECURSOS : Registros e bancos de dados estatísticos produzidos por organizações públicas e privadas- IBGE, FGV, DIEESE, IDH, IPEA, etc;Material e documentos de comunicação de massa ( jornais, revistas, etc). Material e os documentação pessoal cartas, diários, biografias, fotos, etc

FONTES PRIMÁRIAS

FONTES SECUNDÁRIAS

3. SELEÇÃO DAS FONTES DE INFORMAÇÃO

FONTES MAIS USADAS:

Destinatários do Projeto/Programa ( público alvo )

Implementadores do Projeto/Programa (AS, professores, instrutores,etc)

Pessoas que se relacionam com os destinatários ( família, supervisores,

colaterais, etc)

Gestores

Pessoas ou grupos que poderiam ser afetados (público em geral, instituições, futuros participantes, etc)

Legisladores

Financiadores

Pessoas com conhecimentos especializados do conteúdo, metodologia)

Dados documentais existentes (banco de dados, arquivos, documentos.

Eventos ou atividades que podem ser observados diretamente.

4. SELEÇÃO DE MÉTODOS E INSTRUMENTOS

4.1 DADOS COLETADOS DE PESSOAS IDENTIFICADAS COMO FONTES DE INFORMAÇÃO - Questionários, Entrevistas , Grupo Foco , Testes ,Simulação / Debates Exemplo de trabalho realizado ( redação, Desenhos )

4.2 DADOS COLETADOS POR MEIO DE OBSERVADOR INDEPENDENTE - Relatórios narrativo-descritivos, Roteiros de Observação

4.3 DADOS COLETADOS ATRAVÉS DE APARATOS TECNOLÓGICOS - Gravação de áudio, Gravações de vídeo, Séries de fotografias; Outros aparelhos automáticos

4.4 DADOS COLETADOS A PARTIR DE INFORMAÇÕES EXISTENTES - Revisão de documentos públicos ( relatórios governa-mentais, publicações, etc ) - Revisão de documentos institucionais ( projeto original, relatórios anuais, fichas, atas, publicações.

MÉTODO PROPÓSITO VANTAGENS DESAFIOS

Questionários( Survey)

Adquirir de modo mais rápido e fácil grande quantidade de

informações ( pode ser aplicado individualmente, grupo, correio, e-mail,etc)

Pode medir atitudes, opiniões, circunstâncias de vida, etc

É anônimo; Pode incluir questões abertas, fechadas, mistas;Custo razoável / baixo; Administra grande quantidade de pessoas; Adquire grande quantidade de dados.

Pode não levar a uma avaliação cuidadosa; Formulários podem influenciar respostas;É impessoal.Dá margem a influência do “ desejo de nivelamento social”.

Entrevistas

Entender de forma completa impressões, experiências.Flexível e qualitativo com

possibilidade de variações no processo.

Informação de maior abrangência; Desenvolve relação com o sujeito respondente.

Pode ocupar muito tempo; pode ser de difícil análise e comparação; Pode ter custo alto; o entrevistador pode influenciar as respostas e levar muito tempo

Grupo Foco

Explora uma questão a fundo, reações, percepções,

experiências, sugestões, reclamações com o propósito

de obter informações qualitativas.Conduz à

discussão.

É um método rápido; Eficiente para grande gama de informações em menos tempo; Pode se ter como informação fundamental no programa,projeto.

Pode ser de difícil análise ; Precisa de um moderador/ facilitador e observador; Pode ser de difícil programaçãoDepende de seleção criteriosaInformações podem ser generalizadas.

Observação

Colher a informação mais precisa em relação ao

programa ou projeto operando em relação aos processos.

Capta comportamentos mais natural.

Percepção de como as situações estão ocorrendo realmente; Pode se adaptar a diferentes eventos;Baixa interferência.

Pode ser muito complexo polarização pelo observadorPode colocar as observações por categorias; Pode influenciar o comportamento dos participantes; Pode ter alto custo.

MÉTODO PROPÓSITO VANTAGENS DESAFIOS

Estudo de Caso

Entender de forma mais completa ou descrever

as experiências dos sujeitos respondentes;

administrar a comparação através

dos casos.

Descreve de forma mais completa a experiência do sujeito em relação ao programa/ projeto, seus processos e resultados; Pode fazer a replicagem do programa/ projeto de melhor forma.

Pode consumir muito tempo para levantar, organizar e descrever informações; Pode ter maior profun-didade na informação levantada, em função ao seu tamanho.

Revisão de Documentos

Possibilita ter uma impressão de como está o programa/projeto sem

interrompê-lo, revisando a aplicação dos recursos e rotinas

em geral.

Adquire informações exclusivas e históricas; Não interrompe as ações; informação já existente; Tem pouca influência sobre a informação;Informação estável.

Ocupa muito tempo; a informação pode estar incompleta; Requer clareza sobre o que se está buscando;Não é flexível, se restringe aos dados existentes.

5. COLETANDO INFORMAÇÕES

No momento da coleta de informações, o papel do avaliador é o de criar as condições e os meios para que as informações

necessárias sejam levantadas. Os métodos facilitam a busca e formulação da informação de qualidade. Estão divididos em:

QUANTITATIVOS E QUALITATIVOS.

QUANTITATIVOS

Aqueles que podem ser expressos em números, dando uma visão objetiva; Este método é mais usado em pesquisas demográficas e se constituem em bases importantes para acompanhamento de crescimento populacional, natalidade, etc Em projetos sociais pode considerar números referentes a produtos: cursos, palestras, consultas, etc, Possibilita quantificar também o nº de participantes das diferentes atividades ( perfil, condição socioeconômica, idade, sexo, etc )

QUALITATIVOS

São importantes para auxiliar na formulação de hipóteses, complementar e aprofundar a análise de informações quantitativas e buscar significância dos eventos. ( mudanças de comportamento, auto estima, aquisição de habilidades, etc )

5. COLETANDO INFORMAÇÕES

OBSERVAÇÕES IMPORTANTES:

Após escolha dos métodos, revisar o conjunto para refletir sobre a coerência, viabilidade, relevância e utilidade.

Perguntas:

Os procedimentos para a coleta de dados não ferem princípios éticos?

Os custos envolvidos com cada método de coleta de dados são justifi- cados pela quantidade e qualidade das informações que serão

produzidas ? Os dados poderão ser coletados sem atrapalhar muito o dia a dia do

programa/projeto ?

É possível aplicar os métodos planejados dentro do tempo disponível para a avaliação ?

As informações a serem coletadas são válidas e confiáveis ?

O planejamento para a coleta de dados leva em consideração possíveis informações necessárias que já estejam disponíveis ?

6. AMOSTRAGEM Para viabilizar a coleta de dados e responder às perguntas avaliativas é

preciso selecionar parte de uma população para um estudo, uma AMOSTRA

A Amostragem não é necessária em todas as avaliações. Se a população ou grupo for pequeno, é aconselhável coletar informações de todos. Em sendo necessária, o avaliador deve determinar o tamanho adequado dela. Tanto a

variabilidade do fenômeno a ser examinado quanto o grau desejado de precisão afetam o tamanho da amostra ( Krejcie Morgam, 1980)

TIPOS DE AMOSTRAGEM

Acidental ou por Conveniência

Seleção com base na facilidade de acesso e pouca preocupação com a composição da

amostra como um todo. Neste tipo há muita probabilidade de equívocos.

( ex: pesquisa de opinião em shopping)

Intencional ou por Julgamento

É obtida com base em determinadas finalidades ou julgamentos. Podem ser úteis para fins descritivos, mas é preciso cuidado

para não usá-las para estender os resultados para além do grupo do qual os

dados foram coletados. .

TIPOS DE AMOSTRAGEM

Probabilística Permite generalizar os resultados para a população da qual a amostra foi retirada

AleatóriaSimples

É necessário definir a população de interesse para a avaliação e especificar a unidade de

amostragem. Possui duas variantes:

Aleatória Estratificada – é usada quando o avaliador está interessado em examinar as diferenças entre subgrupos da população, alguns dos quais tão pequenos podem não ser representados em números suficientes numa amostragem aleatória simples.

Aleatória por Aglomerados – é usada mais frequentemente em estudos nacionais com o objetivo de economizar custos. Envolve a retirada de uma série de amostras aleatórias de aglomerados geográficos

( Ex: blocos ou zonas eleitorais em lugar de unidades individuais)

TERMOS ESPECÍFICOS EM AMOSTRAGEM

Unidade de Amostragem

É um elemento ou conjunto de elementos da população alvo que podem ser individuais.

Ex: sala de aula, escritório, departamentos, etc )

Plano de Amostragem

É o plano segundo o qual uma amostragem deve ser escolhida

Seleção de Amostragem

Base de Amostragem

É a definição real e listagem das unidades específicas da amostragem a ser observada.

É a lista, o mapa ou catálogo ou outra fonte na qual as unidades da amostragem são

definidas e com base na qual um conjunto de unidades é selecionado. É útil principalmente

se o método de coleta exigir entrevistas ou observações face a face.

6. ESTABELECENDO A AMOSTRA

1. AMOSTRA

Listar os nomes das pessoas que potencialmente farão parte da amostra; Usar uma escolha aleatória ( não viciada ); Utilizar “ amostra por juízo” se for o caso – a equipe seleciona os casos que poderão representar o universo de pessoas; Garantir a diversidade; É desejável que a amostra seja a maior possível.

2. COMPARAÇÃO CONTEXTUALIZADA

Comparação crítica entre as implicações e os interesses sociais envolvidos. Em geral é mais utilizada em estudos qualitativos e pode também incluir métodos quantitativos – TRANGULAÇÃO.

6. ESTABELECENDO A AMOSTRA

Nº TOTAL DO GRUPO Nº SUGERIDO PARA A AMOSTRA

PERCEMTAGEM

100 15 15 %

200 20 10 %

500 50 10 %

1.000 50 5 %

EX : TABELA 1

6. ESTABELECENDO A AMOSTRA

TAMANHO DA POPULAÇÃO

AMOSTRA TAMANHO DA POPULAÇÃO

AMOSTRA TAMANHO DA POPULAÇÃO

AMOSTRA

10 10 60 52 200 132

25 24 80 66 300 169

35 32 100 80 400 196

50 44 150 108 500 217

EX : TABELA 2

7. MÉTODOS DE ANÁLISE

ESTRATÉGIAS DE ANÁLISE

DESENHO EXPERIMENTAL : Dados Quantitativos e Análise Estatística ;Seleção aleatória dos participantes / sorteio;

Comparações entre os 2 grupos para identificar e explicar possíveis diferen-ças por meio de análises estatísticas;

DESENHO DE ESTUDO QUALITATIVO : Dados Qualitativos e Análise de

Conteúdo;

Seleção segundo critérios da Coordenação do Projeto – coleta de dados - entrevistas no início ,durante e ao final ;

Identificar através da análise de conteúdo as experiências e características que os participantes e o staff trazem;

Indicação de padrões de mudanças nos participantes a partir do staff e avaliadores.

MISTURA : Desenho Experimental, Dados Qualitativos e Análise de Conteúdo Seleção por sorteio ( formação de grupo experimental – participante e de controle – não participantes ); Extensas entrevistas com todos os participantes do início ao final; Análise de conteúdo dos dados dos dois grupos que são então comparados.

ESTRATÉGIAS DE ANÁLISE

MISTURA 2 : DESENHO EXPERIMENTAL, DADOS QUALITATIVOS E ANÁLISE ESTATÍSTICA

Seleção aleatória ( grupo experimental-participante e de controle – não participantes) ;

Entrevistas extensas no antes do início e ao final do projeto com cada beneficiário;

Instituição de grupo de juizes que deverão refletir sobre as entrevistas e numa escala de 1 a 10, dar uma nota as diferentes dimensões que o projeto pretende influenciar ( ex: probabilidade de ter atitudes saudáveis– nota 1=baixa e 10= alta);

Análise estatísticas para comparar os resultados dos 2 grupos.

MISTURA 3 : DESENHO QUALITATIVO E ANÁLISE ESTATÍSTICA

A diferença do anterior está na escolha de um terceiro grupo para atuar como juízes com atribuição de notas para cada atividade realizada;

As notas são baseadas em dados qualitativos visando dar idéia da ambiência em que o projeto se desenvolveu.

ESTRATÉGIAS DE ANÁLISE

MISTURA 4 : DESENHO QUALITATIVO, DADOS QUANTITATIVOS E ANÁLISE ESTATÍSTICA.

Seleção de acordo com critérios da Coordenação. A equipe de Avaliação sem categorias de análise preestabelecida sobre aspectos importantes a serem acompanhados no projeto;

Realiza uma série de observações de eventos e atividades, a equipe de avaliação tenta identificar comportamentos e interações entre os participantes que deverão ser acompanhados;

As atividades do projeto são então julgadas a partir dos relacionamento estatístico entre freqüência de ocorrência dos comportamentos e das características específicas das atividades e os números - de pessoas participando, a duração, a quantidade de staff, etc .

ANALISANDO E INTERPRETANDO INFORMAÇÕES

Ao final do processo de coleta, há uma grande quantidade de informações brutas que precisam ser lapidadas para elaborar as sínteses

para uso dos avaliadores.

COMO ANALISAR DADOS QUANTITATIVOS ?

É preciso decidir entre os métodos descritivos ou inferências ( comparativos, analíticos ) para responder as perguntas;

Explorar ao máximo os dados disponíveis utilizando estatística descritiva, que envolve basicamente números e percentuais

apresentados em tabelas e gráficos.

ANALISANDO E INTERPRETANDO INFORMAÇÕES

COMO ANALISAR DADOS QUALITATIVOS ?

Pode variar da análise quantitativa da ocorrência de temas ou categorias preestabelecidas ou criadas a partir dos dados coletados até descrições

narrativas profundas sobre o objeto avaliado.

Agrupar as respostas em categorias e calcular a freqüência de respostas; Possibilidade de uso de análise no campo – no decorrer da coleta , refletir identificando aspectos para serem aprofundados e explorados na avaliação. Identificar os temas e conclusões preliminares ( para cada hora de coleta, 1 hora para análise); Certificar-se de que os dados disponíveis respondem as perguntas avaliativas; Fazer cópias eletrônicas organizando os dados por tópicos ou categorias; Buscar as causas, conseqüências e inter-relações; Exame das interpretações contraditórias das exceções; Triangulação – comparação entre os dados qualitativos com os quantitativos, das diferentes fontes e das diferentes perspectivas dos observadores; Identificar possíveis distorções causadas por valores, comportamento e perspectivas dos avaliadores; Qualidade dos dados disponíveis; Reações dos diferentes interessados em relação aos dados coletados e à análise desenvolvida; Rigor intelectual.

ANALISANDO E INTERPRETANDO INFORMAÇÕES

COMO INTERPRETAR OS RESULTADOS ?

Determinar se os objetivos do projeto foram alcançados;

Determinar se as necessidades identificadas inicialmente pelo projeto foram reduzidas;

Solicitar a grupos ou profissionais de referência na área façam uma revisão crítica;

Comparar resultados encontrados com os outros projetos ou iniciativas do mesmo tipo desenvolvidas por outras organizações;

Interpretar os resultados atentando para as possíveis limitações dos procedimentos e métodos que foram utilizados para produzi-los.

METODOLOGIA DA ANÁLISE DE CONTEÚDO

Tem como suporte instrumental qualquer tipo de mensagem, formas de expressão dos sujeitos sociais, e como produto,

um conhecimento não linear.

Sua derivação se dá pela observação social do objeto de estudo, onde o tempo e a circularidade da comunicação são considerados

significativos;

Constitui-se numa forma de olhar para as comunicações que dependendo da postura teórica, política e cultural do avaliador , poderá conduzir à produção de um novo conhecimento, onde

a história e a cultura se fazem presentes;

Se apresenta como uma proposta metodológica dinâmica que se faz permanentemente por meio de uma interação

contínua com o analista;

A ANÁLISE DE CONTEÚDO é entendida como TÉCNICA DE COMPREENSÃO, INTERPRETAÇÃO E EXPLICAÇÃO

das formas de COMUNICAÇÃO ( escrita, oral ou icônica – gestual ) .

OBJETIVO Ultrapassar o nível do senso comum e do subjetivismo na interpretação de documentos, textos literários, biografias, entrevistas ou observação.

Do ponto de vista operacional, a ANÁLISE DE CONTEÚDO relaciona estruturas semânticas ( SIGNIFICANTES ) com estruturas sociológicas ( SIGNIFICADOS )

dos enunciados.

TÉCNICAS :

ANÁLISE DAS RELAÇÕES designa técnicas que preocupam-se com as relações que os vários elementos mantêm entre si, dentro de um texto. Principais modalidades

a de CO-OCORRÊNCIAS procura extrair de um texto as relações entre as partes de uma mensagem e assinala a presença simultânea ( co-ocorrências ) de dois ou mais elementos na mesma unidade de contexto. Sua maior utilidade tem sido no esclarecimento das estruturas da personalidade, na análise das preocupações latentes tanto individuais como coletivas, para análise de estereótipos e de representações sociais a ESTRUTURAL tem por pressuposto a crença na existência de estruturas universais ocultas sob a aparente diversidade dos fenômenos. Os estruturalistas buscam o imutável e permanente sob a heterogeneidade aparente.

Por trás dessa busca está a noção de sistema.

ANÁLISE DA EXPRESSÃO existe uma correspondência entre o tipo de discurso e as características do locutor e seu meio. Trabalha com indicadores lexicais ( palavras, significados ) , com estilo e encadeamento lógico, com o arranjo das seqüências, com a estrutura da narrativa.

Sua aplicação mais comum tem sido na investigação da autenticidade dos documentos, para a psicologia clínica, análise de discursos políticos

e /ou persuasivos.

ANÁLISE DE AVALIAÇÃO OU REPRESENTACIONAL tem por finalidade medir as atitudes do locutor enquanto aos objetos de que fala ( pessoas , coisas, acontecimentos ). Seu pressuposto é de que a linguagem representa e reflete quem a utiliza .

ANÁLISE TEMÁTICA consiste em descobrir os núcleos de sentido que compõem uma comunicação cuja presença ou freqüência signifiquem alguma coisa para o objetivo analítico visado.

Quantitativamente se encaminha para a contagem de freqüência das unidades de significação e, Qualitativamente a presença de determinados temas denota os valores de referência e os modelos

de comportamento presentes no discurso.

ANÁLISE DA ENUNCIAÇÃO apoia-se numa concepção de comuni-cação como processo e não como um dado estático, e do discurso como palavra e ato. Considera que na produção da palavra elabora-se ao mesmo tempo um sentido e operam-se transformações.

Trabalha com:a ) as condições de produção da palavra ( triangulação entre o locutor, seu objeto de discurso e o interlocutor );b ) o continente do discurso e suas modalidades , que se dá através :

• análise sintática e paralinguística ( tons de voz e sons que permitem saber o estado em que o falante se encontra );

• análise lógica , estudo do arranjo do discurso;• análise dos elementos formais atípicos : silêncio, omissões, ilogismos ;• realce das figuras de retórica.

A Entrevista Aberta é o material privilegiado da análise da enunciação, no sentido de que se trata de um discurso dinâmica. Em termos operacionais segue o seguinte roteiro :

Estabelecimento do Corpus : delimitação do número de Entrevistas, leva em conta a questão central do objeto da pesquisa para delinear o corpus ;

Preparação do Material : cada texto ( entrevista ) é uma unidade básica ( a transcrição deve conservar os silêncios, lapsos, repetições, sons, etc );

As Etapas de Análise : cada Entrevista é submetida a tratamento como uma totalidade organizada e singular. São observados o alinhamento e a dinâmica do discurso para se encontrar a lógica; o estilo e os elementos atípicos .

ANÁLISE DO DISCURSO articula 3 regiões do conhecimento :

a ) o Materialismo Histórico como teoria das formações sociais e suas transformações estando incluída aí a Ideologia ;

b ) a Lingüística enquanto teoria dos mecanismos sintáticos;

c ) a Teoria do Discurso como teoria da determinação histórica dos processos semânticos .

O Objetivo básico é realizar uma reflexão geral sobre as condições de produção e apreensão da significação de textos produzidos nos

diferentes campos: religioso, filosófico, sócio-político, jurídico. Visa compreender o modo de funcionamento, os princípios de

organização e as formas de produção social do sentido.

Pressupostos básico:

O sentido de uma palavra, de uma expressão ou de uma proposição não existe em si mesmo, mas expressa posições ideológicas em jogo no processo sócio-histórico no qual as palavras,

as expressões e proposições são produzidas;

8. DIVULGANDO E USANDO OS RESULTADOS DA AVALIAÇÃO

Relatórios escritos elaborados a partir dos públicos;

Combinar os Relatórios escritos com Apresentações e discussões orais;

Ensaios de fotografias, relatos gravados em áudio, produção de vídeos,

slides, transparências, histórias em quadrinhos, apresentação de testemunhos e apresentações de peças teatrais;

Relatórios Escrito;

Resumo Executivo da avaliação de 2 a 6 páginas, devendo conter os principais resultados encontrados, as interpretações importância dos resultados e recomendações; Introdução Descrição do foco da avaliação; Alguns comentários metodológicos; Apresentação dos Resultados; Conclusões e Recomendações; Anexos.

Tipo de Avaliação

Pergunta Avaliativa

Indicadores Fontes de Informação

Métodos de Coleta de Dados

Procedimentos para Coleta de Dados

Amostra Estratégia Cronograma

Avalia o RESULTADO do Projeto “Educação

pelo Esporte”

1ª Qual é o percentual de promoção de

séries das crianças

envolvidas no projeto?

2ª Em que medida as crianças e

adolescentes apresentam mudanças

comportamen-tais

relacionadas à convivência na escola e no

contexto sócio-

familiar?

Aprovação Escolar

Evasão escolar

Gosto pela leitura e escrita;

Domínio da linguagem oral;

Capacidade de adotar regras de conduta, ouvir o outro, lidar com

diferenças e participar de

atividades em grupo;

Afetividade junto à família;

Auto estima;

Sociabilidade.

Documentos escolares

( boletins, relatórios, etc );

Crianças e adolescentes;

Famílias;

Educadores;

Parceiros;

Financiadores;

Revisão e análise dos

Documentos

EntrevistasObservações

Grupo FocalQuestionários

Grupo Focal

Entrevista

Entrevista

Universo 100 usuários e suas famílias

Amostra = 80Universo 15Amostra=9Universo 2Amostra 2Universo2

Amostra = 2

Total da Amostra da Avaliação Universo

Total = 119Amostra

Total = 93

SensibilizaçãoMobilização

para a Avaliação;

Contato com os Diretores de

Escola e solicitação dos documentos;

Elaboração dos roteiros

instrumentos;

Treinamento dos responsáveis

pela avaliação;

Organização do processo de

coleta e organização

Dos dados. ( tabulação,

transcrições, etc) Elaboração do Termo de

Consenti-mento;i

Revisão dos Documentos :dezembro e

janeiro

Organização dos

instrumentos e procedi-mentos de coleta de dados :

fevereiro

Coleta de dados :março

MATRIZ AVALIATIVA

Métodos para Análise de Dados

Estratégias para Interpretação

Procedimentos para Divulgação dos Resultados

Públicos Conteúdo Formato Cronograma

Análise Documental : estatística descritiva e Comparativa entre as

crianças e adolescentes usuárias do projeto e de

fora dele;

Análise de Conteúdo dos relatórios dos

instrumentos de coleta de dados;

Síntese dos principais temas identificados.

Pelo menos 75% tiveram melhoria no desempenho e

nas notas, passando às séries subsequentes?

Todas as crianças permaneceram na escola ?

Pelo menos 75% apresentaram melhoria/

evolução nos interesses de leitura e escrita, capacidade

de raciocínio lógico, criatividade e trabalho

grupal?

Houve melhorias nas relações e comportamento

adotando regras de conduta e aceitando diferenças?

Houve melhoria nas relações afetivo-familiares ?

Houve elevação da auto estima e Sociabilidade?

Equipe de Coordenação e todos

os envolvidos no Projeto

Conselho Diretor da Agência

Financiadora

Parceiros

Diretores e Professores das

Escolas

Familiares

Público em geral

Ajudar a responder as Perguntas Avaliativas

Identificar quais aspectos precisam ser aperfeiçoados

visando a qualidade do projeto e

possibilidade de ampliação,

replicação e desdobramentos

Relatório Técnico

Relatório Executivo para os

Diretores e Professores

Reunião com os familiares

Comunicação à imprensa para

divulgação para o público em geral

Elaboração de Artigos, etc

Apresentação em Fóruns,

Seminários, etc

Reuniões para

discussão dos

resultados da Análise :

abril

Entrega dos Relatórios:

Maio