CLEAR-CIDE

Seminario Internacional Cuarto

Foro Global CLEARMéxico, 18 y 19 de noviembre de 2013Taller sobre evaluación

cualitativaDra. Myriam Cardozo Brum

Universidad Autónoma Metropolitana

MÉTODO Procedimientos de investigación

basados en una postura epistemológica y un marco teórico.

Conjunto de principios, normas y operaciones que permiten seleccionar y coordinar ciertas técnicas para alcanzar sus objetivos.

MÉTODOS Polémica cuanti-cualitativa. Posición de

la exposición Algunos autores que presentan esta

posición: - Tarrés, María Luisa (2001), “Observar, escuchar y comprender. Sobre la tradición cualitativa de la investigación social”, México: COLMEX – FLACSO – M. A. Porrúa. - Cortés, Fernando y otros (2008), “Método científico y política social. A propósito de las evaluaciones cualitativas de programas sociales”, México: El Colegio de México.- Cardozo, Myriam (2012), “Evaluación y metaevaluación en las políticas y programas públicos. El estado del arte”, México: UAM-X.- Cardozo, Myriam (2012), “Sistematización de la experiencia de evaluación de Evalúa DF en 2008. Metaevaluación y autoanálisis”, México: UAM-X- Evalúa DF.- Puerta, Juan Manuel (2013), participación en el panel CLAD-AEVAL “Nuevos enfoques de evaluación de la acción pública Iberoamericana”, XVIII Congreso Internacional del CLAD, Montevideo, Uruguay.

ENFOQUES TEÓRICOS Y MÉTODOS

Énfasis positivista: CONEVAL Énfasis constructivista: EVALUA

Busca descubrir una verdad única y objetiva con un método similar al de las ciencias físico-naturales.

Considera que existen múltiples y subjetivas verdades, identificables por métodos diversos en ciencias sociales.

Considera que todos los programas deben ser evaluados en forma similar

Piensa que cada evaluación debe construirse en función de las características específicas del programa.

Aspira a la realización de estudios experimentales como la forma más rigurosa de identificar los impactos de un programa

Considera que los estudios experimentales son muy difíciles y costosos, no han dado los resultados técnicos esperados y tienen importantes connotaciones éticas negativas.

Valora la cuantificación (medición y pruebas) muy por encima de la aplicación de métodos cualitativos.

Valora la contribución tanto de los métodos cuantitativos como cualitativos

Promueve la realización de trabajos por expertos, en detrimento de la participación social.

Realiza trabajos especializados pero promueve la participación social para generar aprendizaje ciudadano y credibilidad de la evaluación.

Prioriza el análisis disciplinario de corte económico.

Enfatiza la necesidad de contar con equipos interdisciplinarios pertinentes al programa.

MÉTODOS

Métodos cuantitativos.

Métodos cualitativos. observación encuestas entrevistas grupos focales método DELPHI benchmarking análisis de textos

CRITERIOS CUALITATIVOS

- Calidad- Satisfacción del usuario- Congruencia- Oportunidad- Pertinencia- etc.

UNIDADES DE ANÁLISIS Objeto de la evaluación:

OrganizacionesPolíticasProgramasFamiliasCiudadanosBeneficiariosEvaluaciones

EVALUACIÓN EN EL PROCESO DE POLÍTICAS Y PROGRAMAS

PÚBLICOS

Gestación del Problema Público

Ingreso a la Agenda

Formulación de la Política Implementación Evaluación

TIPOS DE EVALUACIÓN EX-POST

De diseño o formulación

De procesos, operación o implementación

De resultados: logro de objetivos y metas

De impacto: el conjunto de cambios o efectos sobre el problema original provocados por la acción evaluada

Integral

EVALUACIÓN DEL DISEÑOCoherencia externa:

Pertinencia frente al problema social a enfrentar

Coherencia con la filosofía de la institución y sus otros planes y programas

Coherencia interna:

Objetivos y metas bien definidos y jerarquizados

Estrategias y acciones congruentes con los anteriores

Previsión de los recursos necesarios para su implementación

Diseño de mecanismos de seguimiento y evaluación

EVALUACIÓN DE LA IMPLEMENTACIÓN

Dificultades para realizar lo formulado Disponibilidad de recursos (cantidad,

calidad, oportunidad) Eficiencia de la transformación de recursos

en productos, servicios o transferencias Apego del funcionamiento a la normatividad Organización, coordinación y relaciones

interorganizacionales Participación social Sistema de información Niveles de control y seguimiento Grados de ajuste y desviación de lo

planeado Medidas de corrección adoptadas

EVALUACIÓN DE RESULTADOS E IMPACTOS

Outputs: productos, servicios o transferencias

Outcomes: impacto o conjunto de efectos provocados en el problema

Directos o indirectos Previstos o imprevistos Positivos o negativos De corto, mediano y largo plazo

PROCESO DE EVALUACIÓN INTEGRAL DE UN PROGRAMA

CONTEXTO INTERNACIONAL

CONTEXTO NACIONAL:Condiciones económicas, políticas, sociales, otros

programas, etc.DISEÑO DEL PROGRAMA (pertinencia, objetivos, estrategias)

RECURSOS:(cantidad, calidad, oportunidad)

- financieros- humanos- tecnológicos- información - tiempo

PROCESOS: (productividad, eficiencia, calidad)

- organización- coordinación- relaciones interorg.- convocatorias- selección beneficiarios- participación social

PRODUCTOS: (eficacia, oportunidad)

- cobertura- créditos- subsidios- servicios sociales

IMPACTO EN EL PROBLEMA PÚBLICO:

- incremento de empleo- incremento de ingresos- mejoramiento de la calidad de vida- satisfacción social

REQUISITOS Y EJEMPLOS

METODOS CUALITATIVOS DE EVALUACIÓN

OBSERVACIÓN Definir que queremos y podemos

observar Elaborar una guía de observación Tipos:

- tradicional- participante- investigación-acción

Llevar actualizado el diario de observaciones

OBSERVACIÓN Ejemplo: línea basal de un programa socio-

ambiental

Condiciones ambientales

Limpieza del lugar Rastros de incendios Estado de conservación de especies Información ambiental para turistas Conducta ecológica del turismo Actividades de restauración

OBSERVACIÓN Ejemplo: línea basal de un programa socio-

ambiental

Condiciones socio-económicas

Estado de conservación de las calles y viviendas (paredes, pisos, techos)

Calidad y limpieza del vestido de los habitantes,

Comercios en la zona Servicios: escuelas, hospitales, centros

de salud Existencia y estado de la plaza principal Edificios de gobierno: oficina, muebles y

equipos Iglesias Disposición de alumbrado, drenaje,

telefonía, agua potable, gas

ENCUESTA: UNIVERSO DE ESTUDIO

Conjunto de personas, familias u organizaciones que comparten un atributo. Ejemplo: ser receptores de los servicios, transferencias o bienes de un programa.

ENCUESTA: DISEÑO MUESTRAL

Muestra: subconjunto de la población o universo.

Condiciones:- Permitir la prueba de la hipótesis.- Representatividad resultados

obtenidos generalizables al universo.

Selección de la muestra:

1. Definición del marco muestral o universo.

2. Determinación del tamaño muestral.

3. Elección de las unidades que integran la muestra:

- probabilística o aleatoria- no probabilística

DISEÑO MUESTRAL

CONFECCIÓN DE LOS INTRUMENTOS DE RECOLECCIÓN

DE LA INFORMACIÓN

Confección de instrumentos provisorios de recolección de

información

Prueba piloto

Confección de instrumentos definitivos para la recolección de la

información

Cuestionarios, guías de observación, de entrevista

APLICACIÓN Y PROCESAMIENTO DE LOS INTRUMENTOS DE RECOLECCIÓN

DE INFORMACIÓN Selección y capacitación de

encuestadores Organización y logística del trabajo

de campo Control de calidad de la información

recogida: Cuestionarios completos Datos dentro de intervalos

aceptables Codificación de respuestas Aplicación de un paquete

estadístico: Excel, SPSS.

PLAN DE ANÁLISIS Síntesis de la información recogida por

indicadores.

Apreciación de la naturaleza de los indicadores y las escalas de medición (nominal, ordinal, intervalar, de razón)

Seleccionar las herramientas estadísticas apropiadas en caso que se deseen aplicar.

Análisis de la distribución y de la relación existente entre variables.

TÉCNICAS ESTADÍSTICAS

Se aplican a los atributos de las unidades de análisis (variables o indicadores).

Dependen del nivel de medición:- nominal- ordinal- intervalar - de razón

TÉCNICAS ESTADÍSTICAS Nivel de Técnica EjemplosMedición Estadística

Nominal No paramétricas FrecuenciaModa

Ordinal No paramétricas MedianaCorr.

Spearman

Intervalo Paramétrica y no Mediaparamétricas

Desviación st.

Razón Paramétrica y no Media Geométr.

paramétricas Coef. de Variac.

ENCUESTAEJEMPLO DE PREGUNTAS PARA CONOCER

PERCEPCIONES SOBRE FUNCIONAMIENTO Y SATISFACCIÓN

¿Considera que el programa funciona bien o mal y por qué?

¿Cuáles cree que sean los principales problemas del programa?

¿Se considera satisfecho con los beneficios del programa?, ¿por qué?

¿Considera que el programa beneficia a las personas más pobres?

¿Qué recomendaría para mejorar el programa?

ENTREVISTAS Identificar a los informantes-clave Preparar un guión adecuado a cada

caso Introducción para exponer el

objetivo, la difusión planeada y lograr confianza

Autorización para grabar Arte de preguntar:

- seleccionar preguntas- insistir sobre lo evitado- aclarar lo dudoso- solicitar documentos de apoyo

ENTREVISTASEJEMPLO DE TEMAS A TRATAR EN UNA EVALUACIÓN

DE OPERACIÓN Presupuesto anual autorizado y

ejercido. Porcentaje de beneficiarios que

presentan carencias extremas. Cobertura de beneficiarios

alcanzada. Número de servicios y apoyos

brindados en el período evaluado. Nivel de cumplimiento de los

objetivos y metas anuales. Cumplimiento de la transparencia

en la selección de proyectos y beneficiarios.

GRUPOS FOCALES (focus groups)

Discusión y valoración del programa en entrevistas colectivas con pequeños grupos (6-12 personas)

Con un moderador que plantea las preguntas de acuerdo a un guión preestablecido

Duración aproximada: dos horas

Discusiones grabadas para posterior análisis

Grupos homogéneos o heterogéneos

GRUPOS FOCALESEjemplo: Evaluación de la operación de los servicios

de salud materno-infantil

Una sesión con cada grupo: médicos, enfermeras y personal auxiliar

Temas: Disponibilidad de recursos Cantidad y calidad de las

instalaciones y equipos Porcentaje de ocupación Existencia de medicamentos Condiciones de trabajo Tiempo de espera

MÉTODO DELPHI Selección de un panel de expertos Preparación de un cuestionario Consulta por correo manteniendo

anonimato o modificada (presencial), pero sin interacción de los participantes

Búsqueda de consensos Diversas rondas de entregas de

resultados estadísticos y comentarios para nuevas consultas

MÉTODO DELPHIEjemplo de evaluación del manejo del cambio

climático

Acuerdo o desacuerdo sobre la existencia del cambio climático

Opinión sobre determinantes alternativos del cambio climático

Opinión sobre la posibilidad y plazos para controlarlo

Propuestas de buenas prácticas Selección de estrategias alternativas Valoración de las capacidades de gestión

del gobierno

BENCHMARKING Identificar a la organización líder en el

contexto público

Recoger información de la misma

Identificar causas de las diferencia de resultados

Promover la emulación de las mejores prácticas

Ejemplos cercanos: - Evaluación comparativa de la gestión social de las delegaciones del DF- Desempeño diferencial de programas de salud por entidades federativas.

ANÁLISIS DE TEXTOS Método hermenéutico de análisis estructural,

comprensión e interpretación de textos Estudia el contenido de los mismos

(hermenéutica interna) y el entorno en que se producen (hermenéutica externa)

Busca “leer entre líneas” incluso lo que no está escrito expresamente en programas, informes, etc.

Permite contar la repetición de palabras, relevar patrones o temas recurrentes, agrupar y separar variables, relevar relaciones entre variables, etc.

Utiliza programas de cómputo como Atlas y Nud*ist

ANÁLISIS DE TEXTOSEjemplo: Metaevaluación de evaluaciones de programas

ambientales Base teórica: releva paradigmas

implícitos de la política social y de la justificación del programa.

Naturaleza de la evaluación: muestra el sesgo de los términos de referencia para evaluar puntos específicos del programa.

Instrumentos de evaluación: evidencian el énfasis de las variables cuantificadas para medir resultados.

MEDICIÓN DE IMPACTO:MODELO EXPERIMENTAL Y CUASIEXPERIMENTAL

Ejemplo

Valores iniciales Valores finalesGrupo Exp. X=10% X’=20%Grupo Test. Y=10% Y’=14%

Impacto = (20-10)-(14-10) = 10-4 = 6%

MEDICIÓN DE IMPACTO:MODELOS NO EXPERIMENTALES

* Falta alguna o ambas de las mediciones que son requisito de la experimentación y cuasiexperimentación:

- Medición en un grupo testigo para comparar con el grupo experimental. Se recomienda analizar la posible incidencia de variables contextuales ajenas al programa.

-Medición del “antes” para el cálculo de la diferencia “antes-después”. Se recomienda reconstruir la situación inicial para estimar el valor de partida.

- Las dos anteriores. Ambas recomendaciones previas

MEDICIÓN CUALITATIVA DE IMPACTO Ejemplo de TR de servicios de salud materno-

infantil del Gobierno del DF 2006-2012 Reconstruir el estado inicial de la población del

DF a partir de la información estadística disponible.

Analizar la evolución de los recursos, las acciones, los servicios brindados y la situación de la población en el período, con base también en información estadística.

OBSERVAR instalaciones de servicios de salud seleccionadas

Levantar una ENCUESTA de percepciones, representativa de la población del DF

Realizar ENTREVISTAS y GRUPOS FOCALES con funcionarios, personal médico y de enfermería

Valorar el impacto provocado por los servicios, deslindando hasta donde sea posible los efectos provocados por causas ajenas a los servicios, como la situación económica imperante en el país u otros servicios ofrecidos.

MEDICIÓN CUALITATIVA DE IMPACTO Ejemplo servicios de salud materno-infantil del Gobierno del DF

2006-2012: LIMITACIONES

No se puso suficiente énfasis en el contraste de la situación de 2006 y 2012, ya que la encuesta recogió información fundamentalmente sobre la situación al final, con lo cual servirá como línea de base para futuras evaluaciones pero no permitió analizar a fondo la evolución en el período en estudio

No se trató de deslindar los efectos provocados por causas ajenas a los servicios del GDF

HACIA UN PROTOCOLO DE ESTÁNDARES DE UTILIZACIÓN DE MÉTODOS CUALITATIVOS EN EVALUACIÓN

Formulación

Implementación Resultados

Impactos

Observación X X X

Encuestas X X X

Entrevistas X X X X

Grupos foc. X X X X

T. Delphi X X X X

Bechmarking X X

Anál. textos X X