sesión 4a: indicadores y diseño de...

1

Sesión 4A: Indicadores y diseño de cuestionarios

Beatriz Godoy Sistemas Integrales Santiago, de abril de 2013

Si la firma contratada para realizar el trabajo de campo de una encuesta tiene experiencia demostrada en este campo, entonces el diseño del cuestionario puede ser encargado a ellos

2

1 2

0%0%

1. Verdadero 2. Falso

Si el contenido del cuestionario ha sido revisado y validado por los distintos actores involucrados en la Evaluación de Impacto, entonces este no necesita ser probado en campo

3

1 2

0%0%

1. Verdadero 2. Falso

• Producir un buen cuestionario es una actividad crítica en el diseño de una encuesta

• La calidad de los datos recogidos por la encuesta es afectada directamente por el diseño del cuestionario

• Pequeños errores o inexactitudes en la redacción de una pregunta o en el flujo de estas pueden provocar sesgos indeseados

4

Diseño de cuestionario: las etapas

5

Etapa 1: Definición del contenido • ¿Qué quiere averiguar?

Etapa 2: Elaboración del cuestionario • ¿Cómo lo puede averiguar?

Etapa 3: Prueba del cuestionario • ¿Funciona bien en el terreno?

Lista de indicadores

Reuniones: Equipo de Evaluación de

Impacto

Definición de los indicadores relevantes

6

Etapa 1: Definición del contenido


7

Preparación de una lista de preguntas

Elaboración del

cuestionario físico

Borrador del cuestionario

Etapa 2: Elaboración del cuestionario

Discusiones sobre los resultados de la

prueba

Revisión / modificación

del cuestionario

Entrevista de hogares /

establecimientos

8

Cuestionario «final»

Etapa 3: Prueba del cuestionario

9

Diseño de cuestionario: un proceso


Etapa 2: Elaboración

del cuestionario

Etapa 1 Lista de

indicadores

Etapa 3 Prueba del

cuestionario

Diseño del cuestionario

10

Etapa 1: Definición del contenido • ¿Qué quiere averiguar?

Etapa 2: Elaboración del cuestionario • ¿Cómo lo puede averiguar?

Etapa 3: Prueba del cuestionario • ¿Funciona bien en el terreno?

11

Etapa 1 - Contenido: Definición de la lista de indicadores

Identifique a las personas clave que deben participar en el desarrollo del cuestionario, con el objetivo de asegurar que los objetivos de la Evaluación de Impacto están cubiertos El contenido del cuestionario debe ser discutido entre

todos los interesados: al menos el equipo de evaluación de impacto, y quizás el Gobierno, agencias locales o internacionales, universidades, etc.

Recuerde que el objetivo principal de la encuesta es recolectar datos que permitan medir los indicadores necesarios para hacer la evaluación de impacto

12

¿De qué se trata la intervención?

¿Cuáles son las preguntas que quiere responder?

¿Cuál es la población objetivo?

Indicadores


13

Ejemplo en el sector educación: La intervención fue diseñada para aumentar la matrícula escolar y la retención de estudiantes de entre 6 y 10 años de edad.

Tasa de matricula Tasa de abandono

Ejemplo en el sector salud: Se espera que el programa incentive a las mujeres a dar a luz en centros de salud

Tasa de nacimientos atendidos en centros de salud

Indicadores


14


¿Cómo de puede medir los indicadores definidos en la etapa anterior? Revisión de encuestas anteriores

Comparabilidad con otras encuestas, en particular en

el caso de evaluación de impacto, entre el cuestionario de línea basal y el de la encuesta de seguimiento

Revisión de estudios cualitativos relevantes

Revisión de bibliografía

1. Preparación de una lista de preguntas

15

Use un lenguaje simple y claro

Evite el lenguaje académico, incomprensible para los entrevistados Lenguaje complejo:

• «¿Cuál es la fuente principal de energía utilizada por los miembros de este hogar para la preparación de los alimentos?»

Simple: • «¿Qué combustible usan para cocinar?»



¿Cuál es la pregunta correcta?

16 1 2

0%0%

1. ¿Sabe usted si el agua que beben en este hogar tiene bacterias, protozoos, que pueden ser peligrosos para la salud?

2. ¿Es segura para la salud el agua que beben en este hogar?

17

Cuidado: lo que es válido en un contexto cultural puede

no serlo en otro

Adapte el cuestionario a la realidad e idiosincrasia local, use el idioma adecuado



18

Evite el lenguaje ambiguo

Ambiguo: “¿Cuándo se mudaron a esta vivienda?” Respuesta 1: “En 1999” Respuesta 2: “Cuando yo tenía 20 años” Respuesta 3: “Después de que terminé los estudios

secundarios” Respuesta 4: “Después del verano” Respuesta 5: “Cuando la compramos”

Claro: “¿En qué año se mudaron a esta vivienda?”



19

Haga una pregunta a la vez

Incorrecto: Pregunta 1: “¿Está usted a favor de reducir el consumo

de alcohol entre los jóvenes y aumentar los impuestos de las bebidas alcohólicas?”

Correcto:

Pregunta 1: “¿Está usted a favor de reducir el consumo de alcohol entre los jóvenes?”

Pregunta 2: “¿ Está usted a favor de aumentar los

impuestos de las bebidas alcohólicas?”



20

Claridad respecto de quién debe responder cada pregunta

Ejemplos:

Preguntas sobre fertilidad Mujeres de entre 15 y 49 años de edad

Preguntas sobre educación Miembros del hogar de 5 años y más



21

Cuando corresponde, debe explicitar los períodos de referencia y las unidades de medida

Confuso: “¿Cuántas veces ha visitado usted un centro de salud?”

• ¿La semana pasada? • ¿El mes pasado? • ¿El invierno pasado?

Claro: “Durante los últimos 30 días, ¿cuántas veces visitó

usted un centro de salud?”



22

Un buen formato físico de cuestionario facilita: La entrevista y el registro de las respuestas

El diseño del programa de ingreso de datos

2. Inserción de las preguntas en un cuestionario físico


• Tipos de preguntas – Con alternativas – Numéricas – Abiertas

23



• Numeración de las preguntas

24



25

Numeración de las preguntas - EJEMPLO Cuestionario

26

Datos en Stata

Numeración de las preguntas - EJEMPLO

• Normas editoriales – Saltos o pases

27



• Normas editoriales – Mayúsculas y minúsculas

28

MAYÚSCULAS: NO LEER EN VOZ ALTA MINÚSCULAS: LEER EN VOZ ALTA



• ¿Cuál es el software adecuado? – Excel o similares son mucho mejores que Word o

similares

• Permite usar fórmulas para numerar las preguntas • Facilita la traducción • Las cajas y grillas son muy fáciles de dibujar

29



Orden de las preguntas

– El cuestionario debe estar organizado de tal forma que su aplicación sea natural, tanto para el encuestador como para el entrevistado

– Las preguntas se deben formular solo cuando son aplicables. Esto se logra con una buena estructura de saltos o pases

– La decisión sobre cuándo y quién debe responder cada pregunta no puede ser dejada al encuestador

30



Idioma • Debe traducir el cuestionario al idioma local • Verifique si la traducción está correcta haciendo

traducción a la inversa

31



¿Qué está mal en esta sección de cuestionario?

32 1 2 3 4 5

0% 0% 0%0%0%

1. Problemas de numeración de preguntas

2. Faltan saltos (pases) 3. Saltos incorrectos 4. Alternativas incorrectas 5. Todas las anteriores

Usted quiere preguntas a los miembros adultos del hogar acerca de sus actividades económicas actuales que generan ingreso. ¿Cuál de las siguientes alternativas le parece más apropiada?

33 1 2 3 4

0% 0%0%0%

1. ¿Tiene usted alguna actividad que genera ingresos?

2. ¿Usted trabaja? 3. ¿Tiene usted un trabajo

por el cual recibe paga en efectivo o especie?

4. ¿Tiene usted alguna actividad económica?

• Deben participar los analistas y los diseñadores

• Debe ser probado en un número pequeño de miembros de la población objetivo: privilegie la calidad por sobre la cantidad

• La prueba del cuestionario debe ser hecha en distintos contextos: debe cubrir la diversidad de realidades que se incluyen en el estudio

34


Siempre pruebe el cuestionarios antes de lanzar el trabajo de campo

Discusiones sobre los resultados de

la prueba

Revisión / modificación

del cuestionario

Entrevista de hogares /

establecimientos

35


Siempre pruebe el cuestionarios antes de lanzar el trabajo de campo

Es un proceso iterativo


36

Resumen: El diseño del cuestionario es un

proceso iterativo y esto toma tiempo…

¿Quién tiene la última palabra en un cuestionario de Evaluación de Impacto?

1 2 3 4

0% 0%0%0%

37

1. La unidad que implementa el programa

2. El equipo de Evaluación de Impacto

3. La firma local implementadora de la encuesta

4. Los expertos en diseño de encuestas

¿Cuál de las aseveraciones siguientes es verdadera: Un buen cuestionario siempre debe…

1 2 3 4 5

0% 0% 0%0%0%

38

1. ser corto 2. ser probado en el terreno 3. ser desarrollado muy

rápidamente 4. satisfacer las necesidades

de información de la firma local

5. satisfacer las necesidades de información de los académicos

39


Reuniones: Equipo de Evaluación de Impacto Definición de los indicadores relevantes

Etapa 1: Definición del contenido

Preparación de una lista de preguntas Inserción de las preguntas en un cuestionario

físico

Borrador del cuestionario


Revisión / modificación del cuestionario

Discusiones sobre los resultados de la prueba

Entrevista de hogares / establecimientos



sesión 4a: indicadores y diseño de...

Documents