1

Session 5A: Trabajo de campo y aseguramiento de calidad

Mario Navarrete, Sistemas Integrales Santiago, 16 de abril de 2013

Cuales son los problemas más frecuentes que ustedes han encontrado en el trabajo

de campo? A. Inadecuada selección del

personal B. Pobre capacitación C. Supervisión deficiente D. Datos malos o

inconsistentes E. Alta tasa de no respuesta F. El trabajo de campo

requiere más tiempo de lo esperado

G. Retraso en los pagos H. Excesivos trámites

2 A. B. C. D. E. F.

0% 0% 0%0%0%0%

Una historia de horror Survey Month

Households reporting illnesses, accidents (Q407)

Households reporting chronic

deseases (Q401)

Households reporting

agricultural activities (Q901)

Number of crops

reported (Q911)

Households reporting livestock

activities (Q918)

Households reporting fishing activities (Q924)

Total Nb of durables

(Section 12)

Nb of HH having credit (Section 13)

HH size mean

Number of lines with food consumption

1 1,645 705 572 1,352 563 17 9,538 1,017 7.8 95,687

2 1,352 624 503 1,299 530 13 8,853 937 7.5 99,491

3 996 577 507 1,421 502 12 9,818 910 7.6 96,028

4 898 642 486 1,469 504 25 9,301 880 7.9 96,139

5 816 545 436 1,243 464 3 9,180 811 7.1 97,094

6 691 513 477 1,442 465 23 9,667 841 7.5 97,315

7 625 529 465 1,338 494 26 9,621 738 7.5 108,432

8 658 498 439 1,264 433 17 9,437 707 7.3 100,888

9 769 552 433 1,244 428 11 9,584 740 7.2 98,893

10 858 534 468 1,227 436 25 9,224 719 7.4 98,415

11 743 517 399 1,165 411 10 9,294 737 7.2 97,138

12 693 464 356 1,133 440 25 9,722 705 7.1 96,052

Mes de encuesta

No. de hogares que informan

enfermedades o accidentes

1 1,645

2 1,352

3 996

4 898

5 816

6 691

7 625

8 658

9 769

10 868

11 743

12 693

Los factores de calidad del trabajo de campo

Selección y capacitación del

personal de campo

Organización del trabajo de campo

Gestión de datos Supervisión y control

4

Selección y capacitación del personal de campo 5

Selección y capacitación

del personal de campo

Organización del trabajo de

campo

Gestión de datos

Supervisión y control

Convocatoria para

postulantes

Pre-selección de

candidatos basada en

perfiles

Capacitación

Selección de personal

basado en rendimiento y capacidad

Selección de personal

validada por institución

contratante

Contratación con el

personal seleccionado

6

Selección y capacitación del personal de campo

• Perfil requerido: – Edad, género, idioma, educación, etc. – Habilitación o acreditación –de acuerdo a las

regulaciones de cada país- para realizar las tareas específicas requeridas, como: • test biométricos • antropometría • test cognitivos

• Test sicológicos • Disponibilidad de tiempo y disposición para trabajar

en el campo • Seleccionar un número mayor al requerido

7

Preselección de candidatos

• Estrategia – Centralizada /Descentralizada – Duración en semanas (2 semanas o más) – División en grupos (de no más de 30-40 personas) – Formaciones específicas para cada área

(cuestionarios, test biométricos, cognitivos, mediciones antropométricas, etc.)

• Etapas de la formación – Preparación del material de formación y agenda – Formación de Formadores – Formación del personal de campo

8

Capacitación

• Agenda detallada de la capacitación – Clases magistrales – Práctica en aula – Práctica en el campo (hogares, niños, …)

• Material – Infraestructura adecuada – Presentaciones únicas – Viñetas – Controles y evaluación final – Suficientes cuestionarios, manuales y equipamiento – Refrigerios – esto es muy importante para la moral – Transporte hacia y desde el sitio de entrenamiento y viáticos

9

Capacitación

Organización del trabajo de campo

10

Selección y capacitación

del personal de campo

Organización del trabajo de

campo

Gestión de datos

Supervisión y control

Organización del trabajo de campo

Organización del trabajo de

campo

Organización del personal

de campo

Plan del trabajo de

campo

Plan de la encuesta

11

Organización del personal de campo

• Basado en la noción de equipos autónomos

• Personal especializado en cada equipo, o equipos especializados

• Controles de calidad informáticos integrados en el trabajo de campo

12

Côte d’Ivoire 1984

Peru 1985

Ghana 1987

Jamaica 1988

Bolivia 1989

Paraguay 1997

Argentina 1997

Bangladesh 1995, 2001

Timor-Leste 2001, 2007

Niger 2008

Namibia 2006

Mongolia 2008

Iraq 2006-2012

India (UP) 1998-2000

Pakistan 1991 - 2002

Vietnam 1996

Honduras 1998

Papua New Guinea 2008

Polynesia 2000

Guatemala 2000

Nicaragua 1989, 2000, 2005

Panama 1998, 2003

Nepal 1994 – 2002 - 2010

Ethiopia 2011

Uganda 2010

Integración de los controles informáticos de calidad para el trabajo de campo en la encuesta

LSMS (todo el mundo en tres décadas)

Entrada de datos en locales fijos

Entrada de datos en el campo CAPI

Organización del personal de campo

• Un equipo de encuesta 1 jefe de equipo (supervisor) 2-4 encuestadores 1-2 personas especializadas en mediciones

particulares (antropometría, test de desarrollo cognitivo, hemoglobina, etc.)

1 operador de ingreso de datos 1 chofer

14

Jefe de Equipo Encuestadores Especialista Operador de datos

Plan del trabajo de campo en un punto de muestra

Elementos a considerar: – Número de encuestas por punto de muestra – Dispersión geográfica de los hogares dentro de cada punto de muestra – Conformación del equipo – Operación de listado de hogares si es aplicable – Controles de calidad – Mediciones biométricas, cognitivas, etc. si son aplicables – Duración de las entrevistas y número de visitas y revisitas de corrección – Otras encuestas por ejemplo a nivel comunitario – Tiempo de descanso – Tiempo aproximado en llegar al siguiente punto de muestra

15

Escenario optimista Escenario pesimista $

$

Que debe hacer cada equipo en cada punto de muestra, y cuánto tiempo se requiere

Ejemplo de plan de trabajo en un punto de muestra

Día Operador de datos

H1 H2 H3 H4 H5 H6 H7 H8 H9 H1 H2 H3 H4 H5 H6 H7 H8 H92 V1 V1 V1 V1 V1 V1 V1 V1 V1 Ingreso Q. H1 a H93 VC1 VC1 VC1 V2 V2 V2 V2 V2 V2 V2 V2 V2 Ingreso Q. H1 a H94 VC1 VC1 VC1 V3 V3 V3 V3 V3 V3 V3 V3 V3 Ingreso Q. H1 a H95 VC1 VC1 VC1 V4 V4 V4 V4 V4 V4 V4 V4 V4 Ingreso Q. H1 a H96 VC2 VC2 VC2 V5 V5 V5 V5 V5 V5 V5 V5 V5 Ingreso Q. H1 a H97 VC2 VC2 VC2 V6 V6 V6 V6 V6 V6 V6 V6 V6 Ingreso Q. H1 a H98 VC2 VC2 VC2 V7 V7 V7 V7 V7 V7 V7 V7 V7 Ingreso Q. H1 a H99 VC3 VC3 VC3 VC3 V8 V8 V8 V8 V8 V8 V8 V8 V8 Ingreso Q. H1 a H910 VC3 VC3 VC3 VC3 VC3 V9 V9 V9 V9 V9 V9 V9 V9 V9 Fin ingreso H1 a H91112

Envío de datos a Niamey

DescansoDesplazamiento

1Consolidación y

envio de datos ola

Jefe de equipo Encuestador 1 Encuestador 2 Encuestador 3Listado de hogares

Selección de hogares a encuestar

Plan de Encuesta (Quién visita cada punto de muestra y cuándo)

Un mal plan de encuesta

Verano

Primavera Otoño

Invierno

Un mejor plan de encuesta

Equipo 5

Equipo 1

Equipo 4

Equipo 3

Equipo 2

Aún mejor (si es posible)

Equipos 1, 2 y 3

Equipos 4 y 5

Muestras inter penetrantes (Mahalanobis,1953)

Plan de encuesta • Que equipo visitará cada punto de muestreo y cuando • El plan de encuesta debe considerar:

– Tiempo requerido por los equipos en cada punto de muestra (plan de trabajo)

– Número de puntos de muestreo – Tiempo total disponible para el trabajo de campo – Distribución espacial y temporal de la muestra – Número de equipos de campo – Restricciones externas

• Clima • Seguridad • Calendario de actividades del proyecto evaluado

21

Ejemplo de un plan de encuesta

22

Piso ecológico Departamento Municipio Provincia UPM Viviendas

UPM Población

UPM Equipo Fecha de inicio Fecha de fin

1 LA PAZ Achacachi Omasuyos 20065 308 1002 1 1-Nov-11 10-Nov-11

1 LA PAZ Achacachi Omasuyos 20073 341 1304 1 11-Nov-11 21-Nov-11

1 LA PAZ Achacachi Omasuyos 20088 167 440 1 22-Nov-11 2-Dec-11

1 LA PAZ Achacachi Omasuyos 20097 360 1211 1 3-Dec-11 13-Dec-11

1 LA PAZ Caquiaviri Pacajes 20179 213 416 2 14-Dec-11 24-Dec-11

1 LA PAZ Caquiaviri Pacajes 20188 256 760 2 25-Dec-11 4-Jan-12

1 LA PAZ Puerto Acosta Camacho 20245 204 511 2 5-Jan-12 15-Jan-12

1 LA PAZ Puerto Acosta Camacho 20253 297 521 2 16-Jan-12 26-Jan-12

1 LA PAZ Puerto Carabuco Camacho 20232 266 709 3 27-Jan-12 6-Feb-12

1 LA PAZ Chuma Muñecas 20328 310 1260 3 7-Feb-12 17-Feb-12

1 LA PAZ Chuma Muñecas 20336 332 1100 3 18-Feb-12 28-Feb-12

1 LA PAZ Viacha Ingavi 20983 249 551 3 29-Feb-12 10-Mar-12

1 LA PAZ Jesus de Machaca Ingavi 21002 298 473 4 11-Mar-12 21-Mar-12

1 LA PAZ Pucarani Los Andes 20638 204 498 4 22-Mar-12 1-Apr-12

1 LA PAZ Pucarani Los Andes 20646 276 721 4 2-Apr-12 12-Apr-12

1 LA PAZ Pucarani Los Andes 20658 223 814 4 13-Apr-12 23-Apr-12

Una buena organización es clave para: • Minimizar los errores en la colecta de datos

– Corrección de errores directamente en el hogar – Aumento de la tasa de respuesta – Disminuir los problemas debido al seguimiento de

protocolos

• Oportunidad

23

Gestión de datos

24

Organización del trabajo de

campo

Gestión de datos

Supervisión y control

Selección y capacitación

del personal de campo

Entrevista

Entrada de datos

Informe de calidad

Revisión por el

supervisor

Re-visita

Entrada de datos en el campo

25

INTERNET

Base de datos consolidada

Monitoreo del trabajo de campo

• Producción de bases de datos: • Debidamente documentadas • Disponibles en tiempo oportuno • Exportadas a un software estadístico

• Parciales, para el monitoreo del trabajo de terreno

• Final, para su explotación estadística

• Seguimiento de indicadores de calidad

26

Gestión de datos

Características del programa de entrada de datos

• Plataformas de desarrollo disponibles: CsPro; LSD; Blaise; etc.

• Diccionario de variables bien definidos • Validaciones

– Chequeo de rangos – Chequeos contra tablas de referencia (antropométricas,

composición de los alimentos, etc) – Control de saltos – Otras comprobaciones de coherencia lógica

• Consolidación de datos y herramientas de exportación Todos los programas deben estar listos antes del

trabajo de campo 27

¿Qué sucede sin integración?

• Un largo y frustrante proceso de "limpieza de datos" se convierte en inevitable

Los datos pierden su relevancia política • La calidad de los datos no está garantizada

La “limpieza de datos” converge, en el mejor de los casos, a una

base de datos que es solo consistente internamente, pero que no representa necesariamente la realidad

• La “limpieza de datos” implica una gran cantidad de decisiones, generalmente indocumentadas

Los usuarios desconfían de los datos

28

Beneficios de la integración

• Bases de datos confiables y oportunas • Monitoreo permanente del desempeño del personal

de campo, lo que permite la alerta temprana de conductas inadecuadas

• Garantiza que todos los trabajadores de campo aplican criterios uniformes a lo largo de todo el período de recolección de datos

• Las inconsistencias son resueltas mediante la observación directa de la realidad, en lugar de conjeturas oficina

• Compatible con la cultura de la calidad total 29

Supervisión y control

30

Gestión de datos

Supervisión y control

Selección y capacitación

del personal de campo

Organización del trabajo de

campo

Supervisión y control

Supervisión humana

• Selección de hogares • Visitas de control • Observación de

entrevistas

Integración de controles de calidad computacionales

en el campo

• Chequeo de consistencia de los cuestionarios

Evolución de indicadores de calidad del trabajo de

campo

• Monitoreo de indicadores de calidad del personal de campo

31

En el campo

En la oficina central

Aseguramiento de calidad durante la fase de terreno

32

Equi

po d

e te

rren

o

Encuestador controla cuestionarios Supervisor verifica calidad de los encuestadores Supervisor controla cuestionarios con ayuda de mensajes de PED Se regresa a hogar a corregir errores, verificar inconsistencias y completar partes faltantes

Supe

rvisi

ón c

entr

al

Misiones de supervisión Verificación de cumplimiento de normas y calendario de trabajo Verificación de errores o inconsistencias remanentes Seguimiento de la evolución de los indicadores de calidad Controles telefónicos

Equi

po d

e In

vest

igac

ión

Misiones de supervisión Verificación de errores o inconsistencias remanentes Seguimiento de la evolución de los indicadores de calidad Verificación de la base de datos consolidada

Aseguramiento de calidad durante la fase de terreno

33

ENCUESTADORES

SUPERVISIÓN FIRMA IMPLEMENTADORA

SUPERVISIÓN INVESTIGADORES

SUPERVISIÓN EQUIPO DE CAMPO

Enquêteur Valeurs 0 et

5 Autres valeurs Total

112 70.0% 30.0% 100.0% 113 23.8% 76.2% 100.0% 114 38.9% 61.1% 100.0% 122 45.5% 54.5% 100.0% 123 38.1% 61.9% 100.0% 124 33.3% 66.7% 100.0% 132 12.5% 87.5% 100.0% 133 13.0% 87.0% 100.0% 134 22.2% 77.8% 100.0% 142 13.3% 86.7% 100.0% 143 12.9% 87.1% 100.0% 144 42.9% 57.1% 100.0% 152 47.1% 52.9% 100.0% 153 30.0% 70.0% 100.0% 154 20.0% 80.0% 100.0% 162 84.6% 15.4% 100.0% 163 35.0% 65.0% 100.0% 164 41.7% 58.3% 100.0% 171 66.7% 33.3% 100.0% 172 44.4% 55.6% 100.0% 173 33.3% 66.7% 100.0% 174 77.3% 22.7% 100.0% 34

Seguimiento de indicadores de calidad

Repartición del último digito de medidas antropométricas

Si las mediciones han sido

bien realizadas se esperaría que último digito de la talla se reparta igualitariamente entre los números 0 al 9, es

decir un 10% cada uno.

No Sabe Total

0 1 0 Equipo 0 100.0% 100.0%

1 84.8% 15.2% 100.0% 2 51.5% 48.5% 100.0% 3 100.0% 100.0% 4 53.8% 46.2% 100.0% 5 53.3% 46.7% 100.0% 6 97.8% 2.2% 100.0% 7 41.4% 58.6% 100.0% 9 86.8% 13.2% 100.0% 11 78.9% 21.1% 100.0% 12 100.0% 100.0% 13 83.7% 16.3% 100.0%

Total 77.4% 22.6% 100.0% 35

Seguimiento de indicadores de calidad

Porcentaje de respuestas « no sabe » por equipo

36

Ejemplo de la evolución de indicadores de calidad

Sólo si se trata de encuestadores experimientados, el entrenamiento puede ser corto

1. Verdadero 2. Falso

37 1. 2.

0%0%

Si la entrevista de un hogar es completada durante una visita, ninguna visita más es necesaria

1. Verdadero 2. Falso

38 1. 2.

0%0%

¿Cuál de las siguientes afirmaciones es cierta?

1. Para reducir el tiempo de viaje, es mejor que los puntos de muestreo están cerca uno del otro

2. Es mejor que el supervisor del equipo sea la persona de más edad del equipo

3. El operador de entrada de datos tiene que entrar en el cuestionario una vez que se haya completado

4. Es mejor realizar la encuesta en un corto período de tiempo, y tener más personal de campo

5. Ninguna de las anteriores 39

1. 2. 3. 4. 5.

0% 0% 0%0%0%

40

FIN