EVALUACIÓN EX POST A Proyectos de Agua

Potable Rural

BOREAL Investigación y ConsultoríaNoviembre 2014

PRESENTACION RESULTADOS Y CONCLUSIONES

Estructura presentación

1. Introducción y aspectos metodológicos2. Formulación de iniciativas y análisis de línea

base3. Evaluación ex post de corto plazo4. Evaluación ex post de mediano plazo5. Análisis modelo de gestión de los sistemas

Agua Potable Rural6. Satisfacción de usuarios7. Recomendaciones

Introducción y aspectos metodológicos

OBJETIVO GENERAL DE LA EVALUACIÓN

Realizar una evaluación expost a proyectos de Agua

Potable Rural (12) pertenecientes a las

localidades semi-concentradas evaluando el

cumplimiento de los objetivos de resultado establecidos en

la evaluación ex ante, al término de la ejecución y

durante la operación

Levantar línea base de

iniciativas identificando variables a

evaluarAnalizar y comparar a nivel de corto plazo las

variables identificadas

Analizar y comparar a nivel de mediano plazo

las variables identificadasAnalizar

metodología de ev. Ex ante de

proyectos APR e inputs para sub

sector

Introducción y aspectos metodológicos

Recolección información secundaria:• Documentación SNI• Documentación Comités APR y unidades técnicas• Documentación de ejecución de proyectos

www.mercadopublico.cl

Entrevistas con funcionarios de las Direcciones regionales DOH

Focus Group (12) con Directivas Comités APR

Visitas de inspección técnica a los 12 Proyectos

Encuestas a usuarios (291)

ENERO 2014

AGOSTO 2014

Proyectos Analizados: Aspectos relevantes de la Evaluación

Reg. Comuna Proyecto Proceso ArranquesAño inicio operación

Fuent Financiam.

IX Dollinco Quepe Freire Instalación 228 2010

IX T. Shmidt Huilio Rehuehue Instalación 156 2010

IX Angol Santa Elena de Angol Instalación 78 2010

IX Cunco Unión Cordillera Mejor/Amp 362+118 2010

X Hualaihue Contao Mejor/Amp 191+158 2008X Puerto Montt Las Quemas, San Antonio Instalación 135 2010

X Maullín Quenuir Mejor/Amp 89+314 2010

X Castro Trincao Instalación 42 2010

X Quellón Chadmo Instalación 79 2010

X Castro Putemún Instalación 235 2008X Castro Piruquina Instalación 127 2007

X Achao Putique Instalación 160 2009

I. Análisis de línea base (I)

Heterogeneidad en la formulación Estructura y contenido de presupuestos Regularización de derechos de agua, servidumbres, etc. Las metodologías de estimación de costos de operación y de

tarifados Criterios diversos para la estimación de indicadores de

costo/eficiencia en proyectos de ampliación y mejora Estimaciones de demanda

Diversidad en mecanismos de delimitación territorial (espacial) de los proyectos Mecanismo de contabilización de población en línea base y proyección a 20 años Diferenciación de demanda por tipo de uso de agua (residencial vs. comercial) Uso de listados de inscritos en los proyectos como estimación de demanda Inclusión de factor estacionalidad para las estimaciones de demanda

No se observa cumplimiento de requisito de caracterización con precisión de oferta ex ante (consumo y gasto, precios límite)

II. Evaluación de Proyectos al término de su ejecución: Comparación programado v/s. ejecutado(I) Los montos recomendados resultan en la mayoría

de los casos similares a los montos licitados En 50% de los proyectos analizados se producen

ampliaciones durante su ejecución Ampliaciones adecuadamente argumentadas y posteriormente

tramitadas. Ampliaciones consideran recursos para red de distribución sino

que también para el sistema de captación/regulación y/o tratamiento

No se desglosa presupuesto usando el mismo nivel de desagregación que el presupuesto que obtiene RS.

En proyectos con gran cantidad de usuarios las ampliaciones se producen generalmente por la incorporación de nuevos socios durante la ejecución Ej: 247 a 362 en Cunco 136 a 235 en Putemún

II. Evaluación de Proyectos al término de su ejecución: Comparación programado v/s. ejecutado(II)

Uno de los proyectos de ampliación y mejora se ejecuta a menos de 3 años de concluido el proyecto original de instalación ¿Hasta que punto estas ampliaciones son

previsibles? ¿Hasta que punto las ampliaciones durante la

ejecución afectan la rentabilidad social de los proyectos?

Los costos unitarios por solución presentan niveles importantes de variabilidad particularmente en los proyectos de ampliación La metodología no establece(expresamente)

procedimiento diferenciados de cálculo de indicadores de rentabilidad de proyectos de instalación, mejora y ampliación

III. Evaluación ex post de mediano plazo: Comparación programado v/s. operación (I) Aspecto a considerar: Estimaciones ex ante:

Formuladas en el contexto de criterio costo/beneficio (MESAP)

El registro de las estimaciones ex ante de tarifas y costos de operación resulta extremadamente precario

Deficiencias en el registro de tarifas y gastos de operación actuales

Los Comités no comparten esta información con las sanitarias

Cuando se comparte no se hace sobre la base de indicadores estandarizados (métrica y periodicidad de cálculo)

En consecuencia, se observa: Heterogeneidad de costos de operación en proyectos

analizados Diferencias importantes entre costos de operación ex ante y

actuales

III. Evaluación ex post de mediano plazo: Comparación programado v/s. operación (II) Capacidad de estimar y satisfacer demanda:

Se observa que los sistemas satisfacen adecuadamente la demanda de los usuarios a los que prestan servicios: No se observa ni racionamiento ni suspensiones

atribuibles a incapacidad de los sistemas de satisfacer demanda

Las suspensiones (cuando se observan) se deben generalmente a aspectos deficitarios del diseño de los proyectos (abastecimiento eléctrico)

Sin embargo: Que no exista desabastecimiento

III. Evaluación ex post de mediano plazo: Comparación programado v/s. operación (III)

Tarifas La heterogeneidad de tarifas observada tiene su

explicación en heterogeneidad de los contextos de operación y sociales de los proyectos

La empresa sanitaria en su rol de asistencia técnica asesora a los comités en la fijación de sus tarifas, pero finalmente es la Directiva la que toma las decisiones.

Estrategia reactiva de fijación de tarifas: Los comités fijan las tarifas mínimas que les permiten operar (sin deudas)

Una estratega proactiva les permitiría contar con recursos para: Tener capacidad de reacción frente a contingencias Darle mejor mantención a los sistemas de manera de

aumentar su vida útil

IV. Análisis de gestión de los sistemas APR: Organización de los Comités

Fortalezas: Relaciones sociales y organizacionales locales pre-existentes Persistencia de dirigentes y comunidad tras objetivos de beneficio social

Debilidades Falencias de la preinversión tensionan la gestión directiva: regularizaciones Núcleo dirigencial reducido y de baja rotación Figura legal de constitución no se ajusta con perfil empresarial de la gestión

Administración de los Comités Fortalezas:

Capacitación inicial de las directivas y operador (en la mayoría de los proyectos) Tendencia a la permanencia del operador Bajos niveles de morosidad y manejo ordenado y responsable de las finanzas

Debilidades: Transferencia informal a las nuevas directivas Capacitación técnica insuficiente Estrategia tarifaria reactiva: permite operar pero no resolver eventualidades y/o

planificar la operación del sistema a mediano/largo plazo.

IV. Análisis de gestión de los sistemas APR: Operación/mantención de sistemas

Fortalezas: Sistemas operan con regularidad (baja ocurrencia de cortes) Presencia constante de la DOH, DAS,DIRTRAB, ISL, Tesorería y la

asistencia técnica de la empresa sanitaria Debilidades

Fallas y reposiciones demandan alza de costos para los asociados Déficit de asistencia técnica ante eventos de emergencia técnica en

los sistemas (acceso a repuestos, piezas y equipos)

Sustentabilidad de los Comités Fortalezas:

No se detectan problemas de abastecimiento hídrico Percepción de aumento de valor de las propiedades conectadas al

sistema Debilidades:

Persisten déficits de regularización en servidumbres de paso y similares

Escasa vinculación del servicio con emprendimientos productivos Bajo interés en los socios por asumir responsabilidades en la gestión

del Comité

V. Encuesta de usuarios(I) Reducción(declarada) en el tamaño promedio de

los hogares: de 4 a 3,4 integrantes Focalización programa: Proyectos cuyos usuarios

declaran ingresos familiares por sobre los $500.000 mensuales

Fuentes de acceso agua potable previo al proyecto

47.4

16.80.3

1

2.4

17.2

14.8

Pozo con conexión domiciliaria

Pozo sin conexión domicil-iaria

Camión aljibe con red distribución

Camión aljibe sin red distribución

Acarreo desde domicilio vecino

Acarreo de otra fuente

NS/NR

V. Encuesta de usuarios(II) Uso actual agua del sistema

Porcentaje de satisfacción de los usuarios con los sistemas

91.4

91.189.3

39.9

38.5

11.7 8.2CocinarAseo personalAseo y lavado ropaRiego huerta familiarRiego de jardínOtra actividad que genera ingresosLlenado de piscina

CUNCO

ANGOL

DOLLIN

CO Q.

HUILIO

R.

CONTAO

QUENUIR

PUTE

MUN

LAS

QUEMAS 

TRIN

CAO

CHADMO

PUTI

QUE

PIRUQUIN

A

0.0

40.0

80.0

120.0

Conclusiones y Recomendaciones RESPECTO A LA PREINVERSION

La rentabilidad social de los proyectos podría aumentar si se perfecciona el ejercicio de estimación de demanda Hacer uso intensivo de bases de dato de información secundaria

disponibles para estimaciones de demanda (Ficha Social) Estudiar la posibilidad de que proyectos acrediten vulnerabilidad

de su población beneficiaria mediante Ficha Social u otro Avanzar en la estandarización de los presupuestos y el

detalle de items requerido en las ampliaciones y mejoramientos

Se recomienda asegurar el estándar de los estudios de pre factibilidad: Usar bases de licitación estándar

Se debe fortalecer el Diagnóstico integrándolo al proceso de selección de la mejor alternativa

NO recomendar ejecución de proyectos sin derechos y servidumbres regularizadas en la preinversión

Conclusiones y Recomendaciones Se debe establecer una normativa que considere

diferencias específicas en la formulación y evaluación de proyectos de ampliación y mejoramiento.

RESPECTO AL DISEÑO Y EJECUCION Exigir certificados de abastecimiento eléctrico compatible

con los requerimientos reales de los proyectos Incluir grupos electrógenos en los diseños de los sistemas

así como equipamiento complementario (moto/bicicleta, radio y equipos para toma y evaluación de muestras)

Estandarizar a nivel nacional modelo de contratación y acciones específicas de la inspección técnica

Estandarizar requerimientos de información en el caso de ampliaciones a proyectos de instalación

Conclusiones y RecomendacionesRespecto a la Fase de Operación

La heterogeneidad en la información de formulación y de operación de los proyectos dificulta la evaluación Estandarizar los requisitos de información específica

requerida a los comités (Métrica, frecuencia de reportes, medios de verificación, formatos)

Exigir a las empresas sanitarias reportes periódicos de los antecedentes de operación sanitarias

Crear las condiciones que permitan que los comités asuman estrategias de gestión de tarifas proactiva en lugar de reactiva.

Fortalecer la asistencia de las empresas sanitarias, particularmente en lo relativo a la capacitación en la operación de los sistemas

MUCHAS GRACIAS

II. Evaluación de Proyectos al término de su ejecución: Comparación programado v/s. ejecutado(I)

Dollinco (*)

Hulio Santa Elena

(*)

Cunco (**)

Contao (**)

Las Que-mas

Quenuir (**)

Trincao Chadmo

Putemún (*)

Piruquina

Putique

Asignado

593.788481000

001

546.015576

293.158262

1512.777238

333.368074

478.225682

241.49504

203.512337

287.52344406

336.873825

490.107364

527.454338

Lici-tado

586.289132000

001

557.613136

293.158262

1512.777238

312.093101268

999

423.985554451

999

260.424540584

193.056614944

330.064564756

155

336.873825

490.107364

527.454338

Con-tratado

513.604135

634.9389996

320.720246

1453.407948

312.093101268

999

423.985554451

999

260.424540584

193.056614944

258.350737594

051

387.483896

406.771999

484.518432

Eje-cu-tado

566.783868000

001

686.6589998

338.801316999

999

1832.869

265.655254033

459.666021764

260.424540584

193.056614944

257.041730593

875

392.35155

435.47363

489.245994

250

750

1,250

1,750

Montos Asignados/Licitados/Contratados/ Ejecutados en M$ Dic. 2013

II. Evaluación de Proyectos al término de su ejecución: Comparación programado v/s. ejecutado(II)

Dollin

co(*)

Hulio

Sant

a Elen

a (*)

Cunco

(**)

Conta

o (**)

Las Q

uem

as

Quenu

ir (**)

Trinca

o

Chadm

o

Pute

mún

(*)

Piru

quina

Putiq

ue -

1,000,000

2,000,000

3,000,000

4,000,000

5,000,000

6,000,000

7,000,000

Costos unitarios Asignados/Licitados/Contratados/ Ejecutados en M$ Dic. 2013

AsignadoLicitadoContratadoEjecutado

III. Evaluación ex post de mediano plazo: Comparación programado v/s. operación (I)

Est

. ex a

nte

An

ual 2

01

3

Est

. ex a

nte

An

ual 2

01

3

Est

. ex a

nte

An

ual 2

01

3

Est

. ex a

nte

An

ual 2

01

3

Est

. ex a

nte

An

ual 2

01

3

Est

. ex a

nte

An

ual 2

01

3

Est

. ex a

nte

An

ual 2

01

3

Est

. ex a

nte

An

ual 2

01

3

Est

. ex a

nte

An

ual 2

01

3

Est

. ex a

nte

An

ual 2

01

3

Est

. ex a

nte

An

ual 2

01

3

Est

. ex a

nte

An

ual 2

01

3

Dollinco(*)

Huilio Santa Elena(*)

Cunco Contao Las Quemas

Quenuir Trincao Chadmo Putemún(*)

Piruquina

Putique

0

10,000

20,000

30,000

40,000

50,000

Costos Anuales de operación en $ Dic. 2013

Honorarios y mano de obra Energía eléctrica ($ anual) Otros gastos

Productos químicos ($ anual) Mantenimiento

III. Evaluación ex post de mediano plazo: Comparación programado v/s. operación (III)

Dollinco(*)

Hulio Santa Elena(*)

Cunco Contao Las Quemas

Quenuir Trincao Chadmo Putemún(*)

Piruquina Putique0

500

1000

1500

2000

2500

3000

3500

4000

4500

Tarifas fijas y variables por proyecto en $ Dic. 1013

Tarifa variable 2013 Tarifa fija 2013