Оценка воздействия проектов развития на бедность:...

Оценка воздействия проектовразвития на бедность

Практическое руководство

Изложенные в настоящем исследовании факты, их трак�товка и выводы выражают только точку зрения авторов ине должны приписываться Всемирному банку и входящимв него организациям, а также членам Совета исполнитель�ных директоров или тем странам, которые они представ�ляют. Всемирный банк не гарантирует точность данных,которые приводятся в этой публикации, и не несет ответ�ственности за любые последствия их использования.

Материал публикации защищен законодательствомоб авторском праве. Всемирный банк поощряет распро�странение этой работы и обычно предоставляет разре�шение на воспроизведение ее фрагментов.

Разрешение на воспроизведение глав фотокопиро�вальным способом для целей внутреннего или личного ис�пользования, а также для целей внутреннего или личногоиспользования конкретных клиентов или использованияв классах при обучении предоставляется Всемирным бан�ком при условии поступления соответствующего платежав адрес Copyright Clearance Center, Inc., 222 RosewoodDrive, Danvers, MA 01923, USA.; telephone 978�750�8400, fax978�750�4470. Пожалуйста, прежде, чем копировать, свя�житесь с Центром Copyright Clearance Center.

Чтобы получить разрешение на репринтное воспро�изведение отдельных статей или глав, пожалуйста, на�правьте факс с запросом и с указанием полных данных вОтдел переизданий этого Центра (Republication Depart�ment, Copyright Clearance Center), факс: 978�750�4470.

Все другие запросы, связанные с получением прав илицензий, следует направлять В Отдел публикаций Все�мирного банка по вышеуказанному адресу или по факсу202�522�2422.

Оценка воздействия проектовразвития на бедность

Практическое руководство

Джуди Л. Бейкер

Опубликовано для Всемирного банка

Издательство «Весь Мир» Москва 2002

УДК 33ББК 65.05Бе 63

Перевод книги на русский язык осуществленМосковским представительством Института Всемирного банка

Перевод: Войтинский П., Соколова Я.Научное редактирование и предисловие к русскому изданию: Зимин И.

Глоссарий: Зимин И., Сальников А.Редактирование и обработка глоссария:

Осадчая О. (Издательство «Весь Мир» )

Оценка воздействия проектов развития на бедность: практи�ческое руководство. / Джуди Л. Бейкер / Пер. с англ. — М: Изда�тельство «Весь Мир», 2002. — 288 с.ISBN 5�7777�0162�0

В руководстве рассмотрены и проанализированы практически все существующие на се�

годняшний день группы методов Оценки воздействия проектов развития Всемирного

банка и ряда других донорских организаций. Автору удалось обобщить многолетний

практический опыт по Оценке воздействия и на реальных примерах показать оптималь�

ные подходы. Вопросы оценки очень актуальны, так как ежегодно Всемирный банк осу�

ществляет десятки проектов в различных областях и во многих странах мира. Анализ те�

кущих результатов, итоговых показателей и их устойчивости после окончания проекта

позволяет определить его эффективность с точки зрения достижения поставленных це�

лей, получения выгод и окупаемости затрат.

В конце книги представлен специально подготовленный для русского издания глос�

сарий, который поможет разобраться в сложной специальной терминологии. Для удоб�

ства читателей дается также перечень терминов на английском языке.

Знакомство с представленными в работе методами будет полезно для специалистов,

участвующих в реализации проектов и в их оценке, для экономистов и государственных

служащих, поскольку созданный инструментарий может широко использоваться при

оценке воздействия проектов, осуществляемых в различных сферах хозяйственной дея�

тельности, а также для преподавателей и студентов.

Все права защищены

Первоначально опубликовано в мае 2000 г. в Соединенных Штатах Америки наанглийском языке как Evaluating the Impact of Development Projects on Poverty:a Handbook for Practitioners / Judy L. Baker. The World Bank. Washington D.C.(ISBN 0�8213�4697�0).

Верстка — Издательство «Весь Мир» Отпечатано в России

© 2000 Международный банк реконструкции и развития/ Всемирный банк

ISBN 5�7777�0162�0 1818 H Street, N.W., Washington, D.C. 20433, USA

Бе 35

Предисловие. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . VIIIПредисловие к русскому изданию . . . . . . . . . . . . . . . . . . . . . . . . . XIВыражение признательности. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . XV1. Оценка воздействия: понятия и методики . . . . . . . . . . . . . . 12. Основные этапы разработки и проведения оценки

воздействия. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213. Применение аналитических методов при оценке

воздействия: анализ конкретной ситуации . . . . . . . . . . . . 514. Примеры удачной оценки воздействия . . . . . . . . . . . . . . . . 81

Приложения

Приложение 1: Анализ конкретных ситуаций. . . . . . . . . . . . 1111.1. Оценка выгод для бедных от программы стимулирования

трудовой деятельности: Программа TRABAJAR (Аргентина) . . . 111

1.2. Действительно ли микрокредиты помогают бедным? Новые

данные на основе показательных программ в Бангладеш . . . . . . 119

1.3. Программа «Продовольствие за образование» в Бангладеш:

оценка адресной социальной программы при

децентрализованном включении в нее . . . . . . . . . . . . . . . . . . . . . . . . . 124

1.4. Оценка деятельности Социального инвестиционного фонда

Боливии . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129

1.5. Воздействие активных программ содействия занятости:

Чешская Республика . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135

1.6. Воздействие программы «Кредит с образованием» на

состояние питания матерей и младенцев: программа

Сельского банка Нижней Пра в Гане . . . . . . . . . . . . . . . . . . . . . . . . . . 141

1.7. Учебники и результаты тестов: Пример итоговой оценки в

Кении . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146

1.8. Оценка Проекта создания сельскохозяйственной

информационно0консультативной службы в Кении . . . . . . . . 152

Содержание

V

1.9. Воздействие программы профессиональной

переподготовки на занятость и заработную плату

(PROBECAT) (Мексика). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160

1.10. Мексика, национальная программа в области образования,

здравоохранения и питания (PROGRESA): предложение по

оценке. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167

1.11. Оценка школьной реформы в Никарагуа: комплексный

количественно0качественный подход . . . . . . . . . . . . . . . . . . . . . . . . 173

1.12. Улучшение начального обучения математике в Никарагуа:

экспериментальное исследование воздействия учебников и

радиопрограмм на успеваемость. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180

1.13. Воздействие различных механизмов возмещения издержек

на доступ к медицинским услугам и справедливость их

предоставления в Нигере . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186

1.14. Результаты обучения в начальных школах Филиппин:

оценка воздействия четырех экспериментов . . . . . . . . . . . . . . . . 192

1.15. Вьетнам: оценка воздействия проектов по сооружению

сельских дорог на бедность. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198

Приложение 2: Типовое техническое задание . . . . . . . . . . . . 2032.1. Проект по организации питания и раннего развития детей

в Уганде. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203

2.2. Оценка воздействия Проекта строительства сельских дорог:

базисное обследование 1997 г. во Вьетнаме . . . . . . . . . . . . . . . . . . . . . 226

Приложение 3: Примерный бюджет оценки воздействияПрограммы организации школьного питания. . . . . . . . . . . . . . 233

Приложение 4: Показатели воздействия — оценкаСоциального инвестиционного фонда Боливии (СИФ). . . . . . 236

Приложение 5: Образец матрицы логической структурыпрограммы/проекта для составления отчета о завершениипроекта или документа об оценке проекта . . . . . . . . . . . . . . . . . . . . . 242

Приложение 6: Матрица анализа. . . . . . . . . . . . . . . . . . . . . . . . . . 246

Глоссарий . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255

Вставки1.1. Проблема смещения выборки . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

VI

1.2. Краткий обзор количественных методов, используемых при

оценке воздействия программ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

1.3. Методы оценки стратегии структурной перестройки . . . . . . . . 14

2.1. Основные этапы разработки и проведения оценки

воздействия . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

2.2. Ключевые моменты при определении информационных

ресурсов для оценки воздействия . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

3.1. Этапы отбора подобного по склонности (вероятности) . . . . . 64

3.2. Источники смещения в упрощенной оценке воздействия

PROSCOL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67

3.3. Применение метода двойных различий . . . . . . . . . . . . . . . . . . . . . . . 71

3.4. Критерии бедности . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75

3.5. Сравнение бедности при проведении программы и без нее . . . . . . 76

Таблицы2.1. Методы оценки и требования к данным . . . . . . . . . . . . . . . . . . . . . . . 36

2.2. Основной инструментарий сбора данных для оценки

воздействия . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

4.1. Итоговая таблица: примеры удачной оценки воздействия . . . 83

4.2. Смета расходов в некоторых оценках воздействия,

проведенных силами Всемирного банка . . . . . . . . . . . . . . . . . . . . . . 99

VII

Несмотря на то, что на программы содействия развитию ежегодно

выделяются миллиарды долларов, о реальном воздействии проектов

на положение бедных известно очень мало. Существует много дан�

ных о выгодах экономического роста, инвестиций в человеческий

капитал и создания системы социальной защиты малообеспеченных.

Но приносит ли конкретное мероприятие в данной стране ожидае�

мую пользу и каково его общее воздействие на население? Можно ли

сделать такую программу или проект более эффективными? Рацио�

нально ли расходуются ресурсы? На эти вопросы можно получить от�

вет лишь посредством оценки воздействия, то есть измерения ре�

зультатов проведения подобных мер отдельно от остальных возмож�

ных внешних факторов.

Многие правительства, учреждения и руководители проектов не

склонны проводить оценки воздействия (impact evaluations), считая

их дорогими, трудоемкими и технически сложными предприятиями.

Кроме того, их результаты (если они оказались отрицательными) мо�

гут стать «политически чувствительными». К тому же результаты мно�

гих оценок подвергаются критике, так как они проявляются слишком

поздно, не отвечают на поставленные вопросы или не обеспечивают

достаточной аналитической «строгости». Ограниченное количество

и качество данных является еще одной распространенной помехой

при проведении подобного рода оценок.

Тем не менее при условии заблаговременного и грамотного плани�

рования, поддержки со стороны разработчиков стратегии и выделе�

ния небольших, в сравнении с общей стоимостью проекта, средств

тщательно проведенная оценка может стать мощным инструментом в

определении обоснованности и действенности программ. Оценка

воздействия особенно важна для развивающихся стран в условиях ог�

раниченности ресурсов, где каждый потраченный доллар должен да�

вать максимальный эффект в деле сокращения бедности. Правильно

собранная информация позволит произвести корректировку недо�

Предисловие

VIII

статочно хорошо проработанных программ, усилить их положитель�

ное воздействие на целевые группы, выявить и свернуть те програм�

мы, которые не приносят нужного эффекта. Информация и знания,

приобретенные в ходе изучения воздействия, являются критически

важной составляющей при разработке будущих программ и проектов.

Задача настоящего пособия — предоставить руководителям про�

грамм и стратегическим аналитикам инструментарий для оценки

воздействия проектов. Пособие предполагает общее знакомство чи�

тателей с основами статистики. В отношении некоторых более слож�

ных статистических методов рекомендуется обращаться к специаль�

ной литературе. Глава 1 дает обзор понятий и методов. В главе 2 об�

суждаются основные этапы проведения оценки и вопросы, связан�

ные с их осуществлением. Глава 3 иллюстрирует применение различ�

ных аналитических методов на примерах рассмотрения конкретных

ситуаций («кейс�стади»). Глава 4 включает рассмотрение опыта, полу�

ченного в ходе изучения богатого набора позитивных практических

примеров («наилучшей практики») оценки проектов сокращения

бедности. Конкретные ситуации, представленные в приложении 1,

выбирались из широкого спектра оценочной деятельности, прове�

денной Всемирным банком, другими донорскими организациями,

научно�исследовательскими институтами и частными консалтинго�

выми фирмами. Они представляют разные страны, типы проектов,

методы оценки и характеризуются методологической строгостью. В

приложениях 2–6 также приведены примеры основных компонен�

тов, необходимых при планировании любой оценки воздействия: ти�

повое техническое задание, бюджет, индикаторы воздействия, «лог�

фрейм» и матрица для анализа воздействий проекта .

Хотя для разных сфер деятельности и для различных групп насе�

ления используются сходные методики оценок воздействия, приве�

денные здесь примеры подходов и конкретных ситуаций относятся в

основном к оценке воздействия проектов, направленных на борьбу с

бедностью. Оценка эффективности этих программ потенциально

охватывает широкий диапазон проектов и вопросов, таких как изме�

рение воздействия программ предоставления малых кредитов на до�

ход домохозяйств, воздействие программы обучения на занятость,

программы школьного питания на посещаемость, или программы

строительства сельских дорог на благосостояние домохозяйств.

Независимо от типа проекта или рассматриваемых проблем каж�

дая оценка воздействия уникальна, поскольку она определяется име�

ющимися данными, существующим потенциалом для проведения ис�

следования, временны´ми рамками и бюджетом. Наконец, для прове�IX

дения качественной оценки, дающей надежные и обоснованные ре�

зультаты необходимы политическая воля и финансовая поддержка,

тщательное предварительное планирование, участие всех заинтере�

сованных сторон при формулировании целей и выборе используе�

мых подходов, достаточный объем данных, правильное сочетание

количественных и качественных методов, последовательное их при�

менение, а также налаженные механизмы связи, взаимодействия и

обмена информацией (коммуникации) внутри рабочей группы на

протяжении всей работы.

Мысль о том, чтобы издать данную книгу на русском языке, появи�

лась в ходе учебного курса, который проводился Институтом Все�

мирного банка в июне 2001 года. Этот курс был предназначен для ру�

ководителей из ряда стран�членов Всемирного банка, заинтересо�

ванных в проведении оценки воздействия проектов и программ. Мы

надеемся, что настоящая книга будет полезна и другим специалис�

там, предполагающим осуществлять подобные исследования.

Джуди Л. Бейкер

X

Предисловие к русскому изданию

Книга Джуди Бейкер «Оценка воздействия проектов развития на бед�

ность: практическое руководство» является в России первой моно�

графией, посвященной вопросам оценки воздействия проектов и

программ на снижение бедности.

Предлагаемая читателям книга прекрасный пример синтеза пред�

ставленных материалов — общего обзора понятий, методов, этапов

проведения оценки воздействия и вопросов, связанных с их приме�

нением при рассмотрении конкретных ситуаций, а также обширной

практики во многих странах мира, включая развитые и развивающи�

еся. Оригинальность и ценность данной книги заключается в том,

что автор дал возможность читателям рассмотреть опыт, накоплен�

ный в ходе изучения широкого спектра позитивных практических

примеров оценки проектов сокращения бедности. При этом кон�

кретные ситуации выбирались из реального опыта оценочной дея�

тельности Всемирного Банка, других донорских организаций, науч�

но�исследовательских институтов и частных консалтинговых фирм

в разных странах и для различных типов проектов. Несомненную

пользу читателю принесет и ознакомление с приведенной в книге

технической документацией — типовым техническим заданием на

проведение работ по оценке, примерами бюджета и используемыми

конкретными показателями, описывающими воздействие проектов.

Автор имеет значительный опыт работы в отделе Всемирного

банка, который занимается различными аспектами стратегий по

снижению бедности в разных странах мира. Это позволяет ей удачно

показать в книге, как работают различные методы оценки результа�

тов реализации проектов и программ и представить настоящим и бу�

дущим руководителям программ и стратегическим аналитикам пол�

ный инструментарий для оценки воздействия проектов.

В книге рассматриваются многие важнейшие вопросы комплекс�

ной оценки результатов реализации крупномасштабных проектов.

Этот вид деятельности сейчас бурно развивается, и появляются но�

XI

вые направления и области приложения оценки в нашей стране и за

рубежом. В частности, проведенная в России в Новосибирске в

2000 году Международная конференция «Оценка и мониторинг как

инструмент повышения инвестиционной привлекательности соци�

альных проектов», поставила задачу — способствовать формирова�

нию профессионального потенциала в области оценки социальных

программ в России, СНГ, Центральной и Восточной Европе путем

продвижения института профессиональной оценки и экспертизы,

повышения квалификации специалистов, занимающихся оценкой и

мониторингом программ, установления профессиональных контак�

тов между участниками и их ознакомления с международным опы�

том развития профессионального сообщества специалистов по

оценке и мониторингу программ и проектов.

В настоящее время в нашей стране и за рубежом специалистами в

области оценки проектов широко обсуждаются такие вопросы, как:

• методы и механизмы оценки в разных организациях и стра�

нах;

• влияние оценки на эффективность проектов и программ;

• потребности и заказчики оценки;

• стандарты и этические нормы для обеспечения процессов

оценки;

• формы и методы продвижения оценки как услуги;

• пути формирования устойчивого сообщества профессиональ�

ных оценщиков — создание и развитие института оценки.

Думается, что книга Дж. Бейкер дает ответы на многие из этих во�

просов применительно к оценке крупных проектов. Автор показыва�

ет, что адекватная реалистическая оценка воздействия проектов и

программ имеет важное значение для принятия правильных эконо�

мических решений. Значимость мониторинга и оценки трудно пере�

оценить, поскольку речь идет о крупных проектах, о десятках и сот�

нях миллионов долларов. Учет показателей оценки краткосрочных и

долгосрочных воздействий уже с самого начала проекта просто жиз�

ненно необходим. Ошибки стоят слишком дорого.

Большое внимание автор уделяет представлению международного

опыта в данной области, который показывает, что по мере развития

программ качественного государственного управления потребность

в формировании оценочного потенциала будет возрастать, в связи с

важностью этого инструмента как средства сохранения темпа рефор�

мирования государственного сектора, поддержания инициатив поXII

борьбе с коррупцией, а также повышения качества и «прозрачности»

управления государственными расходами. В настоящее время следует

активно вести разъяснительную и просветительскую работу о необ�

ходимости развития оценочного потенциала на уровне высших эше�

лонов власти. Для того, чтобы это развитие было устойчивым, необхо�

димо обучить как разнообразных «потребителей» (государственные

чиновники, журналисты, НПО), так и «производителей» (аналитики,

руководители программ, исследователи) оценки.

В России и странах СНГ развитие института оценки, в целом, пока

находится в стадии становления — общее число квалифицирован�

ных российских специалистов, которые участвовали в оценке реаль�

ных проектов (как правило, в оценке краткосрочных результатов) не

превышает нескольких десятков человек, т.е. нет достаточного числа

экспертов в этой области. У российских оценщиков отсутствует опыт

практической работы с крупными проектами, большинство специа�

листов участвовало в мониторинге и оценке, главным образом, не�

больших грантов и проектов (стоимостью от 500 до 500 тыс. долл.), и

мы не располагаем информацией об экспертах�оценщиках, которые

работали бы с крупномасштабными многомиллионными проектами,

такими как проекты Всемирного банка или Европейского банка ре�

конструкции и развития в России. Как показывает опыт, российские

оценщики (включая некоммерческие организации — НКО) не обла�

дают достаточными знаниями и умением в области предварительной

экспертизы проектов и программ (ex�ante evaluation/assessment), хо�

тя эти вопросы достаточно разработаны (см. например, «Методичес�

кие рекомендации по оценке эффективности инвестиционных про�

ектов» (вторая редакция). Официальное издание, Москва, Издатель�

ство «Экономика», 2000 г.). Этот пробел в знаниях и навыках необхо�

димо и нетрудно устранить.

В связи с вышесказанным, необходимо проведение углубленного

обучения и развитие консалтинга в области профессиональной

оценки и мониторинга проектов и программ и продолжение про�

движения института профессиональной оценки и мониторинга как

важного механизма, повышающего эффективность социальных про�

ектов. Кроме того, необходима консолидация донорских ресурсов

для обучения тех, кто будет на практике заниматься оценкой и веде�

нием мониторинга, и оказание помощи организациям в создании и

поддержании функций оценки и мониторинга в целях обеспечения

достоверной и полезной информации. Организации содействия раз�

витию имеют богатый опыт оценки собственных программ и проек�

тов, что собственно и показано в данной книге, которая могла бы слу�XIII

жить основой для разработки курсов углубленного изучения методов

оценки воздействия проектов и программ развития.

В силу междисциплинарности изложенной в книге тематики, а

также из�за не устоявшейся русскоязычной терминологии в данной

области (например, чего стоит только интерпретация английских

терминов «output», «outcome» и «impact»), коллектив, работавший над

переводом и его редакцией, счел возможным добавить в переведен�

ный текст книги постраничные ссылки с примечаниями редактора,

глоссарий терминов и библиографические данные изданий на рус�

ском языке по данной теме.

В заключение отметим потенциально широкий круг возможных

читателей этой книги. Она должна быть интересной не только эко�

номистам, преподавателям, научным работникам, специалистам по

оценке, но и специалистам�практикам, работающим в других сферах.

Это, например, работники банков, крупных компаний, корпораций,

донорских организаций, а также специалистов, занятых в малом и

среднем бизнесе.

Мы надеемся, что эта книга принесет пользу не только россий�

ским, но и зарубежным специалистам, читающим на русском языке.

Научный редактор выражает благодарность Джуди Л. Бейкер,

Т.Г. Леоновой, Н.В. Зверевой, Ю.К. Стрелкову, А.А. Малову, М.И. Смета�

ниной, Е.А. Свириной, А.Н. Сальникову, а также всему коллективу

Московского представительства Института Всемирного банка, за по�

мощь в процессе подготовки русского издания данной книги.

Научный редактор И.Н. Зимин,

Специалист Отдела развития финансового и частного секторов

Московского представительства Всемирного банка

XIV

XV

Выражение признательности

Данное руководство составлено Джуди Л. Бейкер с использованием

вспомогательных материалов, подготовленных следующими членами

группы: Джилетт Холл (конкретные ситуации, выводы), Джулия Лейн

(конкретные ситуации, выводы), Мартин Равальон (аналитическое

введение), Лаура Ролингс (вопросы внедрения); а также работы по

оценке воздействия, проделанной Кене Эземенари, Глорией Рубио,

Андерсом Рудквистом и К. Суббарао. Предварительные исследования

были проведены Матью Флемингом и Самиром Стюартом. Поддерж�

ка была предоставлена совместно Отделом региона Латинской Аме�

рики и Карибского бассейна (LCSPR) и Отделом сокращения беднос�

ти и управления экономикой (PREM) Всемирного банка под руковод�

ством Нормана Хикса, Гильермо Перри и Майкла Волтона. Большую

пользу принесли комментарии Омара Ариаса, Сабины Алькайр, Май�

кла Бамбергера, Сонии Карвало, Венди Каннингэм, Шахидура Кандке�

ра, Норберта Шейди и Квентина Водона.

Согласно определению из литературных источников, оценка счи�

тается комплексной, если она включает в себя мониторинг, а также

оценку процесса, оценку «затраты—выгоды» и оценку воздействия.

Однако эти составляющие имеют четкие различия. Мониторинг

(monitoring) помогает определить, не отклоняется ли программа от

плана. Он обеспечивает постоянную обратную связь, что позволяет

выявлять проблемы по мере их возникновения. Оценка процесса

(process evaluation) относится к процессам осуществления про�

граммы и предоставления соответствующих услуг. Оценка «затра�

ты–выгоды» (cost�benefit) и «затраты–эффективность» (cost�

effectiveness) сопоставляет затраты по программе (финансовые и

пр.) с альтернативными возможностями использования тех же ре�

сурсов и соответствующими выгодами от программы. И, наконец,

оценка воздействия (impact evaluation) выявляет, оказала ли про�

грамма ожидаемое воздействие на людей, домохозяйства или ин�

ституты и дало ли это мероприятие необходимый эффект. Оценка

воздействия позволяет также анализировать побочные последст�

вия, положительные и отрицательные, для бенефициаров (получа�

телей выгод). Особое значение для данного пособия представляет

определение того, в какой степени эти выгоды оказываются дости�

жимыми для бедных и как эти выгоды воздействуют на их благосо�

стояние. Среди вопросов, которые ставит перед собой оценка воз�

действия, могут быть следующие: как проект повлиял на бенефици�

аров? Были ли наблюдаемые улучшения прямым результатом про�

екта или они произошли бы в любом случае? Можно ли повысить

эффективность программы путем внесения в нее каких�либо изме�

нений? Обоснованы ли затраты?

На эти вопросы нельзя ответить простым измерением итогов

проекта. Ведь в ситуации могут присутствовать другие факторы или

события, коррелирующие с результатом, но не вызванные проек�

том. Для обеспечения методологической строгости оценка воздей�

Глава 1

Оценка долгосрочного воздействия:понятия и методики

ствия должна охватывать так называемую «гипотетическую аль�

тернативную ситуацию или сценарий», «предположение от об�

ратного» (determining the counterfactual), т.е. «то, что было бы в от�

сутствие проекта». Например, если недавний выпускник программы

трудового обучения нашел работу, является ли это результатом про�

граммы, или он трудоустроился бы в любом случае? Чтобы полу�

чить представление о гипотетическом альтернативном сценарии,

необходимо отделить эффект воздействия от других факторов, что

представляет собой довольно сложную задачу. Для этого использу�

ются контрольные группы (control groups), т. е. группы тех, кто не

участвует в программе и не получает помощи. Затем контрольная

группа сравнивается с экспериментальной группой (treatment

group) (т.е. группой, на которую оказывается воздействие). Кон�

трольная, или сравнительная группа выделяется случайным обра�

зом из той же совокупности, что и группа участников программы. В

состав такой контрольной группы включаются те, кто не участвуют

в программе. Контрольная группа должна соответствовать экспери�

ментальной группе по всем параметрам; единственным отличием

является само участие в программе.

В основе оценки лежит выявление гипотетической альтерна�

тивной ситуации. Получить о ней представление можно несколь�

кими методами, которые подразделяются на две общие категории:

экспериментальные (рандомизированные) и квазиэксперимен�

тальные (нерандомизированные) подходы3. Тем не менее доволь�

но сложно отделить воздействие программы от такой ситуации из�

за различий в предыстории, смещений и ошибок выборки. Для

оценки воздействия можно также использовать качественные ме�

тоды, или методы с вовлечением бенефициаров. Они часто дают

возможность критически взглянуть на процесс с позиции бенефи�

циаpов, увидеть, какова ценность программы для ее участников, ка�

кие процессы могут влиять на результат и, таким образом, более

корректно интерпретировать данные количественного анализа.

Сильные и слабые стороны каждого из этих методов более подроб�

но рассмотрены ниже. Как увидит в дальнейшем читатель, ни один

из методов не является идеальным, и потому окончательное реше�

ние о выборе наиболее подходящего из них должен принимать

специалист по оценке. Однако заблаговременное и тщательное

планирование даст больше вариантов при разработке схемы и

стратегии оценки.

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ2

3 См. определения во вставке 1.2. (Здесь и далее — Примечания редактора.)

Экспериментальные подходы

Экспериментальные подходы, также называемые «рандомизацией»,

обычно считаются наиболее надежной и обоснованной методикой

оценки. При случайном распределении помощи среди имеющих на

нее право сам процесс создает экспериментальные и контрольные

группы, сравнимые и статистически эквивалентные при достаточ�

ном объеме выборки. Это очень важный результат, поскольку кон�

трольные группы, составленные с помощью случайной выборки,

обеспечивают идеальную «гипотетическую ситуацию», свободную от

смещения выборки (эта проблема присутствует во всех оценках). Ос�

новное преимущество этой методики заключается в простоте интер�

претации данных, так как воздействие программы измеряется разни�

цей между средними показателями в экспериментальной и кон�

трольной группах. Один из примеров — распространение школьных

учебников в Кении, когда оценщики случайным образом отобрали

школы, которым будет предоставлена помощь, провели базовый4 за�

мер (определили исходные параметры), создали контрольную груп�

пу и реализовали программу, предусматривавшую в данном случае

предоставление учебников. Наличие контрольной и эксперимен�

тальной групп позволило четко определить воздействие программы

на успеваемость.

Хотя экспериментальные подходы считаются оптимальным ин�

струментом при оценке воздействия программ, их практическое

применение сопряжено с некоторыми проблемами. Во�первых,

рандомизация5 может оказаться неэтичной, так как она требует от�

каза в предоставлении помощи и услуг тем, кто нуждается в них и

имеет на них право. В качестве крайнего (экстремального) приме�

ра можно привести отказ некоторым членам в лечении, которое по�

тенциально могло бы спасти им жизнь. Во�вторых, предоставление

помощи одной группе и отказ по отношению к другой могут ока�

заться политически опасными. В�третьих, программа может быть

столь широка, что получают помощь все и контрольной группы

просто не может быть. Пример — ссуды переселенцам или общена�

циональные программы. В�четвертых, у членов контрольной груп�

пы во время эксперимента возможны изменения некоторых ключе�

ОЦЕНКА ДОЛГОСРОЧНОГО ВОЗДЕЙСТВИЯ: ПОНЯТИЯ И МЕТОДИКИ 3

4 Исходные данные (информация), с которыми сравниваются результа�

ты реализации программы. 5 Термин «рандомизация» в данном контексте является синонимом

выражения «процесс формирования случайной выборки».

вых характеристик, что сделает затруднительным получение адек�

ватных и «чистых» результатов. Если, например, люди въезжают и

выезжают из географической области проекта, они могут войти

или выйти из состава экспериментальных и контрольных групп. С

другой стороны, те, кому было отказано в помощи, могут искать ее

другими путями, а те, кому предложено участие в программе, могут

от него отказаться. В�пятых, трудно обеспечить по�настоящему слу�

чайный характер распределения помощи. Например, возможен от�

каз со стороны чиновников включать в программу тех, кто пред�

ставляет группу риска, с целью получить более высокие результаты

программы. И, наконец, при некоторых обстоятельствах экспери�

ментальные подходы могут быть трудоемкими и дорогостоящими,

особенно при сборе новых данных.

При использовании экспериментального подхода некоторые из

этих проблем можно решить, благодаря тщательному планирова�

нию. Один из способов — случайный отбор бенефициаров. Это

обеспечивает создание политически прозрачного механизма рас�

пределения и одновременно основу грамотного плана оценки, по�

скольку бюджетные или информационные ограничения часто дела�

ют невозможным точно выявить тех, кто имеет наибольшее право

на помощь, и оказать им эту помощь. Второй способ — использовать

контрольные группы на более поздней стадии программы, после то�

го как план оценки уже разработан и сама оценка уже началась. Этот

метод случайной выборки определяет, когда именно получат по�

мощь те, кто имеет на это право (в отличие от определения того, по�

лучают ли они ее вообще). Такой подход был применен при оценке

программы питания в Колумбии; в качестве дополнительного ре�

зультата был получен ответ на вопрос, какое время требуется, чтобы

программа по борьбе с недостаточным питанием возымела эффект

(McKay, 1978). И, наконец, рандомизация может быть применена в

подвыборке из группы людей, имеющих одинаковое право на по�

мощь. То есть помощь будет предоставлена всем тем, кто имеет на

нее преимущественное право, а остальным в ней будет отказано. Так

было сделано, например, с образовательными проектами в регионе

Эль�Чако при оценке деятельности Социального фонда Боливии

(Pradhan, Rawlings and Ridder, 1998). Впрочем, при использовании

такого подхода следует помнить, что результаты, полученные по�

средством данной оценки, применимы лишь к той группе, из кото�

рой сделана случайная выборка.


Квазиэкспериментальные подходы

Когда невозможно создать контрольные и экспериментальные

группы посредством экспериментального подхода, для оценки

можно использовать квазиэкспериментальные (нерандомизиро�

ванные) подходы. С помощью эконометрических методов созда�

ются контрольные группы, напоминающие экспериментальные

(по крайней мере, в отношении наблюдаемых характеристик).

Примеры: метод отбора по подобию6, методы двойных различий7,

методы, основанные на использовании инструментальных пере�

менных и рефлексивных сравнений (вставка 1.2). При использо�

вании этих методов экспериментальная и контрольная группы

обычно выбираются после осуществления программы, причем вы�

бираются неслучайным образом. Поэтому для достижения макси�

мального подобия между контрольной и экспериментальной

группами различия между ними должны устраняться с помощью

статистических мер контроля и/или сложных методов отбора по

подобию. В некоторых случаях контрольная группа также выбира�

ется до реализации программы, хотя ее выбор не является рандо�

мизированным.

Главное преимущество квазиэкспериментальных подходов в

том, что они позволяют использовать существующие данные и по�

этому требуют меньше времени и средств. При наличии достаточ�

ных данных их можно применять после проведения программы.

Главные недостатки квазиэкспериментальных подходов заключа�

ются в следующем: а) надежность результатов часто невысока, по�

скольку методология менее строга в статистическом плане; б) ме�

тоды могут быть статистически сложными; в) существует проблема

смещения выборки. При создании контрольной группы (в отличие

от случайной выборки) на надежность результатов может повлиять

множество факторов. Сложность статистических методов требует

высокой квалификации при разработке плана оценки, анализе и

интерпретации результатов. Это не всегда возможно, особенно в

условиях, характерных для некоторых развивающихся стран.


6 Отбор по подобию (matching) — метод формирования контрольной

группы из тех, кто не участвует в проекте, но наиболее близок по ключевым

переменным к экспериментальной группе. 7 Метод двойных различий (double�difference) — метод учета различий

между различиями, метод анализа результативности программы, когда срав�

ниваются различия, имевшие место в экспериментальной и контрольной

группах за время реализации программы.

Третья проблема — смещение, или отклонение (bias)8— связана

с тем, что степень участия в программе неодинакова для различ�

ных подгрупп; это влияет на выборку и в конечном счете на резуль�

таты. Существует два типа смещения: смещение из�за различий в

том, что подлежит наблюдению, т. е. различий в данных, и смеще�

ние из�за различий в ненаблюдаемых факторах (не в данных). По�

следнее часто называют смещением выборки (вставка 1.1). Наблю�

даемое смещение может быть обусловлено критериями, использу�

емыми для формирования выборки (например, географическое

положение, посещение школы или присутствие на рынке труда).

Ненаблюдаемые факторы, которые способны повлиять на резуль�

тат программы, могут включать индивидуальные способности, сте�

пень желания работать или семейные связи, а также субъективный

(часто политически мотивированный) уклон в процессе отбора

участников программы. Оба типа смещения могут исказить резуль�

таты, включая недооценку и переоценку фактического воздейст�

вия программы, негативную оценку при реальном положительном

эффекте (и наоборот) или признание воздействия статистически

незначимым при его реальной статистической значимости (и на�

оборот) (см., например: LaLonde, 1986; Fraker and Maynard, 1987;

LaLonde and Maynard, 1987; Friedlander and Robins, 1995). Можно

контролировать смещение статистическими методами, такими как

метод сравнения по подобию (схожести)9 или метод инструмен�

тальных переменных, но полностью устранить смещения очень

трудно, что является большой проблемой для исследователей в об�

ласти анализа воздействия.

Среди методов, применяемых в рамках квазиэкспериментальных

подходов, второй наилучшей альтернативой экспериментальным, во�

обще говоря, считается метод сравнения по подобию. Литература по

методологии оценки большей частью посвящена использованию

именно этого метода, что отражает как частоту его применения, так и

большое количество трудностей, вызванных далеко не идеальными

контрольными группами. В последние годы произошло существен�

ное развитие метода отбора подобного по склонности (вероятнос�


8 Под «смещением» (bias) обычно понимается разность между данной ве�

личиной и средним значением некоторого набора величин или степень от�

клонения данных в наборе от случайного распределения. 9 Метод сравнения по подобию (схожести) (matched comparison) — ме�

тод сравнения экспериментальной и контрольной группы (отобранной на

основе эконометрических методик, например показателей уравнений рег�

рессии, на основе более широких исследований, например бюджетных).


Вставка 1.1. Проблема смещения выборки

Смещение выборки относится к ненаблюдаемым факторам (напри�

мер, индивидуальные способности, ранее существовавшие условия

и т.д.), которые могут привести к искажению результата. Рандоми�

зированные эксперименты решают проблему смещения посредст�

вом контрольной группы, сформированной из тех, кто мог бы уча�

ствовать в программе, но кому на случайной основе было отказано

в доступе к ней. Случайное распределение помощи не устраняет

смещения, но равномерно распределяет его между участниками и

неучастниками программы. В квазиэкспериментальных схемах

статистические модели (например, метод отбора по подобию, ме�

тод двойных различий, метод инструментальных переменных)

приближаются к этому результату путем моделирования процесса

выборки, чтобы, даже используя неэкспериментальные данные, по�

лучить несмещенную оценку. Общая идея — сравнить участников и

неучастников программы, используя один и тот же процесс их от�

бора. Достоверность этой модели зависит от того, насколько хоро�

шо она определена.

Хорошим примером может служить ситуация с оценкой зарпла�

ты женщин. Имеющиеся данные относятся к категории женщин, ко�

торые для себя сделали выбор — работать. Если бы решение об ис�

пользовании этих данных было принято, то мы могли бы игнори�

ровать тот факт, что не вся информация о заработках собрана, и

применить в модели формирования оплаты труда линейную рег�

рессию. Однако решение работать принимается женщинами не

случайно: возможно, те из них, кто получил бы низкие заработки,

предпочтут не работать, поскольку они оценивают свой ожидае�

мый заработок выше, чем им предлагают работодатели. По этой

причине выборка, составленная на основе этих имеющихся дан�

ных, была бы смещена вверх по сравнению с реально существую�

щими заработками женщин.

Можно внести соответствующую поправку, если существуют пе�

ременные, оказывающие сильное влияние на возможные наблюде�

ния (ожидаемая заработная плата), но не на изучаемый результат

(фактически предлагаемая заработная плата). Такой переменной

могло бы быть количество детей в доме.

Источник: Greene, 1997.

ти)10 (Rosenbaum and Rubin, 1985; Jalan and Ravallion, 1998). Этот ме�

тод привлекателен для специалистов по оценке, работающих в усло�

виях ограниченного времени и не имеющих базовых (исходных)

данных, поскольку он может быть использован с единичным срезом

данных. Но его результаты зависят от наличия правильных данных,

так как он основывается на избыточной выборке из числа участников

программы в процессе полевой стадии более масштабного исследо�

вания, а затем на сравнении их по подобию с контрольной группой,

также отобранной из большой выборки, часто из общенациональных

обследований домохозяйств. Поскольку крупные обследования в раз�

вивающихся странах проводятся все чаще (например, Многоцелевое

обследование уровня жизни — Living Standard Measurement Studies,

LSMS), то этот метод оценки выглядит весьма перспективным. Хоро�

ший пример — оценка программы общественных работ «TRABAJAR» в

Аргентине (Jalan and Ravallion, 1998, приложение 1.1 и глава 4).


10 Метод формирования контрольной группы с использованием показа�

телей уравнения регрессии, рассчитанного для экспериментальной группы.

Вставка 1.2: Краткий обзор количественных методов,используемых при оценке воздействия программ

Ниже приведены основные методы оценки воздействия. Поскольку

ни один метод не является совершенным, всегда полезно проводить

триангуляцию (их совмещение).

Экспериментальный, или рандомизированный подход

• Рандомизация — это когда производится случайная выборка участ�

ников экспериментальной и контрольной групп из четко опреде�

ленной совокупности. В этом случае группы должны различаться

только тем, что одна из них принимает участие в программе, а дру�

гая — нет. (Могут быть различия из�за ошибки выборки, но чем боль�

ше экспериментальная и контрольная группы, тем меньше ошибка.)

Неэкспериментальные, или квазиэкспериментальные подходы

• Методы отбора по подобию, или конструируемые средства кон�троля (matching methods or constructed controls), в которых дела�


ется попытка подобрать идеальные сравнения, соответствующие

экспериментальной группе из крупного исследования. Наиболее

часто используемый тип отбора — это метод отбора подобного посклонности (вероятности) (propensity score matching), когда кон�

трольная группа сопоставляется с экспериментальной на основе

наблюдаемых характеристик или с помощью «показателя склон�

ности» (ожидаемой вероятности участия при данных условиях);

чем ближе показатели склонности, тем лучше соответствие. Хоро�

шая контрольная группа берется из той же экономической среды,

что и экспериментальная, им предлагается одинаковая анкета, а

интервьюеры имеют сходную подготовку. (Эти методы называют

также методами согласования. — Прим. ред.)• Методы двойных различий, или учета различий между различия�

ми (double difference or difference�in�differences methods), когда

сравниваются экспериментальная и контрольная группы до (пер�

вая разность) и после (вторая разность) программы. Инструменты

сравнительного анализа (компараторы) не следует использовать,

когда применяются показатели склонности, и их значения выхо�

дят за рамки полученных в экспериментальной группе.

• Методы инструментальных переменных, или статистическогоконтроля (instrumental variables or statistical control methods), где

используется одна переменная или более, имеющие отношение к

собственно участию, но не к результату этого участия. При этом

определяются экзогенные изменения в результатах, причиной ко�

торых является программа; таким образом, признается, что ее раз�

мещение не случайно, а целенаправленно. «Инструментальные

переменные» используются прежде всего для прогнозирования

участия в программе. Затем можно наблюдать, как показатель ре�

зультата меняется вместе с прогнозируемыми значениями.

• Рефлексивные сравнения (reflexive comparisons)11, в которых

производится «базисное» (исходное) обследование участников

до проведения программы, а также обследование после ее про�

ведения. Исходные данные служат для формирования контроль�

ной группы, а воздействие измеряется с помощью изменений

показателей результата до и после программы.

11 Рефлексивные сравнения (reflexive comparisons) — метод оценки

результативности программы, когда за контрольную группу принимаются

участники программы до ее начала и сравниваются изменения,

произошедшие с ними в ходе ее реализации (используется в случае полного

охвата данной группы населения программой и невозможности выделить

сосуществующую, но не затронутую программой контрольную группу).

Качественные методы

Качественные методы также применяются для оценки воздейст�

вия, однако причинно�следственные связи определяются не через

гипотетическую альтернативную ситуацию (Mohr, 1995). Главное в

качественных методах — понять, как изучаемые индивиды или

группы воспринимают происходящие процессы, их поведение и

условия (Valadez and Bamberger, 1994). Качественные методы, осо�

бенно наблюдение участников, могут раскрыть, как домохозяйства

и местные сообщества воспринимают проект и какое влияние он

на них оказывает. Поскольку ключевым элементом анализа воздей�

ствия является анализ гипотетической альтернативной ситуации,

качественные подходы обычно комбинируют с другими методами.

Качественный подход использует сравнительно «открытые» мето�

ды в составлении схемы сбора данных и при их анализе. Качест�

венным данным можно дать также количественное выражение.

Среди методик качественной оценки воздействия есть такие, что

предназначены для проведения экспресс�оценок в сельской мест�

ности. Они основываются на знаниях участниками окружения

проекта или программы, по которым проводится оценка. Также ис�

пользуются методики, при которых предусмотрено широкое учас�

тие всех заинтересованных сторон на всех этапах проведения

оценки: при определении цели исследования, выявлении и отборе

тех показателей, что будут использоваться, а также сборе и анализе

данных. Подробный анализ методов, предусматривающих участие

общественности, см.: World Bank, 1996, The World Bank Participation

Sourcebook.

Преимущества качественной оценки заключаются в гибкости

методики и возможности ее адаптации к конкретной ситуации, в ее

«открытости» и быстроте проведения. Использование качествен�

ных методов дает более глубокое понимание позиций всех заинте�

ресованных сторон и системы их приоритетов, а также условий и

процессов, влияющих на воздействие программы.

Среди недостатков следует отметить субъективность при сборе

данных, отсутствие сравнительной (контрольной) группы и статис�

тическую недостоверность ввиду небольших объемов выборки, что

затрудняет экстраполяцию выводов на более репрезентативную со�

вокупность (популяцию). Обоснованность и надежность качествен�

ных данных в большой мере зависят от квалификации и интуиции

специалиста, проводящего оценку. Если полевые работники не пони�

мают какие�либо социальные и культурные нормы или установки, не


учитывают знаки невербальной коммуникации12, то существует риск

неверной интерпретации собранных данных. И, наконец, не имея

сравнительной группы, невозможно построить гипотетическую аль�

тернативную ситуацию, и, соответственно, выявить причинно�след�

ственные характеристики воздействия проекта.

Сочетание количественных и качественных методов

Существует обширная литература, посвященная сравнению и проти�

вопоставлению количественных и качественных методов. Вместе с

тем растет и понимание необходимости сочетания этих подходов.

Количественные методы оценки на основе статистически репрезен�

тативной выборки более подходят для оценки причинно�следствен�

ных связей посредством эконометрических методов или для получе�

ния экстраполируемых заключений. Качественные методы дают воз�

можность глубокого изучения избранных тем, ситуаций или собы�

тий. Они позволяют посмотреть на происходящее с позиции получа�

теля помощи (бенефициара), наблюдать динамику изменений, помо�

гают интерпретировать количественные результаты. Выбор того или

иного подхода имеет как преимущества, так и недостатки.

Часто именно комбинация количественных и качественных подхо�

дов наилучшим образом соответствует информационным потребнос�

тям проекта. При сочетании двух подходов качественный метод помо�

гает формулировать ключевые вопросы, составлять анкеты, стратифи�

цировать количественные выборки, анализировать социальный, поли�

тический или экономический контекст проекта. Количественные же

методы помогают определять стратегии сбора качественных данных,

разрабатывать структуру выборки таким образом, чтобы результаты

качественного анализа могли быть экстраполированы на всю совокуп�

ность через использование статистически значимой выборки. Статис�

тический анализ можно использовать для внесения поправок в описа�

ние характеристик домохозяйств и социально�экономических усло�

вий в различных исследуемых областях, исключая тем самым альтер�

нативные объяснения наблюдаемых результатов.


12Под «невербальной коммуникацией» понимается передача или об�

мен информацией без посредства речи или устного высказывания. На�

пример, это может быть обмен письменными посланиями, выражение от�

ношения к чему�либо жестом или поступком (отказ от интервьюирова�

ния, который может быть обусловлен нарушением каких�либо социаль�

ных и культурных норм или установок).

Преимущества использования такого интегрированного подхода

рассмотрены Бамбергером (Bamberger, 2000). Они относятся и к

оценке воздействия. Среди них следующие.

• Проверка согласованности оценок может осуществляться по�

средством метода триангуляции13, т.е. путем проведения несколь�

ких независимых оценок ключевых переменных (таких, как уро�

вень дохода, различные мнения о проекте, причины реализации

или отсутствия реализации государственных программ, конкрет�

ное воздействие проекта и т.д.).

• Возможность ознакомиться с разными точками зрения. Напри�

мер, несмотря на то, что исследователи могут считать ключевыми

показателями благополучия домохозяйства уровень дохода или

потребления, конкретные ситуации могут показать, что женщины

более обеспокоены своей незащищенностью (определяемой как

отсутствие доступа к системе социальной защиты в кризисной си�

туации), безвластием или применяемым к ним насилием.

• Возможность проведения анализа на различных уровнях. Иссле�

довательские методы могут дать точную оценку благосостояния

(индивидуума, домохозяйства или общества). Но они гораздо ме�

нее эффективны при анализе социальных процессов (конфликт,

участие или неучастие в программах и т.д.) или при анализе рабо�

ты общественных институтов (насколько эффективно работают

системы здравоохранения, образования, кредитования и т.д. и как

они воспринимаются обществом). Существует множество качест�

венных методов для анализа социальных процессов, институтов,

структуры общества и конфликтов.

• Возможности обратной связи, помогающей интерпретировать

результаты. Отчеты об исследованиях часто содержат напомина�

ния об очевидной непоследовательности или противоречивости

результатов или об интересных различиях между сообществами и

группами, которые не объясняются имеющимися данными. Боль�

шинство количественных исследований не дает возможности по�

сле окончания фазы сбора данных вернуться в поле за дополни�

тельной информацией. Поэтому исследователи также используют

качественные методы для проверки так называемых «выбросов» —

ответов, не вписывающихся в общую картину. Часто аналитик вы�


13Триангуляция (triangulation) — процесс независимых повторных

(многоразовых) оценок основных переменных для проверки устойчиво�

сти измерений.

нужден принимать произвольное решение о том, исключать ли

человека или домохозяйство, которые не соответствуют норме

(исходя из предположения, что такое отклонение содержит

ошибку), или же изменять цифры. Качественные методы позволя�

ют быстро проводить дополнительные полевые исследования для

проверки таких случаев.

На практике количественные и качественные методы должны со�

четаться на каждом этапе оценки воздействия. В главе 2 показаны

многочисленные возможности их объединения. Хорошим приме�

ром такого интегрированного подхода служит реформа, направлен�

ная на достижение школами автономии (Никарагуа). Количествен�

ные методы в контексте квазиэкспериментального подхода исполь�

зовались для того, чтобы выявить взаимосвязь между децентрализа�

цией школьного управления и успеваемостью и экстраполировать

результаты на другие типы школ. Кроме того, качественные методики

(серия экспертных интервью и проведение фокус�групп с участием

школьных служащих и родителей школьников) использовались для

анализа условий, при которых была начата реформа, для исследова�

ния динамики принятия решений в каждой из школ и оценки взгля�

дов различных участников школьного сообщества на процессы при�

обретения автономии (см. приложение 1.11).

Другие подходы к оценке воздействия

Говоря об оценке воздействия на снижение бедности, следует отме�

тить еще два очень важных момента, это: а) подходы к измерению

воздействия программ структурной перестройки и б) теоретическая

оценка. Обе темы включают в себя применение многих из рассмот�

ренных выше методик, несмотря на использование иного подхода.

Оценка программ структурной перестройки. В последнее вре�

мя довольно активно обсуждается воздействие программ структурной

перестройки на положение бедных. Многие из аргументов, используе�

мых в этих дискуссиях, основаны на неверных допущениях и методах.

Как и в других случаях, стратегические изменения в проектах структур�

ной перестройки должны быть: а) сопоставлены с соответствующими

гипотетическими альтернативными ситуациями, в которых действова�

ли те же макроэкономические ограничения; б) проанализированы в

контексте местной структуры экономики и основаны на эмпирической

информации, полученной в ходе обследования домохозяйств. Задача


усложняется по трем причинам. Во�первых, стратегические изменения

способны влиять на всю экономику, из�за чего могут отсутствовать не�

затронутые сравнительные группы. Во�вторых, из�за наличия внешних

факторов, задержек, обратных связей и замещений любые изменения в

уровне благосостояния бедных следует интерпретировать с большой

осторожностью. В�третьих, трудно предсказать, что произошло бы, ес�

ли бы изменения не проводились, — какую стратегию выбрало бы пра�

вительство и каковы были бы последствия для бедных.

В литературе описано несколько подходов, и у каждого из них есть

свои недостатки. Методы во многом похожи на описанные во вставке

1.2, хотя, как мы увидим ниже (см. вставку 1.3), анализ гипотетической

альтернативной ситуации (предположения от обратного) требует

существенных допущений, что может значительно повлиять на обос�

нованность результатов. Максимальный эффект дает выделение кон�

кретных стратегических изменений, воздействующих на население

(например, валютный курс, торговая политика, сокращение государст�

венных расходов, сокращение занятости в государственном секторе).

Но и без этого выделение воздействий конкретных стратегических из�

менений может оказаться трудной задачей. Примеры описаны в лите�

ратуре (Killick, 1995; Popple, Summarto, and Pritchett, 1999; Bourguignon,

de Melo, and Suwa, 1991; а также Sahn, Dorosh, and Younger, 1996).


Вставка 1.3. Методы оценки стратегииструктурной перестройки

Подходы без использования гипотетической альтерна�тивной ситуации

• Для оценки уровня жизни населения (и часто для выявления

групп риска) до, во время и после осуществления стратегии

структурной перестройки используются анализ фокус�группы,интервью и другие качественные методы.

• Метод «до и после программы», когда сравниваются значения клю�

чевых переменных до и после программы. Эти статистические ме�

тоды используются для того, чтобы определить, произошло ли зна�

чимое изменение каких�либо переменных, представляющих инте�

рес для данного исследования. Такой подход часто приводит к сме�

щению результата, поскольку он исходит из предположения, что

без программы показатели остались бы на исходном уровне.


Подходы, использующие построение гипотетической альтерна�тивной ситуации (сценария) при множественных допущениях

• Расчетные модели общего равновесия (Computable General

Equilibrium Models — CGE) базируются на имитационных мо�

делях для прогнозирования результатов для эксперименталь�

ных и контрольных групп. Основная задача таких моделей —

отследить работу реальной экономики. Они обычно базиру�

ются на использовании детальных матриц «общественных

счетов» (social accounting matrices — SAMs), составленных с

помощью данных национальных счетов, анализа расходов

домохозяйств и данных других исследований. Хотя метод

CGE и позволяет построить гипотетический сценарий, надеж�

ность этой модели полностью зависит от достоверности до�

пущений. Это может быть проблематичным, поскольку базы

данных не являются исчерпывающими, а многие параметры

не были оценены формальными эконометрическими метода�

ми. Модели CGE также очень трудоемки и вообще отличаются

своей громоздкостью.

• Сравнения: «с программой и без программы» — здесь сравни�

вается динамика ключевых переменных по выборке среди

стран, где была осуществлена программа, и стран, где она не

проводилась (контрольная/сравнительная группа). В качест�

ве альтернативного гипотетического сценария выступает по�

ведение контрольной группы (она демонстрирует ситуацию,

которая имела бы место в странах, где проводилась програм�

ма, в отсутствие такой программы). Однако формирование

надежной контрольной группы — довольно сложная задача.

Этот метод исходит из того, что единственным отличием

контрольной группы от страны, где проводится программа,

является факт реализации программы структурной перест�

ройки, а остальные внешние факторы влияют на обе группы

одинаково.

• Методы внесения статистической поправки (статистичес�кий контроль) используют регрессии, фиксирующие различия в

начальных условиях и стратегиях, применяемых в так называе�

мых «программных» и «непрограммных» странах. Такой подход

определяет различие между «программными» и «непрограммны�

ми» странами в период, предшествующий проведению програм�

мы, а затем дает возможность внести статистические поправки

для выделения воздействия программы на показатели, получен�

ные после проведения реформы.

Теоретические оценки. Исходное положение «теоретических

оценок» заключается в следующем: программы и проекты основыва�

ются на явной или неявной теории о том, как и почему должна рабо�

тать программа. В таком случае оценка будет состоять в анализе каж�

дой теории и набора допущений по программе в ходе ее реализации,

а не в ее середине или после ее завершения. При составлении плана

оценки лежащие в ее основе теоретические допущения представля�

ются в виде последовательности многочисленных малых шагов с

применением методов сбора данных и анализа того, как реализуют�

ся в реальной жизни сделанные теоретические допущения. Если же

события не разворачиваются ожидаемым образом, то с достаточной

долей уверенности можно сказать, где, почему и каким образом про�

изошел сбой.

Здесь основное внимание уделяется тому, как люди реагируют на

мероприятия в рамках программы. Теория ориентирует производя�

щего оценку на наиболее вероятный тип краткосрочных и долго�

срочных результатов. Преимущества такого подхода заключаются,

во�первых, в том, что эффективность программы выявляется на ран�

ней стадии ее внедрения. Сбои в процессе выполнения программы

можно сразу откорректировать. Во�вторых, такой подход помогает

объяснить, как и почему получается наблюдаемый эффект. Если со�

бытия разворачиваются согласно ожиданиям, можно с определен�

ной долей уверенности сказать, как именно был получен наблюдае�

мый эффект. Поэтапное рассмотрение проекта позволяет отследить,

каким образом ресурсы, используемые в рамках программы, приво�

дят к этим результатам.

Недостатки данного подхода подобны тем, что имеют место в дру�

гих методиках. В частности: а) выявление допущений и теоретичес�

ких положений — задача сложная в силу самого своего содержания;

б) без правильного инструментария и данных проведение поэтапно�

го измерения может быть проблематичным; в) существуют проблемы

при проверке эффекта, поскольку положения теорий могут быть

слишком общими или расплывчатыми для целей проверки; и г) труд�

ности с интерпретацией могут усложнить формулировку экстрапо�

лируемых заключений и выводов (см.: Weiss, 1998).

В настоящее время вариант данной методики апробируется Депар�

таментом оценки операций (Operations Evaluation Department) Все�

мирного банка для определения воздействия социальных инвестици�

онных фондов на процессы принятия решений на уровне сообщества,

на традиционные властные структуры и связи, а также потенциал, сте�

пень доверия и благополучие сообществ. Этот вариант будет исходить


из теоретических предположений, согласно которым приоритетные

группы способны эффективно осуществить проект, а также поддержи�

вать и управлять теми активами, которые созданы в результате проекта.

Сформулированный набор главных и вторичных допущений будет

проверен с помощью имеющихся данных по домохозяйствам, а также

посредством специально разработанного инструмента для неболь�

шой выборки, методом проведения фокус�групп и другими приемами.

Информация, поступившая из всех этих источников, в ходе анализа

будет обрабатываться с применением метода триангуляции14.

Анализ «затраты–выгоды» и «затраты–эффективность»

Хотя целью этого типа анализа не является определение воздействия,

он позволяет разработчикам стратегии измерить эффективность

программ путем рассмотрения альтернатив и сопоставления затрат

на получение результата. Такой анализ повышает значимость оценки

воздействия для разработчиков стратегии, и поэтому его следует

включать в план любой оценки воздействия (более подробно анализ

«затраты–выгоды» и «затраты–эффективность» рассматривается в

книге «Руководство по экономическому анализу инвестиционных

операций» (Handbook on Economic Analysis of Investment Operations.

World Bank, 1996)).

При анализе «затраты–выгоды» основной задачей является из�

мерение экономической эффективности в денежном выражении че�

рез сопоставление стоимости программы и тех выгод, которые она

принесла. Однако для многих проектов, особенно в социальной сфе�

ре, невозможно перевести все результаты в денежный эквивалент.

Например, результатом программы инвестиций в школы (учебники,

мебель, подготовительные программы) является рост успеваемости.

Для количественного выражения пользы здесь уместно использовать

не деньги, а показатели успеваемости — оценки. Это потребует про�

ведение анализа «затраты–эффективность». Концептуальная ос�

нова обоих типов анализа идентична.

Основные этапы при проведении анализа «затраты–выгоды» и

«затраты–эффективность» таковы: определить все затраты и выгоды

и затем рассчитать соотношение затрат и эффективности. При под�

счете затрат следует включать стоимость самой программы, а также

административные издержки, предоставление услуг, инвестиции


14См. определение в сноске № 13.

(дисконтированные и представленные в виде чистой приведенной

стоимости), денежное выражение предоставленных бесплатно това�

ров или услуг, издержки для общества (например, ухудшение состоя�

ния окружающей среды, опасность для здоровья и т.д.). Выгоды могут

иметь денежное (увеличение дохода) или количественное выраже�

ние, например, число поставок (услуг), оценки, полученные в ходе

тестов, или улучшение здоровья. Если выгоды от программы нельзя

определить количественно, можно использовать субъективные пока�

затели, такие как ранжирование или систему весов. Впрочем, при та�

ком подходе интерпретация субъективных оценок может оказаться

непростой задачей.

После определения затрат и выгод, соотношение «затраты–эф�

фективность» (R) может быть представлено, как R = затраты/едини�

ца15 (или выгода). По этому соотношению затем можно сравнивать

различные программы для того, чтобы выяснить их эффективность.

Теоретически данный метод достаточно прост. Но на практике суще�

ствует множество сложностей при выявлении и количественном вы�

ражении затрат и выгод. Важно выбрать правильные показатели, ис�

пользовать одинаковые методы и последовательно делать экономи�

ческие допущения, чтобы соотношения затрат и выгод действитель�

но были сопоставимы. Как и с другими методами, используемыми

при анализе воздействия, измерение показателя «затраты–эффек�

тивность» может быть осуществлено наилучшим образом, если оно

включено в план оценки на самых ранних ее стадиях. Это позволяет

собрать информацию о необходимых затратах и выгодах и обеспе�

чить их согласованность.

Выбор методологии

Различия в типах проектов обусловлены вопросами, применяемыми

для оценки, исходными данными, стоимостью, временны´ми ограни�

чениями и прочими обстоятельствами. Поэтому и оценки их воздей�

ствия тоже отличаются друг от друга и требуют подходящего для каж�

дого случая сочетания качественных и количественных методик.

Эксперты, проводящие оценку, должны тщательно изучить имею�

щийся набор методик, так, чтобы получить наиболее надежные ре�

зультаты. Среди количественных методов лучшим вариантом счита�

ются экспериментальные подходы; вторыми по степени предпочти�


15Например, количество часов классной работы, требуемое для полу�

чения зачета.

тельности являются методы сравнения по подобию. Другие приемы

тоже могут дать надежные результаты, особенно при использовании

хорошего плана оценки и данных высокого качества.

Результаты оценки лучших практических примеров (best prac�

tice evaluations), рассматриваемые в данном пособии, показывают,

что существующие методики оценки воздействия не являются взаи�

моисключающими. Действительно, для более строгих оценок часто

комбинируются методы, обеспечивающие их устойчивость и при�

менимость в непредвиденных ситуациях. С методической точки

зрения рекомендуется сочетать метод «с программой и без про�

граммы» и метод «до и после программы», в котором используются

данные исходных и повторных замеров (Subbarao et al., 1999). На�

личие исходных данных позволяет специалистам проверить цело�

стность экспериментальной и контрольной групп, определить сте�

пень адресности и подготовиться к проведению надежной оценки

воздействия. Это справедливо даже в отношении методов рандоми�

зированного контроля. Хотя рандомизация и обеспечивает эквива�

лентность экспериментальной и контрольной групп на момент

рандомизации, на основании этого оценщик не должен полагать,

что исходные данные не нужны. На самом деле, исходные данные

могут играть важнейшую роль в реконструкции причин тех или

иных событий и во внесении поправки на эти события при оценке

воздействия.

Также весьма рекомендуется включить анализ «затраты–выгоды»

или «затраты–эффективность». Эти методы позволяют разработчи�

кам стратегии сопоставить разные типы воздействий или мероприя�

тий по стоимости получения определенного результата. Это особен�

но важно для развивающихся стран, где ресурсы крайне ограничены.

Наконец, сочетание количественных и качественных методов яв�

ляется идеальным, ибо оно дает количественную оценку воздействия

проекта и объясняет процессы и воздействия, приводящие к наблю�

даемым результатам. Хотя каждая оценка воздействия имеет уникаль�

ные характеристики, требующие различных методологических под�

ходов, можно выделить некоторые типичные свойства наиболее ус�

пешно проведенных оценок.

• Анализ гипотетического сценария осуществляется с помощью:

а) применения случайного распределения для создания кон�

трольной группы (экспериментальный подход); б) осторожного

использования методов отбора по подобию для подбора сравни�

тельной группы (квазиэкспериментальный подход).


• Для внесения поправки на различия в участниках до и после про�

граммы и для определения воздействия данные собираются на ис�

ходном этапе и при повторном замере (для проявления воздейст�

вия программы должно пройти достаточное время).

• Для получения статистически значимых результатов эксперимен�

тальная и контрольная группы должны быть достаточно много�

численны.

• Частью оценки эффективности проекта является анализ «затра�

ты–выгоды» и «затраты–эффективность».

• Для анализа выводов методом триангуляции использованы каче�

ственные методы.


Проведение оценки воздействия может оказаться весьма сложным и

дорогостоящим мероприятием, которое сопровождается возникаю�

щими на каждом шагу трудностями. Для решения этой непростой за�

дачи требуются тщательная подготовка, надежная и высокопрофес�

сиональная команда с налаженными механизмами коммуникации.

Благодаря включению оценки в план проекта на раннем этапе появ�

ляется возможность своевременно получить данные, которые могут

быть полезны для корректировки определенных компонентов в ходе

реализации проекта.

Независимо от масштаба и типа программы или методологии, ис�

пользуемой для проведения оценки, следует придерживаться опреде�

ленного поэтапного плана (вставка 2.1). В данной главе представлено

рассмотрение этих этапов и других вопросов, которые могут возник�

нуть при проведении оценки. Принципиально важной является по�

следовательность выполнения этих этапов, особенно на стадии сбо�

ра необходимых данных до начала осуществления проекта. Заблаго�

временное планирование позволяет провести рандомизацию, сде�

лать предварительные сравнения методом сравнения по подобию,

собрать исходные (базисные) данные и определить те предстоящие

обследования, данные которых могут быть использованы при отборе

подобного по склонности (вероятности).

Планирование и сбор первичных данных следует проводить

на стадии формулировки и подготовки проекта. В идеале некото�

рые данные будут получены уже в процессе реализации проекта и

использованы (при необходимости) для усовершенствования его

плана. Наглядным примером проекта, с самого начала включав�

шего в себя оценку воздействия, является проект «Питание и ран�

нее развитие детей» в Уганде (см. главу 4).

Глава 2

Основные этапы разработки ипроведения оценки воздействия*

* В этой главе в значительной мере используется документ, подготовлен�

ный Лаурой Ролингз, Implementation issues in Impact Evaluation, 1999.

Определение необходимости проведения оценки

Первое, что следует определить: насколько необходима оценка

воздействия? Как уже отмечалось выше, оценку воздействия отли�

чает от других подходов акцент на изучение причинно�следствен�

ных связей. Ввиду сложности и высокой стоимости проведения

оценок воздействия следует взвесить выгоды и затраты и подумать

о том, не будет ли другой подход (например, изучение динамики

ключевых показателей или оценка процесса) более приемлемым.

(Эти подходы не следует воспринимать в качестве замены оценки

воздействия; более того, часто они являются критически важным

дополнением к этим оценкам.) Возможно, самым главным факто�

ром при принятии решения о целесообразности проведения оцен�

ки воздействия будет наличие значительной политической и фи�

нансовой поддержки.

Дополнительные усилия и ресурсы, необходимые для проведе�

ния оценки воздействия, будут наиболее целесообразны в инно�

вационных, тиражируемых и ресурсоемких проектах с четко по�

ставленными задачами. Так, оценка воздействия деятельности Со�

циального инвестиционного фонда Боливии соответствует всем

этим критериям. Во�первых, модель социального фонда, внедряе�

мая в Боливии, была признана инновационной и пригодной для

тиражирования. Во�вторых, с момента начала оценки Фонд отве�

чал за осуществление примерно 25 процентов всех государствен�

ных инвестиций в этой стране. В�третьих, действия были четко

определены перечнем субпроектов социального фонда.

Оценка воздействия становится более приоритетной задачей, ес�

ли рассматриваемый проект представляет собой новый подход, на�

пример, пробная («пилотная») программа, которая, в зависимости от

результатов оценки, может быть расширена, или новая категория

займов — образовательные и инновационные займы (Learning and

Innovation Loans) Всемирного банка. Исходя из этих соображений,

удачным кандидатом для оценки стала реформа школ в Никарагуа.

Оценка воздействия шла параллельно с внедрением правительством

новой децентрализованной модели школьного управления на всех

этапах: начиная с пробной («пилотной») стадии в середине 1990�х

годов и заканчивая сегодняшним днем, когда этой программой охва�

чены почти все средние и половина начальных школ. Оценка была

проведена слаженной международной командой, в состав которой

вошли сотрудники Отдела исследований Министерства образования

Никарагуа и координационного бюро Проекта начального образова�


ния Всемирного банка, расположенного в городе Манагуа. Их учас�

тие гарантировало, что результаты оценки будут учитываться при

принятии стратегических решений относительно изменений и рас�

ширения пробного («пилотного») проекта.

Другой немаловажный момент состоит в том, что целесообраз�

ность оценки программы должна быть хорошо обоснована. Часто

пробные проекты и зарождающиеся реформы подвергаются пе�

ресмотру как с точки зрения их содержания, так и в отношении

того, кто, каким образом и когда будет претворять их в жизнь. Та�

кие изменения могут сделать оценку в известной степени бес�

смысленной, особенно когда речь идет об экспериментальном

подходе и других типах перспективной оценки, основанных на

использовании исходных и последующих данных по четко опре�

деленным экспериментальным и контрольным группам. Если

стратегия, которая подлежит оценке, еще находится в стадии

ОСНОВНЫЕ ЭТАПЫ РАЗРАБОТКИ И ПРОВЕДЕНИЯ ОЦЕНКИ 23

Вставка 2.1. Основные этапы разработки ипроведения оценки воздействия

Во время формулировки/подготовки проекта

1. Определение необходимости проведения оценки.

2. Четкая формулировка целей оценки.

3. Проверка наличия данных.

4. Составление плана оценки.

5. Подбор группы для проведения оценки.

6. Если предполагается вести сбор данных:

a. структура и формирование выборки;

b. разработка инструментария исследования;

c. подбор и обучение работников для работы на местах;

d. проведение пробных («пилотных») проектов;

e. сбор данных;

f. обработка данных и обеспечение доступа к ним.

На стадии реализации проекта

7. Продолжающийся сбор данных.

8. Анализ данных.

9. Подробное отражение и обсуждение результатов с разработчи�

ками стратегии и другими заинтересованными сторонами.

10. Внедрение результата в общий план проекта.

формирования, то, возможно, для сохранения гибкости проекта

имеет смысл не проводить оценку воздействия.

Труднодостижимым, но обязательным условием для проведе�

ния оценки воздействия является поддержка со стороны разра�

ботчиков стратегии и финансистов. Их необходимо убедить в

том, что именно оценка даст информацию, необходимую для

принятия решений по усовершенствованию, расширению или

свертыванию программы. Также их следует заверить в том, что

план оценки — и, соответственно, ее результаты — оправданы,

особенно если эти результаты не отвечают их ожиданиям.

Финансирование остается сложным вопросом как для руково�

дителей программ, так и для заказчиков. Он осложняется еще и

тем, что обычно бывает непросто получить информацию о стои�

мости проведения оценки. И, возможно, самый щекотливый мо�

мент касается общей полезности оценки в качестве общественно�

го блага: если ее результаты будут использованы для информаци�

онного обеспечения международного проекта (а часто именно

так и происходит), то почему только одна страна должна оплачи�

вать расходы, связанные с проведением оценки? Информация,

полученная при анализе конкретных ситуаций, показывает, что

конкретная страна зачастую берет на себя большую часть (но не

все) финансирование оценки. В главе 4 будет более подробно по�

казано, что во многих рассмотренных случаях успешное проведе�

ние оценки воздействия требует не только существенных ресур�

сов от страны�клиента, но и участия специалистов Всемирного

банка или независимых исследователей и консультантов; для это�

го необходимы ресурсы в таком объеме, который сама страна

обеспечить не в состоянии.

Уточнение целей оценки

После определения уместности и обоснованности оценки, фак�

тором, в значительной мере способствующим ее успешному про�

ведению, будет предварительная четкая формулировка задач и со�

гласование того, какие вопросы считать ключевыми. Ясность це�

лей необходима для выявления информационных потребностей,

выбора показателей, характеризующих выполнение мероприя�

тий (проекта) и воздействий, а также для создания надежной стра�

тегии для поиска ответов на поставленные вопросы.

В матрице логической структуры (logical framework, или log

frame), которая все чаще применяется Всемирным банком, ис�


пользуется простая таблица 4х4; в ней информация о целях про�

екта сопоставляется с порядком определения результатов работы

на основании реализации ключевых этапов по времени, с тем, ка�

кое воздействие окажет проект на институт или организацию или

систему организаций бенефициаров, с тем, как это будет изме�

ряться и каким образом задействованные ресурсы обеспечат от�

дачу проекта, т.е. его продукт (см. примеры в приложении 5). Ина�

че говоря, предполагается, что запланированное воздействие

проекта зависит от продуктов этого проекта и целого ряда иных

факторов. Продукты, в свою очередь, обусловлены ресурсами

проекта и внешними факторами. Далее следует определить подле�

жащие количественному выражению показатели для каждого эта�

па проектного цикла. Такой подход не исключает рассмотрения

побочного эффекта проекта, однако он предназначен для того,

чтобы сохранять четкость и сфокусированность целей оценки.

Качественные методы также полезны для стимулирования учас�

тия общественности в прояснении целей оценки и итоговых по�

казателей воздействия.

Хотя на первый взгляд формулировка целей может показаться

одним из самых простых этапов процесса оценки, на самом деле

такая задача может быть крайне сложной. Например, слишком

пространные формулировки не позволят провести оценку. Цели,

заявленные при оценке мексиканской программы PROBECAT (см.

приложение 1.9), гласят, что оценка должна выявить «воздействие

программы обучения PROBECAT на рынок труда». Но оценка была

бы более точной, если бы ее цели были конкретизированы, на�

пример «влияние PROBECAT на количество рабочих часов, часо�

вой заработок, месячный заработок и время, за которое трудоуст�

раиваются различные категории работников». Оценка програм�

мы PROGRESA (Мексика) является хорошим примером того, как

создается четкий план и разграничивается несколько целей, когда

с самого начала прорабатывается и обсуждается каждый компо�

нент и детализируются цели в подкатегориях (приложение 1.10).

Все это имело особое значение, поскольку программа была слож�

ной, и оценивались не только воздействие программы, но и ее ад�

ресность и время проведения.

Использование других компонентов оценки, таких как «за�

траты–эффективность» или оценка процесса, может также яв�

ляться важным элементом исследования, дополняющим оценку

воздействия. Подход «затраты–эффективность» может пред�

ставлять особый интерес для разработчиков стратегии, которые


принимают решения о сокращении, расширении или пересмот�

ре программы. Применительно к предоставлению услуг, оценка

процесса помогает понять те процедуры, динамику, нормы и

другие ограничения, при которых идет осуществление той или

иной программы.

Проверка наличия данных

При оценке воздействия могут использоваться различные типы

данных, полученных в ходе как одномоментных или панельных

исследований, так и качественных открытых интервью. В идеале,

чтобы обеспечить оценку истинного воздействия, эта информа�

ция должна поступать с индивидуального уровня. Информация

на уровне домохозяйств может скрыть картину распределения

ресурсов внутри домохозяйства, а это отрицательно сказывается

на положении женщин и детей, поскольку они часто имеют

меньший доступ к производительным ресурсам домохозяйства.

Во многих случаях при оценке воздействия могут использовать�

ся уже существующие данные или могут дополняться текущие об�

следования, что приводит к существенной экономии средств. Но

при таком подходе возможны проблемы, связанные со сроками

сбора данных и гибкостью структуры анкеты. Некоторые основ�

ные соображения, касающиеся использования существующих

информационных ресурсов в оценке воздействия, перечислены

во вставке 2.2.

Творческий подход поможет увеличить количество информа�

ционных ресурсов. Хороший пример — оценка Социального ин�

вестиционного фонда в Гондурасе (см. главу 4). В этом исследова�

нии в анкету Социального фонда был включен модуль из нацио�

нального обследования доходов и расходов; это позволило срав�

нить доход бенефициаров Фонда с общенациональными показа�

телями и, таким образом, определить успешность достижения

программой своей целевой аудитории (см.: Walker et al, 1999).

На самом базовом уровне потребуются данные по всей популя�

ции (генеральной совокупности — стат.) для определения раз�

мера выборок, создания границ выборки и формирования самой

выборки. Другие виды данных, которые могут быть в наличии в

стране и которые могут использоваться в различных оценках воз�

действия, включают в себя (см.: Valadez and Bamberger, 1994): дан�

ные из обследований доходов и расходов домохозяйств; из иссле�

дований уровня жизни (Living Standards Measurement Studies —


LSMS); из обзоров рынка рабочей силы; учетных записей коопера�

тивов, кредитных союзов и других финансовых институтов; а так�

же из школьныех отчетов о посещаемости, результатах экзаменов

и о второгодниках; данные из документов системы общественно�

го здравоохранения о младенческой смертности, случаях инфек�

ционных болезней, о количестве женщин, обратившихся за кон�

сультацией по вопросам контрацепции, или о показателях ис�

пользования презервативов; из специализированных обследова�

ний, проводимых университетами, неправительственными орга�

низациями (НПО) и консультативными группами; данные мони�

торинга от руководителей программ; данные анализа конкрет�

ных ситуаций («кейс�стади»).

Использование имеющихся данных, полученных в об$следованиях. Многие обследования могут также находиться на

стадии планирования или проведения. Если планируется провес�

ти обследование в отношении требуемого показателя, при оценке

можно применить избыточную выборку в ходе общего обследо�

вания (например, для использования метода отбора подобного

по склонности), как было сделано при оценке Социального инве�

стиционного фонда в Никарагуа и Программы стимулирования

трудовой деятельности TRABAJAR в Аргентине (Jalan and Ravallion,

1998). С другой стороны, планируя обследование интересующей

части населения, оценщик может внести в анкету вопрос или се�

рию вопросов либо дополнить количественную информацию ка�

чественной. Например, программа «Кредит с образованием»

(Credit with Education) в Гане включала в себя серию качественных

интервью с ключевыми заинтересованными сторонами, а также

проведение фокус�групп с участвующими и не участвующими в

программе, что обеспечило качественное подтверждение количе�

ственного результата (приложение 1.6). Оценка определила воз�

действие программы на качество питания и продовольственную

безопасность в бедных домохозяйствах. Количественные данные

включали конкретные вопросы о доходах и расходах домохозяй�

ства и о профессиональном уровне, в то время как качественные

данные были ориентированы на положение женщин: их статус,

участие в принятии решений, социальные связи, уверенность в

себе и т.д.



Вставка 2.2. Ключевые моменты при определении ин$формационных ресурсов для оценки воздействия

• Хорошо изучите программу. Начинать оценку без подробного

знания административных/институциональных структур про�

граммы рискованно. Обычно такая информация предоставляет�

ся координатором программы.

• Соберите информацию о важных «стилизованных данных» в от�

ношении условий, в которых осуществляется программа. Среди

таких данных могут быть карта бедности, порядок работы рын�

ка труда, информация об основных этнических группах, других

соответствующих государственных программах.

• Собирайте данные разного рода — от неформальных неструкту�

рированных интервью с участниками программы до количест�

венных данных по репрезентативной выборке. Однако с помо�

щью интервью или фокус�групп крайне сложно построить гипо�

тетический альтернативный сценарий. Попробуйте спросить

участника программы: «Что бы Вы сейчас делали, если бы про�

граммы не было?» Общение с участниками может быть ценным,

но вряд ли обеспечит достоверную оценку.

• Убедитесь, что есть данные об отдаче проекта и о соответствую�

щих объясняющих переменных1. Такие переменные должны по�

мочь снять проблему неоднородности результатов, обусловлен�

ной участием в программе. Результаты могут различаться, к при�

меру, в зависимости от уровня образования участников. Без по�

правок на такую разнородность (гетерогенность) можно «не

увидеть» воздействия программы.

• В зависимости от используемого метода могут также потребовать�

ся данные по переменным, описывающим влияние на участие, но

не на результаты при таком участии. Эти инструментальные пере�

менные могут быть полезны при анализе вероятных причинно�

следственных эффектов неслучайных программ (вставка 1.2).

• Данные по результатам и другие соответствующие объясняющие

переменные могут быть как количественными, так и качественны�

ми. Тем не менее необходимо иметь возможность систематизиро�

вать информацию в некоторую структуру данных. Простой и рас�

пространенный пример — наличие значений разных перемен�

ных, включая один или более показателей результата, для различ�

ных единиц наблюдения (лиц, домохозяйств, фирм, сообществ).

1 Регрессоры, независимые переменные. (Здесь и далее — примечанияредактора.)

Разработка оценки

Выяснив цели и имеющиеся информационные ресурсы, можно

переходить к фазе планирования оценки воздействия. Выбор ме�

тодики будет зависеть от поставленных вопросов, временны´х и

бюджетных рамок, а также возможности по осуществлению оцен�

ки. Следует рассмотреть преимущества и недостатки различных

подходов, о которых шла речь в главе 1, и на основе такого срав�

нения выбрать наиболее подходящие методики и определить, как

количественные и качественные методы могли бы взаимно до�

полнять друг друга.

Даже после составления плана оценки и встраивания его в про�

ект оценщики должны быть готовы гибко реагировать и вносить

изменения в свой план по мере выполнения проекта. Если оценка

включает исходные (базисные) и последующие данные, то следу�

ет также предусмотреть возможность учета влияния проекта та�

ким образом, чтобы оценка шла параллельно самому проекту.

При составлении плана также важно определить, каким обра�

зом оценка воздействия будет включена в более широкую страте�

гию мониторинга и оценки проекта. Мониторинг необходим для

всех проектов, чтобы руководители, кредиторы и разработчики

стратегии могли видеть, как разворачивается проект. Как отмеча�

лось выше, работа по оценке должна отвечать информационным

нуждам проекта.


• Те переменные, по которым имеются данные, а также использу�

емые единицы наблюдения часто выбираются как часть метода

оценки. Их отбор должен диктоваться знанием программы (ее

целей и порядка ее работы) и условий, в которых она осуществ�

ляется.

• Конкретным источником данных о результатах и факторах, их

определяющих (включая участие в программе), обычно являют�

ся разного рода обследования. В зависимости от типа програм�

мы единицей наблюдения могут быть домохозяйства, фирмы

или географические районы.

• Данные обследований могут быть дополнены другими полезны�

ми сведениями по программе (например, из базы данных мони�

торинга проекта) или по условиям ее осуществления (например,

из географических баз данных).

Вопросы оценки. Задаваемые в ходе оценки вопросы тесно

связаны с планом оценки в отношении типа данных, анализируе�

мой организационной единицы, используемых методик и време�

ни прохождения различных стадий. Например, определяя воздей�

ствие учебников на результаты учебного процесса, необходимо

приспособить оценку к измерению воздействия на учеников,

классы и учителей в течение данного учебного года. Это сущест�

венно отличается от измерения воздействия инвестиций соци�

альных фондов, где требуются данные о коммунальном хозяйстве

и домохозяйствах. Анализ конкретных примеров в приложении 1

показывает, как вопрос, задаваемый при оценке, может повлиять

на ее план.

При определении вопросов оценки также важно учитывать

гендерный аспект воздействия проекта. Поначалу это не всегда

очевидно, но в процессе реализации проекта возможно вторич�

ное воздействие на домохозяйства, которое может ускользнуть от

нашего внимания, если не предпринять действий по сбору и ана�

лизу конкретных данных.

Временны ´е рамки и бюджет. Самый важный момент, каса�

ющийся времени, — это возможность начать разработку оценки,

до того как проект будет завершен и когда потребуются ее резуль�

таты. Также полезно определить с самого начала, в какой именно

момент проектного цикла понадобится информация от проводи�

мой оценки, чтобы можно было скоординировать сбор и анализ

данных. Наличие своевременных результатов может быть прин�

ципиально важным при принятии стратегических решений во

время анализа проекта, предвыборного периода или при рассмо�

трении вопроса о продолжении проекта.

Для применения некоторых методов требуется больше време�

ни. Так, методы случайного распределения и методы «до и после

программы» (например, рефлексивные сравнения) требуют бо´ль�

ших затрат времени, чем методы сравнения по подобию после

завершения проекта. Применяя подходы «до и после программы»,

использующие исходные и повторные оценки, необходимо дож�

даться, пока все члены группы не получат помощь и пока не про�

явится эффект программы. Гроссман (Grossman, 1994) предлагает

считать стандартным периодом, который должен пройти до ис�

следования воздействия, промежуток 12–18 месяцев с начала уча�

стия в программе. Проекты же Всемирного банка с исходными

(базисными) данными могут потребовать нескольких лет ожида�


ния, прежде чем проявятся последствия вмешательства. При оцен�

ке Социального инвестиционного фонда Боливии, которая осно�

вывалась на исходных (базисных) данных 1993 г., последующие

данные не были собраны вплоть до 1998 г.: столько времени пона�

добилось для осуществления программы (проекты водоснабже�

ния и улучшения санитарных условий, проекты в медицинских

учреждениях и школах) и для того, чтобы проявилось ее влияние

на состояние здоровья и образование людей, получивших по�

мощь. Примерно такой же период времени потребовался для про�

екта в области начального образования в Пакистане, где для оцен�

ки воздействия местных школ на учеников, включая их успевае�

мость, был использован экспериментальный подход с базовыми и

последующими обследованиями.

Однако время, необходимое для оценки, не может оказывать

влияние на временны´е рамки самого оцениваемого проекта. По

своей сути оценка определяется временны´ми рамками, установ�

ленными основным проектом. Оценщикам придется занять вы�

жидательную позицию по отношению к проектам, не дающим мо�

ментального результата. Даже если проекты идут, как было запла�

нировано, некоторые виды программ, особенно проекты в облас�

ти инфраструктуры, более длительны. Временны´е рамки оценки

также зависят от выбранных показателей, поскольку многие из

них (например, изменения в уровнях рождаемости или образова�

ния) проявляются только через длительный период, т.к. чтобы их

воздействие отразилось на заинтересованной группе населения

(популяции — бенефициаре), требуется больше времени.

Возможность проведения оценки. Заключительное сообра�

жение при определении масштаба и сложности плана оценки — то,

насколько группа оценщиков способна выполнить задачу. Осуще�

ствление оценки может стать весьма сложным предприятием, осо�

бенно в развивающихся странах, где отсутствует опыт прикладных

исследований и оценки программ. Очень важно правильно подо�

брать оценивающую группу, так, чтобы в нее входили специалисты,

владеющие различными методиками, которые дополняли бы и уси�

ливали возможности друг друга. Это особенно важно при работе с

государственными ведомствами, где при ограниченном штате вы�

полняются очень разнообразные функции. Сведения о загружен�

ности подразделения необходимы не только для определения того,

как это повлияет на качество проводимой оценки, но и для выявле�

ния альтернативной стоимости оценки по сравнению с другими


функциями, выполняемыми подразделением. Есть немало приме�

ров того, как проведение оценки закончилось неудачей из�за того,

что ключевые сотрудники были переведены на другие проекты и не

смогли своевременно осуществить сбор данных в самый ответст�

венный момент (во время учебного года или сельскохозяйственно�

го сезона). Повторения этих ситуаций можно избежать благодаря

координации работы с руководителями подразделения, ответст�

венными за оценку, чтобы обеспечить сбалансированность сроков

реализации различных проектов и оптимальное распределение

сотрудников и ресурсов. Альтернативой может быть приглашение

для проведения оценки частной компании (см. ниже).

Формирование группы оценки

Чтобы проводить оценку, необходимо обладать рядом навыков.

Изначальное согласование деятельности команды оценщиков и

разработчиков стратегии значительно повышает качество оцен�

ки и ее полезность в конечном итоге. Поэтому важно как можно

раньше определить, кто войдет в команду, распределить функции

и наладить механизмы взаимодействия при осуществлении клю�

чевых этапов оценочного процесса.

В число основных членов команды входят координатор груп�

пы, осуществляющей оценку, аналитики (экономист и социоло�

ги) и, если запланирован сбор новых данных, — специалист по

выборке, разработчик плана обследования, координатор работ на

местах2 и команда, работающая на местах, также менеджеры, от�

ветственные за сбор данных и их обработку (полное руководство

по планированию и осуществлению исследований см.: Grosh and

Mun~oz, 1996). В зависимости от объема, масштаба и плана иссле�

дования сотрудники могут сочетать некоторые из этих функций,

либо потребуется набор дополнительных работников в помощь

основной команде. В некоторых случаях, если у аналитиков нет

опыта комбинированного использования количественных и ка�

чественных методов, на стадии формирования команды может

потребоваться дополнительное время, чтобы члены команды

«притерлись» друг к другу и могли эффективно сотрудничать. От�

ветственность среди членов команды распределяется следующим

образом.


2 Работа на местах (т. н. «полевая работа» — field work) — это работа по

интервьюированию, сбору и обработке данных на местах.

• Координатор оценки — отвечает за определение информаци�онных потребностей и используемых для оценки показателей(которые часто определяются совместно с заказчиком с помо�щью матрицы логической структуры), за составление техниче�ского задания на проведение оценки, выбор методики и фор�мирование команды. Во многих случаях координатор оценкиосуществляет также анализ стратегии.

• Аналитики стратегии — для проведения количественногоанализа потребуется экономист, а для вовлечения обществен�ности и качественного анализа на разных этапах оценки воз�действия необходим социолог или антрополог. В написанииотчета должны принимать участие и те, и другие.

• Специалист по выборке — управляет процессом формированиявыборки. Для получения количественных данных специалистдолжен уметь производить расчеты мощности выборки3, что�бы определить приемлемый объем выборки для используемыхпоказателей, формировать выборку, сравнивать результаты фак�тической и запланированной выборки и определять веса выбор#ки4 для последующего анализа. Для получения качественныхданных специалист по выборке управляет процессом формиро�вания выборки вместе с аналитиками, обеспечивая правильныйвыбор экспертов (источников информации). Специалист по вы�борке также отвечает за выбор места и групп для осуществленияпробных проектов. Часто он должен работать в паре с местныминформационным координатором, ответственным за сбор дан�ных, на основании которых будет формироваться выборка.

• Разработчик плана исследования — это человек или группалюдей, ответственных за разработку инструментария для сбо�ра данных, инструкций и схем кодирования информации, атакже за согласование действий с координатором (�ами) оцен�ки, чтобы с помощью имеющихся инструментов были получе�ны необходимые для анализа данные. Этот человек/группаучаствует также в апробации и доработке анкет.

• Координатор работы на местах/ работники — координаторосуществляет надзор за всем процессом сбора данных, от пла�нирования маршрутов для сбора данных до формирования ко�манды работников на местах и составления графика их рабо�


3 Расчеты мощности выборки — предварительное обоснование объ�

ема выборки с точки зрения ее близости по данному набору показателей

к моделируемому объекту. 4 Веса выборки — совокупность показателей, используемых для расче�

та степени репрезентативности полученной выборки (по отношению к

генеральной совокупности) и рассчитанных после проведения исследо�

ваний на местах.

ты. Команды, работающие на местах, обычно состоят из кон�тролеров и интервьюеров. Контролеры (супервайзеры) руко�водят работниками на местах (интервьюеры, ответственные заввод данных и водители) и отвечают за качество данных, полу�ченных на местах. Интервьюеры проводят анкетирование и за�полняют опросные листы. В некоторых странах в соответст�вии с принятыми культурными установками необходимо, что�бы в состав интервьюеров входили как мужчины, так и женщи�ны, а интервью с мужчинами и женщинами разрабатывались ипроводились раздельно.

• Специалисты по организации (управлению) и обработке дан#ных — планирование ввода данных, ввод, проверка их валид�ности, документирование данных и получение основных ре�зультатов, которые затем проверяются аналитиками.

При формировании команды координатор оценки должен

учесть несколько важных моментов, касающихся местных институ�

циональных возможностей для обеспечения непредвзятых и качест�

венных результатов. Во�первых, имеется ли местный потенциал для

полного или частичного проведения оценки и какое внешнее руко�

водство и помощь могут понадобиться? Страны сильно отличаются

друг от друга по уровню возможностей проведения оценки. Несмот�

ря на то, что все более распространенными становятся международ�

ные контракты, по которым компании одной страны проводят

оценку в другой (один из примеров — оценка программ PROGRESA,

выполненная Международным исследовательским институтом по�

литики в области питания (International Food Policy Research Insti�

tute — IFPRI)), обычная практика Всемирного банка предусматрива�

ет привлечение к оценке местных кадров при строгом международ�

ном контроле. Поэтому необходимо критически оценить местные

возможности и распределить обязанности. Вне зависимости от

окончательного состава команды важно назначить координатора

оценки, способного эффективно работать с источниками информа�

ции, аналитиками и разработчиками стратегии, которые будут ис�

пользовать данные и результаты оценки. Если этот человек не про�

живает в данной стране, рекомендуется назначить национального

координатора, который будет организовывать работу совместно с

международным руководителем.

Второе: выбор между частной фирмой и государственным ве�

домством. Частные фирмы могут быть более надежными в смысле

соблюдения оговоренных сроков. Но при этом теряется возмож�

ность развития потенциала в государственном секторе, и, по по�


нятным причинам, частные фирмы менее склонны встраивать в

оценочный процесс дорогостоящие элементы. Независимо от то�

го, какого партнера или группу партнеров вы изберете, в конеч�

ном итоге для принятия взвешенного решения необходимо вни�

мательно проанализировать имеющийся у них опыт проведения

оценок.

Третье: институциональная дистанция между оценщиком и

теми, кто потом будет пользоваться результатами оценки. Для

сохранения объективности оценка должна идти независимо от

института, отвечающего за реализацию проекта. Но часто оцен�

ка преследует несколько целей, включая развитие соответству�

ющего потенциала внутри государственных ведомств и привле�

чение внимания исполнителей программ к реалиям проводи�

мых проектов. По крайней мере те, кто пользуется результатами

оценки (разработчики стратегии в правительственных ведом�

ствах стран�клиентов, неправительственные организации, до�

норские организации и институты, отвечающие за междуна�

родное развитие), должны быть достаточно вовлечены в про�

цесс, чтобы обеспечить легитимность оценки и соответствие ее

результатов их информационным запросам. В противном слу�

чае есть вероятность игнорирования результатов оценки при

информационном обосновании стратегии. В конечном счете

координатор оценки и его клиенты должны найти золотую се�

редину между включенностью пользователей оценки в процесс,

с одной стороны, и независимостью и легитимностью результа�

тов — с другой.

Формирование массива данных

Необходимым условием для проведения оценки воздействия яв�

ляется достаточное количество надежных данных. Для получения

обоснованных результатов необходима информация высокого

качества. Как отмечалось выше, оценка уже существующих дан�

ных — первый важный шаг, предшествующий любым действиям

по сбору данных на местах. В табл. 2.1 представлена связь основ�

ных методик оценки с требованиями к данным. Большинство из

этих методик могут включать в себя качественные подходы и под�

ходы с участием общественности при разработке инструмента�

рия обследования, при определении показателей, выборе мер

контроля, переменных для согласования или инструментальных

переменных.


Таблица 2.1. Методы оценки и требования к данным


Эксперимен#тальные, илирандомизиро�ванные средстваконтроля

Неэксперимен#тальныеподходы:a) Сконструиро�ванные мерыконтроля, или от�бор по подобию

b) Рефлексивныесравнения и ме#тод двойныхразличий

• Информаци�онное обеспече�ние инструмен�тария, выборка• Определениеиндикаторов• Сбор и записьданных с ис�пользованием:—текстовых дан�

ных;—неформаль�

ных или полу�структуриро�ванных интер�вью;

—фокус�группили собранийсообществ;

—прямого на�блюдения;

—методов с уча�стием общест�венности;

—фотографий;—триангуляции;—анализа дан�

ных.

Срез одногопроекта с полу�чателями помо�щи или без них

Масштабное об�следование, пере�пись, данные понациональномубюджету или ре�зультаты исследо�вания типа LSMSс использовани�ем расширеннойвыборки получа�телей помощи

Базисные и по�вторные данныео получающихпомощь

Исходное (ба�зисное) и по�вторное иссле�дования получа�ющих и неполу�чающих помощь.Позволяет, в до�полнение к учетуизмеряемоговоздействия, де�лать поправку наодновременнопроисходящиесобытия. (Этодает возмож�ность произво�дить оценку«различий междуразличиями».)

Масштабное об�следование и бо�лее мелкие обсле�дования домохо�зяйств в рамкахпроекта; в обоихслучаях � с двумявременными точ�ками для поправ�ки на одновре�менно происхо�дящие события

Временно´й рядили панель уча�ствующих исравнимых не�участвующих

Метод Минимум

Требования к данным

Идеал

Использованиекачественного

подхода

Таблица 2.1. (продолжение)

Источник: По материалам Ezemenari, Rudqvist, and Subbarao (1999) andBamberger (1999).

Если оценка требует сбора собственных данных, ответствен�

ными этапами являются разработка инструментария для сбора

данных, формирование выборки, работа на местах, управление

данными (data management) и обеспечение доступа к ним. Дан�

ный раздел не содержит пошагового описания того, как прово�

дить исследование; в нем лишь кратко рассматриваются эти ста�

дии. Часть информации настоящего раздела (то, что касается

формирования выборки и управления данными) в большей сте�

пени относится к оценкам, основанным на широкомасштабных

обследованиях с крупными выборками, использующих количест�

венные данные, чем к оценкам на базе качественной информации

и выборок небольшого размера.

Что измерять? Основные показатели, характеризующие вы�

полнение проекта и его воздействия должны быть установлены на

стадии планирования оценки, возможно — с использованием мат�

рицы логической структуры. Для своевременного получения ре�

зультатов оценки необходимо разработать иерархию показателей:

от таких индикаторов краткосрочного воздействия, как посещае�

мость школы, до показателей долгосрочного влияния, например

успеваемость учеников. Это даст возможность оценить результаты

программы даже в том случае, если окончательные показатели еще

не выбраны. Также оценщик должен планировать измерение осу�

ществления вмешательства и учет экзогенных факторов, которые

могут воздействовать на результаты, представляющие интерес.


c) Меры стати#стического кон#троля или инст�рументальныхпеременных

Срез данных, ха�рактеризующийполучателей, ссоответствую�щими инстру�ментальнымипеременными

Срез и времен�но´й ряд, харак�теризующий по�лучателей и не�получателей, ссоответствую�щими инстру�ментальнымипеременными

Метод Минимум

Требования к данным

Идеал

Использованиекачественного

подхода

Координаторы оценки могут также запланировать проведение

оценок через различные промежутки времени, что позволяет выяв�

лять немедленные воздействия на более раннем этапе, в то время как

исследование конечных результатов еще продолжается. Такой под�

ход был использован при оценке результатов школьной реформы в

Никарагуа; было установлено краткосрочное воздействие реформы

на участие родителей и посещаемость учеников и преподавателей.

Оценка долгосрочного воздействия на успеваемость учеников все

еще не завершена.

Характеристики населения, получающего помощь, такие как уро�

вень бедности или мнение участников о программе, не имеющие

прямой связи с оценкой воздействия, все же могут быть рассмотре�

ны, если они представляют интерес для анализа. Оценщик также мо�

жет включить в план показатели затрат для анализа «затраты–эффек�

тивность» или для проведения дополнительных исследований, не

обязательно напрямую связанных с оценкой воздействия.

Модель, выбираемая для оценки воздействия, также предъявля�

ет соответствующие требования к данным. Эти требования опре�

деляются методикой, изучаемым населением, масштабами воз�

действия и другими составляющими оценки. Например, если бу�

дет использоваться метод инструментальной переменной (один

из типов сравнения по подобию), то необходимо выявить и вклю�

чить в сбор данных переменную(ые), с помощью которой(ых)

можно будет отделять участие в программе от показателей ре�

зультата. Так было сделано при оценке воздействия Социального

инвестиционного фонда Боливии, в которой в качестве инстру�

ментальных переменных использовались осведомленность о

Фонде и вовлеченность в его деятельность неправительственных

организаций.

Полезной может оказаться разработка матрицы оценки (ана�

лиза воздействий) с перечислением интересующих вопросов, по�

казателей результата, переменных и источников данных для пере�

менных. Такую матрицу можно затем использовать для анализа

анкет и планирования аналитической работы. Так было сделано

при оценке Социального инвестиционного фонда в Никарагуа

(см. приложение 6).

Разработка инструментария и методик сбора данных.Разработка инструментария, позволяющего получить данные, не�

обходимые для ответа на поставленные вопросы, может оказаться

непростой задачей и потребовать участия аналитика при составле�


нии вопросов, проведении пробных («пилотных») тестов и анали�

зе первичных данных. Важным условием обеспечения качества со�

бранной информации может явиться участие координатора рабо�

ты на местах и специалиста по организации данных в разработке

инструментария, а также местных специалистов, предпочтительно

аналитиков, понимающих специфику страны и знающих програм�

му (Grosh and Mun~oz, 1996). Также важно обеспечить разделение со�

бранных данных по гендерному признаку для изучения особенно�

стей воздействия программ на положение мужчин и женщин.

При количественных оценках информацию обычно собирают и

фиксируют с помощью цифр или кодирования по категориям. Ин�

формация, относящаяся к качественным оценкам, чаще представля�

ется в виде описательного текста практически без разбиения по кате�

гориям. Информация может состоять из ответов на открытые вопро�

сы интервью, записей при проведении фокус�групп или наблюдений

оценщика. Некоторые качественные исследования также используют

заранее кодированную классификацию данных (Bamberger, 2000).

Перечень инструментов для сбора данных с описанием достоинств и

недостатков каждого из них см. в табл. 2.2. Самым распространенным

методом является анкетирование.

Ответы на вопросы в значительной степени зависят от постро�

ения анкеты. Вопросник должен иметь соответствующий формат

и структуру, поэтому его разработку следует поручать опытным

специалистам. Часто ценность количественных данных снижает�

ся по чисто техническим причинам из�за невозможности связать

данные из разных источников, как это было в случае с оценкой

системы национального образования. В одной из стран данные

об учениках не смогли увязать с результатами тестов, из�за чего

оказалось невозможным определить зависимость этих результа�

тов от характеристик ученика или классифицировать результаты

по возрасту, полу, социально�экономическому положению или

образовательной истории ученика5.

При сборе как качественных, так и количественных данных

даже опытный персонал должен пройти подготовку, чтобы со�

бирать те данные, которые относятся именно к этому исследова�

нию. Порядок сбора данных должен быть описан в инструкциях,

которые можно использовать и как дидактический материал для

обучения, и как справочный — для работы на местах. Судя по

опыту, можно сказать, что в зависимости от сложности постав�


5 Подтверждение полученного учеником образования или знаний.

Та

бл

иц

а 2

.2. О

сно

вн

ой

ин

стр

ум

ен

тар

ий

сб

ор

а д

ан

ны

х д

ля

оц

ен

ки

во

зде

йст

ви

яОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ40

Мет

од

Ан

ал

из

ко

нк

рет

ны

хси

туа

ци

й (

«кей

с—ст

ад

и»)

Фо

кус

#гр

упп

ы

Ин

тер

вью

Оп

ред

елен

ие

и п

ри

мен

ени

е

Сб

ор

ин

фо

рм

ац

ии

, ве

ду

ще

й к

«и

с�

то

ри

и»,

им

ею

ще

й о

пи

са

те

ль

ны

йи

ли

об

ъя

сн

ит

ел

ьн

ый

ха

ра

кт

ер

,о

тв

еч

аю

ще

й н

а в

оп

ро

сы

: «к

ак

» и

«по

че

му

».

Пр

ов

ед

ен

ие

фо

ку

си

ро

ва

нн

ых

ди

с�

ку

сс

ий

с п

ре

дс

та

ви

те

ля

ми

це

ле

во

йгр

уп

пы

, ос

ве

до

мл

ен

ны

ми

об

ис

�с

ле

ду

ем

ой

те

ме

, до

то

го, к

ак

бу

де

тс

озд

ан

ст

ру

кт

ур

ир

ов

ан

ны

й о

пр

ос

�н

ик

. Це

ль

— с

оп

ос

та

ви

ть

взг

ля

ды

им

не

ни

я б

ен

еф

иц

иа

ро

в с

аб

ст

ра

кт

�н

ым

и к

он

це

пц

ия

ми

, пр

ед

ст

ав

ле

н�

ны

ми

в з

ад

ач

ах

оц

ен

ки

.

Ин

те

рв

ью

ер

за

да

ет

во

пр

ос

ы о

д�

но

му

ил

и б

ол

ее

ре

сп

он

де

нт

ам

иф

ик

си

ру

ет

их

от

ве

ты

. Ин

те

рв

ью

мо

же

т б

ыт

ь ф

ор

ма

ль

ны

м и

не

�ф

ор

ма

ль

ны

м, л

ич

ны

м и

ли

по

те

�л

еф

он

у, с

от

кр

ыт

ым

и и

ли

за

кр

ы�

ты

ми

во

пр

ос

ам

и.

Нед

ост

ат

ки

—Х

ор

ош

ие

ко

нк

ре

тны

е п

ри

ме

ры

(«к

ей

с�с

тад

и»)

по

дго

тов

ить

сл

ож

но

.—

Дл

я о

бе

сп

еч

ен

ия

ст

ро

гос

ти

не

�о

бх

од

им

ы с

пе

ци

ал

ьн

ые

на

вы

ки

пр

ов

ед

ен

ия

ис

сл

ед

ов

ан

ия

и п

ис

ь�

ме

нн

ого

изл

ож

ен

ия

.—

Ре

зул

ьта

ты

не

ра

сп

ро

ст

ра

ня

�ю

тс

я н

а в

се

на

се

ле

ни

е.

— Т

ре

бу

ют

мн

ого

вр

ем

ен

и.

— С

ло

жн

ы д

ля

ти

ра

жи

ро

ва

ни

я.

— М

огу

т п

от

ре

бо

ва

ть

мн

ого

вр

е�

ме

ни

и з

ат

ра

т.—

До

лж

ны

бы

ть

чу

вс

тв

ит

ел

ьн

ы к

см

еш

ен

ию

ие

ра

рх

ич

ес

ки

х у

ро

в�

не

й.

— Р

езу

льт

ат

ы н

е п

од

ле

жа

т о

бо

б�

ще

ни

ю.

— Т

ре

бу

ют

мн

ого

вр

ем

ен

и.

— М

огу

т б

ыт

ь д

ор

ого

ст

оя

щи

ми

.—

Пр

и н

еп

ра

ви

ль

но

й т

ех

ни

ке

ин

�т

ер

вь

юе

р м

ож

ет

ок

азы

ва

ть

вл

ия

�н

ие

на

от

ве

ты

ре

сп

он

де

нт

а.

Пр

еим

ущес

тва

— Б

ол

ьш

ое

ра

зно

об

ра

зие

ис

то

ч�

ни

ко

в: д

ок

ум

ен

ты

, ин

те

рв

ью

, на

�б

лю

де

ни

я.

— Д

оп

ол

ни

тел

ьн

ый

ре

сур

с д

ля

ин

�те

рп

ре

тац

ии

ин

сти

туто

в, п

ро

це

с�

со

в, п

ро

гра

мм

, ре

ше

ни

й и

со

бы

тий

.

— П

ре

им

ущ

ес

тв

а т

е ж

е, ч

то

и у

ин

те

рв

ью

(с

м. н

иж

е).

— О

со

бе

нн

о п

ол

езн

ы, е

сл

и ж

ел

а�

те

ль

но

ус

та

но

вл

ен

ие

ко

нт

ак

та

ме

жд

у уч

ас

тн

ик

ам

и.

— Э

фф

ек

ти

вн

ы д

ля

вы

яв

ле

ни

я и

е�

ра

рх

ич

ес

ко

го в

ли

ян

ия

.

— Р

есп

он

ден

ты р

асск

азы

ваю

т о

со

б�

стве

нн

ом

оп

ыте

сво

им

и с

ло

вам

и в

пр

ивы

чн

ой

дл

я н

их

об

стан

овк

е.—

Ги

бк

и: и

нт

ер

вь

ю м

ож

ет

ра

зви

�в

ат

ьс

я в

лю

бо

м и

нт

ер

ес

но

м и

не

�о

жи

да

нн

ом

на

пр

ав

ле

ни

и, п

озв

о�

ля

ющ

ем

бо

ле

е г

лу

бо

ко

ос

ве

ти

ть

во

пр

ос

.—

Ос

об

ен

но

по

ле

зны

, ко

гда

во

з�м

ож

ны

язы

ко

вы

е т

руд

но

ст

и.

—Б

ол

ьш

е в

ер

оя

тно

сть

по

луч

ить

ин

фо

рм

ац

ию

от

оф

иц

иа

ль

ны

х л

иц

вы

со

ко

го р

ан

га.

ОСНОВНЫЕ ЭТАПЫ РАЗРАБОТКИ И ПРОВЕДЕНИЯ ОЦЕНКИ 41Н

аб

лю

ден

ие

Ан

кет

ир

ова

ни

е

Ан

ал

из

пи

сьм

енн

ых

до

кум

ент

ов

На

бл

юд

ен

ие

и в

ед

ен

ие

за

пи

се

й в

жур

на

ле

ил

и д

не

вн

ик

е: к

то, ч

то,

ко

гда

, гд

е и

ка

ки

м о

бр

азо

м. Н

аб

лю

�д

ен

ие

мо

же

т б

ыть

не

вк

лю

че

нн

ым

,и

ли

пр

ям

ым

(н

аб

лю

да

тел

ь с

мо

три

ти

за

пи

сы

ва

ет)

ил

и в

кл

юч

ен

ны

м(н

аб

лю

да

тел

ь н

а в

ре

мя

ста

но

ви

тся

уча

стн

ик

ом

пр

ои

сх

од

ящ

его

).

Сп

ис

ок

во

пр

ос

ов

, от

ве

ты

на

ко

то

�р

ые

мо

жн

о п

ос

ле

до

ва

те

ль

но

ко

�д

ир

ов

ат

ь.

Ан

ал

из

до

ку

ме

нт

ов

: за

пи

се

й, а

д�

ми

ни

ст

ра

ти

вн

ых

ба

з д

ан

ны

х,

уч

еб

ны

х м

ат

ер

иа

ло

в, к

ор

ре

сп

он

�д

ен

ци

и.

— К

ач

ес

тв

о и

це

нн

ос

ть

да

нн

ых

су

ще

ст

ве

нн

о з

ав

ис

ят

от

на

вы

ко

вн

аб

лю

де

ни

я и

ве

де

ни

я з

ап

ис

ей

.—

Во

змо

жн

а н

ео

дн

озн

ач

на

я и

н�

те

рп

ре

та

ци

я р

езу

льт

ат

ов

.—

Тр

уд

но

пр

им

ен

им

о в

же

ст

ки

хв

ре

ме

нн

ы´х

ра

мк

ах

пр

и н

ал

ич

ии

изм

ен

ен

ий

в п

ро

це

сс

е.

— К

ач

ес

тв

о о

тв

ет

ов

в б

ол

ьш

ой

ме

ре

за

ви

си

т о

т ч

ет

ко

ст

и ф

ор

му

�л

ир

ов

ки

во

пр

ос

ов

.—

В с

лу

ча

е р

ас

сы

лк

и с

ло

жн

о п

о�

бу

ди

ть

лю

де

й з

ап

ол

ни

ть

ан

ке

ты

ив

ер

ну

ть

их

.—

Мо

же

т и

ме

ть

ме

ст

о «

по

дго

нк

а»

де

ят

ел

ьн

ос

ти

и о

пы

та

лю

де

й п

од

зад

ан

ны

е к

ат

его

ри

и.

—М

ож

ет

за

ня

ть

мн

ого

вр

ем

ен

и.

— Д

ае

т о

пи

са

те

ль

ну

ю и

нф

ор

ма

�ц

ию

о к

он

те

кс

те

и н

аб

лю

да

ем

ых

изм

ен

ен

ия

х.

— П

озв

ол

яе

т р

аб

от

ат

ь с

ра

зу с

бо

ль

шо

й в

ыб

ор

ко

й.

— Д

ае

т р

ес

по

нд

ен

та

м в

озм

ож

но

ст

ьп

од

ума

ть

, пр

еж

де

че

м д

ат

ь о

тв

ет.

— О

пр

ос

мо

же

т б

ыт

ь а

но

ни

мн

ым

.—

Ус

та

на

вл

ив

ае

т е

ди

но

об

ра

зие

,т

ак

ка

к в

се

ре

сп

он

де

нт

ы о

тв

еч

аю

тн

а о

дн

и и

те

же

во

пр

ос

ы.

— О

бл

егч

ае

т с

бо

р и

ср

ав

не

ни

ед

ан

ны

х.

— М

ож

но

вы

яв

ит

ь в

оп

ро

сы

, по

д�

ле

жа

щи

е д

ал

ьн

ей

ше

му

ис

сл

ед

ов

а�

ни

ю, и

по

ка

зат

ь д

ей

ст

ви

я, и

зме

не

�н

ия

и в

озд

ей

ст

ви

я, к

от

ор

ые

да

ют

об

ос

но

ва

ни

е в

ос

пр

ия

ти

ю с

ит

уа

�ц

ии

ре

сп

он

де

нт

ам

и.

—Н

е т

ре

бу

ет

бо

ль

ши

х з

ат

ра

т.

Ист

оч

ни

к:

По

ма

те

ри

ал

ам

Ta

sch

ere

au

(1

99

8).

ленной задачи обучение занимает от трех дней до нескольких

недель.

Апробация — тот важный шаг, который позволяет определить,

получим ли мы с помощью данного инструментария необходи�

мые данные и как именно нам следует их собирать. Пробный тест

должен быть максимально приближен к условиям работы на мес�

тах. Поэтому неплохо уже при проведении апробации иметь под

рукой программы для обработки данных, чтобы проверить, на�

сколько они функциональны. Также в рамках пробного теста

должны быть охвачены все группы населения и регионы, наме�

ченные для проведения основной работы на местах.

Формирование выборки. Формирование выборки — своего

рода искусство, и заниматься этим должен квалифицированный

специалист. Структура выборки может быть несложной, но при ее

разработке обязательно нужны профессиональные знания для

определения подходящих границ выборки, ее объема и способа

формирования (в нашем случае мы обсуждаем оценки, для кото�

рых используются бо´льшие, репрезентативные выборки). Специ�

алист по формированию выборки должен участвовать в процессе

оценки с самого начала, чтобы анализировать имеющуюся ин�

формацию, необходимую для составления выборки, и определить

потребность в переписи, для чего может потребоваться значи�

тельное время.

Как и на других стадиях проведения оценки, важна координа�

ция между специалистом по выборке и остальными членами ко�

манды. Это имеет особенное значение при использовании метода

сравнения по подобию, поскольку структура выборки служит ос�

новой для сравнения по подобию (согласования), которое являет�

ся центральным элементом плана оценки и конструирования ги�

потетического сценария. В таких случаях специалист по форми�

рованию выборки должен работать в тесном контакте с коман�

дой, производящей оценку, чтобы выработать критерии

сравнения по подобию экспериментальной и контрольной групп.

Например, при оценке школьной реформы в Никарагуа автоном�

ные школы были стратифицированы по типу, количеству учащих�

ся, продолжительности участия в программе и географическому

положению, а затем было проведено сравнение по подобию с вы�

боркой школ, не имеющих автономного статуса. Для последних

использовалась такая же стратификация, за исключением про�

должительности участия в реформе. Этот процесс можно упрос�


тить, если сотрудник, отвечающий за сбор данных, предоставит

специалисту по выборке всю необходимую информацию, вклю�

чая данные по выбранным показателям результата для расчета

мощности выборки (определения объема выборки, который по�

требуется для проверки статистической значимости различий

между группами), необходимые данные о населении и детальные

характеристики потенциальных экспериментальной и контроль�

ной групп.

Существует немало компромиссов между стоимостью и надеж�

ностью выборки, о которых не стоит забывать при ее подготовке.

Так, проведение выборки в два или три этапа снижает расходы как

на формирование этой выборки, так и на проведение работы на

местах; вместе с тем увеличивается ошибка выборки, и, следова�

тельно, растет точность оценки.

Определив переменные, описывающие результат, и представ�

ляющую интерес группу(ы), специалист по выборке первым де�

лом решает вопрос о расчете мощности выборки (расчеты мощ�

ности выборки рассматриваются в Valadez and Bamberger,

p. 382–384). Поскольку расчеты мощности выборки проводятся

на основании только одного показателя результата, а в ходе

оценки обычно используются несколько таких показателей, не�

обходимо решить, какие именно показатели результата будут за�

действованы при планировании выборки.

Разработав стратегию выборки и подобрав инструменты, спе�

циалист по формированию выборки также должен принять учас�

тие в составлении выборок для работы на местах и пробного ис�

следования во избежание их дублирования. Нередко первона�

чальная работа на местах должна проводиться как часть процеду�

ры по определению выборки. Например, если нет свежих данных

о единицах, подлежащих включению в выборку (домохозяйства,

школы и т.д.), то необходима перепись с присвоением номеров.

Перепись может потребоваться также и в том случае, когда нужно

определить группу населения, представляющую интерес для ис�

следования (например, недоедающие дети), с тем чтобы впослед�

ствии избрать ее для проведения оценки.

По окончании работы на местах специалист по выборке должен

помочь в определении весов выборки для расчета коэффициентов

расширения и внесения поправок на ошибки выборки и отсутствие

ответов. (Grosh and Mun~oz (1996) подробно описывают порядок

формирования выборки как часть работы по обследованию домо�

хозяйств. Одним из типовых учебников в области работы с выбор�


кой считается работа Kish (1965).) И, наконец, специалист по выбор�

ке должен разработать документ, детализирующий стратегию фор�

мирования выборки и включающий: а) на стадии планирования вы�

борки: расчеты ее мощности, в которых используются переменные

воздействия; определение ошибок и объемов выборки; использова�

ние стратификации для анализа изучаемого населения; б) на стадии

формирования выборки: обзор этапов и процедур отбора; в) на ста�

дии работы на местах и подготовки к анализу: соотношение выбор�

ки и генеральной совокупности (популяции), процент отсутствую�

щих данных и другая информация, необходимая для определения

весов выборок. Документ также должен содержать и дополнитель�

ную информацию, которая понадобится аналитику для работы с

данными оценки. Его можно использовать для отражения хода

оценки; также его следует включать в пакет, направляемый аналити�

кам и призванный помочь им в использовании данных оценки.

Анкеты. Структура анкеты играет важную роль в обеспечении

валидности (надежности) собранной информации. Для проведе�

ния оценки воздействия необходимо иметь в наличии четыре ти�

па данных (Valadez and Bamberger, 1994).

• Соотнесение номинальных данных с респондентами, которые

классифицируются в зависимости от своего участия в проекте

или принадлежности к контрольной группе.

• Отображение в переменных, имеющих отношение к проекту,

не только факта получения услуг и помощи, но и их частоты,

качества и количества. Определение качества может быть за�

труднительным.

• Переменные результата (продукта), с помощью которых будет из�

меряться воздействие проекта. Они включают в себя немедленные

результаты, долгосрочные эффекты или предоставление услуг в

течение длительного периода времени, а также воздействие про�

екта (например, повышение дохода и снижение безработицы).

• Промежуточные переменные, которые являются по сути фак�

торами, определяющими участие в проекте или тип воздейст�

вия, и представлены характеристиками индивидуумов, домо�

хозяйств или сообществ. Эти переменные могут иметь важное

значение для изучения смещений.

Для получения достоверной информации весьма важно, каким

образом и в какой очередности задаются вопросы. В качестве


примера можно привести определение уровня благосостояния

для измерения прямого воздействия проекта по борьбе с беднос�

тью. Вопросы о доходе, заданные напрямую, не обязательно дадут

адекватное представление об уровне экономического благосо�

стояния. Литература по этой теме рекомендует для определения

истинного уровня благосостояния человека или домохозяйства

использовать вопросы о расходах, составе домохозяйства, иму�

ществе, подарках, денежных переводах, а также предполагаемой

стоимости продукции, произведенной в собственном хозяйстве,

или собственного жилья. Время, прошедшее с момента покупки, и

порядок, в котором задаются вопросы, могут значительно повли�

ять на валидность полученной информации.

Для хорошей анкеты характерна, в числе прочего, краткость и

акцент на важных вопросах. Инструкции и вопросы должны быть

четкими и касаться той информации, которая требуется для оцен�

ки. Для закрытых вопросов необходимо предусмотреть вариант

«затрудняюсь ответить» — это обеспечит надежность данных.

Предлагая анкету респондентам, следует использовать надежные

процедуры, причем в зависимости от типа исследования (количе�

ственное или качественное) они могут быть неодинаковыми.

Аспекты работы на местах. Благодаря сотрудничеству с ме�

стными специалистами, имеющими опыт сбора данных, анало�

гичных тем, что требуются для данного обследования, проведе�

ние работ на местах можно значительно облегчить; такие специ�

алисты хорошо осведомлены о географии изучаемого региона,

они владеют информацией о том, где найти респондентов и ка�

кой подход к ним был бы наиболее приемлемым. Работники на

местах, подготовка которых не соответствует требуемой квали�

фикации в данной ситуации, могут послужить источником про�

блем: так произошло, например, при оценке образовательной си�

стемы в Никарагуа, где исследованием школ и домохозяйств зани�

малась компания, специализирующаяся на изучении обществен�

ного мнения. Знания и опыт, благодаря которым фирма точно

прогнозировала неожиданные итоги выборов и заслужила пре�

красную репутацию, оказались недостаточными для того, чтобы

работать со школьниками или объединять серии количественных

данных. Отсутствие требуемого опыта привело к значительным

проблемам, для устранения которых потребовалось несколько

недель работы совместной команды специалистов Министерства

образования и сотрудников Всемирного банка.


Тип работников для сбора данных на местах подбирается в

зависимости от целей и направленности оценки. Например, для

осуществления количественной оценки воздействия програм�

мы по улучшению питания может потребоваться антропомет�

рист: чтобы собрать данные о соотношении роста и веса, в то

время как для оценки воздействия образовательной реформы

наверняка понадобятся специалисты по проведению тестов на

успеваемость. Для большинства количественных исследований

необходима команда, состоящая по крайней мере из координа�

тора исследования, специалиста по обработке данных, коорди�

натора, контролеров за работой на местах, интервьюеров,

операторов, ответственных за ввод данных, и водителей. В зави�

симости от выбранного качественного подхода состав группы

может остаться неизменным (за исключением ответственных за

ввод данных). Однако качественные и количественные исследо�

вания требуют от интервьюеров различных навыков. Поэтому

для проведения фокус�групп, прямого (невключенного) наблю�

дения и т.д. требуется специальная подготовка.

Есть еще три момента, о которых нельзя забывать при плани�

ровании обследования. Во�первых, важно учитывать события,

которые могут оказать влияние на успех работы на местах

и/или внешнюю валидность собранных данных. Это может

быть структура учебного года, праздники, сезоны дождей, сбора

урожая или закономерности миграционных процессов. Во�вто�

рых, важным моментом является апробация инструментов для

сбора данных, даже если они уже применялись ранее. Апроба�

ция служит как для выяснения того, позволяют ли данные инст�

рументы получить необходимую информацию, так и для озна�

комления работников на местах с процессом сбора данных.

Пробные исследования также могут выступать в качестве «ис�

пытательного полигона» для формирования команды работни�

ков на местах, которым предстоит осуществить реальное обсле�

дование. Многие опытные сборщики данных в пробном («пи�

лотном») исследовании используют на 10–20% больше сотруд�

ников, чем потребуется в работе на местах. Работники, показав�

шие лучшие результаты в ходе пробных обследований, войдут в

команду работников на местах. И, наконец, для работы на мес�

тах немаловажно общение и взаимодействие. Например, по

возможности контролеров за работой на местах необходимо

снабдить мобильными телефонами, чтобы они могли связаться

с координатором исследования, координатором работы на ме�


стах и другими сотрудниками, отвечать на возникающие во�

просы и сообщать о ходе работы.

Управление данными и доступ к ним. Задача системы уп�

равления — обеспечить своевременное получение данных и их

качество. Своевременность достигается максимальной интегра�

цией процессов сбора и обработки данных, чтобы ошибки мог�

ли быть выявлены и исправлены до завершения работ на местах.

Качество информации можно обеспечить «проверкой последо�

вательности», контролирующей внутреннюю валидность со�

бранных данных и во время ввода, и после него; этому же служит

предоставление аналитикам нужной документации. Такая доку�

ментация должна содержать информацию двух видов: а) инфор�

мация, которая потребуется для интерпретации данных, вклю�

чая коды, словари данных, руководства, описывающие использу�

емые переменные, и необходимые переводы; б) информация,

необходимая для анализа, — она часто содержится в базовом ин�

формационном документе, где приведены описание направлен�

ности и целей оценки, детали методики оценки, описание или

примеры инструментов, с помощью которых осуществляется

сбор данных, а также анализ работы на местах и руководство по

использованию данных.

Данные о результатах оценки должны быть открытыми, по�

скольку оценки имеют характеристики общественного блага;

кроме того, эти данные могут потребоваться для дальнейшей ра�

боты по оценке долгосрочного воздействия, которой будет за�

ниматься уже другая группа. Совместному использованию дан�

ных способствует изначальное принятие политики информаци�

онной открытости. Для этого необходимо согласовать и подпи�

сать документ, определяющий нормы и обязанности по распро�

странению данных. Политика открытого доступа требует допол�

нительных мер по обеспечению качества информации и защи�

ты конфиденциальности экспертов–источников информации.

Если различные структуры на протяжении определенного вре�

мени получают информацию от одних и тех же экспертов в рам�

ках панельных обследований, то, чтобы иметь возможность

проводить работу в дальнейшем, таких экспертов будет необхо�

димо обозначить. Это требование должно разумно сочетаться с

принципом конфиденциальности, принятым при социологиче�

ских исследованиях. Одно из возможных решений — предоста�

вить всем заинтересованным исследователям анонимные запи�

си. Исследователи, желающие провести дополнительную работу,


могут обратиться в структуру, где находятся данные, и получить

список единиц выборки. Таким образом, структура, отвечающая

за данные, получает возможность контролировать качество при

последующей работе, общаясь с исследователями, заинтересо�

ванными в ее проведении.

Анализ, отчетность и распространение

Подобно другим стадиям процесса оценки, количественный или ка�

чественный анализ данных требует взаимодействия между аналити�

ками, теми, кто готовит данные, и разработчиками стратегии для то�

го, чтобы прояснить имеющиеся вопросы и получить своевремен�

ные и качественные результаты. Во время анализа практически не�

избежно возникнут проблемы, связанные с проверкой и интерпре�

тацией данных; для их разрешения потребуется участие разных чле�

нов команды.

Некоторые методики проведения количественного анализа

с помощью статистических методов и связанные с этим про�

блемы рассмотрены в главе 3. Также существует множество ме�

тодов анализа качественных данных (Miles and Huberman,

1994). Хотя подробное рассмотрение этих методов не входит в

задачи данного руководства, все же упоминаются два метода

оценки воздействия — контент#анализ (content�analysis) и

анализ ситуации (case analysis) (Taschereau, 1998). Контент#

анализ применяется к данным интервью, наблюдений и доку�

ментов. Рассматривая данные, оценщик разрабатывает систему

их классификации и организует информацию на основе: а) во�

просов оценки, для ответа на которые была собрана информа�

ция, б) планов использования материала и в) потребности в пе�

рекрестной сверке для подтверждения информации. Кодиров�

ка данных может оказаться довольно сложным процессом и

потребовать многих допущений. После выработки единой сис�

темы классификации начинается фаза анализа, с которым так�

же связаны определенные трудности. Анализ подразумевает

определение закономерностей в имеющихся данных и пере�

ход от простого описания к пониманию процессов програм�

мы, ее результатов и воздействий. Лучше это делать вместе с

другими членами команды. В качестве вспомогательных инст�

рументов при анализе качественных данных в настоящее вре�

мя имеются этнографические и лингвистические компьютер�

ные программы.


Анализ ситуации (case analysis) основан на исследовании кон�

кретной ситуации (case studies), цель которого — глубокое изуче�

ние отдельной группы или индивидуума. Высокий уровень дета�

лизации может дать обширную информацию для проведения

оценки воздействия проекта. Сбор и анализ данных производят�

ся одновременно, так как оценщики осуществляют наблюдения в

процессе сбора данных. Затем они могут выработать и прове�

рить объяснения и связать важные фрагменты информации в

единое целое.

Примеры в приложении 1 дают несколько общих рекоменда�

ций, касающихся анализа, документирования и распространения

количественной и качественной информации.

Во�первых, обычно анализ занимает больше времени, чем

планировалось, особенно если данные не столь однозначны и

доступны, как ожидалось, если аналитики не сталкивались с по�

добным типом оценок или если приоритет отдается формиро�

ванию потенциала в ходе совместной работы. Применительно

к конкретным ситуациям, рассмотренным в данном обзоре, ми�

нимальное время, в течение которого проводился анализ, со�

ставило около года с момента получения данных, максималь�

ное — почти два года. С помощью примера в главе 3 иллюстри�

руются некоторые этапы в процессе анализа; также дается объ�

яснение, почему анализ потребовал больше времени, чем было

запланировано.

Во�вторых, координатор оценки должен предполагать получе�

ние в ходе аналитической работы нескольких типов результатов,

не забывая при этом о следующих двух моментах. Первый — полу�

чение результата должно быть приурочено к важным этапам, ког�

да будет решаться будущее проекта: промежуточные отчеты, вы�

бор или окончание пробной фазы. Второй — это аудитория, для

которой предназначен результат. Результаты оценки следует диф�

ференцировать в зависимости от того, кто является их «конечным

потребителем»: разработчики стратегии в правительстве, коорди�

наторы программ, спонсорские организации, широкая общест�

венность, журналисты или ученые.

В�третьих, результаты будут иметь больше отношения к страте�

гии, если будут сопровождаться четкими практическими реко�

мендациями, основанными на анализе воздействия. В рекоменда�

циях могут быть выделены приоритеты с учетом краткосрочной

или долгосрочной перспективы и, по возможности, давать пред�

ставление о стоимостном аспекте; те, кто будет принимать окон�


чательное решение, будут обращать внимание на итоговую стои�

мость проекта.

Наконец, отчеты следует планировать как часть более мас�

штабной стратегии распространения информации; в ее рамках

могут быть предусмотрены презентации для различных аудито�

рий, выпуск пресс�релизов, налаживание обратной связи с экс�

пертами�источниками информации, размещение информации в

Интернете. Для того чтобы на реализацию подобной информаци�

онной стратегии в смете были предусмотрены необходимые

средства и чтобы обеспечить охват целевой аудитории, страте�

гию необходимо заложить уже на начальной стадии процесса

планирования.


В качестве основы для анализа конкретной ситуации («кейс�стади») выбра�

на гипотетическая программа по борьбе с бедностью — PROSCOL. В рамках

программы бедным семьям с детьми школьного возраста в одном из регио�

нов определенной развивающейся страны предоставляются денежные по�

собия. «Кейс�стади» иллюстрирует последовательные ступени анализа при

проведении оценки воздействия, а также варианты, с которыми может

иметь дело аналитик. Описанный здесь процесс можно применить к лю�

бой программе по борьбе с бедностью. Когда аналитик определяет, как оце�

нивать воздействие данной программы, он совершает несколько типичных

ошибок и обращается к своим коллегам, специалистам в разных областях —

статистику, экономисту, преподавателю эконометрики и социологу.

В данном примере аналитик последовательно проходит следующие

стадии анализа: определение вопросов, рассматриваемых при оценке

воздействия, оценка информационных ресурсов, предварительное зна�

комство с данными, выяснение природы смещений, определение упу�

щенного дохода, добавление контрольных переменных, уяснение важ�

ности влияния внешних факторов, поиск лучших методов формирова�

ния контрольной группы (отбор подобного по склонности), изучение

смещений, вызванных ненаблюдаемыми факторами, анализ вариантов

работы с исходными (базовыми) данными (с использованием метода

двойных различий), использование инструментальных переменных,

апробация различных методов, использование информации, получен�

ной в ходе работ на местах, планирование последующей работы.

Описание гипотетической программы PROSCOL

В программе PROSCOL определяются семьи, имеющие право на учас�

тие в ней. Делается это посредством использования различных пока�

Глава 3

Применение аналитических методовпри оценке воздействия: анализ

конкретной ситуации*

* В этой главе использован материал из информационной статьи MartinRavallion, The Mystery of the Vanishing Benefits: Ms. Speedy Analyst's Introduction toEvaluation, Policy Research Working Paper № 2153, 1999.

зателей бедности: количества членов домохозяйства, образовательно�

го уровня главы домохозяйства и различных характеристик жилья. В

рамках PROSCOL выплачивается фиксированная сумма на каждого

ребенка школьного возраста во всех выбранных домохозяйствах при

условии, что дети посещают не менее 85% уроков; посещаемость

должна подтверждаться справкой из школы. Домохозяйства обязаны

обеспечить посещение детьми школы до достижения ими 18 лет.

Данная программа была введена 12 месяцев назад. Она финанси�

руется Всемирным банком и проводится Министерством социально�

го развития. Чтобы решить, распространять программу на всю тер�

риторию страны или отказаться от нее, следует оценить ее воздейст�

вие на снижение бедности. Для этого Всемирный банк обратился в

Министерство финансов с запросом на проведение оценки эффек�

тивности программы. Работа была поручена именно Министерству

финансов с тем, чтобы обеспечить независимость оценки и способ�

ствовать формированию потенциала для проведения такого рода

оценок в одном из центральных подразделений правительства, где

принимаются решения о распределении бюджетных средств.

Определение вопросов,рассматриваемыхпри оценке воздействия

Первый шаг аналитика из Министерства финансов, которому поручено

оценить воздействие PROSCOL, — определить, какие именно задачи

проекта подлежат рассмотрению при оценке воздействия. Проект пре�

следует две основные стратегические цели: денежные выплаты способ�

ствуют сокращению текущей бедности, а условие обязательного посе�

щения школы детьми получателей пособий направлено на снижение

уровня бедности в будущем, благодаря повышению образовательного

уровня ныне существующих бедных детей. Поэтому для оценки воздей�

ствия потребуются два типа информации. Во�первых, поступают ли по�

собия в основном в семьи с низким доходом? Во�вторых, насколько

программа способствует росту показателей зачисления в школу?

Оценка информационных ресурсов

Для проведения оценки у аналитика есть два главных ресурса. Первый —

это отчет, основанный на качественных интервью с администраторами

программы и результатах работы фокус�групп участников. Впрочем, не�

ясно, являются ли интервьюируемые типичными участниками програм�

мы и насколько они бедны по сравнению с теми, кто не попал в програм�


му и не был опрошен. Отчет свидетельствует о том, что дети действи�

тельно посещали школу, но, возможно, это имело бы место и без про�

граммы. Хотя этот отчет и важен для того, чтобы начать анализ, он не да�

ет аналитику информации об уровне бедности участников PROSCOL и о

том, как программа повлияла на посещаемость. Второй ресурс — незави�

симое общенациональное обследование домохозяйств, называемое

«Исследование уровня жизни» (Living Standards Survey — LSS), которое

было недавно проведено Статистическим бюро страны. В LSS использо�

валась случайная выборка из 10 000 домохозяйств; изучался уровень до�

хода в зависимости от его источника, типа занятости, расходов, состоя�

ния здоровья, образовательного уровня, а также демографического со�

става и других характеристик семьи. В обследование был включен во�

прос об участии представленного в выборке домохозяйства в програм�

ме PROSCOL, а в разделе «Источники дохода» спрашивалось о сумме по�

лученных от PROSCOL выплат.

Предварительный обзор данных

Затем аналитик обращается к необработанному массиву данных LSS и вы�

ясняет, кто получает пособия в рамках программы. Можно использовать

статистическое программное обеспечение, например пакеты программ

SPSS1 или SAS2, чтобы рассчитать таблицы сопряженности средних сумм,

ПРИМЕНЕНИЕ АНАЛИТИЧЕСКИХ МЕТОДОВ ПРИ ОЦЕНКЕ 53

1 Пакет SPSS v.6.1.2. (1995) (Windows) — занимает около 20 Мбт на

диске (для Base). Требует 4–8 Мбт RAM. Помимо модуля SPSS Base, суще�

ствуют модули SPSS Professional Statistics, SPSS Advanced Statistics, SPSS

Tables, SPSS Trends. Весьма удобная структура Windows—интерфейса.

Большой набор разнообразных статистических методов. Нет оценок

стандартных ошибок коэффициентов моделей, совместимых с гетеро�

скедастичностью и автокорреляцией остатков. Имеет дилеров в Москве,

где для пользователей проводятся также курсы. (См.: Магнус Я.Р., Катышев

П.К., Пересецкий А.А., Эконометрика. Начальный курс. М.: «Дело», 1997.)

(Здесь и далее — примечания редактора.)2 SAS (Windows) — самый объемный из существующих пакетов. Ох�

ватывает практически все области прикладной статистики и анализа

данных. Имеет лучшие средства для работы с данными. Существуют вер�

сии практически для всех платформ. В настоящее время является мощ�

ным средством для сбора, доставки, хранения и отображения информа�

ции. Однако за это приходится платить. PC—версия работает крайне

медленно, неэффективно использует память, требует много пространст�

ва на винчестере. Это наиболее распространенный пакет, однако боль�

шинство пользователей не являются эконометристами, а представляют

другие области социальных и естественных наук. Документация не ори�

ентирована на экономистов. Большой объем документации затрудняет

показывающие соотношение долей трансфертов, которые предоставля�

ются программой, и долей получающих их домохозяйств по децилям; де�

цили формируются при ранжировании всех домохозяйств в выборке на

основании данных о подушевом доходе. При подсчете последнего анали�

тик вычитает из общего дохода сумму, полученную от PROSCOL, чтобы

выяснить, каким был бы доход без программы, и определить тех, кто выиг�

рал по сравнению с доходом до реализации программы.

Таблица сопряженности (cross�tabulathion) подтверждает, что де�

нежные выплаты в рамках программы обладают довольно высокой

степенью адресности по отношению к бедным. Согласно официаль�

ному уровню бедности, принятому в этой стране, бедные составляют

около 30% населения Северо�Запада. Расчеты на основе таблицы по�

казывают, что беднейшие 30% изучаемой выборки получают 70% по�

собий в рамках PROSCOL. На первый взгляд, результат положителен.

Следующий вопрос — определение воздействия на школьную посе�

щаемость. В таблице сопряженности представлены средние показатели

зачисления в школу для разных возрастов участников PROSCOL по

сравнению с семьями, не получающими пособий. Они почти не разли�

чаются: средняя посещаемость для детей 16–18 лет в обоих случаях со�

ставляет 80%. Затем аналитик подсчитывает среднее количество лет по�

сещения школы для каждой возрастной группы и в графической форме

представляет результаты для участвующих и не участвующих в

PROSCOL. На графике видно, что рисунки не совпадают, но очень близ�

ки. На этой стадии аналитика интересует вопрос: действительно ли воз�

действие на посещаемость отсутствует, или выбран неверный подход?

Понимание природы смещений

Чтобы ответить на вопрос, почему у детей, участвующих в

PROSCOL, такой же уровень посещаемости школы, как у неучаству�

ющих, аналитику потребуется помощь статистика. Статистик вы�

сказывает предположение о том, что результаты могут быть под�


быстрое освоение пакета. Нет возможности работать с лагированными

переменными. Нет оценок стандартных ошибок коэффициентов моде�

лей, совместимых с гетероскедастичностью и автокорреляцией остат�

ков. По набору современных эконометрических методов уступает спе�

циализированным эконометрическим пакетам (NSP, MicroTSP и др.). SAS

Institute издает журнал для пользователей SAS. Впрочем, аналогичные пе�

риодические журналы для своих пользователей издают также SPSS,

GAUSS, RATS, SPSS. (См.: Магнус Я.Р., Катышев П.К., Пересецкий А.А., Эконо�

метрика. Начальный курс. М.: «Дело», 1997.)

вержены серьезному смещению. Для оценки воздействия програм�

мы нам необходимо знать, какая ситуация имела бы место в ее от�

сутствие. Но аналитик не учел этого момента и в качестве сравни�

тельной группы использовал семьи, не участвующие в программе,

сделав на этом основании вывод о том, какой была бы посещае�

мость без PROSCOL.

Другими словами, Pi означает участие i�ого ребенка в PROSCOL.

Оно может иметь два значения: Pi = 1, если ребенок участвует в про�

грамме, и Pi =0, если не участвует. Если i�й ребенок не участвует, тогда

уровень его посещаемости школы составляет S0i, это означает, что

посещаемость i–ого ребенка при P = 0 равна S. Если ребенок участву�

ет, то его посещаемость равна S1i. Рост посещаемости, благодаря

PROSCOL, равен разности S1i�S0i. Такой прирост для i�ого ребенка, ко�

торый участвует (P = 1), составляет:

Gi = S1i � S0i | Pi = 1.

Знак «|» означает: «при условии, что», т.е. расчет представляет при�

рост только для фактически принявшего участие в программе ребен�

ка. Для того, чтобы узнать средний прирост посещаемости школы,

надо вывести среднее арифметическое значение для всех G; таким

образом, получим средний по выборке прирост для тех, кто участво�

вал в PROSCOL. Если расчет этого среднего арифметического значе�

ния произведен правильно (т.е. использовались соответствующие

веса выборки из обследования), то он даст несмещенную оценку ис�

тинного среднего прироста. Последнее — это «ожидаемое значение»

G, и его можно выразить следующим образом:

G = E(S1i � S0i | Pi =1).

Это — еще один способ определения «среднего значения». Впрочем,

эта цифра необязательно равна среднему арифметическому, рассчитан�

ному на основе данных выборки, по причине погрешности самой вы�

борки. В литературе по проведению оценок выражение E(S1i � S0i | Pi =1)

иногда называют «эффектом воздействия», или прямым «средним эф�

фектом воздействия на воздействуемых». В данном случае воздействи�

ем считается PROSCOL.

Статистик указывает аналитику на то, что было рассчитано не

G, а различия в средней посещаемости школы между детьми, уча�

ствующими и неучаствующими в программе. Вот оценка по вы�

борке:


D = E(S1i | Pi =1) – E(S0i | Pi = 0).

Между D и G существует простая связь:

D = G + B,

где «B» означает смещение в оценке. Оно выражается формулой:

B = E(S0i | Pi =1) � E(S0i | Pi = 0).

Другими словами, смещение — это ожидаемая разница в посеща�

емости школ детьми, фактически участвующими и не участвующими

в программе, при отсутствии PROSCOL. Это отклонение можно от�

корректировать, если знать значение E(S0i | Pi =1), но его невозможно

оценить даже по выборке. Нельзя представить, какой была бы посе�

щаемость детей, фактически участвующих в PROSCOL, если бы они

не участвовали в программе. Это и есть отсутствующие данные, или

среднеарифметическое значение «альтернативного сценария».

Такое смещение является серьезной проблемой. Возможно, в от�

сутствие PROSCOL участвующие семьи посылали бы детей в школу

реже, чем неучаствующие семьи. Если это так, то в расчетах присутст�

вует смещение. Вернемся к изначальному вопросу оценки, нас инте�

ресует рост посещаемости, обусловленный воздействием PROSCOL.

Возможно, эффект распространяется только на семьи, участвующие

в программе. Другими словами, нам нужно знать, насколько меньшей

была бы посещаемость без программы. Если смещения нет, то «до�

полнительная посещаемость благодаря программе» измеряется как

разница в средней посещаемости между участвующими и неучаству�

ющими. Таким образом, смещение возникает, если среднеарифмети�

ческая посещаемость участников и неучастников PROSCOL различа�

ется и в отсутствие программы.

Лучший способ избежать этого смещения — сделать участие в

программе случайным. Тогда участники и неучастники будут иметь

одинаковую ожидаемую посещаемость в отсутствие программы, т.е.

E(S0i | Pi =1) = E(S0i | Pi = 0), а посещаемость неучаствующих семей пред�

ставит нам истинный альтернативный сценарий, т.е. посещаемость,

которую мы наблюдали бы у участников, если бы они не имели досту�

па к программе. Более того, случайный выбор участников уравняет

все распределение, а не только средние значения. Смещение также

возможно из�за ошибки выборки, но для достаточно больших выбо�

рок можно с уверенностью предположить, что любая статистически


значимая разница в распределении посещаемости между участника�

ми и неучастниками является результатом воздействия программы.

Согласно имеющемуся плану программы, участие в ней не случай�

но. Более того, если бы обнаружилось, что участие случайно, то это

стало бы серьезным основанием для критики PROSCOL. Сам факт то�

го, что программа адресована бедным семьям, которые, по всей веро�

ятности, менее склонны отправлять детей в школу, дает эффект сме�

щения.

В связи с этим возникает вопрос: если PROSCOL работает хоро�

шо, то можно ожидать, что при ее отсутствии посещаемость шко�

лы среди участников программы была бы ниже. Если это так, то

E(S0i | Pi =1) < E(S0i | Pi =0), и изначальный расчет аналитика недо�

оценивает положительный эффект от программы. Нам может по�

казаться что польза невелика или ее нет вообще, в то время как на

деле программа успешно работает.

Теперь аналитик осознает, насколько существенной может быть ве�

личина смещения. Предположим, что дети из бедных семей не ходят в

школу, а работают; поскольку они бедны и им трудно занимать деньги,

дополнительные средства нужны им немедленно. Обеспеченные же

семьи отправляют детей в школу. Для участия в программе отбирают�

ся бедные семьи, чьи дети будут ходить в школу. Разницей в среднеста�

тистической посещаемости школы, которая наблюдается между семь�

ями, участвующими и неучаствующими в PROSCOL, можно прене�

бречь. Действительно, предполагается, что E(S1i | Pi =1) = E(S0 i | Pi =0). Но

воздействие программы положительно и выражается соотношением

E(S0i | Pi = 0) � E(S0i | Pi =1). Если аналитик произведет лишь сравнения

средних показателей посещаемости школы участниками и неучастни�

ками PROSCOL, не учитывая тот факт, что программа ориентирована

именно на бедных, то это приведет к существенному занижению оцен�

ки пользы PROSCOL.

Изучение «упущенного дохода»

Затем аналитик показывает таблицы сопряженности сумм, получен�

ных через PROSCOL, и доходов еще одному своему коллеге — эконо�

мисту из Министерства финансов. Экономист обозначает основную

проблему: прирост дохода бедных благодаря PROSCOL явно завы�

шен, поскольку не был учтен упущенный доход. Чтобы семья могла

получать пособия от PROSCOL, дети из нее должны ходить в школу.

Поэтому они не могут работать ни в семейном бизнесе, ни по найму.

Например, дети 15–18 лет могут зарабатывать в сельском хозяйстве и


строительстве до двух третьих от заработка взрослых, а то и больше.

Семьи, участвующие в PROSCOL, не получают дохода от труда своих

детей. Этот упущенный доход следует учитывать при подсчете чисто�

го прироста дохода от участия в программе и для того, чтобы опреде�

лить доход до вмешательства: из общего дохода следует вычитать

именно этот чистый прирост, а не общую сумму пособий. Это также

будет иметь значение в определении того, насколько бедна была бы

семья без пособия PROSCOL. Полученная таблица, таким образом,

может сильно преувеличивать сумму выигрыша от программы.

Аналитик хочет понять, почему ему следует выносить за скобки

потерянный доход от детского труда, считая сокращение этого

детского труда благом. Экономист подчеркивает, что нужно обра�

щать внимание на выгоды от сокращения такого труда, главной из

которых является рост посещаемости школы и, следовательно, бо�

лее высокий доход бедных семей в будущем. Аналитик составил

таблицы, в которых представлены два основных способа, которы�

ми PROSCOL способствует сокращению бедности: увеличение те�

кущих доходов бедных и увеличение их будущих доходов. Воздей�

ствие на детский труд влияет на оба этих показателя, но в противо�

положных направлениях; таким образом, PROSCOL нужно найти

компромиссное решение.

Данное положение показывает, почему столь важно хорошо оце�

нить воздействие на посещаемость: только в этом случае можно вы�

явить размер упущенного дохода. Так, вполне может быть, что до�

полнительное время, проведенное в школе, относится к нерабочему

времени.

Применительно ко второй таблице сопряженности главный во�

прос, поднимаемый экономистом, заключается в том, что игнориру�

ются любые иные факторы, влияющие на посещение школы, кроме

участия в PROSCOL. Экономист предлагает вычислить регрессион�

ную зависимость количества лет обучения от нескольких контроль�

ных переменных, а также от того, участвовала ли семья ребенка в

PROSCOL. Пусть для i�ого ребенка в выборке:

Si = a + bPi + cXi + εi.

Здесь a, b и с являются параметрами, X означает контрольные пе�

ременные, такие как возраст ребенка, образование матери и отца, ко�

личество членов семьи, демографический состав домохозяйства и

характеристики школы, а ε обозначает остаток, который включает

другие факторы, влияющие на посещаемость школы, плюс ошибки


измерения. Оценочное значение b показывает воздействие PROSCOL

на посещение школы.

Заметьте, что если семья i�ого ребенка участвует в PROSCOL, то P = 1,

и его посещаемость будет: a + b + cXi + εi. Без участия P = 0, и его посеща�

емость будет: a + cXi + εi. Разница — прирост в посещаемости, получен�

ный благодаря программе, т.е. просто b.

Добавление контрольных переменных

По совету экономиста аналитик рассчитывает регрессию с контроль�

ными переменными и без них. При расчете без контрольных пере�

менных получен результат, который свидетельствует о том, что оце�

ночное значение b незначительно отличается от нуля (если приме�

нить стандартный t�тест, входящий в пакет программ по статистике).

Эти результаты очень похожи на первые, когда бралась разница меж�

ду средними арифметическими значениями участников и неучастни�

ков, и говорят о том, что PROSCOL никак не влияет на посещаемость

школы. Однако если в регрессию включить несколько контрольных

переменных, мы получим положительный и значимый коэффициент

эффекта от участия в PROSCOL. Расчет показывает, что к 18 годам уча�

стие в программе дает два дополнительных года посещения школы.

Аналитику неясно, почему эти контрольные переменные ведут к

такой большой разнице и правильно ли они выбраны. Его следую�

щий шаг — визит к своему бывшему преподавателю эконометрики,

которому он показывает свой расчет регрессий. Первый вопрос пре�

подавателя относится к регрессионной зависимости посещаемости

от P и X: регрессия не учитывает того, что воздействие программы из�

меняется вместе с X; получается, что воздействие для всех одинаково,

а это маловероятно. Чем выше у родителей образование, тем больше

вероятность, что их дети будут ходить в школу, так что выгода от уча�

стия в PROSCOL для них будет ниже. Чтобы прирост времени, прове�

денного в школе, мог варьироваться в зависимости от X, допустим,

что средняя посещаемость школы неучастниками будет a0 + c0Xi, а

участниками — a1 + c1Xi, и наблюдаемый уровень посещаемости

можно представить в виде:

Si = (a1 + c1Xi + ε1i)Pi + (a0 + c0Xi + ε0i)(1 � Pi),

где ε0 и ε1 — случайные ошибки со средним значением, равным

нулю, которые не коррелирут с X. Для оценки этой модели необходи�

мо добавить в уравнение регрессии еще один член, описывающий


эффекты взаимодействия между участием в программе и наблюдае�

мыми характеристиками. Таким образом, дополненную регреcсию

можно представить следующим образом:

Si = a0 + (a1� a0)Pi + c0Xi + (c1 � c0)PiXi + εi ,

где εi = ε1iPi + ε0i (1 � Pi). Тогда (a1 � a0) + (c1 � c0)X является средним

значением воздействия программы при любом данном значении X.

Если используется среднее значение X в выборке участников, то по�

лучается среднее значение выигрыша от программы.

Понимание важности экзогенности

Второй вопрос, который задал преподаватель эконометрики, был

связан с порядком расчета регрессии. При расчете регрессии в стати�

стическом пакете посредством команды «обычный метод наимень�

ших квадратов», ОМНК (ordinary least squares, OLS), возникает во�

прос: оценка параметров по методике OМНК будет смещена даже при

больших размерах выборки, если только переменные в правой части

уравнения не являются экзогенными. Экзогенность означает, что пе�

ременные в правой части определяются независимо от переменных

посещаемости, и, таким образом они не коррелируют со значением

ошибки в регрессии школьной посещаемости. Поскольку программа

была адресована конкретной группе, участие в PROSCOL не является

экзогенным. Это может повлиять на расчет воздействия следующим

образом: уравнение, характеризующее количество лет, проведенных

в школе, будет таким:

Si = a + bPi + cXi + εi.

Значение a + b + cXi + εi использовалось в качестве оценки посеща�

емости школы i�ым домохозяйством при участии в PROSCOL, в то

время как a + cXi + εi использовалось для оценки посещаемости в слу�

чае неучастия. Разница b, таким образом, это выигрыш от участия в

программе. Но при выполнении этого расчета, подразумевалось, что

εi в любом случае имеет одно и то же значение. Другими словами, бы�

ло сделано предположение, что ε не зависит от переменной P, что

могло бы повлиять на расчет воздействия программы.

Данная ситуация демонстрирует смещение из�за неслучайного

выбора участников программы, который также может влиять на

оценку, основанную на предложенной экономистом модели регрес�


сии (Si = a + bPi + cXi + εi). Это, однако, не означает, что результаты бу�

дут абсолютно неверны.

Преподаватель эконометрики разъясняет этот момент явным

уравнением для P:

Pi = d + eZi + νi ,

где Z означает несколько переменных, включающих все наблюда�

емые «показатели бедности» (poverty proxies), используемые при

выделении целевой группы для PROSCOL. Здесь также присутствует

чисто случайная ошибка, которая влияет на участие, — это показате�

ли бедности, не попавшие в данные. Также здесь будут ошибки при

отборе участников, которые включены в тот же член ν. Это линейное

уравнение, но P имеет только два значения — 0 и 1. Прогнозируемые

значения между нулем и единицей допустимы, но линейная модель

не исключает и возможности прогнозирования значений больше

единицы или отрицательных значений. Существуют нелинейные мо�

дели, разрешающие эту проблему, но для простоты мы ограничимся

моделями линейными.

Существует особый случай, в котором вышеупомянутая регрессия

S на P и X по методу ОМК даст несмещенную оценку b, т.е. когда X

включает все переменные в Z, которые также влияют на посещае�

мость школы, и ошибка ν не коррелирует c ошибкой ε в регрессии

посещаемости школы. В соответствующей литературе это иногда на�

зывается «выбором по наблюдаемым характеристикам».

Предположим, что контрольная переменная X первой регрессии

посещаемости включает в себя все наблюдаемые переменные Z, вли�

яющие на участие P, а ν не коррелирует с ε (т.е. ненаблюдаемые пере�

менные, влияющие на участие в программе, не влияют на посещае�

мость, обусловленную X). Таким образом, исключается возможность,

что P коррелирует с ε. В регрессии посещаемости школы оно теперь

будет экзогенным. Другими словами, основная мысль «выбора по на�

блюдаемым характеристикам» заключается в том, что есть некая на�

блюдаемая X и что смещение (обусловленное X) исчезнет.

Добавление контрольной переменной к регрессии посещаемости

при участии в PROSCOL привело к большим изменениям, поскольку в

X должны входить переменные, которые были в числе показателей

бедности, используемых при определении целевой группы, или кор�

релировали с ними и тоже влияли на посещаемость школы. Однако

это справедливо только в том случае, когда допущения верны. Следу�

ет помнить о двух возможных проблемах. Во�первых, рассмотрен�


ный метод неэффективен в отсутствие ненаблюдаемых факторов,

определяющих участие. Другими словами, он бесполезен, если ошиб�

ка ν имеет нулевую дисперсию, и все детерминанты участия в про�

грамме также влияют на посещаемость. В таком случае нет независи�

мой вариации участия в программе, которая позволила бы выявить ее

воздействие на школьную посещаемость. P можно совершенно точ�

но прогнозировать на основе X, и поэтому регрессия неприменима.

Такая проблема вряд ли будет возникать часто, так как почти всегда

существуют ненаблюдаемые детерминанты вовлечения в участие в

программе.

Вторая проблема более распространена, и в данном случае явля�

ется более серьезным поводом для беспокойства. Ошибка ε в регрес�

сии школьной посещаемости, вероятно, содержит переменные, не

выявленные в процессе исследования, но вполне способные повли�

ять на участие в программе. Другими словами, они могут быть связа�

ны с ошибкой ν в уравнении участия. Если это верно, то E(ε | X, P) ≠ 0,

и обычные методы регрессии все равно будут содержать смещения

при оценке регрессий посещаемости школы. Таким образом, ключе�

вой вопрос — это степень корреляции между ошибкой в уравнении

участия и ошибкой в уравнении посещаемости школы.

Поиск лучших способов формирования сравнительнойгруппы: отбор подобного по склонности (вероятности)

С помощью преподавателя аналитик узнает, что существуют лучшие

способы формирования контрольной (сравнительной) группы. За�

дача заключается в том, чтобы сравнить уровни посещаемости, обус�

ловленные наблюдаемыми характеристиками. Если группы выборки

разделить на группы семей с одинаковыми или сходными значения�

ми X, то можно сравнить условные средние значения для семей, уча�

ствующих и не участвующих в PROSCOL. Если посещение школы в от�

сутствие программы не зависит от участия в ней при данном X, то

сравнение даст несмещенную оценку воздействия PROSCOL. Иногда

такой подход называют «условной независимостью» (conditional

independence), которая является ключевым допущением при всех ме�

тодах, использующих сравнительные группы.

Таким образом, более эффективный способ выбора сравнитель�

ной группы, учитывая имеющиеся данные, — это использование в ка�

честве контроля для каждого участника соответствующего «неуча�

стника» со сходными наблюдаемыми характеристиками. Но это мо�

жет оказаться очень сложным, поскольку массив данных может со�


держать много таких переменных. Вполне возможно, что среди не�

участников не окажется никого, имеющего те же значения по всем

наблюдаемым характеристикам, что и участник PROSCOL.

Решить эту задачу помогает статистический метод, именуемый ме�

тодом отбора подобного по склонности. Вместо того, чтобы искать

контроль подобия для каждого участника, у которого X имеет одинако�

вые значения, можно проводить отбор по подобию по прогнозируемо�

му значению P при данном значении X, называемому оценкой склонно�

сти показателя X. Согласно Розенбауму и Рубину (Rosenbaum and Rubin,

Biometrika, 1983), если (как в данном случае) посещаемость школы без

PROSCOL не зависит от участия при данном значении X, то участники

также независимы от участия в программе при данной оценке склонно�

сти X. Поскольку оценка склонности представляет собой всего одно

число, обеспечить ее контроль гораздо проще, чем контролировать X,

который может включать в себя много переменных. В то же время

отбора подобного по склонности достаточно для того, чтобы избавить�

ся от смещения, если есть условная независимость при данном X.

Другими словами, если в самой первой регрессионной зависимо�

сти P от X удастся рассчитать прогнозируемое значение P для каждо�

го возможного X, то потом можно оценить его для целой выборки.

Для каждого участника следует найти неучастника с ближайшим зна�

чением этой прогнозируемой вероятности. Тогда различие в посеща�

емости школы будет рассчитанной выгодой от программы для дан�

ного участника.

Затем для оценки воздействия можно взять среднее значение всех

этих различий либо среднее для групп с разным доходом. Однако

при оценке модели участия следует соблюдать осторожность. Линей�

ная модель может дать неправильные прогнозируемые вероятности,

вероятности выше единицы или отрицательную вероятность. Пред�

почтительнее использовать программу LOGIT статистического паке�

та. При этом допускается, что значение ошибки ν в уравнении учас�

тия соответствует логистической кривой и параметры данного допу�

щения рассчитываются методами максимального подобия. Основа�

нием для этого служат принципы оценки максимального подобия

моделей дихотомических переменных.

Также следует помнить, что, возможно, некоторых неучастников

придется исключить из процесса отбора по подобию с самого нача�

ла. По последним данным, появившимся в эконометрической лите�

ратуре, ошибки в сравнении участников и контрольных неучастни�

ков по обычным значениям согласованных переменных — одна из

главных причин смещений в оценках (см. Heckman et al., 1998).


Интуиция подсказывает нам, что контрольная (сравнительная)

группа должна быть максимально подобна экспериментальной в от�

ношении наблюдаемых характеристик, которые представлены в по�

казателе склонности (propensity score). Можно обнаружить, что неко�

торые члены выборки неучастников имеют более низкий показатель

склонности, чем кто�либо в экспериментальной группе. Иногда по�

добную ситуацию называют «дефицитом общей поддержки». Фор�

мируя контрольную группу, следует исключать такие наблюдения из

данных для набора неучастников — это обеспечивает сравнение

только прироста в одном и том же диапазоне показателей склоннос�

ти. Следует также исключить неучастников, для которых вероятность

участия равна нулю. Желательно срезать небольшую часть выборки

(допустим, 2%) с обеих сторон распределения неучастников по пока�

зателю склонности. Определив участников и неучастников по обще�

му согласованному диапазону характеристик, рекомендуется взять

среднее значение, скажем пяти или около того ближайших соседей,

выраженное в абсолютной разнице показателей склонности.


Вставка 3.1. Этапы отбора подобногопо склонности (вероятности)

Цель отбора подобного (согласования) состоит в выявлении из

выборки неучастников контрольной группы, наиболее близкой

по характеристикам к выборке участников. «Близость» измеря�

ется по наблюдаемым характеристикам. Если таких характерис�

тик только одна или две, то отбор по подобию произвести легко.

Но обычно имеется много возможных характеристик. Порядок

действий при отборе подобного по показателям склонности

примерно следующий.

Шаг 1. Необходимо произвести репрезентативное исследова�

ние выборочной совокупности неучастников, имеющих право на

участие, и участников. Чем больше выборка неучастников, имею�

щих право на получение пособия, тем легче провести хорошее

сравнение по подобию. Если выборки взяты из разных обследова�

ний, то такие обследования должны быть легкосопоставимы (те же

анкеты, интервьюеры, инструкции, время проведения и т.д.).Шаг 2. Совместите обе выборки и рассчитайте участие в про�

грамме с использованием подпрограммы Logit как функцию всехпеременных, которые могут определять участие.


Шаг 3. Найдите прогнозируемые значения вероятности участия

на основе логит�регрессии (Logit); это и есть «показатели склонно�сти». Вы получите показатель/балл склонности для каждого участ�

ника и неучастника.

Шаг 4. Возможно, некоторых представителей выборки не�

участников нужно будет исключить с самого начала, поскольку

их показатель склонности находится за пределами диапазона

экспериментальной группы (обычно он слишком низок). Диапа�

зоны показателей склонности в экспериментальной (участвую�

щей в программе) группе и соотвествующей подвыборке неуча�

стников должны максимально соответствовать друг другу. В зави�

симости от обстоятельств можно ввести и другие ограничения

сравнений по подобию, например допустив эти сравнения толь�

ко в границах одной и той же географической области, чтобы па�

ры, отобранные по подобию, принадлежали к одной экономиче�

ской среде.

Шаг 5. Теперь для каждого члена в выборке участников нахо�

дим пару в выборке неучастников с ближайшим показателем

склонности, измеренным абсолютной разницей в показателях.

Это и есть «ближайший сосед». Можно найти, скажем, пять таких

ближайших соседей.

Шаг 6. Рассчитайте среднее значение итогового показателя

(или каждого показателя, если их несколько) для пяти ближайших

соседей. Разница между этим средним значением и фактическим

значением для получающего пособие составляет оценку выгоды от

программы для данного индивида.

Шаг 7. Рассчитав среднее арифметическое этих индивидуаль�

ных выгод, получим общую среднюю выгоду. Этот результат можно

стратифицировать в выборке неучастников по какой—либо инте�

ресующей переменной, например по уровню дохода.

Это простейший способ отбора подобного на основании пока�

зателей склонности. На практике же могут возникнуть сложности.

Например, если имеется избыточная выборка участников, то для

внесения соответствующей поправки можно применить

различные методы отбора (Manski and Lerman, 1978). Также для

сравнения по подобию можно использовать соотношения вероят�

ностей (p/(1—p), где p — показатель склонности. Вместо исполь�

зования для потенциальных сравнений по подобию только бли�

жайшего соседа можно взять всех неучастников, но при этом при�

своить им разные веса, исходя из того, насколько они близки

(Heckman et al., 1998).

Затем следует включить в массив данных все переменные, кото�

рые использовались или могли бы использоваться Министерством

социального развития как показатели бедности при отборе участни�

ков PROSCOL. И здесь X должен включать переменные в Z. Впрочем,

при этом выявляется недостаток метода отбора подобного на осно�

вании склонности. При отборе подобного разные значения X дадут

разную оценку воздействия. При рандомизации, являющейся идеаль�

ным экспериментом, результаты не зависят от выбора X. Также при

рандомизации нет необходимости в специальной модели участия —

Logit или какой�либо другой. Основные этапы отбора подобного по

показателям склонности представлены во вставке 3.1.

Изучение отклонений вследствие ненаблюдаемыхфакторов

Даже после создания контрольной группы аналитик не может быть

полностью уверен в том, что он получит более надежную оценку воз�

действия программы. Описанные выше методы исключают смеще�

ние только при наличии условной независимости, как в случае, когда

ненаблюдаемые детерминанты посещаемости школы (не включен�

ные в набор контрольных переменных X) не коррелируют с участи�

ем в программе. Существуют две совершенно различные причины

смещения: смещение из�за разницы в факторах наблюдаемых и в

факторах ненаблюдаемых. В последнем случае это называется «сме�

щением выборки» (selection bias). Это различие подробно представле�

но во вставке 3.2.

Вернемся к последнему уравнению преподавателя: условная неза�

висимость будет иметь место при экзогенном P, так как в этом случае

E(εi | Xi , Pi) = 0. Однако эндогенно обусловленное участие в программе

все равно ведет к смещению из�за влияния на адресность ненаблюдае�

мых характеристик. Это иногда называется «выбор по наблюдаемым

характеристикам». Таким образом, условия, необходимые для обос�

нования метода, предложенного экономистом, не менее ограни�

ченные, чем те, что необходимы для обоснования версии первого ме�

тода, состоящей в сравнении семей–участниц PROSCOL с неучастни�

ками, имеющими сходные значения X. Оба исходят из предположения,

что эти ненаблюдаемые факторы не оказывают совместного влияния

на посещаемость школы и участие в программе, обусловленные X.

Интуитивно может показаться, что тщательный отбор по подо�

бию уменьшает смещение, но это не всегда верно. Отбор по подобию



Вставка 3.2. Источники смещения в упрощеннойоценке воздействия PROSCOL

Смещение, описанное статистиком, — это ожидаемое различие в

посещении школы в отсутствие PROSCOL между семьями, участвую�

щими в программе, и семьями, в ней не участвующими. Можно вы�

делить два источника смещения.

• Смещение из�за различий в наблюдаемых характеристиках. Оно

может произойти в двух случаях. Во—первых, может отсутство�

вать общая поддержка. Поддержка — это набор значений

контролируемых переменных, для которых значение результа�

тов и участие в программе наблюдаемы. Если выборки из экспе�

риментальной и контрольной групп имеют различную поддерж�

ку, это ведет к смещению в результатах. Фактически в этом случае

подобное не сравнивается с подобным. Во—вторых, даже если

присутствует общая поддержка, то в ее пределах распределение

наблюдаемых характеристик тоже может отличаться. Другими

словами, данные по контрольной группе могут быть неправиль�

но взвешены. Внимательный подбор контрольной группы помо�

жет избежать этого источника смещения.

• Смещение из�за различий в ненаблюдаемых факторах. Термин

«смещение выборки» иногда применяется исключительно к это�

му виду смещения (хотя некоторые авторы этим термином обо�

значают общее смещение при неэкспериментальной оценке).

Этот источник смещения возникает, когда для данного значения

X существует систематическая связь между участием в програм�

ме и результатом в отсутствие программы. Иначе говоря, сущест�

вуют ненаблюдаемые переменные, которые одновременно вли�

яют на посещаемость школы и участие в программе, обусловлен�

ные наблюдаемыми переменными в данных.

Нет никакой гарантии, что эти два источника смещения будут дей�

ствовать в одном направлении. Поэтому само по себе исключение од�

ного из них не означает, что абсолютное значение общего смещения

уменьшится. Это чисто эмпирический вопрос. В одном из исследова�

ний, посвященных этой проблеме, реальное воздействие, выявленное

посредством хорошо продуманного эксперимента, было сопоставле�

но с другими неэкспериментальными оценками (Heckman et al., 1998).

Смещение при простой оценке было огромным, но с помощью вни�

мательного сопоставления с контрольной группой на основе наблю�

даемых характеристик удалось значительно его сократить.

исключает часть смещения в первой простой оценке воздействия

PROSCOL. Но при этом остается смещение из�за проблемы ненаблю�

даемых факторов. Однако если один источник смещения положите�

лен, а другой отрицателен, то они могут взаимоисключить друг друга;

об этом говорят Хекман с соавторами (Heckman et al., 1998). Поэтому

оценка методом отбора подобного может иметь и большее смеще�

ние, чем простая оценка. Нельзя заранее знать, каково будет преиму�

щество использования даже хорошо подобранной контрольной

группы, поскольку это чисто эмпирический вопрос.

Варианты работы с базисным обследованием —расчеты двойных различий

Далее аналитик задается вопросом: существует ли помимо рандомиза�

ции какой�то другой метод, позволяющий разрешить сложности, свя�

занные с проблемой влияния ненаблюдаемых факторов? Для решения

такой задачи потребуются «базисные данные» по участникам и неучаст�

никам, собранные до начала реализации PROSCOL. Смысл в том, что дан�

ные о результатах и факторах, их определяющих, равно как и данные по

контрольной (сравнительной) и экспериментальной (участвующей)

группам, собираются как до программы, так и после нее. Затем можно

просто определить «различие между различиями» в посещаемости шко�

лы экспериментальной и контрольной группами до осуществления про�

граммы и аналогичными различиями после ее реализации. Такой под�

ход называют оценкой «двойных различий», или «различием между раз�

личиями». С его помощью снимается проблема ненаблюдаемых пере�

менных при условии, что они не меняются с течением времени.

Это можно показать добавлением нижних индексов в рассмот�

ренное ранее уравнение, чтобы ввести посещаемость школы после

внедрения программы:

Sia = a + bPi + cXia + εia.

До программы, в базисном обследовании, посещаемость школы

представлена так:

Sib = a + cXib + εib.

Разумеется, P = 0 вводится до проведения программы. Члены урав�

нения, обозначающие ошибку, включают не зависящий от времени

аддитивный эффект, поэтому их можно выразить так:


εit = ηi + μit (для t = a,b),

где ηi — не изменяющийся со временем эффект, который может

коррелировать с Pi, а μit — вновь привнесенная ошибка, не коррели�

рующая с Pi (или Xi).

Смысл в том, чтобы с помощью базисных данных выявить нена�

блюдаемые факторы, создающие проблемы. Обратите внимание: ба�

зисное исследование относится к тем же самым домохозяйствам, что

мы имеем в наличии сейчас, и поэтому i�е домохозяйство в уравне�

нии для Sia — то же домохозяйство, что i�е в уравнении для Sib. Поэто�

му мы можем вывести разность между уравнениями «после» и «до»:

Sia � Sib = bPi + c(Xia � Xib) + μia � μib

Теперь можно составить регрессию изменений в посещаемости

школы в зависимости от участия в программе и изменений в X. ОМНК

даст несмещенную оценку воздействия программы. Таким образом,

ненаблюдаемые факторы, коррелирующие с участием в программе,

оказываются исключенными.

При этом, если участие в программе описывалось только пере�

менными (и наблюдаемыми, и ненаблюдаемыми), которые были из�

вестны на момент базисного обследования, то было бы разумным до�

пустить, что значения в разных обследованиях не меняются. Это

справедливо, пока проблематичные ненаблюдаемые факторы не ме�

няются во времени. Изменения в посещаемости школы членами

контрольной группы отражают ту ситуацию, которая имела бы место

для экспериментальной группы в отсутствие программы.

Выполнение такой работы требует отличного знания программы и

возможности координировать время проведения оценки с ходом самой

программы. В противном случае после базисного обследования обяза�

тельно будут иметь место ненаблюдаемые изменения, которые повлия�

ют на контингент бенефициаров программы. При этом появится

«эффект времени», меняющий в промежутке между исследованиями

ненаблюдаемые переменные.

Последнее уравнение можно интерпретировать так: характерис�

тики ребенка и домохозяйства в X не имеют значения для изменения

посещаемости школы, если эти характеристики не меняются во вре�

мени. Но прирост посещаемости может зависеть от уровня образова�

ния родителей (а не только от изменения в их образовании) и, воз�

можно, от местонахождения домохозяйства, поскольку от этого за�

висит доступ к школе. Также возможны ситуации, когда изменения в


показателях итога во времени определяются исходными условиями.

В таком случае может возникнуть необходимость внести поправку на

разницу в исходных условиях. Это можно сделать, просто прибавив к

регрессии по отдельности Xa и Xb, чтобы регрессия приняла форму:

Sia � Sib = bPi + caXia + cbXib + μia � μib

Даже если некоторые (или все) переменные в X со временем не

меняются, X все равно может оказывать воздействие на изменения

посещаемости во времени.

Метод отбора подобного по склонности, рассмотренный выше,

обеспечивает сходство контрольной и экспериментальной групп до

использования метода двойных различий. В одном интересном ис�

следовании американской программы занятости было обнаружено,

что отсутствие сравнений в области общей поддержки явилось глав�

ным источником смещения в оценке методом двойных различий

при сопоставлении его результатов с результатами рандомизирован�

ной контрольной группы. Но в области общей поддержки смещение,

обусловленное X, не сильно изменялось во времени. Таким образом,

выведение двойных различий имеет смысл после проведения срав�

нения по подобию (см.: Heckman et al., 1998).

На практике, однако, проведение повторных обследований домохо�

зяйств может оказаться трудной задачей — нелегко найти все те домохо�

зяйства, которые приняли участие в базисном обследовании. Кто�то из уча�

стников базисного обследования может не согласиться на повторное ин�

тервью, кто�то может переехать, и его местонахождение будет неизвестно.

Если выпадение (dropouts) из выборки совершенно случайно, то ре�

зультаты повторного обследования будут представлять ту же совокуп�

ность (популяцию), что и в базисном. Но если наблюдается системати�

ческая тенденция отсева из выборки лиц, обладающих определенными

характеристиками, то возникает проблема. Подобная ситуация называ�

ется «смещением из�за выбытия» (attrition bias). Так, есть вероятность,

что благодаря PROSCOL, некоторые бедные семьи переехали в более хо�

рошие дома. И даже если выбор участников был основан только на ин�

формации, имевшейся в момент проведения базисного обследования

или близко к этому моменту (эффект неизменного времени 0i), отобран�

ные участники вполне могут отказаться от участия в программе вследст�

вие изменений, произошедших после этой даты. Такое выбытие из груп�

пы участников внесет явное смещение в оценку воздействия, которая

проводится методом двойных различий. Вставка 3.3 содержит пошаго�

вое описание оценки методом двойных различий.


Использование инструментальных переменных

Если нет базисного обследования одних и тех же домохозяйств, что

необходимо для применения метода двойных различий, преподава�

тель рекомендует другой подход, который устойчив по отношению к

проблемным ненаблюдаемым факторам и состоит в применении ин�

струментальной переменной.


Вставка 3.3. Применение метода двойных различий

Метод двойных различий предполагает сопоставление экспери�

ментальной и контрольной групп (которые в идеале определяются

методом отбора подобного по показателям склонности, описан�

ным во вставке 3.2) до и после осуществления программы. Ниже пе�

речислены основные этапы этого подхода.

Шаг 1. Базисное обследование должно быть проведено до вме�

шательства и охватить как участников, так и неучастников. Если не�

известно, кто станет участниками программы, необходимо обосно�

ванное предположение. Обратитесь к тем, кто проводит программу.

Шаг 2. Затем, после осуществления программы, потребуется

провести одно или несколько повторных обследований. Они долж�

ны быть очень сходны с базисным (та же анкета, метод интервью

и т.д.). В идеале повторное обследование проводится на той же вы�

борке, что и базисное. Если это невозможно, то по отношению к ка�

кой—либо иной переменнной обследования должны охватывать

один географический кластер или страту.

Шаг 3. Рассчитайте среднее значение разности итоговых пока�

зателей между ситуациями «до» и «после программы» для

экспериментальной и контрольной групп.

Шаг 4. Рассчитайте разность между этими двумя средними зна�

чениями. Полученный результат представляет собой оценку воздей�

ствия программы.

Это простейший вариант метода двойных различий. Можно так�

же ввести поправки на различия в исходных экзогенных условиях

или изменения в экзогенных переменных, учитывая эффект от вза�

имодействия с программой (так, чтобы выгода от вмешательства за�

висела от наблюдаемых переменных). Все эти дополнения можно

внести с помощью подходящей модели регрессии.

Использование инструментальной переменной — классический

пример решения проблемы эндогенности в регрессии. Инструмен�

тальная переменная представляет собой наблюдаемый источник эк�

зогенной вариации участия в программе. Иначе говоря, она коррели�

рует с P, но уже не входит в регрессию посещаемости школы и не

коррелирует с ошибкой ε в уравнении школьной посещаемости. По�

этому должна быть по крайней мере одна переменная в Z, которая не

присутствует в X и не коррелирует с ε. Тогда мы получим оценку воз�

действия программы методом инструментальной переменной, заме�

нив P на ее прогнозируемое значение, обусловленное Z. Итак, по�

скольку это прогнозируемое значение зависит исключительно от Z

(экзогенная переменная), а Z не коррелирует с ε, то теперь можно

применить к этой новой регрессии обычный метод наименьших ква�

дратов (ОМНК).

Теперь, когда прогнозируемые значения зависят только от экзо�

генной вариации вследствие воздействия инструментальной пере�

менной и других экзогенных переменных, ненаблюдаемые факторы

уже не вызывают проблем, так как они не коррелируют с ошибкой в

регрессии посещаемости школы. Учитывая это, можно применить

еще один, более эффективный способ разрешения этих проблем. Как

мы помним, источником смещения в одной из предыдущих оценок

воздействия программы была корреляция между ошибкой в уравне�

нии школьной посещаемости и ошибкой в уравнении участия. Имен�

но этот момент обусловил корреляцию между участием и ошибкой в

уравнении посещаемости. Таким образом, при наличии инструмен�

тальной переменной, естественный способ решения проблемы будет

состоять в том, чтобы добавить остаточный член из первого уравне�

ния участия в уравнение посещаемости, сохранив при этом фактиче�

ское участие в регрессии школьной посещаемости. Но, поскольку те�

перь регрессия посещаемости дополнена выведенным значением

ошибки из уравнения участия, можно рассматривать участие как эк�

зогенный фактор и применить ОМНК. Данный вариант применим

только при наличии валидного инструментария. В противном слу�

чае регрессия не даст оценки, поскольку остаточный член, описыва�

ющий участие, будет совершенно прогнозируем в линейной модели

на основе фактического участия и X.

Инструментальная переменная также может быть полезна при на�

личии значительных погрешностей в измерении данных об участии

в программе, что представляет собой еще один потенциальный ис�

точник смещения. «Ошибки измерения» означают наличие вероят�

ности того, что участие в программе варьируется больше, чем это


имеет место в действительности. Такая переоценка вариативности P

приводит к занижению его коэффициента b. Подобное явление на�

зывают «смещением вследствие ошибок измерения» (attenuation bias),

или «смещением в сторону снижения», поскольку оно вызывает зани�

жение расчетного коэффициента регрессии.

Хотя инструментальная переменная и может быть очень полез�

ной, применять ее следует осторожно. Заменяя фактическое участие

его прогнозируемым значением в процедуре ОМНК, невозможно

верно определить стандартные ошибки, поскольку компьютер «не

знает», что для получения прогнозируемых значений использова�

лись предварительно рассчитанные параметры. Требуется внести по�

правку на стандартные ошибки ОМНК. Существуют статистические

пакеты, позволяющие легко проделать эту операцию (по крайней ме�

ре для линейных моделей).

Впрочем, если бы имелась зависимая переменная, принимающая

только два возможных значения (например, «в школе» и «не в шко�

ле»), то следовало бы использовать нелинейную модель для дихото�

мических переменных, например Logit или Probit. В этом случае при�

меняется такой же принцип проверки на экзогенность участия в

программе. Задача для таких моделей рассмотрена в статье Риверса и

Вуонга (Rivers and Vuong, 1988). Бланделл и Смит (Blundell and Smith,

1993) дают полезный обзор различных нелинейных моделей с эндо�

генной независимой переменной регрессии.

Тестирование методологий

Приступая к определению инструментальной переменной, аналитик

начинает понимать, что данный процесс весьма сложен. Каждый воз�

можный вариант, предложенный им, может быть включен вместе с

переменными в X. Проблема заключается в определении валидного

«ограниченного исключения» (exlusion restriction), которое обосно�

вывает введение какой�либо переменной в уравнение участия, но не

в уравнение посещаемости школы.

Аналитик решает попробовать применить метод отбора подобного

по склонности. Результаты, полученные с помощью Logit�модели,

представляются вполне обоснованными и указывают на то, что

PROSCOL имеет четкую направленность на целевую группу. Практиче�

ски все переменные, которые могут быть связаны с бедностью, имеют

положительные и значимые коэффициенты. Затем аналитик произво�

дит отбор подобного на основании показателей склонности. При со�

поставлении средних показателей посещения школы видно, что в


контрольной группе школу посещают 60% детей, в то время как для се�

мей, участвующих в PROSCOL, этот показатель составляет 80%.

Чтобы определить размер упущенного дохода, аналитик использует

имеющиеся результаты обследования труда детей, в которое были

включены вопросы о заработках. (В этой развивающейся стране сущест�

вует законодательный запрет на труд детей до 16 лет, но правительству

трудно обеспечить его соблюдение; тем не менее вопрос детских зара�

ботков стоит весьма остро.) Из этого обследования можно выяснить, ка�

ким был бы заработок ребенка, если бы он не посещал школу.

Теперь можно вычесть из пособий PROSCOL сумму упущенного

дохода и, таким образом, определить чистый прирост дохода. Ис�

ключив этот чистый прирост из общего дохода, мы можем опреде�

лить исходное финансовое состояние участников PROSCOL до реа�

лизации программы. Они не настолько бедны, как показалось снача�

ла (когда не рассматривался упущенный доход), но все же они явля�

ются бедными: две трети из них живут за официальной чертой бед�

ности, принятой в данной стране.

Теперь, определив чистый прирост дохода всех участников, мы мо�

жем рассчитать долю бедных в отсутствие программы PROSCOL и при ее

наличии. Доля бедных в населении «после вмешательства» (при наличии

программы) рассчитать несложно: это процент населения, живущего в

домохозяйствах с подушевым доходом ниже черты бедности; при этом

под «доходом» понимается наблюдаемый доход (включая суммы, полу�

ченные от PROSCOL). Эти показатели можно вывести непосредственно

из данных обследования домохозяйств. Вычитая чистый прирост дохо�

да, полученный благодаря участию в программе (пособия PROSCOL ми�

нус упущенная выгода от детского труда), из всех других наблюдаемых

доходов, получим новое распределение доходов до вмешательства. Доля

бедных без программы — это процент людей, живущих в бедных домо�

хозяйствах, который рассчитан на основе такого нового распределения.

Аналитик обнаруживает, что наблюдаемый уровень бедности на Северо�

Западе, составляющий 32%, в отсутствие PROSCOL был бы равен 36%. Та�

ким образом, программа дает возможность уже сейчас избежать беднос�

ти 4% населения. Улучшение посещаемости школы означает, что и в бу�

дущем бедные будут получать выгоды как финансового, так и иного ха�

рактера. Измеряя бедность, Аналитик помнит о том, что процент населе�

ния, живущего за чертой бедности, — это только общий показатель, ко�

торый ничего не говорит нам об изменениях, происходящих внутри

этой группы (см. вставку 3.4). Затем он рассчитывает индекс глубины

бедности и его дисперсию. Результаты показывают, что благодаря

PROSCOL оба эти показателя снизились.



Вставка 3.4. Критерии бедности

Самый простой и наиболее распространенный способ измерения

уровня бедности — это доля бедных во всем населении. В данном случае

это процент населения, живущего в домохозяйствах, с подушевым дохо�

дом ниже черты бедности. (В других странах бедность определяется на

основе потребления, и в этом есть свои преимущества; более подробное

описание и библиографию см.: Ravallion, 1994.)

Этот показатель ничего не говорит о распределении дохода ниже

уровня бедности: положение бедного человека может ухудшиться, но

количество бедных по переписи не изменится. На нем также не отразит�

ся и улучшение положения бедных, пока он не поднимется выше черты

бедности.

Распространенной альтернативой доли бедных в населении в каче�

стве показателя служит показатель отклонений от черты бедности

(poverty gap index), который называют также «индексом глубины бедно�

сти». Глубина бедности для каждого домохозяйства — это разница меж�

ду чертой бедности и доходом данного домохозяйства. Для тех, кто на�

ходится выше черты бедности, разрыв равен нулю. Если взять за точку

отсчета черту бедности и рассчитать среднее значение по всем домохо�

зяйствам (как бедным, так и небедным), то мы получим индекс глубины

бедности.

Индекс глубины бедности покажет нам, какое воздействие програм�

ма возымела на глубину бедности, но не отразит изменения в распреде�

лении среди бедных, произошедшие под влиянием программы. Так, ес�

ли программа дает небольшое преимущество бедному с доходом выше

среднего за счет равнозначного ущерба для того, кто находится ниже

этого среднего значения, глубина бедности не изменится.

Существуют различные показатели, «чувствительные к распределе�

нию». Один из таких показателей — «дисперсия глубины бедности» (Fos�

ter, Greer, and Thornbecke, 1984). Он рассчитывается так же, как и глуби�

на бедности, с той лишь разницей, что индивидуальные значения глуби�

ны бедности, производные от черты бедности, перед выведением сред�

него значения возводятся в квадрат (как для бедных, так и для небед�

ных). Пример еще одного способа измерения, чувствительный к рас�

пределению бедности, — индекс Уаттса (Watts index). Это среднее зна�

чение логарифма отношения черты бедности к доходу, где для небед�

ных это отношение принято за единицу. Эткинсон (Atkinson, 1987) опи�

сывает и другие примеры, имеющиеся в литературе.

При проведении этого расчета аналитик также обнаруживает не�

которую неопределенность относительно самой черты бедности,

принятой в данной стране. Для проверки результатов он повторяет

расчет, используя различные уровни бедности, и получает следую�

щее: если взять такое значение черты бедности, при котором 50% на�

селения оказываются ниже этого уровня, по данным наблюдения до�

ходов после вмешательства, то без PROSCOL эта доля составляла бы

52%. Если же 15% находятся за чертой бедности с программой, то без

нее эта доля составила бы 19%. Повторяя эти расчеты по всему диапа�

зону доходов, можно начертить «графики распространенности бед�

ности» с программой и без нее. Это также называется функцией ку�

мулятивного распределения (см. вставку 3.5).


Вставка 3.5. Сравнение бедности при проведениипрограммы и без нее

Используя методы, описанные выше в основном тексте и вставках,

можно оценить полученные каждым домохозяйством преимущест�

ва. В самых простых уравнениях оценка представлена всего лишь

одной цифрой. Но лучше сделать оценку, которая будет меняться в

зависимости от характеристик домохозяйства. Тогда можно будет

представить эту информацию в виде графиков распространеннос�ти бедности (poverty incidence curve, PIC) с программой и без нее.

Шаг 1. Доход после проведения мероприятия (или другой показа�

тель благосостояния) для каждого домохозяйства по всей выборке

(включающей как участников, так и неучастников) уже должен быть в

числе данных. Также уже известно количество человек в каждом домо�

хозяйстве. И, разумеется, есть информация относительно общей чис�

ленности выборки (N); либо, в целях распространения результатов на�

блюдений на все население, если использовался показатель обратной

выборки, это может быть прогнозируемый размер населения.

Шаг 2. Эту информацию можно представить в виде графика рас�

пространенности бедности (PIC). На вертикальной оси откладывает�

ся процент населения, живущего в домохозяйствах с доходом мень�

ше значения, показанного на горизонтальной оси, или соответству�

ющим ему. Для построения этого графика можно начать с самого

бедного домохозяйства, показать его доход на горизонтальной оси,

а затем подсчитать по вертикальной оси количество людей в данном

домохозяйстве, разделенное на N и выраженное в процентах. Следу�

ющая точка — это доля живущих в двух самых бедных домохозяйст�

вах, и т.д. В итоге получаем PIC после вмешательства.


Шаг 3. Теперь рассчитаем распределение дохода до вмешатель�

ства. Для этого вычитаем расчетный прирост для каждого домохо�

зяйства из показателя его дохода после вмешательства. Получаем пе�

речень доходов после вмешательства для каждого из домохозяйств в

выборке. Повторите шаг 2. В итоге получится PIC до вмешательства.

Если мы определим любой данный уровень дохода на горизон�

тальной оси как «черту бедности», то разница между двумя PIC в

этой точке покажет воздействие на долю бедных в населении для

данной черты бедности (вставка 3.4). С другой стороны, на горизон�

тальной оси получим прирост дохода в данном процентиле. В от�

сутствие отрицательного прироста PIC после вмешательства дол�

жен быть ниже, чем до вмешательства. Бедность сократится незави�

симо от того, какую черту бедности мы возьмем за основу. На самом

деле, это справедливо для широкого класса показателей бедности

(см.: Atkinson, 1987). Если какой—либо прирост окажется отрица�

тельным, то PIC пересекутся. В этой ситуации сравнение бедности

не даст однозначного результата: ответ будет зависеть от того, какую

черту бедности мы взяли за основу и с помощью каких показателей

измеряли бедность (см.: Ravallion, 1994). Затем можно использовать

изначально заданные ограничители диапазона приемлемых значе�

ний черты бедности. Например, вы можете быть уверены в том, что

черта бедности не превышает какого—либо максимального значе�

ния; тогда, если пересечение происходит выше этого значения, то

сравнение бедности однозначно. Если же точки пересечения (а их

может быть несколько) находятся ниже максимально допустимой

черты бедности, то надежное сопоставление бедности возможно

только для ограниченного числа показателей. Чтобы определить,

насколько ограниченным должен быть набор, можно рассчитать

графики показателя глубины бедности (poverty depth curve, PDC).

Они получаются с помощью простого формирования кумулятив�

ной суммы к каждой точке на PIC. (Таким образом, вторая точка на

PDC равна сумме первой и второй точек на PIC и т.д.)

Если PDC не пересекаются, то воздействие программы на бед�

ность однозначно, пока мы ограничиваем наше внимание индексом

глубины бедности или любым из показателей бедности, чувствитель�

ных к распределению, рассмотренному во вставке 3.4. Если PDC пере�

секаются, то можно вывести «графики остроты бедности» (poverty

severity curves, PSC) с программой и без программы с помощью фор�

мирования кумулятивных сумм под PDC. Если они не пересекаются в

пределах допустимого значения черты бедности, то использование

любых способов измерения бедности, чувствительных к распределе�

нию (вставка 3.4), приведет к однозначному выводу.

Использование результатов исследований на местах

При осуществлении любой программы присутствует «взгляд изнут�

ри», т.е. точка зрения бенефициаров и администраторов, которая мо�

жет быть отражена (но не обязательно) в данных о программе. Так, в

нашем случае у работников на местах создалось впечатление, что

большинство семей, принимающих участие в PROSCOL, бедны и что

программа действительно им помогает. Когда аналитик обсуждает

это с социологом, принимающим участие в программе, он узнает о

некоторой неопределенности положения, связанного c упущенным

доходом и работой. Социолог говорит о том, что в реальности мно�

гие дети из бедных семей и работают, и ходят в школу одновременно,

а кто�то из детей младшего возраста не ходит в школу и не работает.

Аналитик понимает, что в такой ситуации следует выяснить, есть ли

какая�нибудь разница в количестве детского труда, выполняемого де�

тьми из PROSCOL, по сравнению с отобранной по подобию кон�

трольной группой. Но эти данные в исследовании домохозяйств от�

сутствуют, хотя можно было бы представить результаты как с поправ�

кой на упущенный доход, так и без нее.

Социолог также отметил, что большое влияние на участие бедной

семьи в PROSCOL оказывает то, какой школьный совет действует в

районе ее проживания. Средства PROSCOL распределяются по всем

школьным округам централизованно, причем они поступают даже

туда, где количество бедных семей не очень велико. Если бедная се�

мья живет в благополучном округе, вероятность получения помощи

через PROSCOL для нее выше, чем для жителей бедного округа. Таким

образом, важна относительная бедность (в сравнении с другими

лицами в том же районе проживания); это гораздо более значимый

фактор, чем абсолютный уровень жизни.

Такое распределение средств может повлиять на участие в

PROSCOL, но посещаемость от него вряд ли зависит. Скорее на нее

влияет абсолютный уровень жизни, семейные обстоятельства и ха�

рактеристики школы. Поэтому распределение бюджета PROSCOL по

школьным юрисдикциям может использоваться в качестве инстру�

ментальной переменной для того, чтобы устранить смещение в

оценке воздействия программы.

Обследования домохозяйств содержат информацию о том, к ка�

кому школьному округу относится каждое семейство, какие правила

применяются при централизованном распределении фондов

PROSCOL по школьным округам, а также о размерах средств, выделя�

емых центром каждому округу. Выделение средств основано на коли�


честве детей школьного возраста с «поправкой», отражающей, на�

сколько бедным считается каждый округ. Впрочем, это правило явля�

ется весьма расплывчатым.

Аналитик пытается учесть эти факторы и повторно выполняет ре�

грессию по школьной посещаемости, но заменяет фактическое учас�

тие в PROSCOL его прогнозируемым значением (показателем склон�

ности) из регрессии участия, которая теперь включает бюджетные

ассигнования округам. Будет лучше, если в регрессии посещаемости

будет использоваться максимально возможное количество характе�

ристик школ. Хотя официально характеристики школ не влияют на

распределение ресурсов PROSCOL, любые неучтенные особенности

школ, которые совместно влияют на распределение фондов

PROSCOL школьным округам, а также индивидуальные результаты

посещаемости приведут к смещению в оценке при использовании

метода инструментальной переменной. Несмотря на то, что всегда

есть вероятность смещения, при достаточном количестве географи�

ческих контрольных переменных этот метод должен по крайней ме�

ре предоставить достоверное сравнение степени соответствия выбо�

рочной совокупности генеральной.

Судя по результатам, бюджетные ассигнования в школьные округа

действительно имеют значительный положительный коэффициент в

регрессии, полученной с помощью Logit�уравнения для участия в

PROSCOL. Теперь участие в PROSCOL (прогнозируемое) значимо в ре�

грессии для школьной посещаемости, в которую включены все те же

переменные из Logit�регрессии, кроме бюджетных ассигнований по

школьным округам. Полученный коэффициент означает, что для уча�

стников PROSCOL посещаемость на 15% выше, чем она была бы без

программы. Регрессия также рассчитывается по количеству лет посе�

щения школы, отдельно для мальчиков и для девочек. Без PROSCOL

юноши и девушки в возрасте восемнадцати лет бросили бы школу

почти на два года раньше. Но в связи с этой регрессией возникают два

вопроса: верны ли используемые стандартные ошибки, и насколько

правомерно применение линейных моделей?

Планирование будущей работы

Наконец, аналитик готов представить результаты оценки, которые

показывают, что результаты программы PROSCOL достаточно хоро�

ши. На основании этой оценки разработчики стратегии проявляют

интерес к расширению программы. В процессе проведения оценки

аналитик сделал несколько важных наблюдений:


• оценка воздействия может оказаться гораздо более сложной зада�чей, чем предполагалось изначально;

• в зависимости от характеристик методов, применяемых для оцен�ки, можно получить слишком широкий разброс результатов;

• при работе с неполными данными (что происходит довольно ча�сто) полезно использовать альтернативные методы, хотя у каждо�го из них есть свои минусы;

• необходимо пользоваться самыми разными данными.

В дополнение к полученным выводам у аналитика есть несколько

ключевых рекомендаций, касающихся оценок эффективности работы

PROSCOL в будущем. Во�первых, было бы желательно случайным мето�

дом исключить некоторые семьи, имеющие право на участие в програм�

ме в других регионах страны, а потом провести повторное обследование

фактических участников и тех, кто был случайно исключен. Это позволи�

ло бы точнее оценить выгоды от программы. Впрочем, исключение име�

ющих право на участие может оказаться «политически чувствительным»

шагом. Тем не менее, если программа не имеет достаточно ресурсов, что�

бы охватить всю страну сразу, то приходится решать, кто будет участво�

вать в первую очередь, и лучше сделать это с помощью случайного отбо�

ра среди имеющих право на участие. Можно также случайно выбрать

школы или школьные округа для первоочередного участия. Это, несо�

мненно, сделает выбор школы или школьного округа хорошей инстру�

ментальной переменной для индивидуального участия в программе.

Во�вторых, если предложенное выше осуществить невозможно,

то целесообразно провести базисное обследование областей, в кото�

рых ожидается высокая концентрация участников PROSCOL, до нача�

ла программы на юге страны. Это можно сделать одновременно с

очередным общенациональным обследованием, которое использо�

валось для оценки программы PROSCOL. Было бы также неплохо до�

бавить в анкету несколько вопросов, например о том, выполняли ли

дети какую�нибудь оплачиваемую работу.

И, в�третьих, было бы полезно проделать и качественный анализ

для формирования и проверки гипотез, а также для оценки того, со�

ответствуют ли реальности ключевые допущения, сделанные в про�

цессе количественного анализа.

Примечание

1. Воздействие программ на квартили см.: Heckman, Lalonde, and Smith

(1999), а также Abadie, Angrist and Imbens (1998).


Предыдущие главы были посвящены основным методам оценки воз�

действия проекта, а также вопросам и трудностям, которые при этом

могут возникнуть. Обзор анализа конкретных ситуаций («кейс�ста�

ди»), приведенный в табл. 4.1, демонстрирует интересные показа�

тельные примеры планирования исследований, использования дан�

ных, выбора и применения аналитических методов, а также развития

возможностей страны для дальнейшего проведения подобных иссле�

дований. Эти примеры (равно как и рассмотрение стоимости оценок

и общеэкономических вопросов, которые могут возникнуть в про�

цессе выполнения оценок) представлены ниже.

Пятнадцать рассматриваемых «кейс�стади» были выбраны в каче�

стве примера оценок, выполненных Всемирным банком, другими до�

норскими организациями, исследовательскими институтами и част�

ными консультативными фирмами. Они были выбраны как примеры

«передового опыта» (good practice), исходя из их методологической

строгости и охвата различных секторов и регионов. Хотя каждая

оценка воздействия имеет свои сильные и слабые стороны, уроки, из�

влеченные из рассмотрения данных примеров, призваны помочь ру�

ководителю проекта или стратегическому аналитику в планирова�

нии и выполнении будущих работ.

Раннее и тщательное планирование оценки

Адекватная подготовка на начальных стадиях идентификации про�

екта обеспечит сбор необходимой информации и возможность ее

применения для корректировки проекта в процессе его реализации.

Раннее и тщательное планирование позволяет использовать все со�

ставляющие, необходимые для строгой оценки воздействия, такие

Глава 4

Примеры удачной оценкивоздействия*

* В данной главе использованы примеры «передового опыта», приведенные в

приложении I, и обзоры, подготовленные Джильет Холл и Джулией Лейн (Gillette

Hall and Julia Lane), а также Суббарао и др. (Subbarao and others, 1999).

как базисное исследование с рандомизированной контрольной

группой и качественные данные о процессах, которые могут повли�

ять на воздействие.

Проект обеспечения питания и раннего детского разви�тия в Уганде. Хотя оценка этого проекта еще не началась, она пред�

ставляет собой очень хороший пример раннего и тщательного пла�

нирования (см.: World Bank, 1998a; Garcia, Alderman and Rudqvist,

1999; World Bank, 1999g). Основная цель проекта — способствовать

улучшению заботы о детях со стороны родителей и общин, знакомя

последних с тем, как лучше организовать уход за детьми, а также

предоставляя им возможности повышения дохода. Программа вы�

полняется на базе общин сетью неправительственных организаций

(НПО). Оценочный компонент, который был включен в цикл проек�

та с самого его начала, близок к идеалу с точки зрения структуры

оценки. Во�первых, он позволяет подготовить данные базисных и

повторных обследований, а также рандомизированную контроль�

ную группу. Таким образом, становится возможным осуществить

тщательную оценку воздействия программы на ее бенефициаров.

Во�вторых, проект усилит этот количественный компонент за счет

мониторинга и оценки, осуществляемых самими участниками (ка�

чественный компонент).

Проект «Кредит с образованием» в Гане. Процесс оценки это�

го проекта был очень сложным и предусматривал большое число

промежуточных этапов. Проект сочетает в себе элементы схемы

группового кредита и обучение основам медицины, рационального

питания, контроля за рождаемостью и увеличения интервалов между

родами, а также навыкам ведения малого бизнеса. В основном при

оценке обращается внимание на качество питания детей, наличие у

женщин средств на питание и медицинское обслуживание, на знание

женщинами правил кормления грудью и отъема от груди и следова�

ние этим правилам. Оценка начинается с четкой концептуальной

схемы, показанной ниже. Эта схема отражает затраты, промежуточ�

ные выгоды и долгосрочные результаты таким образом, чтобы облег�

чить разработку и интерпретацию нескольких используемых моде�

лей. Тщательное планирование оценки на ранней стадии проекта

позволило уточнить многие составляющие достаточно сложного

плана (приложение 1.6).


ПРИМЕРЫ УДАЧНОЙ ОЦЕНКИ ВОЗДЕЙСТВИЯ 83Т

аб

ли

ца

4.1

. Ито

гов

ая

та

бл

иц

а: п

ри

ме

ры

уд

ач

но

й о

це

нк

и в

озд

ей

ств

ия

Ра

ди

оН

ик

ар

агу

а

Ре

фо

рм

аш

ко

ль

но

йа

вт

он

ом

ии

Уч

еб

ни

ки

От

се

в у

ча

�щ

их

ся

Ни

ка

ра

гуа

Ни

ка

ра

гуа

Ке

ни

я

Фи

ли

пп

и�

ны

Ба

зис

но

ео

бс

ле

до

ва

�н

ие

и о

б�

сл

ед

ов

ан

ие

по

сл

е з

а�

ве

рш

ен

ия

пр

ое

кта

Па

не

ль

но

еи

сс

ле

до

ва

�н

ие

и к

ач

е�

ств

ен

ны

ео

це

нк

и

Ба

зис

но

ео

бс

ле

до

ва

�н

ие

и о

б�

сл

ед

ов

ан

ие

по

сл

е в

ме

�ш

ате

ль

ств

аБ

ази

сн

ое

об

сл

ед

ов

а�

ни

е и

об

�с

ле

до

ва

ни

еп

ос

ле

вм

е�

ша

тел

ьс

тва

Уч

ен

ик

и и

кл

ас

сн

ые

ко

мн

ат

ы

Уч

ен

ик

и,

ро

ди

те

ли

,у

чи

те

ля

,д

ир

ек

то

ра

Уч

ен

ик

и,

кл

ас

сн

ые

ко

мн

ат

ы,

уч

ит

ел

я

Уч

ен

ик

и,

кл

ас

сн

ые

ко

мн

ат

ы,

уч

ит

ел

я

Ре

зул

ьта

�ты

те

сто

в

Ре

зул

ьта

�т

ы т

ес

то

в,

ст

еп

ен

ьу

ча

ст

ия

вп

ри

ня

ти

ир

еш

ен

ий

на

ме

ст

�н

ом

ур

ов

�н

еР

езу

льт

а�

ты т

ес

тов

Ре

зул

ьта

�т

ы т

ес

то

ви

чи

сл

оу

че

ни

ко

в,

бр

ос

ив

�ш

их

уч

е�

бу

Да

Не

т

Да

Да

Не

т

Да

Не

т

Не

т

Да

Да

Да

Да

Не

т

Не

т

Да

Да

Не

т

Не

т

Да

Да

Не

т

Да

Не

т

Не

т

Стр

укту

ра

ан

ке

ты

Со

че

та

ни

ек

ол

ич

ес

т�

ве

нн

ых

ик

ач

ес

тв

ен

�н

ых

ме

то

�д

ов

Ан

ал

из

ос

�л

ож

ня

ю�

щи

х ф

ак

�т

ор

ов

Ан

ал

из

«за

�тр

аты

�вы

�го

ды

»; н

а�

ра

щи

ва

ни

еп

оте

нц

иа

ла

Пр

оек

тС

тр

ан

аТи

п б

азы

да

нн

ых

Пр

едм

ета

на

ли

за

Ед

ин

иц

аи

змер

е�н

ия

Ра

нд

ом

и�

зац

ия

Эк

он

ом

етр

ич

еск

ий

по

дх

од

Об

ра

зов

ан

ие

Пр

од

ол

жен

ие

та

бл

иц

ы н

а с

лед

ующ

ей с

тр

ан

иц

е

От

бо

р п

о�

до

бн

ого

по

скл

он

но

с�т

и

Реф

лек

�си

вн

ые

сра

в�

нен

ия

Дв

ой

ны

ер

азл

ич

ия

Ин

стр

у�м

ент

ал

ь�н

ые

пер

е�м

енн

ые

Ка

чес

т�

вен

ны

ем

ето

ды

Пр

еим

уще�

ств

а

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ84Т

аб

ли

ца

4.1

. (п

ро

до

лж

ени

е)

TR

AB

AJA

R

PR

OB

EC

AT

Ак

ти

вн

ые

пр

огр

ам

�м

ы т

ру

до

�у

ст

ро

йс

тв

а

Ми

кр

оф

и�

на

нс

ир

о�

ва

ни

е

Ар

ген

ти

на

Ме

кс

ик

а

Че

шс

ка

яР

ес

пу

бл

ик

а

Ба

нгл

ад

еш

Об

сл

ед

ов

а�

ни

е д

ом

о�

хо

зяй

ств

,п

ер

еп

ис

ьн

ас

ел

ен

ия

,а

дм

ин

ис

т�р

ати

вн

ые

да

нн

ые

, со

�ц

иа

ль

ны

ео

це

нк

иР

ет

ро

�с

пе

кт

ив

�н

ое

об

сл

е�

до

ва

ни

е и

об

сл

ед

ов

а�

ни

е р

аб

о�

че

й с

ил

ыР

етр

ос

пе

к�

тив

ны

е о

б�

сл

ед

ов

ан

ия

по

по

чте

Об

сл

ед

о�

ва

ни

е п

о�

сл

е в

ме

ша

�т

ел

ьс

тв

а в

со

че

та

ни

ис

ад

ми

ни

�с

тр

ат

ив

�

Ра

бо

тн

и�

ки

, до

мо

�х

озя

йс

тв

а

Ра

бо

тн

ик

и

Ра

бо

тн

ик

и

До

мо

хо

�зя

йс

тв

а

До

хо

д,

ад

ре

с�

но

ст

ь,

зат

ра

ты

Ре

зул

ьта

�т

ы п

о з

а�

ра

бо

тк

у и

зан

ят

ос

ти

Ре

зул

ьта

�т

ы п

о з

а�

ра

бо

тк

у и

зан

ят

ос

ти

По

тр

еб

�л

ен

ие

ио

бр

азо

ва

�н

ие

Не

т

Не

т

Не

т

Да

Да

Да

Да

Да

Не

т

Не

т

Не

т

Не

т

Не

т

Не

т

Не

т

Да

Да

Не

т

Не

т

Не

т

Да

Не

т

Не

т

Не

т

Гр

ам

от

но

еи

сп

ол

ьзо

�в

ан

ие

су

�щ

ес

тв

ую

�щ

их

ис

�т

оч

ни

ко

вд

ан

ны

х,

пе

ре

до

вы

ем

ет

од

ик

иа

на

ли

заО

тбо

р п

о�

до

бн

ого

по

ск

ло

нн

ос

ти

Отб

ор

по

�д

об

но

го п

ос

кл

он

но

сти

Ан

ал

из

ос

�л

ож

ня

ю�

щи

х ф

ак

то�

ро

в

Пр

оек

тС

тр

ан

аТи

п б

азы

да

нн

ых

Пр

едм

ета

на

ли

за

Ед

ин

иц

аи

змер

е�н

ия

Ра

нд

ом

и�

зац

ия

Эк

он

ом

етр

ич

еск

ий

по

дх

од

От

бо

р п

о�

до

бн

ого

по

скл

он

но

с�т

и

Реф

лек

�си

вн

ые

сра

в�

нен

ия

Дв

ой

ны

ер

азл

ич

ия

Ин

стр

у�м

ент

ал

ь�н

ые

пер

е�м

енн

ые

Ка

чес

т�

вен

ны

ем

ето

ды

Пр

еим

уще�

ств

а

Пр

огр

ам

мы

, св

яза

нн

ые

с р

ын

ко

м т

ру

да

Фи

на

нси

ро

ва

ни

е

ПРИМЕРЫ УДАЧНОЙ ОЦЕНКИ ВОЗДЕЙСТВИЯ 85

Кр

ед

ит

со

бр

азо

ва

�н

ие

м

Фи

на

нс

и�

ро

ва

ни

езд

ра

во

о�

хр

ан

ен

ия

Пр

од

о�

во

ль

ст

ви

еза

об

ра

зо�

ва

ни

е

Зд

ра

во

о�

хр

ан

ен

ие

,о

бр

азо

ва

�н

ие

и п

и�

та

ни

е

Ган

а

Ни

гер

ия

Ба

нгл

ад

еш

Ме

кс

ик

а

ны

ми

да

н�

ны

ми

Ба

зис

но

ео

бс

ле

до

ва

�н

ие

и о

б�

сл

ед

ов

ан

ие

по

сл

е в

ме

�ш

ате

ль

ств

аБ

ази

сн

ое

об

сл

ед

ов

а�

ни

е и

об

�с

ле

до

ва

ни

еп

ос

ле

вм

е�

ша

тел

ьс

тва

пл

юс

ад

ми

�н

ис

тра

тив

�н

ые

за

пи

си

Ис

сл

ед

ов

а�

ни

е р

ас

хо

�д

ов

до

мо

�х

озя

йс

тв

Ба

зис

но

ео

бс

ле

до

ва

�н

ие

и о

б�

сл

ед

ов

а�

ни

е п

ос

ле

вм

еш

а�

те

ль

ст

ва

Па

ры

ма

ть

/ре

бе

�н

ок

До

мо

хо

�зя

йс

тв

а и

ме

ди

ци

н�

ск

ие

це

нт

�р

ы

До

мо

хо

�зя

йс

тв

а и

об

щи

ны

До

мо

хо

�зя

йс

тв

а

До

хо

д,

здо

ро

вь

еи

по

лн

о�

мо

чи

я

Во

зме

ще

�н

ие

из�

де

рж

ек

ид

ос

туп

�н

ос

ть

об

�с

луж

ив

а�

ни

я

По

се

ща

е�

мо

ст

ьш

ко

лы

Ре

зул

ьта

�т

ы п

озд

ра

во

о�

хр

ан

е�

ни

ю, м

е�

ди

ци

н�

ск

ом

у о

б�

сл

ужи

ва

�

Да

Не

т

Не

т

Да

Да

Да

(по

ре

ги�

он

ам

)

Не

т

Да

Да

Да

Не

т

Да

Не

т

Не

т

Не

т

Не

и

зве

ст

но

Не

т

Не

т

Да

Не

изв

ес

тн

о

Да

Не

т

Не

т

Не

т

Ис

по

ль

зо�

ва

ни

е к

ол

и�

че

ств

ен

но

йи

ка

че

ст�

ве

нн

ой

ин

�ф

ор

ма

ци

иИ

сп

ол

ьзо

�в

ан

ие

ад

�м

ин

ис

тра

�ти

вн

ых

да

нн

ых

Тв

ор

че

ск

ое

ис

по

ль

зо�

ва

ни

е и

ме

�ю

ще

гос

яи

нс

тр

уме

н�

та

ри

я д

ля

ре

ше

ни

яп

ро

бл

ем

ыв

ыб

ор

ки

на

ос

но

ве

ст

ан

да

рт

�н

ых

да

н�

ны

хЧ

етк

ая

ко

н�

це

пту

ал

и�

зац

ия

, ан

а�

ли

з о

сл

ож

�н

яю

щи

хф

ак

тор

ов

Пр

од

ов

ол

ьст

ви

е и

пи

тан

ие

Пр

од

ол

жен

ие

та

бл

иц

ы н

а с

лед

ующ

ей с

тр

ан

иц

е

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ86Т

аб

ли

ца

4.1

(п

ро

до

лж

ени

е)

Со

ци

ал

ь�

ны

й и

нв

е�

ст

иц

ио

н�

ны

й ф

он

д

Се

ль

ск

ие

до

ро

ги

Пр

ое

кт

со

зда

ни

яН

ац

ио

�н

ал

ьн

ой

ин

фо

рм

а�

ци

он

но

�к

он

су

льт

а�

ти

вн

ой

сл

уж

бы

Бо

ли

ви

я

Вь

ет

на

м

Ке

ни

я

Ба

зис

но

е и

по

сл

ед

ую

�щ

ее

об

сл

е�

до

ва

ни

я

Ба

зис

но

е и

по

сл

ед

ую

�щ

ее

об

сл

е�

до

ва

ни

я

Па

не

ль

ны

ед

ан

ны

е,

оц

ен

ки

бе

�н

еф

иц

иа

�р

ов

До

мо

хо

�зя

йс

тв

а,

пр

ое

кт

ы

До

мо

хо

�зя

йс

тв

а,

об

щи

ны

До

мо

хо

�зя

йс

тв

а,

фе

рм

ы

ни

ю, о

б�

ра

зов

а�

ни

ю и

пи

та

ни

ю

По

ка

зат

е�

ли

об

ра

�зо

ва

ни

я и

здр

ав

оо

�х

ра

не

ни

яП

ок

аза

те

�л

и б

ла

го�

со

ст

оя

�н

ия

на

уро

вн

ед

ом

ох

о�

зяй

ст

в и

об

щи

н

Пр

ои

зво

�д

ит

ел

ь�

но

ст

ь и

эф

фе

к�

ти

вн

ос

ть

фе

рм

Да

Не

т

Не

т

Да

Да

Не

т

Да

Да

Да

Да

Да

Не

т

Да

Да

Не

т

Не

т

Не

т

Не

т

Ди

ап

азо

нм

ето

ди

ко

це

нк

и

Оц

ен

ка

из�

ме

не

ни

яб

ла

гос

о�

сто

ян

ия

Стр

ате

ги�

че

ск

ая

ва

ж�

но

сть

ре

�зу

льт

ато

в

Пр

оек

тС

тр

ан

аТи

п б

азы

да

нн

ых

Пр

едм

ета

на

ли

за

Ед

ин

иц

аи

змер

е�н

ия

Ра

нд

ом

и�

зац

ия

Эк

он

ом

етр

ич

еск

ий

по

дх

од

От

бо

р п

о�

до

бн

ого

по

скл

он

но

с�т

и

Реф

лек

�си

вн

ые

сра

в�

нен

ия

Дв

ой

ны

ер

азл

ич

ия

Ин

стр

у�м

ент

ал

ь�н

ые

пер

е�м

енн

ые

Ка

чес

т�

вен

ны

ем

ето

ды

Пр

еим

уще�

ств

а

Ин

фр

аст

ру

кту

ра

Се

ль

ско

е х

озя

йст

во

Оценка при отсутствии базисных данных

На практике при проведении многих оценок исследователи часто не

имеют достаточных данных. Оценки проводятся, когда уже нет воз�

можности для выполнения базисного обследования или отсутствуют

контрольные группы. В качестве примеров можно привести оценки

программ «Продовольствие за образование» (Food for Education) в

Бангладеш, «PROBECAT» в Мексике, программ активного трудоуст�

ройства в Чехии и «TRABAJAR» в Аргентине. При отсутствии базис�

ных данных управляющие переменные могут быть построены с ис�

пользованием рассмотренных в предыдущих главах методов отбора

подобного по склонности. Однако это может быть достаточно слож�

ной задачей. Хорошим примером является метод отбора подобного

по склонности, использованный в аргентинском проекте «TRABA�

JAR» при конструировании контрольной группы с одномоментными

данными по участникам и неучастникам программы.

Проект «TRABAJAR II» в Аргентине. Основная задача данного

проекта — предоставить низкооплачиваемые рабочие места в не�

большых субпроектах социальной и экономической инфраструкту�

ры, которые выбирались бы общественностью. Оценка воздействия

программы проводилась для того, чтобы определить: стал ли доход

ее участников выше по сравнению с тем, который они могли бы

иметь в отсутствие программы. Применить обычные методы оценки

доходов домохозяйств «без программы» в случае с «TRABAJAR» было

невозможно: не была сформирована случайная выборка, которая

позволила бы сконструировать контрольную группу для сравнения

ее доходов с доходами бенефициаров; не было также базисного ис�

следования, что исключало оценку «до и после».

Вместо этого при оценке «TRABAJAR» для формирования кон�

трольной группы были использованы имеющиеся общенацио�

нальные данные о домохозяйствах. Это было сделано посредством

отбора по подобию групп участников и неучастников программы

по таким социально�экономическим переменным, как посещае�

мость школы, пол, жилищные условия, субъективное представле�

ние о благополучии, членство в политических партиях и ассоциа�

циях местного самоуправления, при этом применяя метод «отбора

подобного по склонности». Эта оценка является примером умело�

го использования имеющихся данных национального исследова�

ния домохозяйств (Encuesta de Desarrollo Social — EDS) при созда�

нии контрольной группы, а также использования выборочного оп�


роса небольшой группы участников программы «TRABAJAR», про�

веденного специально для данной оценки. Этот небольшой опрос

был разработан таким образом, что в нем использовалась та же ан�

кета, что и в EDS, работали те же команды интервьюеров; кроме то�

го, он был проведен примерно в то же время, что позволило ус�

пешно завершить работу по отбору по подобию контрольных и

экспериментальных групп. Применить такой метод для програм�

мы «TRABAJAR» стало возможным потому, что уже было проведено

национальное обследование домохозяйств, и специалисты, прово�

дившие оценку, могли воспользоваться его результатами для рас�

ширения выборки участников «TRABAJAR». При выполнении наци�

онального и проектного исследования работали одни и те же ко�

манды интервьюеров, что позволило повысить эффективность

сбора данных (приложение 1.1).

Оценка программ трудоустройства в Чехии. Оценка охва�

тывала пять программ, предусматривавших активные меры по тру�

доустройству, с целью: 1) выяснить, добились ли участники различ�

ных программ большего успеха при повторном вхождении в ры�

нок труда по сравнению с теми, кто в них не участвовал, и насколь�

ко неизменным был данный результат в разных подгруппах и при

разных условиях на рынке труда; 2) определить действенность

каждой программы с учетом затрат и выработать предложения по

совершенствованию программ. Поскольку базисные данные остут�

ствовали, при оценке использовался метод отбора подобного по

показателям склонности. Оценщики опросили участников, после

чего сформировали случайную выборку неучаствовавших в ней.

Поскольку неучастники систематически оказывались старше и

имели более низкий уровень образования, исследователям при�

шлось составить подходящую контрольную группу для каждой

программы. Это было сделано путем изучения каждого участника и

сопоставления его с каждым членом из группы неучастников на

основании семи характеристик: возраста, пола, образования, коли�

чества месяцев работы до регистрации, размера населенного пунк�

та, семейного положения и вида последней работы. После этого

тот, чьи характеристики были самыми близкими, попадал в кон�

трольную группу сравнения. Подобный подход прост, но при его

использовании есть возможность смещения выборки, существует

вероятность того, что группа неучастников будет систематически

отличаться от группы участников на основе ненаблюдаемых фак�

торов (приложение 1.5).


Учет ограничений при разработке правильныхуправляющих воздействий

В некоторых случаях использование рандомизации или эксперимен�

тальных мер управляющих воздействий теоретически возможно, но

неприемлемо по политическим соображениям. В этом случае можно

осуществить рандомизацию, воспользовавшись планами проведения

пилотных проектов в определенных районах. Такие районы можно

определить на случайной основе, а в качестве контрольных будут вы�

ступать те районы, где проект может быть осуществлен в будущем.

Постепенно в проект можно также случайным образом включать до�

полнительные общины. Три примера, приведенные ниже, показыва�

ют, каким образом решается проблема, связанная с невозможностью

рандомизации по политическим или иным причинам. Оценка сель�

ского транспортного проекта во Вьетнаме будет проводиться в усло�

виях ограниченной информации и при отсутствии рандомизации.

Социальный инвестиционный фонд Гондураса — пример того, как

составлять контрольную группу для проектов, отвечающих реаль�

ным потребностям общества, путем сравнения по подобию после за�

вершения проекта (ex post matched comparison), основанного на од�

ном срезе данных. Оценивать проекты, которые определяются спро�

сом, может быть особенно сложно, поскольку неизвестно заранее, ка�

кие проекты или общины будут включены в программу. Наконец,

оценка Социального инвестиционного фонда Боливии в районе Ча�

ко служит хорошим примером того, как в проектах можно предусмо�

треть рандомизацию и обеспечить при этом адресность.

Проект сельских дорог во Вьетнаме. Цель данного проекта —

сокращение бедности в сельских районах посредством улучшения

доступа к сельским общинам и соединения их с сетью районых и

провинциальных дорог. Оценка воздействия проекта основана на

данных базисного и последующего обследований, проведенных по

выборке участвующих в проекте и контрольных общин, которые бы�

ли определены методами сравнения по подобию. Базисная информа�

ция и информация после проведения проекта по таким показателям,

как урожай сельскохозяйственной продукции на уровне общины, ди�

версификация источников доходов, наличие возможностей работы

по найму, доступность товаров, услуг и удобств, а также стоимость и

распределение имущества, будут получены из случайной выборки

участвующих (экспериментальных) и не участвующих (контроль�

ных) в проекте общин. Эти данные будут использоваться для сравне�


ния изменений результатов до и после осуществления проекта для

участвующих и не участвующих в проекте общин при помощи мето�

да двойных различий.

В идеале экспериментальные и контрольные общины должны

быть эквиваленты по всем своим наблюдаемым и ненаблюдаемым

характеристикам. Единственное различие между ними должно со�

стоять в том, что экспериментальные общины участвуют в програм�

ме, а контрольные — нет. Поскольку выбор в обе группы не был слу�

чайным, а данные, необходимые для информированного выбора со�

ответствующих мер контроля, были недоступны во время формиро�

вания выборки, то была проведена случайная выборка из участвую�

щих и не участвующих в проекте общин. В частности, участвующие в

проекте общины выбирались по каждой провинции из перечня всех

общин, участвовавших в предложенных проектах. После этого под�

бирались контрольные общины из перечня общин, не участвующих

в проектах, но расположенных в тех же районах, что и эксперимен�

тальные общины. Затем, на основании собранных для оценки дан�

ных, с помощью методик отбора подобных по показателям склонно�

сти будет обеспечена приемлемость отобранных общин, не участву�

ющих в проекте, в качестве контрольных групп. Из выборки будут

удалены любые меры контроля с нестандартными для участвующих в

проекте общин характеристиками (приложение 1.15).

Социальный инвестиционный фонд Гондураса*. Задача Со�

циального инвестиционного фонда Гондураса (Honduran Social

Investment Fund, FHIS) — улучшение жилищных условий маргиналь�

ных социальных групп через финансирование малых подпроектов в

области социальной и экономической инфраструктуры. FHIS — это

организация, которая реагирует на спрос со стороны муниципалите�

тов, министерств, НПО и общественных групп и финансирует инвес�

тиции в инфраструктуру, оборудование и обучение. При оценке воз�

действия FHIS использует методы сравнения по подобию, составляя

выборку экспериментальной группы на случайной основе из переч�

ня общин, где проекты FHIS проводятся не менее года. Контрольная

группа выбиралась из списка «плановых» проектов — тех, на которые

поступил запрос и которые были одобрены, но средства FHIS пока не

выделены. Теоретически контрольная группа должна автоматически

согласовываться с участвующими в проекте общинами в ходе само�

отбора и в соответствии с критериями утверждения проекта FHIS.


* Источник: The World Bank,1998 г.

После этого в участвующих и не участвующих в проектах общинах

были проведены обследования домохозяйств, дополненные качест�

венной оценкой (фокус�группы и интервью с основными эксперта�

ми — носителями информации), проведенной в подмножестве уча�

ствовавших в проекте общин. Эта начальная оценка является первым

шагом на пути к созданию постоянной системы мониторинга и

оценки, которая со временем станет неотъемлемой частью работы

FHIS. В частности, данные, собранные в общинах, которые ждут реа�

лизации проектов, станут полезной базисной информацией, на ос�

нове которой можно будет отследить будущие изменения в показате�

лях воздействия после того, как FHIS осуществит инвестиции.

Инвестиции в образование, район Чако, Боливия. Образо�

вательные проекты, финансируемые Социальным инвестиционным

фондом Боливии, СИФ (Social Investment Fund, SIF), направлены на

улучшение школьного хозяйства и повышение квалификации учите�

лей сельских средних школ. Задержки с реализацией проекта в райо�

не Чако и ограниченность имеющихся средств для модернизации

школ позволили применить экспериментальную схему оценки и в то

же время обеспечить включение в проект школ, которые больше все�

го требовали помощи. Школы в районе Чако были классифицирова�

ны по индексу качества школы, который складывался из пяти показа�

телей, характеризующих оборудование и инфраструктуру школы: на�

личие электрического освещения и канализации, тип водоснабже�

ния, количество парт и квадратных метров площади на одного уча�

щегося. В программу СИФ были включены только те школы, индекс

которых был ниже установленного минимального значения. Из пре�

тендентов на дотации в число получателей инвестиций СИФ автома�

тически попадали школы с самым низким индексом. Следующая по

приоритетности группа включала в себя 120 школ, однако выделен�

ных средств хватало на переоборудование лишь менее половины из

них. Таким образом, имеющие право на помощь школы из группы

второй очереди случайным образом распределялись на эксперимен�

тальную и контрольную группы, что создало условия для экспери�

ментальной оценки (приложение 1.4).

Сочетание методов

При выполнении большинства оценок, в ходе которых рассматрива�

ется несколько вопросов, для достижения надежных результатов не�

обходимо одновременно использовать различные методики. Каж�


дый из поставленных вопросов может потребовать применения сво�

ей методики даже в рамках одного и того же плана осуществления

проекта. Ниже приведены три примера того, как в ходе одной оцен�

ки сочеталось несколько подходов. Мы рассмотрим Социальный

фонд Боливии, оценку программы «TRABAJAR» в Аргентине и школь�

ную реформу в Никарагуа.

Социальный фонд Боливии. Обычно в социальные фонды

включаются несколько различных типов подпроектов, поэтому при

разработке плана оценки возможны несколько подходов. В случае с

Социальным фондом Боливии методики оценки определялись схе�

мой реализации проекта. В программе по образованию уже были оп�

ределены школы�участники, поэтому нельзя было применить рандо�

мизацию. Вместо нее были применены методы отбора подобного по

склонности. В проектах здравоохранения использовались рефлек�

сивные методы оценки, поскольку программа осуществлялась во

всех медицинских центрах региона (приложение 1.4).

Использование широкого набора компонентов оценки варгентинском «TRABAJAR II». Оценка программы «TRABAJAR»

включает в себя ряд компонентов, разработанных для определения

эффективности программы в достижении стратегических целей.

Первый компонент базируется на использовании данных обследова�

ния домохозяйств и позволяет оценить увеличение дохода участни�

ков «TRABAJAR». Второй компонент дает возможность отследить рас�

пределение средств программы (адресность), включая изменения,

вызванные реформой. Данный компонент обеспечивает обратную

связь два раза в год, что помогает улучшить адресность программы. К

дополнительным компонентам оценки относятся анализ проектов в

области инфраструктуры по методике «затраты–выгоды», а также

оценки общества, посредством которых общины могут быть инфор�

мированы о ходе выполнения проекта. Каждый из этих компонентов

реализуется дважды. В будущем планируется ввести еще три компо�

нента. Для оценки воздействия «TRABAJAR» на активность на рынке

труда будет применен метод сравнения по подобию (matched�com�

parison research technique). Предполагается повторная оценка качест�

ва проекта с точки зрения развития инфраструктуры. На этот раз она

выполняется для проектов, завершенных не менее года назад, и пре�

дусматривает измерение надежности, уровня обслуживания и ис�

пользования инфраструктурных объектов. Наконец, в качественном

компоненте исследования предполагается изучение работы всей


программы и используемых процедур путем опроса сотрудников ве�

домств, обеспечивающих осуществление проектов, а также бенефи�

циаров программы.

Результаты оценки четко указывают направление, в котором сле�

дует осуществлять стратегию реформ. Первый компонент исследова�

ния показывает, что программа «TRABAJAR» обеспечивает хорошую

адресность для бедных — самоотбор участников, при котором людям

предлагают низкий заработок, оказался в Аргентине действенным

подходом, а доход участников действительно вырос благодаря про�

грамме. Второй компонент демонстрирует, что географическое рас�

пределение средств программы с течением времени улучшалось — в

настоящий момент программа обеспечивает лучшее распределение

средств в бедные районы. Однако продолжающийся процесс оценки

показывает, что результаты программы в различных регионах неоди�

наковы, а в некоторых провинциях они хронически оказывались не�

удовлетворительными. Именно эти выводы в настоящее время требу�

ют дальнейшего внимания при продолжении реализации политики

программы. Неутешительные результаты оценки качества проектов

инфраструктуры заставили группу, ответственную за осуществление

проекта, направить значительные усилия на улучшение работы в

этой сфере и пересмотреть подходы; необходимо чаще посещать

площадки с целью оценки и наблюдения, использовать санкции в от�

ношении ведомств и структур, не обеспечивающих достаточного ка�

чества работы к моменту завершения проекта, а также разработать

более качественные инструкции по проведению оценки. Наконец,

общественные оценки выявили потребность в улучшении техничес�

кого содействия НПО и сельским муниципалитетам при подготовке

и внедрении проекта, а также необходимость более активного ин�

формирования населения и увеличения прозрачности механизмов

программы «TRABAJAR» (приложение 1.1).

Реформа, направленная на увеличение школьной автоно�мии (развитие школьного самоуправления) в Никарагуа. В

1993 г. правительство Никарагуа предприняло решительные шаги по

децентрализации сектора образования, включая развитие само�

управления и предоставление бюджетной автономии выбранным на�

чальным и средним школам. Цель реформы — улучшение качества

обучения, поскольку при самоуправлении школа становится более

демократичной, к принятию решений подключается широкий круг

лиц, а управление и расходы школ можно направлять на улучшение

преподавания и повышение успеваемости учащихся. В оценке ре�


формы использовалось сочетание количественных и качественных

методов, что позволило оценить как результаты, так и сам ход про�

цесса децентрализации. Задачей качественного компонента является

выяснение того, действительно ли в школах проводятся намеченные

управленческие и финансовые реформы, а также причин их осуще�

ствления или неосуществления. Количественный компонент конкре�

тизирует результаты, отвечая на вопрос: действительно ли изменения

в школьном управлении и финансировании приводят к повышению

успеваемости детей? Результаты качественного анализа показывают,

что успешность внедрения реформ во многом зависит от школьной

обстановки и внешней среды (т.е. уровня бедности общины), а ре�

зультаты количественного анализа демонстрируют, что активизация

принятия решений на уровне школ непосредственно связана с улуч�

шением успеваемости.

Для объединения обоих подходов были использованы различные

дополняющие друг друга методологии и источники данных. С одной

стороны, количественное исследование проводилось по квазиэкспери�

ментальной схеме, когда результаты тестов выборки школьников из

школ с самоуправлением (экспериментальная группа) сравнивались с

результатами отобранной по подобию выборки государственных и ча�

стных средних школ без самоуправления (контрольная группа). Дан�

ные для этого компонента оценки были собраны на основе двух па�

нельных исследований школ и домохозяйств с использованием метода

сравнения по подобию, а также результатов тестов успеваемости уча�

щихся. С другой стороны, качественная оценка состояла из опросов ос�

новных экспертов и фокус�групп с участием различных представите�

лей школьного персонала и родителей из подвыборки школ с самоуп�

равлением и без него, включенных в количественное исследование.

Использование как количественных, так и качественных методов

исследования привело к получению ценного сочетания полезных и

важных для определения политики результатов. Количественная ра�

бота предоставила обширный статистически валидный обзор усло�

вий и результатов обучения в школе; качественное исследование до�

полнило эту оценку пониманием, почему какие�то ожидаемые ре�

зультаты программы реформирования были достигнуты, а другие

нет. Все это помогло в корректировке стратегии реформ. Кроме того,

из�за своего более интуитивного характера качественная работа бы�

ла более понятной и интересной для персонала Министерства, что, в

свою очередь, облегчило быстрый рост его внутреннего потенциала

и формирование доверия к процессу оценки в Министерстве (при�

ложение 1.11).


Использование имеющихся источников данных

Такие уже имеющиеся источники данных, как общенациональное

обследование домохозяйств, государственная перепись населения,

административные записи программы или муниципальные данные

зачастую могут явиться ценной составляющей при проведении

оценки. При использовании существующих источников нет необхо�

димости в проведении дорогостоящего сбора данных специально

для оценки (иллюстрацией этому является оценка проекта сельских

дорог во Вьетнаме). Кроме того, хотя существующие данные могут и

не содержать всю ту информацию, которую в идеале следовало бы

иметь для анализа, использование инновационных методов оценки

часто позволяет компенсировать отсутствие данных; это видно на

примере Проекта Национальной сельскохозяйственной информа�

ционно�консультативной службы (ИКС) Кении.

Проект сельских дорог во Вьетнаме. Данные, использованные

в этой оценке, получены благодаря эффективному сочетанию сущест�

вующих общенациональных и местных источников информации с

обследованиями, проведенными специально для этой оценки. Обсле�

дование домохозяйств, проведенное в интересах оценки, разработа�

но таким образом, что в нем повторяется ряд вопросов обследования

уровня жизни во Вьетнаме (Viet Nam Living Standards Survey, VNLSS),

поэтому на основе информации, общей для обоих обследований,

можно применить методы регрессии для оценки положения каждого

домохозяйства в национальном распределении благосостояния.

Оценка опирается главным образом на данные, полученные на

уровне общин, они ежегодно собираются самими общинами и охва�

тывают такие аспекты, как демография, землепользование и произ�

водственная деятельность. В качестве дополнения к этому источнику

данных выступает обследование на уровне общины, проведенное

специально для данной оценки. На основе существующей информа�

ции были созданы еще две базы данных. Для того чтобы уяснить, по

каким критериям определялся выбор участвующих в проекте про�

винций, была создана обширная база данных на уровне провинций.

Она охватывает все провинции Вьетнама и содержит информацию

по большому количеству социоэкономических параметров. Также

была создана база данных на уровне проекта по каждому обследован�

ному району реализации проекта. Она была в основном предназна�

чена для того, чтобы в ходе оценки воздействия проекта учитывать

его масштабы и способ реализации (приложение 1.15).


Проект Национальной сельскохозяйственной информаци�онно�консультативной службы (ИКС), Кения. Показатели рабо�

ты Проекта Национальной информационно�консультативной службы

Кении (National Extension Project, NEP) были достаточно противоречи�

вы. В настоящее время они стали еще одним предметом в более широ�

ком споре относительно рентабельности методики «Обучение и посе�

щение», ОиП (training and visit, T&V) применительно к деятельности

ИКС. В случае с Кенией причиной споров стала, с одной стороны, вы�

сокая отдача от ОиП, отмеченная в одном из исследований (Bindlish

and Everson, 1993, 1997), а с другой — отсутствие убедительных нагляд�

ных результатов и неудовлетворительные показатели работы сельско�

го хозяйства Кении на протяжении последних лет.

Разногласия по поводу результативности работы Национальной

ИКС продолжаются в ожидании результатов данного исследования,

использующего тщательный, эмпирический подход к оценке инсти�

туционального развития и воздействия программы на сельское хо�

зяйство. При оценке используется сочетание количественных и каче�

ственных методов для ответа на стратегически важные вопросы и для

выявления серьезных недостатков программы: 1) институциональ�

ное развитие Национальной ИКС достаточно ограниченно, по исте�

чении 15 лет почти не произошло повышения действенности предо�

ставляемых услуг; 2) качество и количество предоставляемых услуг

неудовлетворительны; 3) информационно�консультативная служба

оказала незначительное положительное воздействие на эффектив�

ность фермерских хозяйств, а на их производительности работа

этой службы практически никак не сказалась.

Результаты оценки позволили сделать в отношении стратегии про�

граммы конкретные выводы, многие из которых окажут сильное воз�

действие на разработку будущих проектов развития сельскохозяйст�

венной информационно�консультативной службы. Во�первых, оцен�

ка выявила потребность в улучшении адресности ОиП и ориентации

ее на те районы и группы, где воздействие программы было бы макси�

мальным. Кроме того, рекомендации, выдаваемые службами, должны

более точно соответствовать потребностям фермеров и учитывать

местные технические и экономические условия. Для успешного до�

стижения необходимого уровня адресности услуг требуется поступ�

ление своевременной и достоверной информации; отсюда — необхо�

димость наличия в программе системы мониторинга и оценки, кото�

рая обеспечивала бы постоянную обратную связь с бенефициарами

относительно содержания услуг. В целях повышения эффективности

программы представляется полезным упростить структуру ОиП и


предусмотреть ее более широкий охват. При всеобщем охвате услуга�

ми в рамках программы задействован только один подход (посеще�

ние ферм) для предоставления стандартной информации, а это также

снижает действеность программы. Институциональная реформа мо�

жет повысить эффективность предоставления услуг. Децентрализа�

ция программы, включая внедрение механизмов вовлечения разных

заинтересованных сторон, которые обеспечивают фермеру «право

голоса» (например, совместное финансирование, привлечение фер�

мерских организаций и т.д.), должна стать неотъемлемой частью сис�

темы предоставления услуг. Наконец, фактором, который обеспечит

необходимые стимулы, поможет в решении вопросов подотчетности

и контроля за качеством, сделает службу чувствительной к спросу, а

также позволит улучшить ситуацию с финансированием, будет возме�

щение издержек (пусть даже частичное) (приложение 1.8).

Расходы и финансирование

Нет никакого сомнения в том, что при проведении оценки воздейст�

вия неизбежны большие затраты. Именно поэтому некоторые стра�

ны неохотно финансируют подобные исследования. Расходы сязаны

со сбором данных и оплатой деятельности специалистов по оценке.

Финансирование оценки воздействия может быть предусмотрено из

средств проекта, а также из других государственных ресурсов, из

гранта на проведение исследований или из средств иностранной до�

норской организации. Данные по выборке ряда оценок Всемирного

банка показывают, что, хотя во многих странах большую часть рас�

ходов по оценке брала на себя сама страна, для успешного проведе�

ния оценки воздействия требовалось привлечение значительных

внешних ресурсов помимо тех, что предоставлялись в рамках займа

или кредита для проекта. В данном случае использовалось сочетание

следующих источников: а) заем Всемирного банка или кредит для

финансирования сбора и обработки данных; б) государственные

средства на оплату труда национального персонала, проводящего

оценку (как объясняется в табл. 4.1, из�за отсутствия данных стои�

мость работы персонала в расчет затрат на оценку в рассмотренных

здесь примерах не включалась); в) гранты Всемирного банка на про�

ведение исследований и гранты двусторонних донорских организа�

ций для финансирования технической помощи со стороны консуль�

тантов, обладающих специальными знаниями, которые были необ�

ходимы для проведения оценки; а также г) средства Всемирного бан�

ка на покрытие накладных расходов, учитывающие время работы его


сотрудников, руководящих проведением оценки воздействия и не�

редко принимающих активное участие в аналитической работе.

Хотя данные о затратах приведены лишь в немногих оценках воз�

действия, в табл. 4.2 представлены сметы расходов для ряда оценок, про�

веденных при участии Всемирного банка. В эти сметы не включена оп�

лата рабочего времени персонала организаций�партнеров в странах�

клиентах (а эти расходы могут быть значительными), поскольку такая

информация была недоступна. В качестве ориентира можно иметь в ви�

ду, что в восьми из приведенных примеров нередко предусматривалась

оплата работы не менее пяти сотрудников, занятых проведением оцен�

ки воздействия на протяжении ряда лет; такая статья во многих случаях

может существенно увеличить стоимость оценки.

Средняя стоимость оценки воздействия составила 433000 долл.

США. Это значение получено для диапазона от 263000 долл. США на

оценку программы профессионального обучения безработной мо�

лодежи в Тринидаде и Тобаго до 878000 долл. США на оценку Соци�

ального инвестиционного фонда Боливии. Расходы на оценку воз�

действия представленных ниже проектов составляют в среднем 0,6%

от общей стоимости проекта (который иногда предусматривал по�

ступление средств от нескольких доноров) или 1,3% от суммы займа

Международного банка реконструкции и развития (МБРР) или кре�

дита Международной ассоциации развития (МАР). Самыми дорого�

стоящими составляющими ниже перечисленных исследований были

сбор данных и работа национальных и иностранных консультантов.

Во многих случаях в транспортные расходы включалась стоимость

поездок национальных специалистов на встречи с сотрудниками и

исследователями Всемирного банка, а также на обсуждения вопросов

стратегии и обучение, поскольку одной из основных задач было

формирование соответствующего внутреннего потенциала в стране�

клиенте. Приведенные ниже два примера оценки воздействия проек�

та в Тринидаде и Тобаго и в Боливии дают некоторое представление

о разбросе стоимости программы.

При оценке программы профессионального обучения в Трини�

даде и Тобаго для составления избыточной выборки людей, про�

шедших обучение, и создания сравнительной группы из нацио�

нальной подвыборки были использованы результаты национально�

го обследования дохода и занятости. В дополнение к этому оцен�

щики помогли структурировать и использовать имеющиеся адми�

нистративные данные с информацией о претендентах на участие в

программе. Благодаря этому были получены данные о предпро�

граммной ситуации, а для выявления прошедших обучение не по�



Таблица 4.2. Смета расходов в некоторых оценкахвоздействия, проведенных силами Всемирного банка

Управление вшколахНикарагуа

Управление вшколахСальвадора

Программаваучеров вКолумбии

СоциальныйфондГондураса

СоциальныйфондНикарагуа

СоциальныйфондБоливии

Обучениемолодежи,Тринидад иТобаго

В среднем

495 000

443 000

266 000

263 000

449 000

878 000

238 000

433 000

1,26

0,60

0,20

0,23

0,30

0,50

0,80

0,56

1,5

1,3

0,3

0,9

0,8

1,4

1,2

1,0

8,1

7,7

9,4

3,0

4,9

3,4

7,6

6,3

18,1

7,4

9,8

11,5

33,0

14,6

11,5

15,1

39,0

25,8

21,8

53,2

7,8

12,9

17,9

25,5

34,8

59,2

59,0

32,3

55,7

69,1

63,1

53,3

Проект

Сметазатрат

на оценку,долл.США1

Затра�ты в %

от общейстоимос�ти про�

екта2

Затратыв % отзайма

МБРР иликредита

МАР2 Поездки3

Структура затрат на оценку (%)

ПерсоналВсемир�

ногобанка

Консуль�танты

Сборданных

1 В эти расходы не включены затраты на оплату работы национальных специалистов, которые

не финансировались из средств займа или кредита. Приведенные цифры относятся к периоду вы�

бора проектов для оценки, а не к общему объему финансирования, предоставленного этим инсти�

тутам Банком и другими организациями.2 Затраты в виде процента от размера займа или кредита или стоимости проекта представлены

исключительно в справочных целях. Во многих случаях фактическое финансирование оценки бы�

ло получено из источников, не имеющих отношения к средствам проекта.3 Смета расходов на поездки включает в себя визиты миссий сотрудников Всемирного банка и

иностранных консультантов в страны�клиенты и поездки специалистов из стран�клиентов, осо�

бенно с целью участия в стратегических совещаниях и аналитических симпозиумах с иностран�

ными консультантами и сотрудниками Всемирного банка.

требовалось переписи с присвоением номеров (enumeration). Об�

щий объем выборки для каждого из трех отслеживающих исследо�

ваний составил примерно 2500 молодых людей, считая членов как

экспериментальной, так и контрольной групп. В исследовании ис�

пользовалась только одна небольшая анкета, которую заполняли

лица, прошедшие обучение. Тринидад и Тобаго — небольшая стра�

на, добраться до общин по дороге относительно несложно, а анг�

лийский является общепринятым языком в стране и среди тех, кто

прошел обучение.

При оценке Социального фонда Боливии использовались собст�

венные базисные и последующие обследования экспериментальной

и контрольной групп; на их основе оценивались программы в облас�

ти здравоохранения, образования, водоснабжения и канализации. В

распоряжении оценщиков не было результатов национальных об�

следований, на основании которых можно было бы вести анализ или

формировать расширенную выборку. В связи с этим вся работа по

сбору данных проводилась в рамках оценки. Выборка эксперимен�

тальной и контрольной групп включала в себя примерно 7000 домо�

хозяйств и 300 предприятий. Они были опрошены в базисном иссле�

довании 1993 г. и в последующем исследовании 1998 г.

В Боливии в качестве инструментов сбора данных для оценки воз�

действия программы использовались мобильные лаборатории для

анализа качества воды, тесты успеваемости и восемь анкет для экс�

пертов из домохозяйств и предприятий. Эти восемь анкет включали

в себя две анкеты для домохозяйств (для главного эксперта и для жен�

щин детородного возраста), одну анкету для общины, четыре разные

анкеты для медицинских учреждений разных типов (от небольших

медпунктов до больниц) и школьную анкету для директора школы.

Для измерения адресности в оценке был предусмотрен показатель

бедности, выведенный на основании потребления. Оценка адреснос�

ти потребовала сбора подробных данных о потреблении домохо�

зяйств, а также об уровне цен в регионах. Работа на местах проводи�

лась в сельских районах, где выполнялось большинство проектов Со�

циального инвестиционного фонда; она предусматривала формиро�

вание случайной выборки сельских домохозяйств, добраться до ко�

торых нередко можно было только пешком или верхом на лошади.

Наконец, анкеты нужно было составить и предлагать на испанском

языке и на языках кечуа и аймара.

Общеэкономические вопросы

Есть несколько общеэкономических аспектов, от которых зависят не

только проведение оценки, но и методы ее осуществления. Решение

о проведении оценки во многом зависит от наличия сильной поли�

тической поддержки. Многие правительства не понимают ценности

оценки проектов и не хотят вкладывать в нее средства. Кроме того,

при проведении независимой оценки могут обнаружиться результа�

ты, противоречащие правительственной политике; это особенно ха�


рактерно для стран с авторитарными или закрытыми режимами. Бо�

лее открытые правительства рассматривают проведение оценки и

публикацию полученных результатов как важную часть демократиче�

ского процесса.

Оценки чувствительны к политическим изменениям. Три из деся�

ти оценок воздействия программы, перечисленных в табл. 4.2, были

аннулированы по причине возникших общеэкономических вопро�

сов. Смена режимов или руководящих членов правительства и изме�

нения политической стратегии могут повлиять не только на процесс

проведения оценки, но и на реализацию самой программы, которая

подлежит оценке. Примером такого риска является опыт группы, ра�

ботавшей над оценкой плана и воздействия пилотной программы по

управлению школами в Перу. Эта работа была частью финансируе�

мого Всемирным банком проекта в области начального образования.

Группа, состоящая из представителей Министерства образования,

сотрудников Всемирного банка, а также иностранных и националь�

ных консультантов, работала более года над созданием пилотных мо�

делей школьного управления, оформлением экспериментального

подхода, разработкой инструментов обследования и тестов успевае�

мости, а также сбором базисных данных по характеристикам школ и

по успеваемости. Непосредственно перед внедрением пилотной

программы в выбранных случайным образом школах высокопостав�

ленные правительственные чиновники отменили эксперимент в об�

ласти управления школами, опасаясь предполагаемого политическо�

го резонанса от пилотной программы. Несколькими годами позже

была проведена схожая реформа, но без апробации (пилотного тес�

та) или оценки.

В Венесуэле план оценки программы здоровья и питания матери

и ребенка пересматривался трижды для трех различных заказчиков,

поскольку правительство перекладывало ответственность за оценку

с одного ведомства на другое. Каждое изменение сопровождалось пе�

резаключением контракта с частной фирмой, которая должна была

проводить сбор данных и большую часть анализа для оценки. Когда

возникло сомнение в законности выбора правительством третьего

ведомства, фирма расторгла контракт и оценка была прекращена.

Это происходило в период политических изменений, характеризую�

щихся большим количеством кабинетных перестановок, после чего

последовало падение избранного правительства, которое было од�

ной из сторон проекта, — жертвой политической нестабильности,

таким образом, стала не только оценка. В случаях с Перу и Венесуэ�

лой следует помнить о расходах и ресурсах, потраченных на про�


грамму, которая так и не принесла плодов. Менее драматичным при�

мером последствий политических изменений для стратегии оценки

является Сальвадор, где признанный успех реформы сельских школ

побудил правительство ввести аналогичную образовательную ре�

форму во всех городских школах сразу, вместо первоначального за�

планированного постепенного охвата школ, выбираемых на случай�

ной основе. Это решение лишило возможности применить экспери�

ментальный подход в оценке, из�за чего пришлось воспользоваться

менее надежным рефлексивным сравнением как единственно воз�

можным вариантом.


Abadie, A., J. Angrist, and G. Imbens. 1998. «Instrumental Variables Estimation

of Quartile Treatment Effects». National Bureau of Economic Research

Working Paper Series, № 229: 1–28.

Atkinson, Anthony. 1987. «On the Measurement of Poverty». Econometrica 55:

749–64.

Bamberger, Michael. 2000. Integrating Quantitative and Qualitative

Methods in Development Research. Washington, D.C.: World Bank.

Barnes, Carolyn. 1966. «Assets and the Impact of Microenterprise Finance Pro�

grams». USAID AIMS Project Brief 6. Washington, D.C.: USAID.

Barnes, Carolyn, and Erica Keogh. 1999. «An Assessment of the Impact of Zam�

buko’s Microenterprise Program in Zimbabwe: Baseline Findings». USAID

AIMS Project Brief 23. Washington, D.C.: USAID.

Benus, Jacob, Neelima Grover, and Recep Varcin. 1998. Turkey: Impact of Active

Labor Programs. Bethesda, Md.: Abt Associates.

Benus, Jacob, Neelima Grover, Jiri Berkovsky, and Jan Rehak. 1998. Czech

Republic: Impact of Active Labor Programs. Bethesda, Md.: Abt Associates.

Besharov, Douglas J., Peter Germanis, and Peter H. Rossi. 1997. Evaluating Wel�

fare Reform: A Guide for Scholars and Practitioners. College Park, Md.: Uni�

versity of Maryland.

Bindlish, V., R. Evenson, and Mathurin Gbetibouo. 1993. Evaluation of

Т & V�Based Extension in Burkina Faso. Washington, D.C.: World Bank.

Bloom, Howard S., Larry L. Orr, George Cave, Stephen H. Bell, Fred Doolittle,

and Winston Lin. 1994. The National JTPA Study: Overview, Impacts, Benefits,

and Costs of Title II�A. Bethesda, Md.: Abt Associates.

Blundell, Richard W., and R. J. Smith. 1993. «Simultaneous Microeconometric

Models with Censoring or Qualitative Dependent Variables». In G. S. Mad�

dala, C. R. Rao, and H. D. Vinod, eds., Handbook of Statistics.

Vol. 11. Amsterdam: North Holland.

Bourguignon, Francois, Jaime de Melo, and Akiko Suwa. 1991. «Distributional

Effects of Adjustment Policies: Simulations for Archetype Economies in

Africa and Latin America». World Bank Economic Review 5 (2): 339–66.

Библиография*

* Термин «processed» в библиографическом описании обозначает нео�фициальные, малотиражные публикации, которые могут быть недоступны вбиблиотеках.

Burtless, Gary. 1995. «The Case for Randomized Field Trials in Economic and

Policy Research». Journal of Economic Perspectives 9 (Spring): 63–84.

Card, David, and Philip K. Robins. 1996. «Do Financial Incentives Encourage

Welfare Recipients to Work? Evidence from a Randomized Evaluation of

the Self�Sufficiency Project». National Bureau of Economic Research Paper

5701, August. Cambridge, Mass.: NBER.

Carvalho, Soniya, and Howard White. 1994. «Indicators for Monitoring Poverty

Reduction». World Bank Discussion Papers 254. Washington, D.C: World Bank.

Chen, Martha Alter, and Donald Snodgrass. 1999. «An Assessment of the Impact

of Sewa Bank in India: Baseline Findings». USAID AIMS Project, Processed.

Washington, D.C.: USAID.

Cohen, Monique, and Gary Gaile. 1997. «Highlights and Recommendations of

the Virtual Meeting of the CGAP Working Group on Impact Assessment

Methodologies». USAID AIMS Project. Washington, D.C.: Management Sys�

tems International.

_____. 1998. «Highlights and Recommendations of the Second Virtual Meeting

of the CGAP Working Group on Impact Assessment Methodologies». USAID

AIMS Project. Washington, D.C.: Management Systems International.

Dar, Amit, and Indermit S. Gill. 1998. «Evaluating Retraining Programs in OECD

Countries: Lessons Learned». The World Bank Research Observer 13 (Febru�

ary): 79–101.

Dar, Amit, and Zafiris Tzannatos. 1999. «Active Labor Market Programs: A

Review of Evidence from Evaluations». World Bank Social Protection Dis�

cussion Paper 9901. Washington, D.C.: World Bank.

Dehejia, Rajeev H,. and Sadek Wahba. 1998. «Causal Effects in Non�Experi�

mental Studies: Re�Evaluating the Evaluation of Training Programs».

NBER Working Paper Series 6586. Cambridge, Mass.: NBER

http://www.nber.org/papers/w6586.

Dennis, Michael L., and Robert F. Boruch. 1989. «Randomized Experiments for

Planning and Testing Projects in Developing Countries: Threshold Condi�

tions». Evaluation Review 13 (June): 292–309.

Diagne, Aliou, and Manfred Zeller. 1998. «Determinants of Access to Credit and

Its Impact on Income and Food Security in Malawi». Manuscript submitted

to the International Food Policy Research Institute (IPPRI) Publication

Review Committee for consideration as an IFPRI Research Report.

Diop, F., A. Yazbeck, and R. Bitran. 1995. «The Impact of Alternative Cost Recov�

ery Schemes on Access and Equity in Niger». Health Policy and Planning 10

(3): 223–40.

Donecker, Jane, and Michael Green. 1998. Impact Assessment in Multila�teral

Development Institutions. London: Department for International Develop�

ment.


Dunn, Elizabeth. 1999. «Microfinance Clients in Lima, Peru: Baseline Report for

AIMS Core Impact Assessment». USAID AIMS Project, Processed. Washing�

ton, D.C.: USAID.

Edgecomb, Elaine L., and Carter Garber. 1998. «Practitioner�Led Impact Assess�

ment: A Test in Honduras». USAID AIMS. Washington, D.C.: USAID.

Ezemenari, Kene, Anders Ruqvist, and K. Subbarao. 1999. «Impact Evaluation: A

Note on Concepts and Methods». World Bank Poverty Reduction and Eco�

nomic Management Network, Processed. Washington, D.C.: World Bank.

Foster, James, J. Greer, and Erik Thorbecke. 1984. «A Class of Decompo�sable

Poverty Measures». Econometrica 52: 761–65.

Friedlander, Daniel, and Gayle Hamilton. 1993. The Saturation Work Initiative

Model in San Diego: A Five�Year Follow�Up Study. New York: Manpower

Demonstration Research Corporation.

Friedlander, Daniel, and Philip K. Robins. 1995. «Evaluating Program Eva�lua�

tions: New Evidence on Commonly Used Nonexperimental Me�thods».

American Economic Review 85 (September): 923–37.

Friedlander, Daniel, David H. Greenberg, and Philip K. Robins. 1997. «Eva�luat�

ing Government Training Programs for the Economically Disadvantaged».

Journal of Economic Literature 35 (December): 1809–55.

Fuller, Bruce, and Magdalena Rivarola. 1998. Nicaragua’s Experiment to Decen�

tralize Schools: Views of Parents, Teachers and Directors. Working Paper

Series on Impact Evaluation of Education Reforms, paper № 5. Washington,

D.C.: World Bank.

Gaile, Gary L., and Jenifer Foster. 1996. «Review of Methodological Approaches

to the Study of the Impact of MicroEnterprise Credit Programs». USAID

AIMS Brief 2. Washington, D.C.: USAID.

Glewwe, Paul, Michael Kremer, and Sylvie Moulin. 1998. «Textbooks and Test

Scores: Evidence from a Prospective Evaluation in Kenya». Deve�lopment

Research Group, World Bank, October 28.

Goodman, Margaret, Samuel Morley, Gabriel Siri, and Elaine Zuckerman. 1997.

Social Investment Funds in Latin America: Past Performance and Future Role.

Washington D.C.: Inter American Development Bank. March.

Government of Denmark. 1995. Methods for Evaluation of Poverty Oriented Aid

Interventions. Copenhagen: Ministry of Foreign Affairs.

Greene, W. H. 1997. Econometric Analysis. Hemel Hempstead, New Jersey: Pren�

tice Hall Press.

Greenberg, David, and Mark Shroder. 1997. The Digest of Social Experiments,

2nd ed. Washington, D.C.: The Urban Institute Press.

Grosh, Margaret E., and Juan Mun~oz. 1996. «A Manual for Planning and Imple�

menting the Living Standards Measurement Study Survey». LSMS Working

Paper #126. World Bank, Washington, D.C.

БИБЛИОГРАФИЯ 105

Grossman, Jean Baldwin. 1994. «Evaluating Social Policies: Principles and U.S.

Experience». The World Bank Research Observer 9 (July): 159–80.

Habicht, J. P., C. G. Victoria, and J. P. Vaughan. 1999. «Evaluation Designs for

Adequacy, Plausibility and Probability of Public Health Programme Perfor�

mance and Impact». International Journal of Epidemiology 28: 10–18.

Harrell, Adele, Martha Burt, Harry Hatry, Shelli Rossman, Jeffrey Roth, and William

Sabol. 1996. Evaluation Strategies for Human Service Programs: A Guide for

Policymakers and Providers. Washington, D.C.: Urban Institute.

Heckman, James. 1997. «Instrumental Variables. A Study of Implicit Beha�vioral

Assumptions Used in Making Program Evaluations». Journal of Human

Resources 32 (3): 441–61.

Heckman, James, R. Lalonde, and J. Smith. 1999. «The Economics and Economet�

rics of Active Labor Market Programs». In O. Ashenfelter and D. Card, eds.. Hand�

book of Labor Economics, vol. III. New York: Elsevier Science Publishing Co.

Heckman, James, and Richard Robb. 1985. «Alternative Methods of Evaluating the

Impact of Interventions: An Overview». Journal of Econometrics 30: 239–67.

Heckman, James J., and Jeffrey A. Smith. 1995. «Assessing the Case for Social

Experiments». Journal of Economic Perspectives 9 (2): 85–110.

Heckman, J., H. Ichimura, J. Smith, and P. Todd. 1998. «Characterizing Selection

Bias Using Experimental Data». Econometrica 66: 1017–99.

Hicks, Norman. 1998. Measuring the Poverty Impact of Projects in LAC. World

Bank Latin America and the Caribbean Region, Processed. Washington,

D.C.: World Bank.

Holder, Harold D., Andrew J. Treno, Robert F. Saltz, and Joel W. Grube. 1997.

«Summing Up: Recommendations and Experiences for Evaluation of Com�

munity�Level Prevention Programs». Evaluation Review 21 (April): 268–78.

Hollister, Robinson G., and Jennifer Hill. 1995. Problems in the Evaluation of

Community�Wide Initiatives. New York: Russell Sage Foundation.

Hulme, David. 1997. «Impact Assessment Methodologies for Microfinance:

Theory, Experience and Better Practice». Manchester,U.K.: Institute for

Development Policy and Management, University of Manchester.

International Food Policy Research Institute. 1998. Programa Nacional de

Educacio´n, Salud, у Alimentacio´n (PROGRESA): A Proposal for Evaluation

(with technical appendix). Washington, D.C.: IFPRI.

Jalan, Jyotsna, and Martin Ravallion. 1998a. «Income Gains from Workfare: Esti�

mates for Argentina’s TRABAJAR Program Using Matching Me�thods».

Washington D.C.: Development Research Group, World Bank.

_____. 1998b. «Transfer Benefits from Workfare: A Matching Estimate for

Argentina». Washington, D.C.: Development Research Group, World Bank.

Jamison, Dean Т., Barbara Serie, Klaus Galda, and Stephen P. Heyneman. 1981.

«Improving Elementary Mathematics Education in Nicaragua: An Experi�


mental Study of the Impact of Textbooks and Radio on Achievement». Jour�

nal of Educational Psychology 73 (4): 556–67.

Karoly, Lynn A., Peter W. Greenwood, Susan S. Everingham, Jill Hoube´, M.

Rebecca Kilbum, C. Peter Rydell, Matthew Sanders, and James Chiesa. 1998.

Investing in Our Children: What We Know and Don’t Know about the Costs

and Benefits of Early Childhood Interventions. Santa Monica, Calif.: Rand.

Kemple, James J., Fred Doolittle, and John W. Wallace. 1993. The National JTPA

Study: Site Characteristics and Participation Patterns. New York: Manpower

Demonstration Research Corporation.

Khandker, Shahidur R. 1998. Fighting Poverty with Microcredit: Experience in

Bangladesh. New York: Oxford University Press for the World Bank.

Killick, Tony. 1995. IMF Programmes in Developing Countries, Design and

Impact. London: England.

King, Elizabeth, and Berk Ozler. 1998. What’s Decentralization Got to Do with

Learning? The Case of Nicaragua’s School Autonomy Reform. Working Paper

Series on Impact Evaluation of Education Reforms, paper № 9. Washington,

D.C.: World Bank.

King, Elizabeth, Berk Ozler, and Laura Rawlings. 1999. Nicaragua’s School

Autonomy Reform: Fact or Fiction? Washington, D.C.: World Bank.

Kish, Leslie. 1965. Survey Sampling. New York: John Wiley and Sons.

Levinson, James F., Beatrice Lorge Rogers, Kristin M. Hicks, Thomas Schaetzel,

Lisa Troy, and Collette Young. 1998. Monitoring and Evaluation: A Guide�

book for Nutrition Project Managers in Developing Countries. Medford, Mass.:

International Food and Nutrition Center, Tufts University School of Nutri�

tion Science and Policy, March.

Manski, Charles, and Irwin Garfinkel, eds. 1992. Evaluating Welfare and Train�

ing Programs. Cambridge, Mass.: Harvard University Press.

Manski, Charles, and Steven Lerman. 1977. «The Estimation of Choice Proba�

bilities from Choice�Based Samples». Econometrica 45: 1977–88.

McKay, H., А. МсКау, L. Siniestra, H. Gomez, and P. Lloreda. 1978. «Impro�ving

Cognitive Ability in Chronically Deprived Children», Science 2000 (21):

270–78.

Meyer, Bruce D. 1995. «Natural and Quasi�Experiments in Economics». Journal

of Business and Economic Statistics, 13 (April): 151–161.

Miles, Matthew В., and A. Michael Huberman. 1994. Qualitative Data Analysis.

London: Sage Publications.

MkNelly, Barbara, and Karen Lippold. 1998. «Practitioner�Led Impact Assess�

ment: A Test in Mali». USAID AIMS Brief 21. Washington, D.C.: USAID.

MkNelly, Barbara, and Christopher Dunford (in collaboration with the Pro�

gram in International Nutrition, University of California, Davis). 1998.

«Impact of Credit with Education on Mothers’ and Their Young Children’s


Nutrition: Lower Pra Rural Bank Credit with Education Program in Ghana».

Freedom from Hunger Research Paper № 4, March.

Moffitt, Robert. 1991. «Program Evaluation with Nonexperimental Data». Eval�

uation Review 15 (3): 291–314.

Mohr, Lawrence В. 1995. Impact Analysis for Program Evaluation, 2nd ed.

Thousand Oaks, Calif.: Sage Publications.

_____. 1999. «The Qualitative Method of Impact Analysis». Processed.

Morduch, Jonathan. 1998a. «The Microfinance Schism». Harvard Institute

for International Development, Development Discussion Paper 626,

February.

_____. 1998b. «Does Microfinance Really Help the Poor? New Evidence from

Flagship Programs in Bangladesh». Harvard University Institute for Interna�

tional Development, Processed, June.

_____. 1999. «The Microfinance Promise». Journal of Economic Literature

37(4); 1569–1614.

Newman, John, Menno Pradhan, Laura Rawlings, Ramiro Coa, and Jose Luis

Evia. 2000. «An Impact Evaluation of Education, Health, and Water Supply

Investments of the Bolivia Social Investment Fund». Processed.

Newman, John, Laura Rawlings, and Paul Gertler. 1994. «Using Rando�mized

Control Designs in Evaluating Social Sector Programs in Developing Coun�

tries». The World Bank Research Observer 9 (July): 181–202.

Operations Evaluation Department, World Bank. 1994. «An Overview of Mon�

itoring and Evaluation in the World Bank». June 30.

Poppele, J. S. Summarto, and L. Pritchett. 1999. «Social Impacts of the Indone�

sia Crisis: New Data and Policy Implications». Social Monitoring Early

Response Unit, World Bank, Washington, D.C. Processed.

Pradhan, Menno, Laura Rawlings, and Geert Ridder. 1998. «The Bolivian Social

Investment Fund: An Analysis of Baseline Data for Impact Evaluation».

World Bank Economic Review 12 (3): 457–82.

Ravallion, Martin. 1994. Poverty Comparisons, Fundamentals in Pure and

Applied Economics, vol. 56. Harwood Academic Publishers.

_____. 1999. Monitoring Targeting Performance When Decentralized Allocations

to the Poor Are Unobserved. World Bank, Washington, D.C. Processed.

Ravallion, Martin, and Quentin Wodon. 1998. Evaluating a Targeted Social Pro�

gram When Placement Is Decentralized. World Bank Policy Research Work�

ing Paper 1945. Washington, D.C.: World Bank.

Ravallion, Martin, Dominique van de Walle, and Madhur Gautam. 1995. «Test�

ing a Social Safety Net». Journal of Public Economics 57: 175–99.

Rawlings, Laura. 2000. «Assessing Educational Management and Quality in

Nicaragua». In Bamberger: Integrating Quantitative and Qualitative Methods

in Development Research. Washington, D.C.: World Bank.


Rebien, Claus C. 1997. «Development Assistance Evaluation and the Founda�

tions of Program Evaluation». Evaluation Review 21 (August): 438�60.

Revenga, Ana, Michelle Riboud, and Hong Tan. 1994. «The Impact of Me�xico’s

Retraining Program on Employment and Wages». World Bank Economic

Review 8 (2): 247–77.

Rivers, Douglas, and Quang H. Vuong. 1988. «Limited Information Estimators

and Exogeneity Tests for Simultaneous Probit Models». Journal of Econo�

metrics 39: 347–66.

Robinson, Sherman. 1991. «Macroeconomics, Financial Variables, and Com�

putable General Equilibrium Models». World Development, 19 (11):

1509–25.

Rosenbaum, P., and D. Rubin. 1983. «The Central Role of the Propensity Score in

Observational Studies for Causal Effects». Biometrika 70: 41–55.

_____. 1985. «Constructing a Control Group Using Multivariate Matched Sam�

pling Methods that Incorporate the Propensity Score». American Statisti�

cian 39: 35–39.

Rossman, Gretchen В., and Bruce L. Wilson. 1985. «Numbers and Words: Com�

bining Quantitative and Qualitative Methods in a Single Large�Scale Evalu�

ation Study». Evaluation Review 9 (3): 627–43.

Sahn, David, Paul Dorosh, and Stephen Younger. 1996. «Exchange Rate, Fiscal

and Agricultural Policies in Africa: Does Adjustment Hurt the Poor?» World

Development, 24 (4): 719–47.

Sebstad, Jennifer, and Gregory Chen. 1996. «Overview of Studies on the Impact

of MicroEnterprise Credit». USAID AIMS, June. Washington, D.C.: USAID.

Sharma, Manohar, and Gertrud Schrieder. 1998. «Impact of Finance on Food

Security and Poverty Alleviation — A Review and Synthesis of Empirical Evi�

dence». Paper presented to Workshop on Innovations in Micro�Finance for

the Rural Poor: Exchange of Knowledge and Implications for Policy, Ghana,

November.

Smith, William. 1998. Group Based Assessment of Change: Method and Results.

Hanoi, Vietnam: ActionAid.

Subbarao, K., Kene Ezemenari, John Randa, and Gloria Rubio. 1999. Impact

Evaluation in FY98 Bank Projects: A Review. World Bank Poverty Reduction

and Economic Management Network, Processed, January.

Tan, J.P, J. Lane, and G. Lassibille. 1999. «Schooling Outcomes in Philippine Ele�

mentary Schools: Evaluation of the Impact of Four Experiments». World

Bank Economic Review, September.

Taschereau, Suzanne. 1998. Evaluating the Impact of Training and Institutional

Development Programs, a Collaborative Approach. Economic Development

Institute of the World Bank, January.

USAID. 1984. «Study of Low Cost Housing». New Delhi: USAID. June.


_____. 1995. «Assessing the Impacts of MicroEnterprise Interventions: A

Framework for Analysis». MicroEnterprise Development Brief, June.

Valadez, J., and M. Bamberger, ed. 1994. «Monitoring and Evaluating Social Pro�

grams in Developing Countries», Economic Development Institute of the

World Bank Series, World Bank, Washington, D.C.

van de Walle, Dominique. 1999. «Assessing the Poverty Impact of Rural Road

Projects». World Bank. Processed.

Walker, Ian, Rafael del Cid, Fidel Ordon~ez, and Florencia Rodriguez. 1999. «Evalu�

acion Ex�Post del Fondo Honduren~o de Inversion Social (FHIS 2)». ESA Con�

sultores, Tegucigalpa, Honduras.

Weiss, Carol H. 1998. Evaluation. Upper Saddle River, New Jersey: Prentice Hall.

Wilson, Sandra Jo. 1998. «A Multi�Method Proposal to Evaluate the Impact of

CGIAR�Instigated Activities on Poverty Reduction». Paper presented to the

Annual Conference of the American Evaluation Association, November.

World Bank, Poverty and Human Resources Division, Policy Research Depart�

ment. 1994a. Impact Evaluation of Education Projects Involving Decentral�

ization and Privatization. Working Paper. Washington, D.C.: World Bank.

_____, Learning and Leadership Center and Operations Policy Department.

1996. Handbook on Economic Analysis of Investment Operations. Washing�

ton, D.C.: World Bank.

_____, Operations and Evaluation Department. 1998a. 1998 Annual Review of

Development Effectiveness. Washington, D.C,: World Bank.

_____, Poverty Reduction and Economic Management, Latin America and

Caribbean Region. 1998b. Measuring the Poverty Impact of Projects in LAC.

Washington, D.C.: World Bank.

_____, Operations and Evaluation Department. 1999. World Bank Agricul�

tural Extension Projects in Kenya: An Impact Evaluation. Report №

19523. Washington, D.C.: World Bank.

_____, Poverty Reduction and Economic Management Unit, 1999. Strategy for

Impact Evaluation. Washington, D.C.: World Bank.

Wouters, A. 1995. «Improving Quality through Cost Recovery in Niger». Health

Policy and Planning 10 (3): 257–70.

Zeller, Manfred, Akhter Ahmed, Suresh Babu, Sumiter Broca, Aliou Diagne, and

Manohar Sharma. 1996. «Security of the Poor: Methodologies for a Multi�

country Research Project». IFPRI Discussion Paper 11.


I. Введение

Описание проекта. Цель аргентинской программы TRABAJAR — со�

кращение бедности посредством создания рабочих мест для бедных

и одновременного улучшения социальной инфраструктуры в бедных

общинах. Пилотная программа TRABAJAR I была начата в 1996 г. в ка�

честве отклика на экономический кризис и безработицу, уровень ко�

торой составлял в то время свыше 17%. Программа TRABAJAR II была

запущена в 1997 г., став расширенным и пересмотренным вариантом

пилотной программы, а утверждение проектов в рамках TRABAJAR III

началось в 1998 г. В программе предлагается относительно низкая оп�

лата труда участников, чтобы привлечь (обеспечить «самоотбор») в

нее только бедных безработных. Проекты развития инфраструктуры,

для участия в которых нанимаются эти рабочие, инициируются мест�

ными властями и неправительственными организациями (НПО), ко�

торые и должны покрыть все расходы проекта, не связанные с зара�

ботной платой. Проекты утверждаются на региональном уровне в со�

ответствии с правительственными директивами.

По результатам оценки план программы и порядок ее реализации

претерпели значительные изменения. В программу TRABAJAR II был

внесен ряд поправок, призванных улучшить ее адресность. Теперь

распределение бюджетных средств центральным правительством в

большей степени ориентируется на показатели бедности и безрабо�

тицы в провинциях и, в соответствии с директивами, большее внима�

ние придается тем проектам, которые предлагаются бедными регио�

нами. На местном уровне усилия программ TRABAJAR II и III были на�

правлены на то, чтобы сформировать в провинциальных отделени�

ях, отвечающих за оказание помощи бедным районам, потенциал по

реализации проектов и по повышению качества инфраструктуры.

Оценка воздействия. Оценка TRABAJAR II была начата уже на

стадии ее подготовки и продолжается до сих пор. Ее цель — опреде�

Приложение 1

Анализ конкретных ситуаций

Приложение 1.1. Оценка выгод для бедных отпрограммы стимулирования трудовой

деятельности: Программа TRABAJAR (Аргентина)

лить, решает ли программа поставленные задачи, и выявить те райо�

ны, где для достижения максимального эффекта необходимо внести

в нее изменения. Оценка предусматривает проведение ряда отдель�

ных исследований, в рамках которых определяется: а) чистый при�

рост дохода участников программы; б) распределение ресурсов про�

граммы по регионам (адресность); в) качество финансируемых про�

ектов инфраструктуры и г) роль общин/сообществ и НПО в достиже�

нии проектами результатов.

Две составляющие оценки представляют собой лучшие эмпириче�

ские методики. Во�первых, анализ чистого прироста дохода показыва�

ет наилучшие примеры в методике сравнения по подобию, а также эф�

фективное использование существующих данных национального об�

следования домохозяйств. Во�вторых, в анализе адресности представ�

лена новая методика оценки адресности в условиях, когда невозможно

наблюдать случаи государственных расходов на местном уровне. Об�

щий план оценки представляет собой наилучшее сочетание методик

исследования и других компонентов (от количественного анализа до

посещений строительных площадок и оценки общественностью), что

обеспечивает своевременное получение комплексных результатов.

II. Подход к оценке

При оценке программы TRABAJAR используются разные инструмен�

ты для определения того, насколько хорошо программа достигает

своих стратегических целей. Первый компонент использует данные

обследования домохозяйств для оценки прироста дохода участников

TRABAJAR. В отличие от традиционных методов оценки программ по

стимулированию трудовой деятельности, где прирост дохода участ�

ников измеряется просто как валовой заработок; это обследование

представляет собой усовершенствованный их вариант, так как в нем

оценивается чистый прирост дохода. В нем использованы последние

достижения в методиках сравнения по подобию и учтен упущенный

доход (доход, от которого отказались те, кто стали участниками

TRABAJAR), что позволяет добиться более точной оценки чистого

прироста дохода, которая оказывается ниже. Второй компонент кон�

тролирует распределение средств программы (адресность), отсле�

живая изменения во времени, ставшие результатом реформ. Благода�

ря взвешенному использованию данных из общедоступных источ�

ников (распределение программного финансирования по провин�

циям и общегосударственная перепись населения), этот компонент

представляет новую методику оценки адресности в интересах бед�


ных при отсутствии фактических данных по использованию выде�

ленных в рамках программы средств. Такой анализ начался с приез�

дом первой контрольной миссии (ноябрь 1997 г.), и с тех пор его ре�

зультаты обновляются дважды в год.

Среди дополнительных компонентов оценки — анализ «затра�

ты–выгоды» для подвыборки проектов инфрастурктуры, а также об�

щественная оценка, призванная обеспечить обратную связь в ходе

реализации проекта. Все эти мероприятия производились дважды —

как для TRABAJAR I, так и для TRABAJAR II. В будущем планируется вы�

полнение еще трех мероприятий по оценке. Чтобы оценить воздей�

ствие участия в программе TRABAJAR на активность рынка труда,

снова будет применяться метод сравнения по подобию. Планируется

провести переоценку качества проекта инфраструктуры. На этот раз

будут рассматриваться проекты, завершенные не менее года назад,

что позволит оценить их долговечность, обслуживание и интенсив�

ность использования. Наконец, качественный компонент исследова�

ния предусматривает изучение того, как работает программа и какие

в ней используются процедуры; для этого предполагается провести

интервью с сотрудниками тех ведомств, которые обеспечивают осу�

ществление проектов, а также с бенефициарами программы.

III. Методы сбора и анализа данных

Оценка чистого прироста дохода участников программы проводится

на основе двух источников данных: национального обследования

уровня жизни (Encuesta de Desarrollo Social, EDS), а также опроса участ�

ников программы TRABAJAR, проводимого специально в интересах

данной оценки. (Обследование EDS финансировалось в рамках друго�

го проекта Всемирного банка. Его целью было повысить качество ин�

формации о благосостоянии домохозяйств в Аргентине, особенно с

точки зрения их доступа к социальным услугам и государственным со�

циальным программам.) Эти обследования проводились в августе

(EDS) и сентябре 1997 г. (опрос участников программы TRABAJAR) на�

циональным статистическим бюро, которое использовало одинако�

вые анкеты и команды интервьюеров. Обследование EDS охватывает

85% населения страны, но в него не были включены некоторые сель�

ские регионы и совсем малые общины. Выборка для обследования уча�

стников TRABAJAR была составлена методом случайной выборки из

участников TRABAJAR II в границах выборки для EDS;. были получены

данные по 2802 нынешним участникам программы (общее число уча�

стников программы TRABAJAR на период с мая 1997 г. по январь 1998 г.

АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ 113

составило 65321 человек). Надежность метода отбора подобного уве�

личивалась еще и потому, что участники и контрольная группа запол�

няли одинаковую анкету, причем одновременно; при этом обеспечива�

лась принадлежность обеих групп к одной экономической среде.

Для создания отобранной по подобию контрольной группы на базе

EDS в данном обследовании применен метод учета показателей склон�

ности. (Применение данной методики облегчает то, что анкета EDS весь�

ма подробна и позволяет собрать данные о характеристиках домохо�

зяйств, на основании которых можно прогнозировать участие в про�

грамме.) Идеальная отобранная по подобию пара включала бы в себя

представителя выборки участников и представителя контрольной груп�

пы, для которых все перемененные (х), прогнозирующие участие в про�

грамме, идентичны. Стандартной проблемой отбора по подобию явля�

ется сложность его практического применения, поскольку в (х) входит

много переменных. Однако отбор по подобию можно провести и на ос�

нове учета показателей склонности каждого человека, которые пред�

ставляют собой просто вероятность участия, обусловленную (х). (Пока�

затели склонности рассчитываются для каждого наблюдения в выбор�

ках экспериментальной и контрольной групп, с использованием стан�

дартных моделей Logit.) Данные о доходе отобранной по подобию кон�

трольной группы неучастников позволяют рассчитать доход, потерян�

ный участниками TRABAJAR II. Затем рассчитывается чистый доход от

участия в программе, представленный как разность между суммой зара�

ботной платы, полученной в рамках программы, и упущенным доходом.

Анализ адресности замечателен тем, что не потребовал дополнитель�

ного сбора данных. Эмпирическая работа основывается на данных от�

дела Министерства, работающего с проектом, которые отражают рас�

пределение средств по территориальным единицам (департаментам)

для TRABAJAR I (март 1996 г. — апрель 1997 г.) и первого полугодия

TRABAJAR II (май — октябрь 1997 г.). Она основана также на индексе бед�

ности по каждому департаменту (их всего 510), рассчитанному на осно�

ве переписи 1991 г. как доля домохозяйств с «неудовлетворенными пер�

вичными потребностями». Это составной индекс, включающий обеспе�

ченность жильем, наличие канализации, качество жилья, уровень обра�

зования взрослых, факт зачисления в школу детей, занятость и коэффи�

циент нагрузки (соотношение работающих и неработающих членов

семьи). Такой индекс несколько устарел, хотя это имеет и свое преиму�

щество: показатель бедности по департаментам был экзогенным по от�

ношению к TRABAJAR (т.е. не зависел от программы). Для анализа уров�

ня адресности в отношении данных о государственных расходах по ге�

ографическим регионам (в данном случае — департаментам) рассчиты�


вается регрессия по соответствующим уровням бедности для данного

региона. Итоговый коэффициент определяет «разницу в адресности»,

т.е. разницу между средними размерами средств, направленных бедным

и небедным (более обеспеченным) в рамках программы. Значение та�

кой общенациональной разницы в адресности впоследствии можно

разложить на составные части, чтобы оценить то, какая степень адрес�

ности обеспечивается механизмом, который использует центральное

правительство (распределение средств по департаментам), а какая —

действиями местных властей на уровне провинций.

Анализ «затраты–выгоды» осуществлялся инженером�строителем,

который провел двухэтапное исследование инфраструктурных проек�

тов TRABAJAR. На первом этапе он посетил 50 завершенных проектов

TRABAJAR I и составил их рейтинг по шести параметрам: техническо�

му, институциональному, экологическому, социально�экономическо�

му, управленческо�административному и эксплуатационно�техничес�

кому. Затем общее качество проектов оценивалось в баллах, а там, где

это было целесообразно, проводился анализ «затраты–выгоды» (за ис�

ключением школ или медпунктов). Затем, год спустя, было выполнено

аналогичное дополнительное исследование 120 проектов TRABAJAR II,

определяющее влияние реформ на качество инфраструктуры.

Общественная оценка проводилась во время подготовки TRABAJAR I

и II. Она обеспечивала обратную связь по таким вопросам реализации

программы, как роль НПО, доступность технической помощи при под�

готовке проекта и строительстве, выбор бенефициаров. Обе общест�

венные оценки осуществлялись социологами посредством проведения

фокус�групп и интервью.

IV. Результаты

Для получения точной картины выгод от программы по стимулирова�

нию трудовой деятельности очень важно учесть упущенный доход.

Согласно описательным статистическим данным по участникам TRA�

BAJAR II, в отсутствие программы (подушевой доход семьи минус за�

работная плата в рамках программы) 85% участников программы ока�

зались бы среди нижних 20% в национальном распределении дохода

и потому в Аргентине считались бы бедными. Однако оценки упущен�

ного дохода, произведенные методом сравнения по подобию, оказы�

ваются довольно высокими, и средний чистый прирост дохода благо�

даря участию в программе составляет лишь около половины заработ�

ной платы в рамках TRABAJAR; таким образом, из�за участия в про�

грамме часть дохода теряется. Именно этот потерянный доход изме�


ряется путем сравнения по подобию дохода участников программы с

доходом тех, кто в ней не участвовал. Тем не менее даже с учетом упу�

щенного дохода распределение прироста явно идет в пользу бедных,

поскольку 80 участников программы относятся к нижним 20% рас�

пределения дохода. Женщин в программе участвует немного (15%),

однако чистый прирост дохода фактически идентичен как для муж�

чин, так и женщин. Прирост дохода для молодежи намного меньше.

Адресность была значительно улучшена благодаря изменениям,

внесенным в TRABAJAR II. В этой программе скрытое распределение

ресурсов в пользу бедных домохозяйств по сравнению с TRABAJAR I

увеличилось в семь раз. Одна треть этого изменения произошла бла�

годаря повышению адресности на центральном уровне, в то время как

остальная часть успеха — результат повышения адресности на про�

винциальном уровне. Впрочем, результаты в отношении адресности в

разных провинциях весьма различны. В зависимости от того, к какой

провинции принадлежит тот или иной департамент, если в нем 40%

жителей считаются бедными, он может получить средства, в пять раз

превосходящие среднее значение выделяемой департаментам суммы.

Кроме того, в беднейших провинциях адресность оказывается хуже.

Качество проектов в области инфраструктуры было признано удов�

летворительным. Но, к сожалению, изменения в TRABAJAR II не привели

к значительным улучшениям. Частично это объясняется резким расши�

рением программы, из�за чего обеспечивать соответствие некоторым

ранее принятым стандартам стало сложнее. Тем не менее теперь проек�

ты в большей степени отвечают основным потребностям общин. Обще�

ственная оценка указала на необходимость улучшения технической по�

мощи НПО и сельским муниципалитетам, более активного информиро�

вания населения и увеличения прозрачности механизмов TRABAJAR.

V. Стратегические выводы

Результаты оценки четко показывают, что участники программы

TRABAJAR в основном относятся к бедным. В Аргентине была успешно

использована стратегия самоотбора, когда потенциальным участникам

предлагалась низкая заработная плата, а участники программы действи�

тельно получают дополнительный доход (заметим, что при этом чистый

прирост ниже валовой заработной платы из�за упущенного дохода). В

программе отсутствует дискриминация в отношении участия женщин.

Изменения в TRABAJAR II позволили добиться улучшения географичес�

кой адресности, и сейчас в программе более успешно распределяются

средства в бедные районы. Однако результаты не везде одинаковы, а в не�


которых провинциях показатели хронически неудовлетворительные, и

это значение должно стать предметом пристального внимания при раз�

работке дальнейшей политики. Наконец, неутешительные показатели

качества проектов инфраструктуры заставили проектную команду при�

ложить максимум усилий для улучшения их результатов в этой области

(речь идет о качестве проектов). В этой связи необходимо чаще посе�

щать площадки с целью оценки и наблюдения, использовать санкции в

отношении ведомств и структур, не обеспечивающих достаточного ка�

чества работы к моменту завешения проекта, а также разработать более

качественные инструкции по проведению оценки.

VI. Стоимость оценки и администрирование

Затраты. Затраты на проведение исследования эффективности

программы TRABAJAR (анализ чистого прироста дохода) и на обра�

ботку данных составили около 350000 долл. США. Две оценки каче�

ства подпроектов (анализ «затраты–выгоды») стоили примерно по

10000 долл. США каждая; в такую же сумму обошлись и обществен�

ные оценки. Таким образом, суммарная стоимость оценки составила

около 390000 долл. США.

Администрирование. План проведения оценки был разработан

сотрудником Всемирного банка Мартином Равальоном (Martin Raval�

lion) и осуществлен Всемирным банком совместно с группой реали�

зации проекта из Аргентины. На разных стадиях проведения оценки

требовалась также координация с некоторыми местными государст�

венными ведомствами, включая статистическое агентство, Минис�

терство труда (и его местные филиалы) и отдел стратегическго ана�

лиза в Министерстве социального развития.

VII. Приобретенный опыт

Важность учета упущенного дохода при оценке выгод от уча&стия в программе стимулирования трудовой деятельности.Упущенный доход составляет значительную (около половины) часть

валовой заработной платы, полученной участниками аргентинской

программы стимулирования трудовой деятельности. Результаты по�

казывают, что традиционные методы оценки (использующие только

валовую заработную плату) значительно переоценивают прирост до�

хода, что равносильно занижению благосостояния бедных участни�

ков программы в ее отсутствие.


Метод отбора подобного по склонности. При использовании в

оценке методики сравнения по подобию показатели склонности

позволяют подбирать надежные пары из выборки участников и кон�

трольной группы.

Рациональное использование существующих националь&ных источников информации. Зачастую ценный вклад в прове�

дение оценки могут внести такие источники данных, как общенаци�

ональная перепись или обследование домохозяйств. Использование

уже существующих данных снижает потребность в дорогостоящем

сборе информации, необходимой лишь для проведения оценки. От�

сутствие каких�либо данных можно компенсировать инновацион�

ными методами оценки, что демонстрирует оценка географической

адресности, проведенная в рамках программы TRABAJAR.

Широкий спектр компонентов оценки. Структура оценки

TRABAJAR служит примером эффективного сочетания различных

инструментов и методик оценки. Анализ данных обследований, ре�

зультатов посещения строительных площадок и общественные

оценки дополняли друг друга при получении общих результатов,

которые способствовали повышению эффективности программы

и помогли выявить те аспекты, которые требовали пересмотра.

Своевременность результатов. Многие компоненты оценки были

разработаны с учетом цикла проекта; они были рассчитаны по вре�

мени так, чтобы еще на подготовительных стадиях проекта предо�

ставить результаты и обеспечить их эффективное использование

при формировании стратегии. В настоящее время некоторые компо�

ненты оценки обеспечивают регулярность поступления данных в хо�

де непрерывного мониторинга программы.

VIII. Источники

Jalan, Jyotsna, and Martin Ravallion. 1999. «Income Gains from Workfare

and their Distribution». The World Bank. Washington, DC. Processed.

Ravallion, Martin. 1999. Monitoring Targeting Performance when Decen�

tralized Allocations to the Poor are Unobserved. The World Bank. Wash�

ington, DC. Processed.


Приложение 1.2. Действительно лимикрокредиты помогают бедным?

Новые данные на основе показательныхпрограмм в Бангладеш

I. Введение

Описание проекта. Программы микрокредитования Банка

Грамин, Национального комитета по развитию сельских регионов

(Rural Advancement Committee) и Совета по развитию сельских реги�

онов (Rural Development Board) Республики Бангладеш являются по�

казательным примером среди подобных программ в других странах.

Эти программы предусматривают выделение небольших займов бед�

ным домохозяйствам, владеющим менее 0,5 акра (0,22 га) земли. Зай�

мы сопровождаются новыми типами договоров и графиками пога�

шения кредита. Данными программами в Бангладеш были охвачены

свыше 4 млн бедных клиентов, и, по всей видимости, они были доста�

точно успешными. Например, верхний квартиль заемщиков Банка

Грамин потребляет на 15% больше; по сравнению с нижним кварти�

лем, школу посещают почти вдвое больше мальчиков, также значи�

тельно увеличилось число девочек�школьниц.

Чем интересна оценка. В ходе оценки рассматривается воздей�

ствие программ на 1800 домохозяйств Бангладеш. Эти домохозяй�

ства сравниваются с контрольной группой в регионах, не получав�

ших микрокредитов. Основным результатом исследования являет�

ся демонстрация того, что простые оценки водействия программы

могут быть значительно завышены: коррекция на смещение вы�

борки сводит впечатляющий на первый взгляд прирост дохода

практически к нулю. Оценка показывает, что значительная часть

предполагаемого прироста обусловлена различиями между полу�

чателями кредитов и теми, кто их не получает: первые более зажи�

точны и работают больше, чем члены контрольных групп. Если ис�

пользовать адекватные методы оценки, то оказывается, что заимст�

вования не влияют на потребление, а положение детей из районов,

охваченных программой, хуже, чем в контрольных районах. Ос�

новной причиной этой ситуации явилось несоблюдение правил,

устанавливающих право на участие программе: многие заемщики

владели участками земли, превышающими требуемый для ссуды

критерий в 0,5 акра.


Оценка сочетает в себе интересную методику опроса и творчес�

кое применение эконометрических методик. Еще одним необыч�

ным моментом является то, что при оценке рассматривается, как

программа сказывается не только на среднем результате, но и на его

дисперсии. Подобный метод позволил обнаружить, что основной

выгодой от программ являлось скорее снижение риска, чем повыше�

ние среднего результата.

II. Вопросы исследования и план оценки

Интерес исследователей заключался в определении воздействия

программ микрокредитования на следующие показатели: логарифм

потребления на душу населения; вариативность логарифма потреб�

ления, логарифм труда взрослого в течение предыдущего месяца, ва�

риативность логарифма труда взрослого, количество часов работы

взрослого мужчины за последний месяц, количество часов работы

взрослой женщины за последний месяц, процент мальчиков, посе�

щающих школу (возраст 5–17 лет), процент девочек, посещающих

школу (возраст 5–17 лет).

Для оценки применялась следующая методика обследования. Бы�

ло охвачено 87 деревень, жители которых были опрошены трижды

за период 1991–1992 гг. Деревни были выбраны случайным образом

из административных списков и данных переписи из пяти районов,

которые использовались в качестве контрольных, а также из 24 рай�

онов, в которых проводились программы. В каждой из деревень об�

следованию подверглись по двадцать домохозяйств.

Это позволило исследователям разделить домохозяйства на пять

различных типов в зависимости от соответствия критерию, дающему

право на заем, т.е. владение зеимельным участком площадью менее

0,5 акра. Имеет смысл привести схему, поскольку с ее помощью мож�

но показать, как выводятся бинарные переменные, характеризующие

типологию, и как учитывается смещение выборки.

Сравнение результатов группы D с результатами группы С затрудне�

но из�за сложности отбора — данные показывают, что домохозяйства

из группы С не участвуют в программе, поскольку опасаются, что не

смогут вернуть деньги. Однако если владение землей рассматривается

как внешний фактор, то группы С и D можно сравнить с группой Е, так

как разница в результате зависит от включения в программу, а не от са�

моотбора. Разумеется, если между деревнями существуют отличия, то

это неверно. Если есть отличия (возможно, обусловленные неслучай�

ным помещением в программу), то лучше воспользоваться методом


двойных различий. Таким образом, специалист, занимающийся оцен�

кой, может рассчитать средние результаты для С и D, средние результа�

ты для А, а затем определить разницу. Так же можно рассчитать разницу

между средними результатами для Е и средними результатами для В, по�

сле чего можно сравнить разницу в пределах одной и той же деревни.

III. Данные

Исследователи собрали данные по 1798 домохозяйствам, из которых

1538 имели право на ссуду и 905 реально принимали участие в про�

грамме. В 1991–1992 гг. опросы были проведены после трех сборов

урожая риса. Главные переменные, представляющие интерес для ис�

следователей, — уровень потребления на душу населения за преды�

дущую неделю, сумма полученного кредита, размер имеющегося уча�

стка, предложение труда за последний месяц, а также демографичес�

кие характеристики домохозяйств. Для проверки активности земель�

ного рынка использовались также вторичные источники данных о

сделках с землей.

IV. Эконометрические методы

В применяемых методах есть три интересных момента. Первый —

использование административных данных. Чтобы проверить ключе�

вые допущения, необходимые для использования модели разрывной

регрессии: экзогенность владения землей. Второй — очень элегант�

ное использование непараметрических методов построения графи�

ков, которые описывают как вероятность признания за домохозяйст�

вом права на ссуду, так и вероятность получения займа в зависимости

от владения землей. Это сочетается с подробным представлением то�


Деревня 1: С программой Деревня 2: Контрольная

A Не соответствуюттребованиям[b=1;e=0;c=0]

B Не соответствовали бытребованиям[b=0;e=0;c=0]

E Соответствовали бытребованиям[b=0;e=1;c=0]

Домохозяйствас участкамибольше 0,5 акра

Домохозяйствас участками0,5 акра и менее

C Соответству�ют требова�ниям, но неучаствуют[b=1;e=1;c=0]

DУчастники[b=1;e=1;c=1]

го, когда можно использовать модель разрывной регрессии, посколь�

ку, согласно данным графического анализа, в точке 0,5 акра нет чет�

кого разрыва. Наконец, в исследовании главным образом использу�

ются методики простых различий и двойных различий.

V. Кто проводил оценку

Данные были собраны Институтом Бангладеш по изучению развития

(Bangladesh Institute for Development Studies) по поручению Всемир�

ного банка. Анализ выполнял Джонатан Мордух (Jonathan Morduch).

VI. Результаты

Результаты показывают, что почти все очевидные выгоды от про�

граммы определяются смещением выборки из�за неверного адресо�

вания займов. В частности, авторы обнаружили, что 20–30% заемщи�

ков владеют участками земли, площадь которых превышает допусти�

мый программой максимум в 0,5 акра. Из этого следует, что должно�

стные лица, отвечающие за реализацию программы, скорее всего об�

ходят правила ненаблюдаемыми способами. Если сравнивать только

заемщиков, отвечающих критерию площади земельного участка, вы�

ясняется, что при использовании методов простых различий и двой�

ных различий среднее потребление в деревнях с доступом к микро�

кредиту оказывается ниже, чем в контрольных деревнях. Отсюда

можно сделать вывод о серьезных ошибках в адресовании средств

программы, из�за чего для анализа ее воздействия невозможно ис�

пользовать разрывную регрессию.

Оценка также помогает сравнить результаты различных экономе�

трических методов. Результаты, полученные с помощью методов фик�

сированных эффектов, простых различий и двойных различий, зна�

чительно отличаются друг от друга. Оценка убедительно демонстри�

рует, что первый метод в меньшей степени подходит для ситуаций, в

которых решения о распределении средств основываются на нена�

блюдаемых различиях в целевых группах. Впрочем, два последних

подхода выдают противоречивые результаты относительно того, сни�

жает ли программа вариативность потребления и дохода; это подчер�

кивает потребность в лонгитюдных данных. После учета смещения

выборки выясняется, что для воздействия на образование практичес�

ки справедливо обратное.

Следует также отметить, что, хотя данный анализ показывает не�

значительное воздействие программы по сравнению с положением


контрольной группы, фактически у контрольной группы вряд ли не

было доступа к финансированию, так как оно может предоставлять�

ся НПО. Таким образом, целесообразность расходования миллионов

долларов на субсидирование программ микрокредитования ставит�

ся под вопрос.


Из результатов исследования можно сделать несколько очень серьез�

ных выводов. Первый: важно проверять, соответствует ли работа про�

граммы первоначальным планам. Второй: следует определить, на�

сколько применима модель разрыва регрессии по сравнению с мето�

дикой простых различий или двойных различий. Третий: следует

рассматривать воздействие программы как на первый, так и на вто�

рой момент распределения, поскольку полезным результатом может

быть снижение риска само по себе. Есть и более фундаментальный

вывод, который в явном виде не звучит в исследовании, но тем не ме�

нее вытекает из него. Он связан с общеэкономическими вопросами:

если существует значительная заинтересованность в том, чтобы на�

рушить правила, то эти правила будут нарушены.


Morduch, Jonathan «Does MicroFinance Really Help the Poor? New Evi�

dence from Flagship Programs in Bangladesh». June 17, 1998.

Processed.

Khandker, Shahidur R. 1998. Fighting Poverty with Microcredit: Experience

in Bangladesh. New York: Oxford University Press for the World Bank.


Приложение 1.3. Программа«Продовольствие за образование» в

Бангладеш: оценка адресной социальнойпрограммы при децентрализованном

включении в нее

I. Введение

Описание проекта. Программа «Продовольствие за образование»

(Food for Education, FFE) в Бангладеш была разработана с целью уве�

личить посещаемость начальной школы. Эта цель достигалась через

снабжение отобранных домохозяйств рисом или пшеницей в каче�

стве стимула для родителей детей, посещающих школу. Программа

начиналась как пилотная, однако со временем масштаб и значение

ее возросли: доля программы в бюджете Отдела начального и массо�

вого образования (Primary and Mass Education Division) выросла с

11% в 1993–1994 гг. до 26% в 1995–1996 гг. Всего было охвачено 2,2

млн детей, или 13% от общего числа школьников. План проекта до�

статочно интересен: система выбора целевых групп имела иерархи�

ческий характер, в том смысле, что FFE проводилась во всех школах

в выбранных экономически отсталых географических районах с

низким уровнем посещаемости школ. Общинные группы сами вы�

бирали домохозяйства, которые должны были получить продукты,

на основе определенных, хотя и несколько произвольных, критери�

ев (безземельные домохозяйства, домохозяйства, главой которых

была женщина, и домохозяйства с низким уровнем дохода). Дети из

таких домохозяйств должны были ежемесячно посещать не менее

85% занятий.

Чем интересна оценка. Эта оценка очень полезна, так как она по�

казывает, что можно сделать, если план программы не допускает при�

менения стандартных методов оценки и когда оценку необходимо

провести на основании существующих на данный момент источни�

ков данных. Фактически, используемый в FFE подход был почти пол�

ной противоположностью случайному отбору: не только географи�

ческие районы выбирались по соответствию определенным характе�

ристикам, но и люди из этих районов выбирались потому, что им бы�

ла нужна помощь. Поскольку данная программа была адресована бед�

нейшим гражданам, простой анализ привел бы к недооценке ее воз�

действия.


Схема построения программы затрудняет выведение альтерна�

тивного сценария, поскольку очевидно, что выбор участников про�

граммы определяется потребностью в ней домохозяйств. Оценка

представляет нетрадиционный (и легко применимый к другим слу�

чаям) подход к решению проблемы итогового смещения, вызванно�

го децентрализацией процесса принятия решений. Иными словами,

поскольку центральное правительство распределяет средства по гео�

графическим районам, а местные субъекты распространяют их внут�

ри района, то оценка использует методы инструментальных пере�

менных, основанные на географических характеристках; это позво�

ляет уменьшить смещение, характерное для процедуры внешнего от�

бора. Применение такой методики приводит к намного более высо�

кой оценке воздействия FFE, чем при обычных подходах, в которых

используется обычный метод наименьших квадратов.


Задача исследования — дать количественное выражение воздействия

FFE на посещаемость школ учениками, измеряемую как уровень по�

сещаемости для каждого домохозяйства. Предварительное планиро�

вание здесь вряд ли поможет: оценка проводится на основании уже

имеющихся данных, в частности на основании обследования расхо�

дов представительных (репрезентативных) для страны домохо�

зяйств и детального опроса общин. Вообще, для того, чтобы избежать

необходимости проведения базисного исследования, была разрабо�

тана ретроспективная оценка. Для оценки было достаточно обследо�

ваний, дающих представление о характеристиках домохозяйств и

специфике их географических регионов. Ниже более подробно по�

казано, как можно структурировать эти данные, чтобы получить до�

стоверную информацию о воздействии программы.

III. Данные

Данные получены из обследования расходов домохозяйств (House�

hold Expenditure Survey, HES) 1995–1996 гг. — общенационального ис�

следования, проведенного Статистическим бюро Бангладеш, куда бы�

ли включены вопросы, касающиеся участия в FFE, а также компонен�

ты исследования на местном уровне. Авторы используют ответы на

вопросы, касавшиеся демографических характеристик домохозяйств,

владения землей, школ и программы, полученные от 3625 сельских


домохозяйств, что позволяет оценить воздействие программы на по�

сещаемость школ. HES непосредственно определяет посещение шко�

лы каждым ребенком. При этом считаются как пропущенные дни, так

и дни, когда школа была закрыта. В ходе анализа была использована

зависимая переменная, обозначающая долю среднего числа дней по�

сещения для домохозяйства от общего возможного количества дней

посещения. Обе части этого исследования очень важны. С одной сто�

роны, информация о домохозяйствах помогает оценить воздействие

демографических характеристик на посещаемость школы. С другой

стороны, информация о географическом расположении помогает

разработать стратегию принятия решения центральным правитель�

ством и уменьшить упомянутое выше смещение выборки.


Данная оценка направлена на изучение двух очень важных проблем,

возникающих перед исследователями на местах. Одна из них заклю�

чается в децентрализации решений об участии в программе, из�за че�

го решение о распределении средств зависит от переменных, нена�

блюдаемых специалистом по эконометрике, но очевидных для лю�

дей, принимающих такое решение. Это значит, что при оценке необ�

ходимо выбрать единицу измерения, которая определит участие в

программе на индивидуальном уровне и при этом не будет коррели�

ровать с ошибочным членом (и, таким образом, с результатами про�

граммы). Вторая проблема в том, что отсутствуют базисные данные

об участниках; имеются лишь результаты одномоментного исследо�

вания, что затрудняет оценку чистого эффекта от программы.

Оценка обладает новизной в том плане, что в ней используют в ка�

честве инструмента двухуровневый процесс распределения. Для это�

го необходимо, чтобы одномоментные данные включали в себя как

характеристики домохозяйств, так и географические характеристи�

ки. В данном случае модель выглядит так:

Wi = αIPi + β′Xi + η′Zi + μi. (1)

Здесь W является конечным благосостоянием индивидуума, Х и Z

включают характеристики домохозяйств и географические характе�

ристики, а IP представляет собой место индивидуума в программе и

коррелирует с ошибочным членом. Очевидно (и важность этого не

раз подчеркивалась в литературе по оценке), что оценка по методу

наименьших квадратов будет смещенной.


Данная оценка использует географические различия в участии в

программе как инструменты индивидуального отнесения к програм�

ме, поскольку это не коррелирует с ошибкой и с характеристиками

домохозяйств. Таким образом, это отношение характеризуется сле�

дующим образом:

IPi = γGPi + π′Xi + vi. (2)

Важно обратить внимание на необходимость включения в Z

всей информации, используемой при принятии решения об учас�

тии на основании географических характеристик. В данном случае

применяются два набора географических переменных. Один набор

достаточно стандартен и непосредственно влияет на решение о по�

сещении: расстояние до школы, тип школы и переменные, характе�

ризующие качественный уровень школы. Второй набор связан с са�

мим решением о включении в программу, и, хотя сам он достаточ�

но велик, его следует привести в целях иллюстрации. В этот набор

входят: распределение земли; интенсивность ирригации; качество

дорог; электрификация; расстояние и время в пути до местного ад�

министративного центра и столицы; расстояние до финансовых и

медицинских учреждений; случаи стихийных бедствий; отношение

к занятости женщин, образованию и контролю рождаемости; сред�

ний уровень образования главы семьи и супруги(а); основная рели�

гия в деревне; число жителей деревни. Эти данные рассчитываются

на уровне деревни и позволяют достаточно хорошо прогнозиро�

вать отбор в программу: Probit�регрессия для 166 деревень дала до�

статочно хорошее соответствие (псевдо�R2 = 0,55). Из этого следу�

ет, что указанные переменные действительно отражают общее уча�

стие в программе.

Затем можно смоделировать этот ряд уравнений при помощи тре�

хэтапного метода наименьших квадратов (ТМНК) и сравнить его с

результатами регрессии при использовании обычного метода наи�

меньших квадратов (ОМНК).


Оценка проводилась сотрудниками Всемирного банка Мартином

Равальоном и Квентином Водоном как часть долгосрочной совме�

стной работы Статистического бюро Бангладеш с Отделом по

борьбе с бедностью и управлению экономикой Регионального от�

дела Всемирного банка по Южной Азии.



Существуют явные различия в двух предложенных подходах: оценка

воздействия FFE при помощи трехэтапного метода наименьших ква�

дратов (ТМНК) была на 66% выше, чем оценка обычным методом на�

именьших квадратов (ОМНК) без учета географических факторов, и

на 49% выше, чем с учетом этих факторов. Иными словами, простые

расчеты, учитывающие только различия между разными домохозяй�

ствами (ОМНК без учета географических факторов), будут значи�

тельно занижать эффективность программы. Даже включение гео�

графических мер контроля при отнесении в программу на основа�

нии географической принадлежности не устраняет сопутствующего

смещения. Если говорить о конкретных цифрах, то при использова�

нии рассмотренного выше метода оценки предоставление среднего

количества зерна приводит к росту посещаемости и составляет 24%.

Следует отметить, что ключевым фактором в обеспечении дейст�

венности такого подхода является наличие достаточно большого ко�

личества переменных для моделирования решения о выборе целе�

вых групп, а также то, что эти переменные должны быть близки к пе�

ременным, которые используют администраторы. Если все еще есть

пропущенные переменные, то смещение будет продолжаться.


Во многих случаях при проведении оценки исследователи не могут

позволить себе роскошь разработки стратегии сбора данных с нуля

либо потому, что оценка не включена в проект с самого начала, либо

просто из�за высокой стоимости. Приведенный пример оценки по�

лезно изучить по двум причинам. Во�первых, она демонстрирует ту

степень смещения, которую может обусловить неверный экономет�

рический подход. Во�вторых, в ней представлен эконометрически

корректный способ оценки воздействия программы без затрат и за�

держек, неизбежных в ситуации, когда оценку предполагают провес�

ти в перспективе.


Ravallion and Wodon. 1998. Evaluating a Targeted Social Program when

Placement is Decentralized. Policy Research Working Paper 1945, World

Bank, Washington, D.C.


Приложение 1.4. Оценка деятельностиСоциального инвестиционного фонда

Боливии

I. Введение

Описание проекта. Социальный инвестиционный фонд, СИФ

(Social Investment Fund, SIF) Боливии был основан в 1991 г. как фи�

нансовая организация, обеспечивающая стабильное инвестирова�

ние социальной сферы, особенно здравоохранения, образования и

водоснабжения. Стратегическая цель Фонда — направить инвести�

ции в те области, которые традиционно не получали должного вни�

мания со стороны государственных ведомств, в частности, на нужды

бедных общин. Таким образом, средства СИФ распределяются в соот�

ветствии с муниципальным индексом бедности, однако в рамках са�

мих муниципалитетов данная программа реагирует на поступающие

от общины запросы на проведение проектов на местном уровне. В

1994 г. деятельность СИФ подверглась еще большей децентрализа�

ции, причем была усилена роль отраслевых министерств и муници�

пальных властей в разработке и утверждении проектов. СИФ Боли�

вии стал первой в мире организацией такого рода и послужил образ�

цом аналогичных фондов, которые появились позднее в Латинской

Америке, Африке и Азии.

Оценка воздействия. Несмотря на широкое применение социаль�

ных фондов, в 1990�х годах попыток детально оценить их влияние на

сокращение бедности было немного. Оценка СИФ Боливии, прове�

денная Всемирным банком совместно с СИФ, была начата в 1991 г. и

продолжается до сих пор. В этом исследовании применяются данные

базисного (1993 г.) и последующего (1997 г.) обследований; их сочета�

ние позволяет провести сравнение ситуации «до» и «после». Оно

включает отдельные оценки проектов в области образования, здраво�

охранения и водоснабжения и уникально тем, что в нем применяется

несколько методик оценки и анализируются их плюсы и минусы. Ре�

зультаты по первоначальной оценке уже получены, в настоящий мо�

мент они представляются финансирующим организациям и государ�

ственным ведомствам, чтобы получить их отклик. Окончательные ре�

зультаты и вопросы методологии будут более подробно изучаться в

связи с подготовкой Отчетов Социальных инвестиционных фондов

за 2000 г.; также предусмотрен анализ «затраты–эффективность».


II. План оценки

Процесс оценки боливийского СИФ начался в 1991 г. и продолжа�

ется до сих пор. План включает отдельные оценки проектов в обла�

сти образования, здравоохранения и водоснабжения, которые оп�

ределяют эффективность адресования средств программы бед�

ным, а также воздействие инвестиций в социальную сферу на по�

вышение посещаемости школ, состояние здоровья и доступ к воде.

Данный пример демонстрирует передовые методики оценки с ис�

пользованием для анализа воздействия базисных данных. Оценка

нетрадиционна еще и потому, что для анализа образовательных

проектов в ней применяются две альтернативные методологии

оценки (рандомизация и сравнение по подобию), и сопоставляют�

ся результаты, полученные в каждом случае. Это весьма полезный

вклад, поскольку рандомизация (случайный отбор участников

программы из группы тех, кто имеет право на участие в ней) часто

рассматривается как более статистически надежный метод, в то

время как сравнение по подобию (использование нерандомизиро�

ванного процесса при выборе контрольной группы, которая лучше

согласуется с характеристиками участников программы) чаще ис�

пользуется на практике.


Сбор данных для оценки СИФ Боливии потребовал значительных

усилий, поскольку включал как выполненное в 1993 г. базисное об�

следование до проведения инвестиций в рамках СИФ�II, так и после�

дующее обследование в 1997 г. Обследовались как организации, ко�

торые получали средства СИФ, так и домохозяйства и общины, кото�

рые получают выгоды от инвестиций. Аналогичные данные были

также собраны для институтов и домохозяйств контрольной группы.

Обследование домохозяйств позволило получить данные по целому

ряду характеристик, включая потребление, доступ к основным услу�

гам, а также состояние здоровья и образовательный уровень каждого

члена домохозяйства. Были выполнены отдельные выборки для про�

ектов здравоохранения (4155 домохозяйств, 190 медицинских цент�

ров), образования (1894 домохозяйств, 156 школ), водоснабжения

(1071 домохозяйство, 18 проектов по водоснабжению) и обеспече�

ния канализации (231 домохозяйство, 15 проектов).

Обследование домохозяйств состояло из трех подвыборок: а) слу�

чайная выборка из всех домохозяйств сельской Боливии плюс район


Чако (одна провинция); б) для образовательных проектов — выборка

домохозяйств, расположенных недалеко от школ, из контрольной и

экспериментальной групп; в) выборка домохозяйств, которые полу�

чат выгоду от проектов по сооружению систем канализации или во�

доснабжения.

Чтобы определить степень адресности инвестиций СИФ, в этом

обследовании применяются базисные данные (до инвестиций СИФ)

и информация о том, куда вкладывались средства СИФ. Это позволя�

ет рассчитать вероятность участия людей в программах СИФ на ос�

новании их уровня доходов. Далее в обследовании базисные и после�

дующие данные сводятся вместе для оценки среднего воздействия

СИФ на общины, получившие инвестиции СИФ; при этом использу�

ется регрессия. Помимо анализа среднего воздействия изучается во�

прос о том, можно ли определить характеристики общин, школ или

медицинских центров, воздействие на которые значительно превы�

шало средний показатель.

В области образования, где инвестиции СИФ распределялись

случайным образом среди большого числа одинаково подходящих

по условиям программы общин, исследование использует «идеаль�

ный» рандомизированный экспериментальный подход (когда

можно непосредственно наблюдать альтернативный сценарий). В

отношении проектов здравоохранения и канализации, где отбор

был детерминирован, использован метод «инструментальной пе�

ременной», который позволяет компенсировать нехватку прямого

альтернативного сценария. Инструментальные переменные кор�

релируют с программой, но прямой корреляции между ними и ре�

зультатами нет.


Инвестиции СИФ II в образование и здравоохранение приводят к

очевидному улучшению инфраструктуры и оборудования. Проекты в

области образования оказали незначительное влияние на показате�

ли отсева, однако в школах, участвовавших в программе СИФ, резуль�

таты тестирования учеников шестых классов были значительно вы�

ше, чем в обычных школах. В области здравоохранения инвестиции

СИФ приводят к увеличению коэффициента использования меди�

цинских услуг и снижению смертности. Проекты СИФ в области во�

доснабжения приводят к незначительному улучшению качества во�

ды, однако значительно увеличивают ее доступность и количество, а

также приводят к снижению смертности.


Сопоставление рандомизированных результатов с результатами

сравнения по подобию в области образования показывает, что по�

следний подход дает менее сравнимые экспериментальную и кон�

трольную группы, что приводит к менее надежным результатам

оценки при выявлении воздействия программы. В качестве иллюст�

рации к данному выводу можно заметить, что признаки улучшения

школьной инфраструктуры (которое, безусловно, можно ожидать в

школах СИФ) выявляются при рандомизированной оценке, но не

при сравнении по подобию.

И, наконец, результаты показывают, что адресность инвестиций

СИФ II в отношении бедных обычно низка. От проектов в области

здравоохранения и канализации выигрывают те домохозяйства, в ко�

торых относительно более высокий подушевой доход; кроме того,

между уровнем дохода на человека и выгодами от образования, пре�

доставляемого в рамках проектов СИФ, связи нет.


Показатели адресности говорят о наличии принципиального проти�

воречия между целью (направить средства бедным) и природой СИФ

(проекты следуют за спросом). После принятия в 1994 г. закона о «на�

родном участии» возникла необходимость представления подпроек�

тов на рассмотрение муниципальным властям. Показатели адреснос�

ти говорят о том, что даже в системе с высокой степенью децентрали�

зации важно контролировать процесс направления средств в целе�

вые группы. В случае Боливии более состоятельные и организован�

ные общины имеют больше шансов получить инвестиции СИФ, чем

бедные. В проектах СИФ в области канализации такое смещение от

бедных общин исправить может быть трудно. Инвестиции в созда�

ние базовых систем канализации наиболее эффективны в населен�

ных районах, где уже имеется доступ к воде, так чтобы в проекте мож�

но было воспользоваться экономией от масштаба.

Тот факт, что инвестиции СИФ не оказали существенного влия�

ния на посещаемость школ, привел к пересмотру работы СИФ в

этой области. Вместо того, чтобы обеспечивать исключительно ин�

фраструктуру, в проектах будет проводиться комплекс мер, при�

званных повысить качество школ. Кроме того, значительное внима�

ние привлекло к себе неудовлетворительное качество воды (после

реализации проектов СИФ улучшение по сравнению с ситуацией до

них не наступило), и сейчас структура проектов в этой области пе�

ресматривается.


VI. Приобретенный опыт

Эффективность метода рандомизации. Рандомизированное ис�

следование, где контрольная группа выбирается случайным образом

среди потенциальных участников программы, позволяет гораздо ре�

зультативнее выявить воздействие программы, чем метод сравнения

по подобию, при котором контрольная группа искусственно «гене�

рируется». Необходимо с самого начала включать рандомизацию в

план программы при определении метода подбора ее участников,

когда это возможно. Впрочем, если средств программы недостаточ�

но для охвата всех бенефициаров, то можно осуществить случайный

отбор из большего числа потенциальных участников.

Важность институционализации процесса оценки. Оценка

может быть очень сложной и требовать много времени. Оценка для

Боливии проводилась в течение 7 лет; в ее рамках осуществлялась по�

пытка тщательно отразить воздействие проектов, и в этом отноше�

нии были достигнуты важные результаты. Однако с учетом такого

большого числа разных участников (государственные структуры и

финансовые учреждения) и столь длительного периода времени уп�

равлять ходом оценки было непросто. Управление и проведение

оценки можно упростить, изначально включив указанные процессы

в стандартную практику работы министерств. Кроме того, при прове�

дении полномасштабной оценки целесообразно ограничиться не�

большим числом программ, (например, крупными программами, ре�

зультаты которых весьма неопределенны), где отдача от проведения

оценки будет максимальной.

VII. Стоимость оценки и администрирование

Затраты. Общие затраты на оценку СИФ Боливии уже составили

878000 долл. США, т.е. 0,5% от общих затрат на проект. Относительно

большая доля этих расходов (69%) приходится на сбор данных; ос�

тальные средства расходуются на оплату поездок, времени работы

сотрудников Всемирного банка и работы консультантов.

Администрирование. Оценка проводилась персоналом Всемир�

ного банка и финансировалась совместно Всемирным банком, KfW, а

также правительствами Голландии, Швеции и Дании. Обследования

проводились Национальным статистическим институтом Боливии

(National Statistical Institute, INE); на первой стадии управление осу�


ществлялось партнерскими структурами СИФ, на второй — Минис�

терством финансов.


Pradhan, Menno, Laura Rawlings, and Geert Ridder. 1998. «The Bolivian

Social Investment Fund: An Analysis of Baseline Data for Impact Evalu�

ation». World Bank Economic Review, 12 (3). P. 457–82.


Приложение 1.5. Воздействие активныхпрограмм содействия занятости:

Чешская Республика

Введение

Описание проекта. Многие развивающиеся страны после сокра�

щений на государственных предприятиях сталкиваются с пробле�

мой сохранения работников на рынке труда. Решать ее особенно

сложно в условиях переходной экономики, для которой характерна

высокая безработица, а заработная плата не меняется либо снижает�

ся. Впрочем, не все программы профессиональной переподготовки

одинаковы: часть из них представляет собой замаскированное вы�

ходное пособие для уволенных рабочих; другие «маскируют» про�

граммы по борьбе с безработицей. Все это делает задачу по оценке

таких программ особенно актуальной.

Программы обучения оценивать особенно сложно, и оценка чеш�

ских программ — не исключение. Обычно существует несколько про�

грамм, предназначенных для разных категорий работников. Измерять

результаты также можно по�разному — с точки зрения показателей за�

нятости, самозанятости, месячного и почасового заработка. В данном

случае степень влияния программ зависит от сроков проведения оцен�

ки больше, чем при других типах оценки: в зависимости от того, когда

проводится оценка (через месяц, полгода, год или пять лет после про�

ведения программы), можно получить очень разные результаты.

Чем интересна оценка. В рамках оценки осуществлялась попытка

количественного выражения воздействия четырех активных про�

грамм содействия трудоустройству (АПСЗ) в Чешской Республике

при использовании квазиэкспериментальных подходов — сравне�

ние по подобию участников АПСЗ со схожей группой неучастников.

При ретроспективной оценке различных результатов использова�

лись как административная информация, так и данные последующих

исследований: о длительности периода без работы, вероятности по�

лучения работы, самозанятости и заработке. Для оценки воздействия

каждой из пяти программ на эти параметры используется регресси�

онный анализ с учетом базисных демографических характеристик.

Эта оценка позволила сделать несколько важных выводов. Некото�

рые из них имеют чисто практический характер: как разработать мно�

гостороннюю оценку; как использовать административные данные;


как решать проблемы, возникающие при проведении обследования;

каков механизм создания отобранной по подобию выборки? Другие

выводы относятся к построению анализа для получения стратегически

значимой информации (это возможно благодаря детальной оценке

воздействия программы на отдельные подгруппы). Результатом стали

рекомендации по адресованию программ AПСЗ конкретным группам.

Кроме того, был сделан вывод о том, что один тип AПСЗ вовсе не при�

водил к изменениям с точки зрения занятости и заработка.


Данное исследование является частью более глобальной оценки четы�

рех стран: Чешской Республики, Польши, Венгрии и Турции. Общим для

этих стран является высокий уровень безработицы, который частично

объясняется сокращениями на государственных предприятиях. Преж�

де эта проблема решалась посредством пассивных программ помощи,

например выплаты пособий по безработице и предоставления соци�

альной помощи. К этим мерам добавили активные программы содейст�

вия занятости, которые и стали объектом оценки. К пяти AПСЗ относят�

ся: «Программа социально�полезных работ» (создание новых рабочих

мест), «Программа общественно�полезных работ» (краткосрочная за�

нятость в государственном секторе), Программы для выпускников

школ (субсидии работодателям при найме выпускников школ), пере�

подготовка (профессиональная подготовка, длящаяся от нескольких

недель до нескольких месяцев) и программы для инвалидов или людей

с физическими недостатками. Масштаб последнего компонента доста�

точно невелик, и он не включен в настоящую оценку.

Имеется два исследовательских вопроса. Первый: имеют ли участ�

ники различных активных программ содействия занятости больше

шансов вернуться на рынок труда, чем неучастники, и есть ли разни�

ца в результатах между подгруппами и при разных условиях на рын�

ке труда? Второй вопрос: какова эффективность каждой AПСЗ по за�

тратам и как можно было бы ее усовершенствовать?

Оценка осуществляется с использованием ретроспективной ква�

зиэкспериментальной модели, т.е. по сути отобранной по подобию

когорты. Участники сравниваются по подобию со сконструирован�

ной группой неучастников (на основе информации, полученной из

административной документации), которые зарегистрированы в го�

сударственной службе занятости, но не были выбраны для участия в

АПСЗ. Основным моментом является то, что отбор из группы участ�

ников АПСЗ случаен. Далее результаты для отдельных лиц сравнива�


ются с результатами представителей, не участвующих в AПСЗ (на ос�

новании возраста, пола, уровня образования, количества месяцев без

работы, размера города, семейного положения и типа последней ра�

боты). Одной из сильных сторон оценки является подробный анализ

группы участников и группы сравнения.

При применении этого подхода неизбежно возникают проблемы,

которые подробно рассматривались в других работах (Bartless, 1995;

Heckman и Smith, 1995). Одной из очевидных проблем, которая при�

сутствует при любом случае нерандомизированного отбора, являет�

ся эффект «снятия сливок»: в программу обучения отбирают участни�

ков на основе ненаблюдаемых или не измеряемых исследователями

характеристик. Вторая существенная проблема такова: в случае про�

фессиональной поддготовки неучастники могли заменить государ�

ственную программу другими типами подготовки. Третья проблема

заключается в том, что субсидии, направленные на трудоустройство,

могли привести к замене одной группы работников на другую.

III. Данные

Весьма интересным аспектом данной оценки было использование

государственных административных данных при формировании

границ выборки для обследования. Специалисты, проводившие об�

следование, посетили Министерство труда и социальных проблем

(МТСП) в Праге, а также три местных бюро по трудоустройству, что�

бы познакомиться с методикой управления и проведения AПСЗ и по�

лучить административные данные об участниках программ. На осно�

вании полученных результатов для обследования были выбраны

20 районов, исходя из их географического положения и различий в

промышленных характеристиках. Районы сильно различались по

уровню безработицы. В исследовании содержались как количествен�

ные вопросы, касающиеся ключевых результатов программы, так и

качественные вопросы оценки программы ее участниками.

Еще одной ценной составляющей было пилотное обследование,

проведенное в четырех районах. Благодаря этому (а данный прием

всегда важен) были выявлены не только технические, но и юридиче�

ские трудности, которые нередко могут возникнуть при использова�

нии административных документов. Проблема состоит в толковании

закона о невмешательстве в частную жизнь: в данном случае MТСП не

дало разрешения на прямую рассылку по почте, а потребовало, что�

бы потенциальные респонденты направили в бюро по трудоустрой�

ству официальное разрешение на предоставление их адресов. Из�за


этого в реализации обследования возникли задержки, выросла стои�

мость, а число ответов значительно сократилось.

Обследование проводилось в начале 1997 г. на основе случайной вы�

борки из 24973 человек, зарегистрированных в бюро по трудоустройст�

ву. Из них 9477 человек в 1994–1995 гг. принимали участие в АПСЗ. Доля

откликов неучастников составила 14%; для участников она равнялась

24,7%; таким образом, общее число респондентов составило 4537 чело�

век. Такое катастрофически низкое количество откликов было прямым

следствием юридического постановления: большинство людей не отве�

тили на первоначальный запрос, однако среди тех, кто согласился пре�

доставить свой адрес, доля откликов была высока. Еще более серьезной

проблемой стало то, что данные об итоговом смещении отсутствовали.


Трудность оценки сложного и изменчивого рынка рабочей силы

можно представить по тому факту, что использовалось семь различ�

ных показателей результата: процент имеющих работу в настоящее

время, процент имеющих собственное занятие, процент когда�либо

имевших работу, продолжительность безработицы, продолжитель�

ность получения пособий по безработице, сумма выплат пособий по

безработице и месячный заработок в настоящий момент.

Впрочем, при оценке применялся достаточно простой подход: для

определения воздействия программы использовались простые разли�

чия между группами и ОМНК со специальными бинарными перемен�

ными для групп. Было расчитано общее воздействие, затем воздейст�

вия для каждой из подгрупп (по возрасту, полу, образованию, и — для

заработка по размеру компании). Это последнее исследование было

особенно полезным, поскольку оно выявило подгруппы, для которых

воздействие программ отличалось от обычного; это обусловливало со�

вершенно иные стратегические выводы. Действительно, основная ре�

комендация оценки состояла в том, чтобы повысить адресность АПСЗ.


Данная оценка была частью исследования активных программ со�

действия занятости в четырех странах. Ее особая цель — получить

представление о воздействии АПСЗ в различных экономических ус�

ловиях. Оценка проводилась под руководством Комитета по управле�

нию проектом, в состав которого входили представители Всемирно�

го банка, представители каждой из четырех стран, иностранных фи�


нансовых учреждений и компаний, обеспечивавших техническую

поддержку (Abt Associates и Upjohn Institute).

Для проведения опроса группой была нанята частная фирма. Это

было сделано для получения более качественных данных, а также для

того, чтобы исключить возможность давления в случае проведения

опроса местным бюро по трудоустройству. Следует отметить, что до�

стоверность обследования могла бы быть снижена в случае проведе�

ния опроса Службой занятости. Действительно, проблема морально�

го риска является, как правило, очень важной; она возникает в том

случае, если агентство, отвечающее за переподготовку, занимается

также и сбором информации о ее результатах.


Полученные результаты типичны для оценки программ обучения. Неко�

торые программы, возможно, при определенных условиях оказывают

определенное (хотя и относительно слабое) воздействие на некоторые

категории работников. Сильной стороной оценки является то, что она

позволила выявить одну программу, которая не давала никакой отдачи —

не было положительного воздейстивия ни на ситуацию в целом, ни на от�

дельные подгруппы. Еще одной сильной стороной было представление

самой оценки и ее результатов: это особенно важно, когда с оценкой зна�

комятся разработчики стратегии и лица, принимающие решения. В дан�

ном случае по каждой программе представлены таблицы, где показан вы�

игрыш в заработной плате и занятости, причем все данные приведены

как в агрегированном виде, так и для каждой подгруппы.

Большим же недостатком является отсутствие анализа затрат и

выгод, хотя первоначально о его проведении сообщалось. Было бы

очень полезно сопоставить данные относительно общей эффектив�

ности с явными и скрытыми затратами программы. Так, хотя оцен�

щики и обнаружили, что одна из программ увеличивала вероятность

трудоустройства для всех, следует отметить, что «стоимостью» такого

результата была 9�месячная программа обучения. Полный расчет от�

дачи от инвестиций объединил бы явные затраты программы с аль�

тернативной стоимостью времени участников и позволил бы срав�

нить их с увеличением заработка и занятости.


Из исследования можно сделать несколько важных выводов. Во�пер�

вых, следует отметить прагматические компоненты, которые были рас�


смотрены во введении, в частности важность учета политической ситу�

ации при разработке плана оценки. Невозможность убедить Службу за�

нятости в важности проекта по оценке привела к тому, что эффектив�

ность применения инструмента обследования была значительно сни�

жена. Во�вторых, данное исследование стало хорошим примером пост�

роения отобранной по подобию выборки. И, наконец, оценка показала

важность проведения не только общего анализа, но и анализа для под�

групп, что позволяет осуществлять успешные адресные действия.


Benus, Jacob, Grover Neelima, Jiri Berkovsky and Jan Rehak, Czech Repub�

lic: Impact of Active Labor Market Programs, Abt Associates, Cambridge

Mass and Bethesda Md, May 1998.

Burtless, Gary. 1995. «The Case for Randomized Field Trials in Economic

and Policy Research». Journal of Economic Perspectives, 9 (2): 63–84.

Heckman, James J., and Jeffrey A. Smith. 1995. «Assessing the Case for

Social Experiments», Journal of Economic Perspectives, 9 (2) Spring

1995, p. 85–110.

Схема, использованная при разработке оценки активныхпрограмм содействия занятости в Чехии


Успешная программа Поступление выгод

Большоймасштаб

Эффек�тивность по

затратам

Финансо�вая устойчи�

вость

Самосто�ятельныйинститут

Кредит

Объединенияженщин

Образование

Ресурсыпрограммы

Доход исбережения

Уверенностьв себе истатус

Повышениепродовольст�венной безо�пасности до�мохозяйств

Повышениекачества

здоровья ипитания

Знания ипрактика

Промежуточ�ные выгоды

Болеедолгосрочные

результаты

⇔

⇔⇔

Приложение 1.6. Воздействие программы«Кредит с образованием» на состояние

питания матерей и младенцев:программа Сельского банка Нижней Пра

в Гане

I. Введение

Описание проекта. Программа «Кредит с образованием» сочетает

элементы программы банка Грамин по обучению по таким вопросам,

как основы здравоохранения, питания, контроль за рождаемостью и

увеличение интервалов между родами, развитие навыков ведения

мелкого бизнеса. Цель программы — улучшить состояние питания и

его гарантированность для бедных домохозяйств Ганы. В рамках

программы «Свобода от голода» совместно с Международной про�

граммой питания университета Калифорнии, Дэвис, бедным сель�

ским женщинам из восточного района Шама Аханта Западного реги�

она Ганы предоставлялись услуги программы «Кредит с образовани�

ем». Пять сельских банков стали партнерами в предоставлении тако�

го рода услуг. К марту 1997 г. было выдано более 9000 займов на об�

щую сумму 600000 долл. США, причем показатель возврата средств

никогда не опускался ниже 92%.

Чем интересна оценка. Данная оценка интересна по трем сообра�

жениям. Во�первых, это приемлемость структуры выборки. Програм�

ма осуществлялась в 19 общинах, и данные были собраны для трех

различных групп женщин: участвовавшие в программе не менее од�

ного года; женщины, живущие в общинах, охваченных программой,

но не участвующие в ней; женщины из контрольных общин. Во�вто�

рых, в исследовании содержится четкое описание подхода, который

лег в его основу: определяются и оцениваются как среднесрочные,

так и долгосрочные результаты. Наконец, в оценке удачно сочетают�

ся качественные и количественные показатели, причем количествен�

ные результаты часто сопровождаются отдельными интересными

примерами.


Задача исследования — определить влияние программы на: а) состо�

яние питания детей; б) экономические возможности женщин (доход,


сбережения) вкладывать средства в питание и здравоохранение; в)

знание и использование женщинами практики кормления грудью,

отъема от груди, умения справиться с диареей и проведение профи�

лактических мероприятий; г) способность женщин обеспечить сво�

им детям здоровое питание.

При проведении этих оценок были разграничены конечные цели

(улучшениие состояния питания и обеспечение гарантированности

питания на уровне домохозяйства) и промежуточные результаты (из�

менение поведения, сокращение бедности и повышение самостоя�

тельности женщин).

Для оценки воздействия программы на состояние питания детей,

экономические возможности матерей, самостоятельность женщин и

использование матерями новых приемов в области питания и ухода

за ребенком использовался квазиэкспериментальный подход (опро�

сы 1993 и 1996 гг.). В течение первого периода всего было обследова�

но 299 пар мать/ребенок, в течение второго периода — еще 290 дру�

гих пар, что позволило собрать как качественную, так и количествен�

ную информацию.

Схема оценки была достаточно сложной. Сельский банк Нижней

Пра определил 19 общин, которые еще не пользовались услугами

программы «Кредит с образованием». Консультанты разделили об�

щины на крупные и малые (больше или меньше 800 жителей), после

чего провели повторное разделение в зависимости от степени уда�

ленности общин от центральной дороги. На каждом этапе отбора 13

из 19 общин определялись либо в контрольную, либо в эксперимен�

тальную группу. Три общины были включены в программу по поли�

тическим соображениям. Еще три были выбраны в качестве контро�

ля по подобию с точки зрения их схожести, уровня коммерческого

развития, размера и доступа к центральным дорогам. Две общины вы�

пали из программы из�за отсутствия интереса и небольшого числа

общин в классификации. Таким образом, в последующем обследова�

нии рассматривалось только 17 общин.

Для базисных обследований были выбраны десять пар мать/ребе�

нок с детьми в возрасте 12–23 месяцев из небольших общин; еще

тридцать пар были выбраны из крупных общин. В результате возник�

ли две серьезные проблемы. Во�первых, подобная схема не позволя�

ла в ходе обследований наблюдать одних и тех же женщин в течение

всего периода, поскольку лишь у незначительного числа женщин из

базисного обследования были младенцы и во время обследования

1996 г. Во�вторых, ограничение по возрасту настолько сильно сокра�

тило вторую выборку, что при обследовании 1996 г. выборку при�


шлось расширять за счет женщин с детьми в возрасте до трех лет.

Главным преимуществом этого сложного метода оценки была воз�

можность классифицировать женщин в базисных выборках как буду�

щих участниц и неучастниц программы.

Было проведено обследование женщин трех типов: участниц и

неучастниц из адресных общин, а также женщин, проживающих в

контрольных общинах. Все участницы были включены в исследова�

ние, а из последних двух типов выбирались на случайной основе

женщины с детьми в возрасте до трех лет. Следует отметить, что об�

щий объем выборки (360 человек) был рассчитан исходя из средне�

квадратичных отклонений, обнаруженных в предыдущих исследова�

ниях, т.е. требования, согласно которому выборка должна была обна�

руживать разницу 0,4 в значениях z�множества между контрольной и

экспериментальной группами при намеченном уровне значимости

0,05 и мощности 0,8.

III. Данные

По домохозяйствам, матерям и детям были собраны как количест�

венные, так и качественные данные. Особое внимание уделялось

промежуточным и долгосрочным показателям результатов, и осо�

бенно комплексной природе результатов.

Для промежуточных результатов это вызвало ряд вопросов, оце�

нивающих экономический потенциал женщин (доходы; прибыль;

вклад в общий доход домохозяйства; сбережения; предприниматель�

ские способности и расходы на продукты питания и ведение домаш�

него хозяйства). Аналогичным образом другой ряд показателей оце�

нивал знания женщин в области здоровья и питания (кормление гру�

дью, кормление ребенка, лечение и профилактика диареи, вакцина�

ция). Еще один ряд показателей отражал уровень самостоятельности

женщины (уверенность в себе и надежда на будущее; статус и приня�

тие решений в домохозяйстве; статус и социальные обязанности в

обществе). Для оценки конечных результатов (например, условия пи�

тания и гарантированность обеспечения продуктами) использова�

лись прямые показатели (антропометрические измерения — в пер�

вом случае, вопросы о голоде — во втором).

Хотя запланированный объем выборки составлял 360 пар мать/ребе�

нок, в первом исследовании было опрошено всего 299 пар (основной

причиной стало исключение двух общин из выборки), а во втором — 290.

Характеристики матерей и домохозяйств сопоставлялись у всех трех

групп. В результате сравнений значительных отличий выявлено не было.



Примененные эконометрические методы были достаточно просты;

они использовали сильные стороны плана исследований. Для каждо�

го из всех разнообразных показателей результата вычислялась сред�

няя величина по группе, после чего проводились проверки по крите�

рию Стьюдента (t�статистика), чтобы определить, являются ли разли�

чия между участниками программы и контрольной группой статис�

тически значимыми. Фактически это методика простых различий.

Данные сопровождались большим количеством графиков.

Вместе в тем ряд основных вопросов остался без ответа. Во�пер�

вых, выборка была кластерной. Поскольку при конструировании вы�

борки результаты для каждой отдельной пары мать/ребенок будут

коррелировать с другими парами в общине, то стандартные ошибки

будут смещаться вниз, в то время как t�статистика будет ложно откло�

няться вверх. Если индивидуальные результаты идеально коррелиру�

ют друг с другом, то объем выборки фактически составляет 17, а не

300. Все это придает значимость тем результатам, которые на самом

деле могут быть совершенно незначительными. Во�вторых, хотя вы�

борка была явно стратифицированной, последствия применения по�

добного метода не были отражены: кто выиграл больше — крупные

или малые общины, общины, расположенные близко к дороге или

далеко от нее? Это особенно странно потому, что скорее всего выбор

подобной схемы был обусловлен стремлением получить результаты,

полезные для выработки будущей политики. В�третьих, несмотря на

обсуждение вопросов смещения при отборе, не проводилось никако�

го формального анализа этой фундаментальной проблемы и не вно�

силось каких�либо поправок. И, наконец, несмотря на значительные

различия в получении ответов на отдельные вопросы анкеты, что

указывает на потенциальное смещение выборки даже в рамках само�

го опроса, эта проблема не была решена или рассмотрена.


Международная некоммерческая организация «Свобода от голода»

разработала программу «Кредит с образованием», оценка которой

проводилась ею совместно с Международной программой пита�

ния университета Калифорнии, Дэвис. При реализации програм�

мы данная организация сотрудничала с Сельским банком Нижней

Пра (независимым банком, управляемым Банком Ганы), а впослед�

ствии — и с четырьмя другими сельскими банками Ганы. Сельский


банк Нижней Пра сыграл важную роль в определении и отборе об�

щин для обследования.


Промежуточные цели были в основном достигнуты: хотя доходы и

расходы женщин не увеличились, их деловые навыки и сбережения

значительно возросли. Произошел общий рост информированнос�

ти в области здоровья и питания. Женщины стали более самостоя�

тельными. Если говорить о конечных целях, то оценка указывает, что

программа действительно повысила уровень продовольственной бе�

зопасности домохозяйств и улучшила состояние питания детей, од�

нако изменений в состоянии питания матерей не произошло.


Главным достижением данной оценки является очень интересный

метод составления выборки: стратификация и выбор групп участни�

ков/неучастников в зависимости от их будущего участия представля�

ют собой очень полезный подход. Еще одним выводом является эф�

фективное использование многомерных результатов, причем иногда

по неколичественным факторам, например по самостоятельности

женщин. Другим важным уроком является ценность неколичествен�

ных данных для демонстрации валидности качественных выводов.


MkNelly, Barbara and Christopher Dunford (in collaboration with the Pro�

gram in International Nutrition, University of California, Davis). 1998.

«Impact of Credit with Education on Mothers’ and their Young Chil�

dren’s Nutrition: Lower Pra Rural Bank Credit with Education Program

in Ghana», Freedom from Hunger Research. Paper № 4, March.


Приложение 1.7.Учебники и результаты тестов:

Пример итоговой оценки в Кении

I. Введение

Описание проекта. Оценка воздействия разного рода инвестиций

в образование на учебные показатели особенно важна в развиваю�

щихся странах. Предыдущие исследования показали, что предостав�

ление учебников является рентабельным способом повышения успе�

ваемости учеников (по результатам тестирования). Удачным приме�

ром служит Кения, где ресурсы, которыми располагает система обра�

зования, крайне скудны. Оценщики отметили, что в третьем, четвер�

том и пятом классах у детей есть только один учебник на шестерых, в

более старших классах — один на четверых; кроме того, в школах

очень низкий уровень материально�технического обеспечения —

многие дети вынуждены во время занятий сидеть на полу.

В ходе оценки изучалось воздействие программы на результаты

обучения. В рамках этой программы, проведенной в 1996 г., всем

классам в случайно выбранном подмножестве начальных сельских

школ Кении (25 из 100) были предоставлены учебники. Учебники ан�

глийского языка были выданы классам с 3�го по 7�й из расчета шесть

учебников на 10 детей, учебники по математике 3�му, 5�му и 7�му

классам из расчета один учебник на двух детей, а учебники по естест�

венным наукам получили 60% учеников 8�го класса. Кроме того, каж�

дому классу предоставлялось методическое руководство для учителя.

Перед выдачей учебников школьникам были предложены тесты, про�

веряющие уровень их знаний. Через 10 месяцев тестирование было

проведено повторно. Аналогичное тестирование было проведено в

контрольных школах. Этот подход сочетает метод рандомизации с

рефлексивным сравнением.

Чем интересна оценка. Эта оценка является прекрасным приме�

ром разработки и применения продуманного плана обследования с

последующим использованием соответствующих эконометрических

методов. В ее ходе особенно удачно показано, как осуществлять про�

гнозы одноуровневых результатов на основе стратифицированных

данных, как использовать показатели, полученные при использова�

нии метода двойных различий, как решать проблему смещения при

отборе и смещении выбытия, а также что делать с ошибками измере�


ний и вопросами вытеснения программой родительских взносов.

Еще одной очень интересной составляющей оценки является при�

стальное внимание к воздействию программы на школьников во

всех компонентах. Наконец, хорошим примером рассмотрения всех

аспектов программы является определение и анализ возможных по�

бочных эффектов.


Основная задача исследования — оценить воздействие наличия

учебников на результаты обучения. Поскольку это понятие доста�

точно сложно, результаты определяются как различие между школа�

ми, получившими учебники, и контрольными школами по несколь�

ким параметрам: результаты после тестирования, улучшение резуль�

татов тестирования, различия между сочетаниями «предмет–год

обучения» при полученных учебниках и в отсутствие, уровень актив�

ности детей и учителей. Данная оценка рассматривала также другие

побочные эффекты (которым часто не уделяют внимания), в част�

ности возможность снижения активности родителей в поисках дру�

гих источников финансирования вследствие предоставления такой

субсидии.

Избранный метод оценки достаточно сложен. В 1995 г. Министер�

ство образования выбрало для участия в программе 100 нуждающих�

ся школ. Эти школы были разделены на четыре группы, сначала по

географическому принципу, а затем — по алфавиту в рамках геогра�

фических районов. Далее, на основании алфавитного деления, было

проведено упорядоченное распределение школ по четырем группам

следующим образом. В соответствии с графиком помощь в виде учеб�

ников должна была поступить в первую группу в 1996 г., во вторую

группу — в 1997 г. и т.д. Учебники по математике, английскому языку

и естественным наукам предоставлялись различным классам, пре�

имущественно с 3�го по 7�й.

III. Данные

Перед распределением учебников во всех этих классах в каждой из

100 школ были проведены экзамены по математике, английскому

языку и естественным наукам. Однако непосредственно для оценки

используются результаты предварительных тестирований, проведен�

ных в 3�м–7�м классах в октябре 1996 г., и последующих тестирова�

ний, проведенных в октябре 1997 г. Таким образом, имеются данные


об успеваемости 8800 школьников (из всех классов) по каждому

предмету в 100 школах, и в совокупности — свыше 26000 наблюде�

ний. Поскольку за этот период учебники получили 25 школ, школь�

ники в этих школах стали группой «с учебниками» (эксперименталь�

ной), ученики остальных 75 школ были контрольной группой. Поми�

мо результатов тестов были собраны данные о финансовом положе�

нии школ и методиках преподавания.

Информация об использовании учебников собиралась обученны�

ми наблюдателями, которые посещали каждую школу и поминутно

фиксировали восемь возможных действий в классе (от общих дейст�

вий учителя и учеников до использования ими учебников). Подоб�

ные записи велись в течение 15 минут, затем они использовались для

расчета процента времени, потраченного учителями и учениками на

каждый вид деятельности в течение 551 занятия. Cотрудники на

местах также опрашивали 4–5 школьников из каждого класса, запол�

няя анкету на основе их ответов.

Наконец, были собраны данные о состоянии материально�техни�

ческой базы школ. Они были получены с помощью анкетирования

школ и школьных комитетов в 1997 г., в процессе которого были за�

даны вопросы о деятельности по сбору средств.


Стоит отметить интересные вопросы, возникшие при использова�

нии подобного метода выборочного обследования. Вероятно, тесты

внутри школы и внутри каждого класса коррелируют друг с другом.

Аналогично будут коррелировать друг с другом результаты тестов по

разным предметам для одного и того же ребенка. Кроме того, можно

оценивать программу по воздействию на итоговый уровень знаний

школьников или на прирост их знаний. Вообще, результаты програм�

мы должны быть устойчивы при использовании различных экономе�

трических методик и различных способов анализа данных, что и

имело место в данном случае.

Сначала были проведены расчеты на основе простой регрессии

с бинарной переменной, с бинарными значениями воздействия

для каждого сочетания «класс–предмет» со случайными эффекта�

ми школы, класса или предмета (зависимая переменная — измене�

ние в результатах, полученных при сравнении предварительного и

последующего тестирования). Привлекательной чертой такого ме�

тода является возможность различных сочетаний бинарных пере�

менных:


• объединение нескольких классов для оценки воздействия учебни�ков применительно к конкретному учебному предмету;

• объединение всех результатов тестирования для оценки среднеговоздействия учебников на класс;

• объединение всех классов и предметов для оценки средневзве�шенного воздействия учебников на все классы и предметы.

Безусловно, способ учета случайных эффектов зависит от приме�

няемого подхода, и в ходе оценки это показано достаточно ясно.

Далее при оценке используется метод двойных различий; он до�

статочно прост, так как преполагает сравнение результатов предва�

рительного и последующего тестирований, полученных в контроль�

ных и участвующих в программе школах.

Третий подход немного сложнее, так как он имеет дело с вариа�

тивностью внутри школы, и на нем стоит остановиться подробнее.

Используемая здесь регрессия предусматривает регрессию результа�

тов тестов по бинарным переменным, показывающим, относились

ли ученики 1) к школе, снабженной учебниками, и 2) к сочетанию

«класс–предмет», получившему учебники. Благодаря этому подходу

можно снять проблемы, обусловленные неоднородностью школ и

трудностями фомирования выборки. Проблема выборки решается

так: учитывается, как получение (или неполучение) учебника повли�

яло на итоги тестирования для одних и тех же учащихся. Впрочем,

допускается, что результаты тестирования в различных сочетаниях

«класс–предмет» можно складывать и вычитать; столь сильное допу�

щение может стать той причиной, по которой данный поход дает

весьма неодинаковые результаты.

При проведении оценок постоянно возникает желание зафикси�

ровать не только средний эффект программы, но и влияние на под�

группы реципиентов. Данная оценка служит хорошей иллюстрацией

использования показателей связи (взаимодействия) и квантильной

регрессии. Первый подход рассматривает связь между первоначаль�

ными результатами тестов и бинарными переменными наличия

учебников для выявления, воздействия на успевающих учеников по

сравнению с воздействием на отстающих; применяются как факти�

ческие, так и выведенные значения (первоначальные результаты тес�

тов коррелируют с ошибочным членом, что приводит к смещению).

Второй подход, использующий квантильную регрессию, также поле�

зен и становится все более популярным. Говоря конкретнее, посколь�

ку регрессия МНК отражает только среднее воздействие программы

по предоставлению учебников, квантильные регрессии позволяют


показывать воздействие программы в зависимости от места школь�

ника в распределении.

Еще одним плюсом оценки является то, как определяется смещение

выборки и выбытия. В данной программе основной источник возмож�

ных проблем заключается в разных показателях перевода в следующий

класс и повтора года в школах, получивших учебники, и в тех, что вхо�

дят в контрольную группу. Например, в школах, получивших учебники,

перевод из 2�го класса (не получавшего учебники) в 3�й класс (получив�

ший учебники) может происходить дифференцированно. Разница в

показателях перевода занижает результаты в классах, куда приходят

худшие ученики, и, возможно, завышает результаты в классах, откуда

они ушли. Эти два эффекта были зафиксированы в оценке благодаря

повторному расчету модели двумя способами: исключением всех вто�

рогодников для обоих типов школ, а также исключением из рассмотре�

ния худших учеников в каждом классе. Устойчивость результатов при

использовании обоих подходов подтверждает воздействие программы.

Наконец, как пример учета важности побочных эффектов данная

оценка предоставила количественное выражение воздействия пре�

доставления учебников на процесс сбора средств родителями. Было

обнаружено, что программа действительно привела к «вытеснению»

взносов родителей, поскольку сумма не связанной с программой по�

мощи, которую получили «контрольные» школы, составляла 465

долл. США; для школ, в которые были поставлены учебники, эта сум�

ма равнялась 267 долл. США (средняя стоимость учебников, предо�

ставленных в рамках программы, составляла 485 долл. США). При

анализе методом простой регрессии была рассмотрена и подтверж�

дена гипотеза, согласно которой в небольших школах сокращение

взносов было более существенным по сравнению с крупными.

Кто проводил оценку. Проект финансировался голландской неком�

мерческой организацией International Chrestelijk Steunfonds. Оценка

проводилась профессором Массачусетсского технологического ин�

ститута Кремером и двумя экономистами Всемирного банка Полом

Глевве и Сильви Мулен. Часть расходов взяли на себя Национальный

научный фонд (National Science Foundation) и Исследовательский ко�

митет Всемирного банка (World Bank research committee).

V. Результаты

Результаты этой оценки значительно отличаются от других оценок

программ по предоставлению учебников. Основной вывод заклю�


чался в том, что учебники не оказывали значительного влияния на

средние школьные показатели; однако применительно к наиболее

успевающим ученикам результаты были существенны. Устойчивость

данного вывода была подтверждена применением различных мето�

дов оценки и срезов данных.


Самым ценным уроком, извлеченным из этой оценки, была важ�

ность использования различных эконометрических методов для

проверки устойчивости эмпирических результатов. Хотя сбор дан�

ных был близок к идеальному, очень важно, что оцениваемое воз�

действие программы остается примерно одинаковым при использо�

вании различных допущений и характеристик эконометрических

моделей. Эффективным способом анализа воздействия на различ�

ные подгруппы стало также применение квантильной регрессии и

показателей связи. Наконец, важно выявлять и определять побочные

эффекты — в данном случае потенциальное вытеснение средств из

других источников.

VII. Источники

Glewwe, Paul; Michael Kremer; and Sylvie Moulin. 1998. «Textbooks

and Test Scores: Evidence from a Prospective Evaluation in Kenya»,

Development Research Group (DECRG), World Bank, Washington,

D.C.


Приложение 1.8. Оценка Проекта созданиясельскохозяйственной информационно&

консультативной службы в Кении

I. Введение

Описание проекта. В рамках первого Национального проекта со�

здания сельскохозяйственной информационно�консультативной

службы (ИКС) (National Extension Project, NEP�I) в Кении в 1983 г. бы�

ла введена система «Обучение и посещение» (ОиП) (Training and Visit,

T&V) для оказания информационно�консультационных услуг в сель�

ском хозяйстве. Проект преследовал две цели: институциональное

развитие и предоставление информационно�консалтинговых услуг

фермерам с целью поднять производительность сельского хозяйст�

ва. В 1991 г. за первым проектом последовал второй NEP�II, призван�

ный закрепить достижения, полученные благодаря NEP�I. Предусмат�

ривалось расширение непосредственных контактов с фермерами,

повышение качества предоставляемых через ИКС информации и

технологий, повышение квалификации сотрудников службы и фер�

меров, а также дальнейшее институциональное развитие.

Чем интересна оценка. Показатели работы кенийской ИКС доста�

точно противоречивы и являются частью более широкой дискуссии

о рентабельности подхода ОиП в предоставлении подобных услуг.

Несмотря на напряженность дебатов, важность роли информацион�

но�консультационных услуг в стратегии развития, поддерживаемой

Всемирным банком для Африки, а также на значительный объем ин�

вестиций, было сделано очень мало попыток строгой оценки инфор�

мационно�консультационных услуг с применением ОиП. В случае с

Кенией дополнительным поводом для споров была очень высокая

оценка отдачи от ОиП, полученная в предыдущем исследовании, и

отсутствие при этом убедительных наглядных результатов, в том

числе — неудовлетворительные результаты работы сельского хозяй�

ства страны в последние годы.

Разногласия между Департаментом оценки операций (ДОО)

(Operations Evaluation Department) и Африканским региональным

отделом Всемирного банка по поводу работы NEP�I сохранялись до

проведения данной оценки, в рамках которой делается попытка из�

мерить воздействие программы на сельское хозяйство с помощью

тщательного эмпирического подхода. С помощью системы управле�


ния, ориентированной на результат, в ходе оценки исследуется воз�

действие предоставляемых в рамках проекта услуг на производитель�

ность и эффективность работы ферм. Также выводятся показатели

результатов программы (т.е. знакомство фермеров с новыми метода�

ми и их использование), ее отдачи (например, интенсивность и каче�

ство контакта) для оценки работы ИКС и подтверждения фактичес�

кого или потенциального воздействия.


Стратегия оценки служит примером удачного подхода к примене�

нию целого ряда методик оценки реализации программы, ее резуль�

татов и воздействия на производительность и эффективность рабо�

ты ферм. (Попыток изучить воздействие на благосостояние домохо�

зяйств, которое могло испытывать влияние целого ряда факторов, не

связанных с мероприятиями в рамках ОиП, не предпринималось.)

Данная стратегия опирается как на количественные, так и на качест�

венные методы, поэтому устойчивые и обоснованные эмпирические

выводы о воздействии программы могли быть дополнены оценкой

со стороны ее бенефициаров и интервью персонала, где подчеркива�

ются практические вопросы процесса реализации. В исследовании

также применялся метод субъективной оценки для определения го�

товности фермеров оплачивать услуги ИКС. Методика субъективной

оценки предполагает выявление той ценности, которую люди прида�

ют использованию или неиспользованию различных общественных

и частных благ и услуг. Интервьюируемым предлагают обозначить

свою готовность платить (принять) за то, чтобы избежать (принять)

гипотетического изменения в объеме предоставляемых благ или ус�

луг, т.е. «субъективный» результат. В этом случае фермерам предлага�

ли указать, сколько они были бы готовы заплатить за продолжение

предоставления информационно�консультационных услуг в том

случае, если бы государство прекратило их предоставлять.

Количественная оценка осложняется тем, что система ОиП была

введена сразу на национальном уровне; из�за этого стало невозмож�

ным сравнивать экспериментальные группы («с программой») и кон�

трольные группы («без программы»). Таким образом, при оценке

предполагалось использовать имеющиеся данные о сельскохозяйст�

венной производительности домохозяйств до проекта с тем, чтобы

провести ограниченное сравнение ситуации «до» и «после» при по�

мощи метода панельных обследований. Для этого существующие

данные по домохозяйствам были дополнены новым опросом, что


позволило сформировать панель. Разработанные для этого исследо�

вания по оценке бенефициаров провести не удалось, но при анализе

были использованы результаты двух недавно проведенных в Кении

оценок бенефициаров. Особенности обследования в том, что в нем

использованы существующие данные (обследования домохозяйств,

оценка с участием общственности и т.п.), дополненные более инфор�

мативными данными, собранными специально для данной оценки.


Выбранная для проведения оценки стратегия предполагает использова�

ние нескольких существующих источников количественных и качест�

венных данных. Количественная оценка основана преимущественно на

обследовании домохозяйств 1998 г., проведенном Департаментом оцен�

ки операций (ДОО) Всемирного банка. Это обследование формирует

панельные данные при помощи повторного контакта с максимальным

количеством обнаруженных домохозяйств, участвовавших в обследова�

нии 1990 г., которое проводилось Африканским техническим департа�

ментом (Africa Technical Department); оно, в свою очередь, использовало

подвыборку Обследования бюджета сельских домохозяйств (Rural

Household Budget Survey) в 1982 г. (Три указанных обследования форми�

руют панельные данные примерно для 300 домохозяйств. Обследования

отражают демографические характеристики домохозяйств, характери�

стики ферм, а также данные об использованных ресурсах и полученных

результатах в сельскохозяйственном производстве. В обследованиях

1990 и 1998 гг. также собиралась информация о контактах с ИКС, в том

числе о знании и применении той информации, которая предоставля�

ется этими службами.) Эти данные были дополнены обследованием пер�

сонала ИКС, несколькими недавно проведенными или заказанными Ми�

нистерством сельского хозяйства анализами работы этих служб, а также

результатами индивидуальных бесед и проведения фокус�групп с со�

трудниками служб. В обследовании использованы также две недавние

оценки бенефициаров, полученные в результате таких исследований,

как Обследование 1997 г., проведенное «ЭкшенЭйд Кения» (ActionAid

Kenya), в котором выявлялись взгляды фактических и потенциальных

пользователей услуг ИКС, и Оценка бедности со стороны участников со�

ответствующих программ (Parcticipatory Poverty Assessment), проведен�

ная в 1994 г. Последнее исследование, в котором были поставлены во�

просы о предоставлении общественных услуг, включая работу ИКС, про�

водилось Всемирным банком совместно с Британской администрацией

по развитию заморских территорий (British Overseas Development


Administration), Африканским фондом здравоохранения и исследова�

ний (African Medical and Research Foundation), ЮНИСЕФ и правительст�

вом Кении.

Анализу были подвергнуты как реализация, так и результаты ке�

нийской программы ОиП. Исследование оценивает институцио�

нальное развитие, опираясь на вторичные и качественные данные:

опросы персонала, интервью и министерские обзоры ИКС. Качество

и количество предоставляемых услуг определялись сочетанием оце�

нок участников (бенефициаров), опросов персонала, уровня роста, а

также характером и интенсивностью контактов между ИКС и ферме�

рами, которые были взяты из обследования Департамента оценки

операций 1998 г. Данные этого обследования используются также

для измерения результатов программы, определяемых как знание

фермерами рекомендаций ИКС и их использование.

Результаты программы (ее фактическое воздействие на произво�

дительность сельского хозяйства Кении) оцениваются соотнесением

предложения информационно�консультационных услуг и измене�

ний производительности и эффективности на уровне ферм. С уче�

том панельных данных о домохозяйствах, воздействие программы

оценивают на основе развернутого анализа данных (Data Envelop�

ment Analysis, DEA) — непараметрического метода, позволяющего из�

мерить изменения в эффективности и производительности ферме�

ров за определенный период. Также используется эконометрический

анализ, посредством которого измеряется воздействие предложения

информационно�консультационных услуг на производительность

ферм. Для непосредственного выявления готовности фермеров оп�

лачивать информационно�консультационные услуги используются

методы субъективной оценки.


Институциональное развитие NEP�I и NEP�II было ограниченным. По

прошествии 15 лет результативность работы информационно�кон�

сультативных служб увеличилась ненамного. Хотя в последнее время

подходы к ИКС были пересмотрены, в целом представление о на�

правлениях будущего развития программы отсутствует. Управление

системой продолжает оставаться слабым, а информационных сис�

тем практически не существует. Качество и количество предоставля�

емых услуг неудовлетворительны. Как бенефициары, так и персонал

ИКС сообщают о том, что посещения редки и нерезультативны. В то

время как сохраняется неудовлетворенный спрос на технически по�


лезные услуги, государственная информационно�консультативная

служба продолжает делать основной упор на простые агрономичес�

кие вопросы. Вместе с тем принятый подход (интенсивные контакты

с ограниченным числом фермеров) подходит скорее для предостав�

ления технической информации. В итоге система предоставления

информационно�консультационных услуг оказалась дорогой и не�

эффективной. Деятельность ИКС в прошлом оказывала незначитель�

ное влияние на знание фермерами рекомендаций и применение их

на практике, что указывает на ограниченный потенциал воздействия.

С точки зрения фактического воздействия на сельскохозяйственную

производительность и эффективность, имеющиеся данные свиде�

тельствуют о незначительном позитивном воздействии информаци�

онно�консультационных услуг на техническую эффективность, в то

время как воздействие на эффективность распределения ресурсов

или общую экономическую эффективность отсутствует вовсе. Кроме

того, исходя из имеющихся данных, существенного воздействия на

производительность ферм со стороны предложения информацион�

но�консультационных услуг выявить не удалось. Впрочем, данные

свидетельствуют о том, что воздействие было относительно более

высоким в тех областях, где прежде производительность была ниже,

т.е. там, где пробел в знаниях, очевидно, был максимальным. Эти вы�

воды совпадают с результатами субъективной оценки. Подавляющее

большинство фермеров (как тех, кто пользуется информационно�

консультационными услугами, так и тех, кто не получает их) готовы

оплачивать консультации, что говорит о наличии неудовлетворенно�

го спроса. Однако предполагаемая стоимость этой услуги исходя из

той суммы, которую они готовы заплатить, оказывается гораздо ниже

той, что государство в настоящее время тратит на ее предоставление.


Оценка ИКС Кении стоит несколько особняком с точки зрения коли�

чества применимых для практической деятельности выводов, кото�

рые были сделаны на основе полученных результатов. Многие из

этих выводов актуальны для разработки будущих проектов сельско�

хозяйственных информационно�консультативных служб. Во�пер�

вых, оценка обнаруживает необходимость повышения адресности

соответствующих услуг, при этом особое внимание следует обратить

на те регионы и группы, где разрыв между средними и лучшими по�

казателями наиболее велик и потому воздействие программы может

быть максимальным. Кроме того, рекомендации необходимо адапти�


ровать к запросам фермеров, учитывая различия в технологических

и экономических условиях на местах. Для того чтобы успешно обес�

печить такой уровень адресности, необходимо наладить регулярные

и своевременные потоки передачи текущей и надежной информа�

ции, а также создать систему монторинга и оценки; это позволит

обеспечить постоянную обратную связь с бенефициарами по вопро�

сам содержания услуг.

Чтобы повысить эффективность программы, необходимо сокра�

тить число сотрудников ИКС и расширить охват. Это позволит до�

биться большей рентабельности. Технических нововведений недо�

статочно для того, чтобы оправдать высокую частоту посещений, а

те, на кого в настоящее время не распространяются действия этих

служб, требуют предоставления информационно�консультацион�

ных услуг. Эффективность программы ограничивается также приня�

тым в ней подходом, который предусматривает всеобщее предостав�

ление услуг, и тем, что используется преимущественно всего один

прием — посещение ферм и предоставление стандартных, простых

рекомендаций. В настоящее время популярны радиопрограммы, мо�

лодые фермеры более образованны, и в сельских районах Кении на�

чинают появляться альтернативные «поставщики» услуг (неправи�

тельственные организации). Рентабельность программы скорее все�

го может повысить применение гибкого разностороннего подхода к

предоставлению услуг, особенно с использованием менее затратных

средств донесения информации.

Наконец, основные результаты оценки говорят о необходимости

проведения институциональной реформы. Как и с другими услугами,

большей эффективности можно было бы достичь благодаря более

рациональной институциональной организации. В центре внимания

должен быть клиент (фермер). Децентрализация разработки про�

граммы, наряду с механизмами участия общественности, которые

обеспечивают фермеру «право голоса» (в таких вопросах, как совме�

стное участие в расходах и создание фермерских организаций),

должна стать неотъемлемой частью системы предоставления услуг.

Огромное значение имеет их финансовая приемлемость. Объем и

интенсивность предоставления услуг должны исходить из существу�

ющих пробелов в теоретических знаниях и в технологии, а также из

темпов появления новых технологий. Возмещение издержек (даже

если оно частично) имеет несколько преимуществ. Оно гарантирует

заинтересованность фермеров, затрагивает вопросы увеличения по�

дотчетности и контроля качества, позволяет лучше реагировать на

спрос и снижает нагрузку на бюджет. Подобные рекомендации в на�


правлении децентрализации деятельности ИКС в Кении, равно как и

во многих программах консультационно�информационных услуг в

Африке и других регионах мира, остаются темой для дальнейших ис�

следований.


Затраты. Общий размер средств, выделенных на оценку, составил

250000 долл. США. Эти средства предназначались для сбора и обра�

ботки данных обследования домохозяйств (65000 долл. США — хотя,

возможно, фактические затраты при этом были выше), для опроса

персонала ИКС и отчета консультантов (12500 долл. США), покрытия

других расходов, связанных со сбором данных (12500 долл. США),

оплаты работы аналитика (8000 долл. США). Чтобы представить пол�

ную стоимость исследования, к указанным значениям следует приба�

вить еще около 100000 долл. США (не отражены в официальных за�

тратах) в виде стоимости работы сотрудников во время обработки и

анализа данных, а также при составлении отчета.

Администрирование. Для обеспечения объективности и незави�

симости опроса от государственных информационно�консультатив�

ных служб и от Всемирного банка, обследование домохозяйств про�

водилось Институтом Тегемео Эгертонского Университета, (незави�

симый исследовательскй институт в Кении). Анализ выполнен со�

трудником Всемирного банка Мадуром Гаутамом.


Сочетание теоретической оценки с практической частью работы мо�

жет создать прочную основу для оценки воздействия программы,

особенно в том случае, когда достижение желательного результата

определяется многими факторами. Схема оценки предусматривает

измерение ключевых показателей на важнейших этапах проекта,

связывая ресурсы проекта с ожидаемыми результатами для того, что�

бы получить достаточное подтверждение воздействия программы.

Для проведения эмпирической оценки необходимо непрерывное

и интенсивное наблюдение. Работу по оценке можно значительно

упростить, если имеется хорошая система мониторинга и оценки

(monitoring and evaluation system), особенно при наличии хороших

базисных данных. Впрочем, все необходимые условия для подобной

деятельности бывают в наличии редко. Данная оценка весьма выиг�


рала благодаря доступу к некоторым (хотя и ограниченным) данным

по состоянию дел на предпроектной стадии, а также к независимым

источникам данных для сравнения.

Для получения надежных подтверждений при использовании раз�

личных аналитических подходов и источников данных очень важно

проводитть перекрестную проверку выводов. Несовершенство дан�

ных и проблемы с их использованием ограничивают степень надеж�

ности индивидуальных ответов на ключевые вопросы оценки. Коли�

чественные и качественные оценки хорошо дополняют друг друга.

Опыт данной работы показывает, что даже при отсутствии оценки

бенефициаров, в опрос могут быть включены правильно составлен�

ные вопросы для получения как количественной, так и качественной

информации. Подобная информация может оказаться полезным до�

полнением количественных оценок.

Полезным инструментом при условии правильного его использо�

вании может стать субъективная оценка, особенно при определении

ценности имеющихся общественных услуг. Результаты применения

этой оценки являются обнадеживающими, а ответы выглядят доста�

точно рациональными и разумными.


World Bank. 1999. World Bank Agricultural Extension Projects in Kenya: An

Impact Evaluation. Operations Evaluation Department, Report №

19523. Washington, DC.

Кроме того, в Департаменте оценки операций Всемирного банка

можно получить следующие рабочие доклады:

The Efficacy of the T&V system of Agricultural Extension in Kenya: Results

from a Household Survey.

Awareness and Adoption of Extension Messages.

Reconsidering the Evidence on Returns to T&V Extension in Kenya.

Farmer Efficiency and Productivity Change in Kenya: An Application of the

Data Envelopment Analysis.

The Willingness to Pay for Extension Services in Kenya: An Application of the

Contingent Valuation Method.


Приложение 1.9. Воздействие программыпрофессиональной переподготовки на

занятость и заработную плату (PROBECAT) (Мексика)

I. Введение

Данный пример достаточно необычен в том смысле, что программа

оценивалась трижды. Первая оценка была осуществлена Всемирным

банком на основе данных 1992 г. (Revenga, Riboud and Tan, 1994), вто�

рая — Министерством труда Мексики на основе данных 1994 г. (STPS,

1995), а третья представляла собой обновление оценки Всемирного

банка (Wodon и Minowa, 1999). Методики, использованные в первой

и второй оценках, были весьма схожи и дали сходные результаты.

Усовершенствования методики при третьей оценке обсусловили ре�

зультаты и выводы в отношении стратегии, достаточно отличные от

предыдущих. Тот факт, что полученные в ходе трех оценок результа�

ты значительно отличались друг от друга, указывает на важность при�

меняемой методологии и данных, а также на необходимость осто�

рожной интерпретации результатов во время оценки программы.

Описание проекта. PROBECAT (Programa de Becas de Caritacitacion

para Trabajadores) — принятая в Мексике программа краткосрочной

подготовки, цель которой — увеличить заработок и обеспечить тру�

доустройство безработных и уволенных работников. Управление

программой осуществляют государственные бюро по трудоустрой�

ству. В период обучения, который длится от одного до шести месяцев,

участники программы получают минимальную заработную плату; за�

тем местное бюро по трудоустройству направляет их на работу. Пер�

воначально масштаб программы был небольшим (около 50000 уча�

стников), однако за последние годы он резко увеличился, и сейчас ею

ежегодно охвачено свыше 500000 человек.

Чем интересна оценка. Ниже приведены наиболее интересные ас�

пекты.

• Оценка 1994 г. интересна по четырем причинам: нестандартное

использование существующих данных; построение контрольной

группы путем сравнения по подобию, ясное признание много�

гранности результатов программы, особенно для неоднородных

групп работников; подробный анализ затрат и выгод. Результаты


оценки показали, что воздействие программы на бенефициаров

было весьма положительным.

• В оценке 1995 г. повторно применяется методика оценки 1994 г. с

использованием обновленных данных. Результаты также демон�

стрируют положительное воздействие программы. Поскольку

структура и результаты оценки 1994 и 1995 гг. весьма схожи, то мы

их рассматривать не будем.

• Оценка 1999 г. проводилась как часть исследования бедности в

Мексике на основе данных, использованных в оценке 1995 года,

но на базе других эконометрических моделей. Меры контроля,

учитывающие эндогенность перераспределения участников про�

граммы в пределах отдельных регионов Мексики, показали, что

воздействие программы на вероятность приема на работу и раз�

мер заработной платы по окончании обучения оказывается гораз�

до меньшим (по сравнению с предшествующей их оценкой). Этот

результат говорит не об отсутствии выгод от программы, а о том,

что она действует скорее в качестве временной системы социаль�

ного обеспечения безработных, а не программы подготовки.


В оценке 1994 г. авторы определяли влияние обучения на: а) вероят�

ность трудоустройства после трех, шести или двенадцати месяцев обу�

чения; б) время, проходящее до момента трудоустройства; в) размер

месячного заработка, количество рабочих часов в неделю и почасовую

заработную плату; а также г) отдачу от инвестиций на подготовку.

В ходе оценки 1999 г. рассматривались те же вопросы, за исключе�

нием количества рабочих часов в неделю и почасовой заработной

платы. Учитывая, что влияния на занятость и месячный заработок в

ходе оценки не обнаружено, отдача от инвестиций равна нулю, про�

грамму и здесь можно рассматривать как инструмент социального

обеспечения.

Схема обеих оценок интересна в плане построения контрольной

группы. В обоих случаях оценка сочетает существующее панельное ис�

следование рабочей силы (Encuesta Nacional de Empleo, ENEU) с панель�

ными данными обучаемых за тот же период. Таким образом, для опре�

деления контрольной группы из ENEU используются критерии отбора

программы. Из�за ограниченности данных нет никакой альтернативы

подобному комбинированию исследований, и потому построение объ�

единенной выборки (контрольная и экспериментальная группы) мо�

жет быть подвергнуто критике, что отмечалось в оценке 1999 г.


• При использовании безработных в ENEU для формирования кон�

трольной группы предполагается, что до1993 г. масштаб програм�

мы был небольшим, вероятно, лишь незначительное число людей

из контрольной группы приняло участие в программе (для оцени

1999 г. использовались данные для 1993–1994 гг.)

• Сочетание двух случайных выборок (участники PROBECAT и без�

работные из ENEU) случайной выборкой не является; поэтому при

отсутствии стандартных характеристик для остатка результаты

регрессии могут не обеспечить устойчивых оценок параметров,

особенно потому, что используемые модели чувствительны к до�

пущению двумерного нормального распределения. Впрочем, в от�

сутствие лучших данных эту проблему решить практически не�

возможно.

Основные различия между оценками 1994 и 1999 гг. заключаются

в следующем.

• В оценке 1994 г. авторы пытались решить проблему смещения

при отборе, возникшую из�за неслучайной выборки обучаю�

щихся в PROBECAT, рассчитывая с помощью Probit�модели веро�

ятность их участия. При этом состав контрольной группы огра�

ничен теми, для кого вероятность участия очень высока. В оцен�

ке 1999 г. авторы утверждают, что применение подобного мето�

да не позволяет снять проблему учета влияния внешних факто�

ров. Для того чтобы учитывать влияние внешних факторов на

участие в программе, используются инструментальные пере�

менные.

• При расчете заработков в оценке 1994 г. участие в PROBECAT кон�

тролируется, но не учитывается смещение выборки, вызванное

решением начать работу. В исследовании 1999 г. принимаются во

внимание обе проблемы смещения выборки.

III. Данные

В оценке 1994 г. данные по обучаемым получены из ретроспективно�

го опроса 1992 г., проведенного для 881 мужчины и 845 женщин, ко�

торые проходили подготовку в 1990 г. На основании обследования

домохозяйств 16 основных городских районов Мексики, были полу�

чены дополнительные данные по группе из 371 мужчины и 189 жен�

щин. Это обследование было частью ежеквартального обследования

рабочей силы ENEU, которое проводилось статистическим бюро


Мексики. Авторы воспользовались тем, что структура опроса предпо�

лагала ротацию группы, чтобы охватить работников, не имевших ра�

боты в третьем квартале 1990 г., а затем наблюдали за ними в течение

года. Кроме того, в течение девяти месяцев наблюдалась когорта тех,

кто стал безработным в четвертом квартале 1990 г. Тот же метод при�

менялся в оценке 1999 г., но для более поздних данных.

IV. Эконометрические модели

В качестве основных эконометрических моделей для определения

вероятности трудоустройства использовались «анализ условий вы�

живания» (модели продолжительности), а в отношении заработной

платы — регрессии Хекмана. Представленная ниже информация ос�

нована на оценке 1999 г.; отличия от оценки 1994 г. специально ого�

ворены.

PROBECAT и продолжительность поиска работы. При «анализе

условий выживания» функция «выживающего» S(t) представляет про�

должительность того периода времени после прохождения курса обу�

чения, в течение которого человек не имеет работы (в месяцах). При за�

данном S(t), функция риска λ(t), которая показывает вероятность полу�

чения работы или риск того, что человек по�прежнему будет оставаться

безработным в момент времени t, для людей, которые на этот момент

еще не трудоустроены, выглядит как λ(t) = �d(log S(t))/dt. Можно сказать,

что «кривая выживания» есть функция участия в программе Р, индиви�

дуальных характеристик Х и характеристик состояния Z, так что λ = λ(t;

X, Z, P). В пропорциональной модели риска Кокса (Сох), если i обозна�

чает домохозяйство, a j — район, в котором оно проживает, то:

λ(t; X, Z, P1, Р2) = λ0(t) exp(γ′Xij + δ′Zj + μPij). (1)

Кокс предложил провести частичную оценку максимального

правдоподобия этой модели, для которой не требуется конкретный

вид базисной функции λ0(t). Если μ положительно и статистически

значимо, то программа оказывает положительное воздействие на

уровень занятости. Несколько упрощенно разницу между оценками

1994 и 1996 гг. можно представить так.

• В оценке 1994 г. авторы рассчитывают через Probit�регрессию

участие в программе и исключают из контрольной группы людей,

вероятность попадания которых в программу невелика. Затем ре�


шается уравнение (1) без дополнительных поправок на влияние

внешних факторов.

• В оценке 1999 г. авторы также рассчитывают участие в программе

с применением Probit�модели, но в качестве дополнительного

фактора (а не результата, зависящего от участия самого человека),

который влияет на участие в программе, они использовали пока�

затель доступности программы на местном уровне (полученный

из административных данных). Затем решается уравнение (1) не с

фактическим значением переменной участия, а с прогнозируе�

мым значением (индексом), полученным после Probit�расчетов

первого этапа. Здесь используется инструментальная переменная.

В основе данного подхода — работы Ravallion and Wodon (2000) и

Cord and Wodon (1999), посвященные оценке программ с исполь�

зованием децентрализованных характеристик. Авторы сопостав�

ляют свои результаты с другими методами, наглядно демонстри�

руя, что эти другие методы дают смещенную оценку параметра из�

за недостаточного учета воздействия эндогенных факторов.

Влияние програмы PROBECAT на размер месячных заработ&ков. Для того чтобы определить такое влияние, в оценке 1999 г. ис�

пользовалась модель, учитывающая составление выборки из рабо�

чей силы и участие в программе (в 1994 г. контролировалось толь�

ко участие в программе). Пусть логарифм ожидаемой заработной

платы — log w. Эта заработная плата отлична от нуля в том и только

в том случае, если она больше оговоренной (т.е. той, при которой

человек согласен остаться на работе, в противном случае он решит

не работать). Пусть Δ∗ — ненаблюдаемое различие между ожидае�

мой и оговоренной заработной платой. Ожидаемая заработная пла�

та определяется рядом индивидуальных (вектор Е, состоящий пре�

имущественно из уровня образования человека и его прежнего

опыта) и географических переменных, Z, а также участием в про�

грамме, Р. Разница между ожидаемой и оговоренной заработной

платой определяется этими же переменными, а кроме того — коли�

чеством детей, и тем, является ли человек главой домохозяйства и

состоит ли в браке (дополнительные факторы обозначены как D).

Таким образом, модель имеет следующий вид:

Δij∗ = φΔ′Εij + πΔ′Dij + ηΔ′Ζj + αΔ′Pij + νij,

где Δij = 1, если Δij∗ > 0, и 0, если Δij

∗ < 0. (2)


Log wij∗ = φw′Εij + ηw′Ζj + αwP + кij,

где Log w = log w∗, если Δ = 1, и 0, если Δ = 0. (3)

В «модели условий выживания» эндогенность участия в программе

в оценке 1999 г. учитывается так: сначала рассчитывается уравнения с

Probit, причем доступность программы на местном уровне служит

фактором, определяющим индивидуальное участие. Затем приведен�

ные выше уравнения рассчитываются с прогнозируемым (индекс�

ным), а не истинным значением участия в программе. При оценке

1999 г. в модели не учитывается решение относительно работы, кото�

рое задано в уравнении (2). Вместо этого уравнения используют Рrobit�

уравнение участия, которое рассчитывается без учета доступности

программы на местном уровне в качестве независимой переменной.

Сопоставление различных моделей вновь показывает, что в отсутствие

модели, предполагающей использование инструментальной перемен�

ной, имеет место смещение.


Оценку 1994 г. проводили Ана Ревенга из Департамента II Всемирно�

го банка по Латинской Америке и странам Карибского региона, Ми�

шель Рибу из Департамента IV Всемирного банка по Европе и Цент�

ральной Азии и Хонг Тан из Департамента Всемирного банка по раз�

витию частного сектора. Оценку 1999 г. проводили Квентин Водон и

Мари Минова, которые также являются сотрудниками Всемирного

банка (по региону Латинской Америки).


Результаты, полученные в различных оценках, значительно отлича�

ются друг от друга. Оценки 1994 и 1995 гг. обнаружили позитивное

воздействие программы на занятость и заработки. Оценка 1999 г., бе�

рущая за основу те же данные, что и оценка 1995 г., не выявила ника�

кого позитивного влияния. Анализ затрат и выгод показывает, что

первые две оценки благоприятны, в то время как последняя — нет.

Неутешительные результаты последней оценки не являются неожи�

данностью. Было обнаружено, что большинство программ подготов�

ки в странах ОЭСР имели ограниченное воздействие; даже если про�

граммы оказывали реальное влияние, то через несколько лет оно

пропадало (Dar and Gill, 1998). Тот факт, что по результатам послед�


ней оценки программа PROBECAT может не обеспечивать выгод для

участников в среднесрочной и долгосрочной перспективе, вовсе не

означает, что ее следует свернуть. Программу можно рассматривать

скорее как временный инструмент социального обеспечения (сти�

пендия в размере минимальной заработной платы), чем обучение.

Другим вариантом может стать ее усовершенствование таким обра�

зом, чтобы эффект обучения стал более долговечным.


Помимо инновационных характеристик, использованных в этих

оценках, и выявления их недостатков, главным выводом является

осознание того, что нужно быть очень осторожным при проведении

оценок программы и использовании полученных результатов для

стратегических рекомендаций. Необходимо всегда помнить, что по�

следующая оценка может вступить в противоречие с результатами

предыдущей из�за применения других эконометрических моделей. В

литературе имеется немало подобных примеров.


Revenga, Ana, Michelle Riboud and Hong Tan «The Impact of Mexico’s

Retraining Program on Employment and Wages». World Bank Economic

Review, 1994, 8 (2): 247–277.

Wodon, Quentin and Minowa, Mari, «Training for the Urban Unemployed:

A Reevaluation of Mexico’s PROBECAT» , World Bank, Government Pro�

grams and Poverty in Mexico, Report №. 19214�ME,Vol. II.


Приложение 1.10. Мексика, национальнаяпрограмма в области образования, здравоо&

хранения и питания (PROGRESA): предложение по оценке

I. Введение

Описание проекта. PROGRESA является межотраслевой програм�

мой, направленной на борьбу с крайней бедностью в Мексике путем

предоставления бедным семьям комплексного пакета услуг в облас�

ти здравоохранения, питания и образования. Правительство Мекси�

ки будет непрерывно предоставлять материальную помощь, продук�

ты питания, безвозмездные ссуды на обучение и пакет базовых ме�

дицинских услуг на протяжении не менее трех лет. К концу 1998 г.

планируется расширить охват PROGRESA с нынешнего уровня в

400000 семей до 1–1,5 млн семей; общие расходы составят 500 млн

долл. США.

Чем интересна оценка. Оценка является достаточно сложной, по�

скольку необходимо исследовать три аспекта программы: ход ее ра�

боты, адресность и воздействие. Сложность оценки повышается еще

и потому, что сами ее результаты являются многомерными. В оценку

включено много различных компонентов: отбор бенефециаров, ме�

тоды оценки, неэкспериментальный аналитический подход, требо�

вания к данным, воздействие на образование, воздействие на состоя�

ние здоровья, воздействие на потребление продуктов питания и ра�

цион, воздействие на потребительские расходы и их распределение

внутри домохозяйства, возможные побочные эффекты программы,

моделирование изменений в выгодах от программы, вопросы соче�

тания затрат и выгод и рентабельности.

Хотя данная оценка предполагает описание скорее идей, чем ре�

зультатов реализации, главный вывод заключается в осмыслении и

структурировании оценки до ее фактического осуществления. В ча�

стности, полезно представление концептуальных и эмпирических

проблем, связанных с оценкой, и путей их разрешения. Еще одним

полезным компонентом оценки выступает ее широта: вместо про�

стого определения воздействия какой�то программы она поможет

выяснить, есть ли связь между полученным результатом и успехами

(или неудачами) в процессе выполнения программы и обеспечения

адресности.



Основными вопросами исследования являются оценки следующих

трех аспектов работы PROGRESA: проведение операций в рамках про�

граммы, адресность и воздействие. Аспекты непосредственного прове�

дения операций в рамках программы часто игнорируются, несмотря на

то, что при внесении необходимых корректировок неудачу можно пре�

вратить в успех. Аналогичный довод можно привести и для адресности:

программа может выглядеть неудачной из�за неточной адресности, а не

из�за изъянов в самой программе. Оценка воздействия более типична,

хотя даже эта задача весьма непроста, учитывая то, что анализируются

как масштаб воздействия, так и способы его достижения.

Наблюдение за выполнением программы осуществляется в два

этапа. Группа экспертов разрабатывает последовательность этапов

программы. Затем для оценки, анализа и возможного внесения изме�

нений в процессы программы эта группа использует наблюдение,

опросы, фокус�группы и семинары с заинтересованными сторонами.

Домохозяйства, входящие в целевые группы PROGRESA, также оп�

ределяются в два этапа. На первом этапе с помощью индекса бедности

выясняют, какие районы региона имеют право на участие в

PROGRESA. На втором этапе в процессе общения сотрудников

PROGRESA с местными лидерами определяются семьи из данного рай�

она, имеющие право на участие. Обоснованность такого выбора будет

проверяться в ходе исследования следующим образом: а) сравнением

уровней потребления домохозяйств в районах, охваченных програм�

мой, для участвующих (экспериментальных) и неучаствующих (кон�

трольных) домохозяйств; б) выведением порогового значения уровня

потребления домохозяйства, дающего право на участие в программе и

соответствующее общей численности домохозяйств, которое может

принять PROGRESA; в) анализом специфичности и чувствительности

домохозяйств, участвующих и не участвующих в PROGRESA, по сравне�

нию с домохозяйствами, выбранными или отвергнутыми на основа�

нии установленного порогового значения индекса бедности; г) изуче�

нием пригодности данных критериев для прогноза уровня потребле�

ния; д) определением альтернативных критериев на основе других ис�

точников данных; е) построением моделей, которые могли бы улуч�

шить адресность, базируясь при принятии решений на других крите�

риях (International Food Policy Research Institute 1998, р. 6).

При оценке воздействия использовалась та же система. В итоге

районы были случайным образом поделены на 296 эксперименталь�

ных и 173 контрольных групп. При этом в первую категорию вошли


14382, а во вторую — 9202 семьи. Имеющие право на участие семьи

из контрольной группы получат доступ к программе не ранее чем че�

рез год.

Консультанты предполагают проверить возможное отсутствие

рандомизации, сравнив характеристики группы участников и кон�

трольной группы. Если эти характеристики систематически различа�

ются, то будут использованы три неэкспериментальных метода:

функции контроля, методы отбора по подобию и методы регрессии.

III. Данные

Рабочие данные формируются на основе наблюдений, интервью,

проведения фокус�групп и семинаров с заинтересованными сторо�

нами. Главный акцент делается на выявлении содержания и причин

происходящего, уровня удовлетворенности ходом программы, а так�

же предложений по улучшению. Эти данные собираются по районам,

и при их формировании будут в значительной мере использованы

внутренние административные записи PROGRESA.

Было проведено два обследования: исследование на основе мате�

риалов государственной переписи населения в декабре 1997 г. и ба�

зисные исследования в марте 1998 г. Основной переменной в крите�

рии адресности является, безусловно, уровень потребления домохо�

зяйств, и, хотя эти данные не были собраны при переписи, они были

получены в мартовском исследовании. Тем не менее эта переменная

не содержит информации об уровне самостоятельного потребления;

хотя соответствующие данные будут получены позже, из�за реализа�

ции PROGRESA возникнет искажение. Консультанты планируют ра�

ботать только с теми домохозяйствами в контрольных районах, ко�

торые имеют право на участие в программе или не имеют его.

Оценка воздействия зависит от выбора показателей, описываю�

щих это воздействие. PROGRESA должна влиять как на количество,

так и на качество предоставляемых услуг и инвестиций в здравоохра�

нение, питание и образование. Исходя из результатов воздействия,

предлагается большое число показателей для оценки, и каждый из

них имеет собственный источник данных. Благосостояние домохо�

зяйств, измеряемое их уровнем потребления, сбережений и накопле�

ния товаров длительного пользования, будет оцениваться в базисном

и последующем исследованиях; качество (условия) питания и здоро�

вье детей будут измеряться на основе подвыборки по питанию в ба�

зисном и последующем обследованиях; успеваемость детей будет

оцениваться стандартизированными национальными тестами; уро�


вень потребления продуктов питания будет отражен в базисном и

последующем обследованиях; посещение школы будет изучаться как

в обследовании на уровне школ, так и в базисном, и в последующем

обследованиях; значение показателя использования объектов здра�

воохранения можно отслеживать с помощью записей в медицинских

картах и опросов персонала медицинских учреждений; статус жен�

щин также можно оценить с помощью обследований и анализа заин�

тересованных сторон.

Привлекательность данной оценки заключается в аналитическом

подходе к рассмотрению показателей текущих результатов и в по�

дробном обсуждении наиболее приемлемых показателей результата

и контроля для образования, здравоохранения и уровня потребле�

ния.

Планируется выполнить анализ затрат и выгод. Составлен набор

выгод от программы, хотя по определению трудно дать денежное вы�

ражение качеству жизни и самостоятельности. Кроме того, определе�

ны два типа затрат: административные издержки на программу и

прочие затраты, связанные непосредственно с программой. Первые

включают расходы на предварительный отбор, адресные механизмы

доставки программы и расходы на мониторинг; вторые включают

упущенный доход.


Выбор эконометрических методов зависит от того, какие зависимос�

ти будут рассчитываться. Консультанты рассматривают пригодность

производственной функции (например, в отношении успеваемости),

зависимости спроса (например, на услуги в области здравоохране�

ния и образования) и зависимости условного спроса (где некоторые

переменные определяются скорее семьей, чем отдельными людьми).

Наиболее интересный используемый эконометрический метод

связан с оценкой функции расходов Воркинга–Лесера (Working�

Leser) в форме:

Wj = αI+ β1j lpcexp +β2j lsiz + Σk δkj demk + Σs Θsj zs + β3jP + ej ,

где wj —доля в бюджете j�го товара; lpcexp — логарифм общих рас�

ходов на душу населения; lsiz — логарифм размера домохозяйства;

demk — доля демографической группы k в домохозяйстве; zs — век�

тор бинарных переменных, влияющих на местоположение домохо�

зяйства; Р — участие в PROGRESA и ej — погрешность.


Этот подход имеет немало преимуществ: он позволяет включать

контрольные факторы, удовлетворяет ограничению по суммирова�

нию, широко используется, что позволяет проводить сравнения с

другими исследованиями. Наконец, с помощью этой модели можно

определить три различных способа, которыми PROGRESA воздейст�

вует на расходы, изменяя ресурсы домохозяйств (β1j, помноженное

на предельную склонность к потреблению, рассчитывается отдель�

но), изменяя распределение доходов (меняя его так, чтобы включить

долю взрослых женщин в домохозяйстве), обеспечивая больший эф�

фект от участия. Базисное и последующее обследования позволяют

использовать метод двойных различий.

Также выявляются основные эконометрические вопросы, кото�

рые могут встретиться: коллинеарность, ошибка измерения, невклю�

ченные переменные, одновременность и определение периода вре�

мени, по истечении которого можно ожидать проявления результа�

тов воздействия.

V. Кто будет проводить оценку

Сотрудники Международного исследовательского института поли�

тики в области питания (Food Policy Research Institute), а именно Го�

рав Датт, Лоренс Хаддад, Джон Ходдинофф, Агнес Кисумбинг и Мари

Руль. В группу входят также Джайр Берман, Пол Гертлер и Пол Шульц.

VI. Приобретенный опыт

Основной вывод таков: очень важно определять вопросы оценки, мето�

дологию и источники данных (и подвергать оценку критическому рас�

смотрению) до того, как работа по проведению оценки началась. Такая

схема оценки полезна при определении всех возможных вопросов и

ошибок, с которыми может столкнуться оценщик. В частности, приме�

нительно к оценке воздействия можно указать некоторые моменты, под�

сказанные здравым смыслом: а) из�за перекрестного замещения и изме�

нения поведенческих установок трудно прогнозировать изменение по�

литики; б) размер предельных выгод и предельных затрат зависит от ря�

да факторов: внешние эффекты (разница в ценности для общества и для

частного сектора), участники (родители или дети); в) важность нена�

блюдаемых характеристик; г) важность внесения поправок на индиви�

дуальные, семейные и общинные характеристики; д) зависимость эмпи�

рических оценок от конкретной макроэкономической ситуации, состо�

яния рынка и стратегической и нормативной среды.



International Food Policy Research Institute, Programa Nacional de Edu�

cacion, Salud, Y Alimentacion (PROGRESA): A Proposal for Evaluation

(with technical appendix), May 1998. Washington D.C.: IFPRI.


Приложение 1.11. Оценка школьнойреформы в Никарагуа: комплексный

количественно&качественный подход

I. Введение

Описание проекта. В 1991 г. правительство Никарагуа провело все�

объемлющую реформу системы государственного образования. В ито�

ге был централизован процесс управления школами (кадровое обеспе�

чение, бюджет, учебная программа и методическое обеспечение); фи�

нансовая ответственность была переведена на местный уровень.

Реформы вводились постепенно, с указа 1991 г., согласно которо�

му во всех государственных школах были организованы советы с

участием представителей общин и родителей. Затем в 1993 г. в рам�

ках пилотной программы в 20 выбранных средних школах эти сове�

ты были преобразованы в комитеты школьного самоуправления с

большей долей ответственности в вопросах, связанных с кадровым

обеспечением, бюджетом, учебной программой и методикой препо�

давания. К 1995 г. комитеты школьного самоуправления действовали

уже в 100 средних школах и в более чем 300 начальных школах, во�

шедших в программу по принципу самоотбора; данный принцип

предусматривал подачу заявления от учителей и директоров школ.

Ожидалось, что к концу 1999 г. практически все школы обретут авто�

номию.

Цель реформ в Никарагуа — улучшить обучение, изменив органи�

зацию работы средних школ таким образом, чтобы при принятии

решений в центре внимания были интересы школьников. По мере

того, как управление школами становится все более демократичным,

и в нем участвует все больше представителей общественности, а ме�

стные доходы растут, расходы будут становиться все более рацио�

нальными, и средства будут направляться в области, непосредствен�

но улучшающие преподавание и стимулирующие успеваемость.

Оценка воздействия. Оценка реформы образования в Никарагуа

представляет собой одну из первых систематических попыток изме�

рения воздействия децентрализации школ на успеваемость. Оценка,

проводимая совместно Всемирным банком и Министерством обра�

зования, началась в 1995 г. и будет завершена к концу 1999 г. Ее струк�

тура инновационна, поскольку сочетает методы как количественной,

так и качественной оценки, а особенностью количественного ком�


понента является то, что он включает отдельный модуль для оценки

процесса принятия решений в школах. Оценка также служит приме�

ром использования передовых, зарекомендовавших себя методик в

том случае, когда отсутствуют базисные данные и когда проведению

экспериментальной оценки препятствует избирательное (диффе�

ренцированное) осуществление реформ.

Цель качественного компонента оценки — определить, действи�

тельно ли в школах происходят ожидаемые изменения в управлении

и финансировании, а также оценить, как различные заинтересован�

ные лица рассматривают процесс реформ. Качественная составляю�

щая конкретизирует эти результаты, отвечая на следующий вопрос:

«Приводят ли изменения в управлении и финансировании школ к

повышению успеваемости?» Качественные результаты показывают,

что успешное проведение реформ во многом зависит от конкретной

школы и ее окружения (т.е. уровня бедности в общине), в то время как

количественные результаты говорят о том, что рост самоуправления

в школах непосредственно связан с улучшением успеваемости.


Разработка оценки образовательной реформы в Никарагуа основана

на методе сравнения по подобию, при котором данные по репрезен�

тативной выборке школ, принимающих участие в процессе реформ,

сопоставляются с данными по выборке школ, не принимающих в нем

участия. Выборка школ, не участвующих в реформах, проводится с

учетом того, чтобы их характеристики максимально соответствова�

ли характеристикам участвующих школ. Это и обеспечивает альтер�

нативность сценариев деятельности. Была выбрана именно данная

схема оценки, поскольку отсутствие базисных данных не позволило

применить метод оценки «до и после программы», а также потому,

что реформы применялись к различным школам не на случайной ос�

нове, из�за чего экспериментальная оценка стала невозможной (при

экспериментальном подходе выборка школ для проведения оценки

должна быть случайной и репрезентативной для страны в целом).


Для качественного исследования использованы данные выборки из

12 школ, девять из которых участвуют в реформах, три — нет; эти три

школы составляют контрольную группу. (Фактически данные были

собраны для 18 школ, но в качественное исследование были включе�


ны лишь 12 из них — из�за задержек в расшифровке записей и реше�

ния оценочной группы сосредоточить анализ на участвующих в ре�

форме школах, которые обеспечили большую актуальность рассмат�

риваемого материала.) Выборка из 12 школ должна была представ�

лять как начальные, так и средние, как сельские, так и городские шко�

лы, а также исходить из результатов количественного исследования

1995 г., по школам с разной степенью фактической независимости в

принятии решений. Были проведены 82 интервью и заседания фо�

кус�групп. Внимание сосредоточивалось на том, как директора школ,

члены советов, родители и учителя понимали процесс децентрализа�

ции и относились к нему. Все интервью проводились национальны�

ми специалистами. Посредством моделирования процесса составле�

ния интервью и проведения пробных тестов их обучили задавать на�

водящие вопросы, не подсказывая при этом ответ. Проводилась зву�

козапись интервью с последующей расшифровкой и изложением в

2–4�страничном конспекте. Впоследствии конспект анализировался,

и выявлялись отдельные данные и основные темы, возникавшие в

различных школах и у различных лиц как в реформируемых школах,

так и в контрольной группе.

Сбор количественных данных включал в себя два компонента:

панельное обследование школ, которое проводилось в два этапа

(ноябрь–декабрь 1995 г. и апрель–август 1997 г.), и тесты успевае�

мости в этих школах (ноябрь 1996 г.). В результате исследований

школ были собраны данные по условиям приема в школу, показате�

лям отсева и повтора года (т.е. по второгодникам), по используе�

мым материальным и людским ресурсам, процессу принятия реше�

ний в школе и по характеристикам директора школы, учителей, уча�

щихся и их семей. Модуль оценки процесса принятия решений в

школе уникален: в нем предлагается 25 вопросов, призванных опре�

делить, изменила ли реформа процесс принятия решений в школах

и каким образом такое изменение было достигнуто. Обследование

охватывало 116 средних школ (73 участвующих в реформе и 43 не�

участвующих, входящих в контрольную группу) и 126 начальных

школ (80 участвующих в реформе и 46 неучаствующих). Были вы�

браны контрольные группы, характеристики которых были подоб�

ны характеристикам реформируемых школ. В ходе исследования

были также собраны данные по 400 учителям, 182 членам совета и

по 3000 школьников и их родителей, причем из каждой школы вы�

биралось на случайной основе 10–15 школьников. Те школьники,

которые продолжали обучение в школе и данные по которым мож�

но было отследить, прошли в конце 1996 учебного года тестирова�


ние по успеваемости; повторное тестирование было проведено на

втором этапе сбора данных в 1997 г.

При анализе количественных данных для построения производ�

ственной функции обучения используется метод регрессии. При

этом рассматривается воздействие системы управления школой

(степени ее децентрализации) на успеваемость с учетом ресурсов

школы, а также характеристик домохозяйств и школьников. Анализи�

ровалось воздействие формальной и фактической децентрализации.

Формальная децентрализация показывает, стала ли школа официаль�

ным участником программы реформ, в то время как фактическая де�

централизация оценивает степень реальной автономии школы. Фак�

тическая децентрализация измерялась как процент от 25 ключевых

решений, которые могут быть приняты школой самостоятельно. При

этом предполагалось, что из�за постепенного характера осуществле�

ния реформ (поэтому школы из выборки будут находиться на разных

этапах процесса реформ), а также из�за того, что способность успеш�

но проводить реформы в разных школах также неодинакова (дан�

ный результат был определен в качественном исследовании), этот

показатель в разных школах будет различным.


Качественное исследование обращает внимание на то, что изменение

политики на центральном уровне не всегда приводит к формирова�

нию причинно�следственной цепочки с результатами, ощущаемыми

на местном уровне. Вообще, реформы связаны с более активным уча�

стием родителей, а также совершенствованием всего процесса управ�

ления. Однако успешность внедрения реформ зависит от ситуации в

конкретной школе. Особо важную роль играет уровень бедности об�

щины (в бедных общинах сложно увеличить финансирование школы

из местных источников) и степень сплоченности персонала школы.

Если такие ключевые лица, как учителя, не чувствуют себя частью про�

цесса реформ, успех децентрализации оказывается незначительным.

При внедрении новых программ разработчики стратегии часто не

принимают во внимание местную специфику. Согласно результатам

качественных исследований, в условиях Никарагуа велика вероят�

ность того, что заявленной цели (увеличить объем финансирования

школ из местных источников) будет сложно достичь, особенно в бед�

ных общинах, и потому ее целесообразно пересмотреть.

Количественное исследование подтверждает полученные данные о

том, что в реформируемых школах увеличился уровень самоуправле�


ния, особенно в вопросах методического и кадрового обеспечения.

Формальная автономия (объявила ли школа о своем участии в рефор�

мах?) не обязательно приводит к росту школьного самоуправления и не

затрагивает все школы в равной мере. Степень достигнутой автономии

зависит от уровня бедности общины и от продолжительности участия

школы в реформах. Результаты регрессии показывают, что формальная

автономия оказывает на успеваемость незначительное воздействие. В

отличие от этого между фактической автономией (степенью реальной

децентрализации, которой достигла школа) и улучшением успеваемос�

ти существует прямая связь. (В ожидании итогов изучения недавно по�

ступивших панельных данных этот результат считается предваритель�

ным.) Кроме того, моделирование ситуации показывает, что децентра�

лизация школ влияет на успеваемость в большей степени, чем улучше�

ние других показателей, на которые обычно обращают внимание при

разработке политики, например увеличение числа учебников, подго�

товка учителей, сокращение численности учеников в классе и т.д.


Результаты оценки дают конкретные свидетельства того, что рефор�

ма школ Никарагуа привела к ощутимым результатам. В реформируе�

мых школах действительно возрос уровень самоуправления — де�

централизация проходит на практике, а не только в теории. Кроме

того, расширение местного самоуправления действительно привело

к росту успеваемости.

Полученные результаты также показывают, где можно улучшить

стратегию. На их основании Министерством образования был вне�

сен ряд изменений в программу реформы. Теперь программа обра�

щает большее внимание на роль учителей и содействует педагогиче�

ским аспектам реформы. Обучение преподавателей становится час�

тью программы, рассматривается создание методического совета.

Кроме того, финансовые проблемы бедных общин побудили Мини�

стерство разработать схему субсидирования, в которой средства бу�

дут выделяться на основании «карты бедности». Наконец, ощутимые

выгоды, полученные от данной оценки, заставили Министерство

ввести в программу реформ постоянный компонент оценки.


Затраты. Общая стоимость оценки была около 495000 долл. США

что составляло менее 1,5% от средств займа Всемирного банка. (Ука�


занная общая сумма не включает стоимость работы группы нацио�

нальных специалистов из Министерства образования Никарагуа.) Из

этой общей суммы 39% было израсходовано на оплату технической

помощи со стороны иностранных консультантов, 35% — на сбор дан�

ных, 18% — на покрытие стоимости работы сотрудников Всемирно�

го банка и 8% — на покрытие транспортных расходов.

Администрирование. Оценка проводилась Министерством обра�

зования Никарагуа и Всемирным банком. В Никарагуа группу по оцен�

ке со стороны Министерства возглавляли Патрисия Кальехас, Нора

Гордон и Нора Майорха�де�Кальдера. Во Всемирном банке оценка

проводилась как часть исследовательского проекта «Оценка воздейст�

вия образовательных проектов, включающих децентрализацию и

приватизацию» под руководством Элизабет Кинг при участии Лауры

Ролингз и Берка Озлера. Качественная оценка проводилась Брюсом

Фуллером и Магдаленой Риварола из Гарвардской школы образова�

ния вместе с Лилиам Лопес из Министерства образования Никарагуа

при координации со стороны сотрудников Всемирного банка.


Полезность комбинированного подхода. Сочетание количест�

венной и качественной методик исследования позволило получить

выводы, полезные и значимые для разработки политики реформ. Ко�

личественный анализ дал широкий статистически валидный обзор

состояния и результатов школ; качественный анализ дополнил эти

выводы, показав, почему какие�то из ожидаемых результаты програм�

мы были получены, а другие — нет. Все это было полезным для выра�

ботки корректирующих мер. Кроме того, поскольку данный подход

имеет более интуитивную природу, качественное исследование было

более понятным и потому интересным для служащих Министерства;

это, в свою очередь, облегчило быстрое формирование потенциала и

доверия к процессу оценки в Министерстве.

Важность развития местного потенциала. Формирование мест�

ного потенциала было сопряжено со значительными расходами и

требовало частых контактов и координации с партнерами из Все�

мирного банка и иностранными консультантами. Тем не менее поль�

за заключалась в том, что процесс оценки в стране стал быстро раз�

виваться и признаваться «своим». Благодаря этому, результаты оцен�

ки (независимо от того, как они представляли программу — в поло�


жительном или отрицательном свете) воспринимались Министерст�

вом с готовностью. Эти результаты внесли непосредственный вклад в

реформу в ходе ее осуществления. Более высокое значение оценки

для стратегии было также обусловлено сплоченностью группы оте�

чественных специалистов, в которой оценщики и лица, ответствен�

ные за принятие решений, работали вместе, а также тем, что в ее со�

став был включен министр образования, который поддерживал

оценку «изнутри».


Подробная информация по оценке реформы, направленной на уве�

личение автономии школ в Никарагуа, содержится в следующих

документах.

Fuller, Bruce and Magdalena Rivarola. 1998. Nicaragua’s Experiment to

Decentralize Schools: Views of Parents, Teachers and Directors. Working

Paper Series on Impact Evaluation of Education Reforms, paper № 5.

The World Bank. Washington, DC.

King, Elizabeth, and Berk Ozler. 1998. What’s Decentralization Got To Do

With Learning? The Case of Nicaragua’s School Autonomy. Working

Paper Series on Impact Evaluation of Education Reforms, paper № 9.

The World Bank. Washington, DC.

King, Elizabeth, Berk Ozler and Laura Rawlings. 1999. Nicaragua’s School

Autonomy Reform: Fact or Fiction? The World Bank. Washington, DC.

Nicaragua Reform Evaluation Team. 1996. Nicaragua’s School Autonomy

Reform: A First Look. Working Paper Series on Impact Evaluation of Edu�

cation Reforms, paper № 1. The World Bank. Washington, DC.

Nicaragua Reform Evaluation Team. 1996. 1995 and 1997 Question�

naires, Nicaragua School Autonomy Reform. Working Paper Series on

Impact Evaluation of Education Reforms, paper № 7. The World Bank.

Washington, DC.

Rawlings, Laura. 2000. «Assessing Educational Management and Quality in

Nicaragua». In Bamberger, Integrating Quantitative and Quanlitative

Methods in Development Research. Washington, D.C.: World Bank.


Приложение 1.12. Улучшение начальногообучения математике в Никарагуа:экспериментальное исследование

воздействия учебников и радиопрограммна успеваемость

I. Краткое содержание оценки

В большинстве бедных стран средства на образование крайне огра�

ничены, и потому большое значение имеет эффективное их распре�

деление. Из трех наиболее распространенных вариантов (сокраще�

ние численности учеников в классах, более длительные программы

подготовки учителей и предоставление учебников) лишь последний

часто оказывал значительное позитивное воздействие на уровень

знаний школьников. Данная оценка представила количественное вы�

ражение воздействия доступности учебников на успеваемость по ма�

тематике среди первоклассников Никарагуа.

Согласно схеме оценки, планировалось предоставить учебники

всем школьникам в подмножестве классов, которые первоначально

были отобраны в качестве контрольных групп в проводящемся в на�

стоящее время исследовании эффективности учебных радиопро�

грамм. Одна половина классов получила учебники, а другая — нет.

Все классы прошли в начале года предварительное, а в конце года —

заключительное тестирование (выполнили контрольные работы). В

исследовании были применены методы простой регрессии, которые

позволили сопоставить средние результаты заключительного теста в

зависимости от результатов предварительного теста и участия в про�

грамме.

Основной вывод в отношении планирования оценки: рандомиза�

ция особенно хорошо спланирована и сочеталась с тестом, позволя�

ющим добиться максимальной сопоставимости классов. Еще один

ценный вывод носил прагматический характер: оценка была разрабо�

тана так, чтобы избежать возможных серьезных общеэкономических

проблем. Наконец, данная оценка дает ряд практических примеров

тех решений, которые приходится принимать в ходе работы в поле.


Схема оценки имеет два очень интересных компонента: обращение к

результатам выполненной ранее оценки и предварительное уясне�


ние той политической ситуации, в условиях которой проводится

оценка. Главный вопрос исследования был прост: оценить воздейст�

вие большей доступности учебников на успеваемость первоклассни�

ков, уделяя особое внимание фактическому использованию учебни�

ков в классе. Поскольку уже имелась учебная радиопрограмма («Ра�

дио Математика»), была поставлена более широкая задача: сравнить

результаты воздействия учебников не только с показателями кон�

трольной группы, но и с воздействием радиопрограммы.

Следует отметить решение отслеживать фактическое использова�

ние учебников, из�за чего оценка усложнилась. Многие программы в

области образования предоставляют материалы для работы в учеб�

ных классах, но очевидно, что воздействие подобных программ зави�

сит от степени использования материалов. Однако, как указывают

оценщики, это решение означает, что оценка «не занимается измере�

нием того потенциала, которым обладают учебники или радиоуроки,

для повышения успеваемости учащихся в оптимальных условиях.

Вместо этого проводится попытка оценить их воздействие в такой

ситуации, которая может иметь место в типичной развивающейся

стране» (Jamison, 1981, p. 559). Таким образом, простого предоставле�

ния учебников может быть недостаточно; необходимо будет также

обеспечить, чтобы учителя использовали учебники в соответствии с

их предназначением.

При оценке использовался рандомизированный подход, который

был привязан к выполненной ранее оценке проекта. В проводящем�

ся проекте «Радио Никарагуа» для оценки эффективности программ

обучения по радио уже был задействован весь механизм применения

случайного отбора распределения и процедур тестирования. В рам�

ках этого проекта все начальные школы в трех провинциях Никара�

гуа уже были разделены на участвующие в проекте (эксперименталь�

ные) и контрольные посредством случайной выборки по типу насе�

ленного пункта (около 30% школьников учатся в сельских школах,

однако для каждого слоя было выбрано одинаковое число классов).

При оценке воздействия учебников была использована эта уже го�

товая схема; экспериментальные и контрольные школы отбирались

следующим образом. Сначала оценщики составили перечень всех

школ с подходящими классами для каждой из шести категорий (три

провинции; сельские и городские). Затем из этого перечня они слу�

чайным образом отобрали школы из каждой категории в адресную и

контрольную группы, после чего школы выбирали в порядке пере�

числения (одна из школ, которая отказалась участвовать, была заме�

нена на следующую в списке). Заявки на участие, поступившие из


классов контрольных групп, были отклонены, а весь процесс исполь�

зования экспериментальных материалов контролировался автора�

ми. Следует отметить, что схема оценки заранее предусмотрела это

возможное политическое затруднение. Команда, проводившая оцен�

ку, с самого начала объявила о своих намерениях, получила офици�

альное одобрение и поддержку применяемой стратегии и установи�

ла для программы четкие и последовательные процедуры.

Таким образом, для исследования были случайным образом отоб�

раны 88 классов — 48 с радиообучением и 40 из контрольных школ.

Двадцать контрольных школ получили учебники на каждого ребенка;

учителя получили устные и письменные инструкции и варианты

контрольных работ. Компонент с применением радио включал в се�

бя 150 ежедневных уроков математики, упражнения для школьников,

а также письменные и устные инструкции для учителей.

Было принято нестандартное решение: исследователи сознатель�

но отказались от наблюдения за экспериментальными группами. Та�

кое решение далось непросто, поскольку отсутствие контроля за�

трудняло определение того, насколько интенсивно используется

программа. Однако неизбежную цену подобного контроля в виде

воздействия на поведение сочли слишком высокой. Общепринятое

компромиссное решение в виде неожиданных посещений в тот год,

когда проводилась оценка, было неприменимо из�за сложной поли�

тической ситуации, и поэтому такие посещения пришлось использо�

вать лишь в следующем году.

Другое решение предусматривало проведение контрольных ра�

бот персоналом проекта, а не школьными учителями. Это, безуслов�

но, увеличило административные расходы, но уменьшило потенци�

альное смещение результатов теста. Во время первых трех недель

учебы школьники прошли предварительное тестирование по мате�

матике. Заключительный тест, оценивающий успехи учеников, был

запланирован на последние три недели учебного года, но из�за поли�

тических осложнений был проведен на две недели раньше. По мере

возможности ученикам предоставлялись идентичные условия для

выполнения обоих тестов: для работы над заданиями отводилось

одинаковое время, а инструкции были начитаны на магнитофон.

III. Данные

По результатам процесса сбора данных можно сделать два основных

вывода. Первый заключается в том, что нередко проблемы обеспече�

ния необходимой для оценки информацией оказываются неизбеж�


ными. Несмотря на тщательное планирование, при разработке иде�

ального набора параметров сопоставления предварительного и за�

ключительного тестов возник ряд проблем. Хотя было всего 20 кон�

трольных классов, 20 классов с учебниками и 47 классов, где уроки

проводились по радио, число баллов, полученных в ходе предвари�

тельных и заключительных тестов, было неодинаковым в каждой

группе из�за опозданий с регистрацией, отсева учеников, неявки или

невозможности пройти тестирование вследствие слишком большого

числа участников. Индивидуальная информация об учащихся собра�

на не была.

Второй вывод заключается в необходимости творческого подхода

к разработке заключительного теста, который позволил свести на�

грузку к минимуму и получить необходимую информацию. При этом

исследователи столкнулись с рядом проблем.

• В Никарагуа отсутствовали типовые/стандартизированные тесты.

• Тест должен был оценить успешность достижения целей, постав�

ленных в учебной программе.

• Тест должен был отражать достижения по каждой теме с тем, что�

бы облегчить оценку результативности программы в отношении

каждой темы, равно как и в целом.

Для решения этих проблем исследователи применяли метод множе�

ственного матричного выбора. Метод заключается в следующем. Тест

состоял из вопросов двух видов: вопросы, предложенные всем учени�

кам в классе (40 вопросов G) и предложенные подгруппам учеников (44

вопроса I). В каждом классе предлагались все вопросы I и 1/4 всех во�

просов G. Это позволило исследователям осуществлять случайный от�

бор единиц по двум параметрам: школа и вид теста. Средние результаты

заключительных тестов для экспериментальной и контрольной групп

были получены путем сложения средних баллов по каждому тесту, а

стандартная погрешность рассчитывалась на основе остаточной дис�

персии после устранения основных воздействий вопросов и учеников.

Через год после окончания программы в 19 из 20 школ, использо�

вавших учебники, была также собрана информация об использова�

нии учебников.


Структура оценки позволяла провести простое сравнение средних

значений результатов для экспериментальной и контрольной групп,


что и было выполнено. Подобный подход может быть очень гро�

моздким, если имеется множество слоев и воздействий на них; в дан�

ной оценке имела место именно такая ситуация. Поэтому оценщики

использовали также и метод простой регрессии. В этом случае класс

являлся единицей анализа, а в отношении средних баллов заключи�

тельного теста класса рассчитывалась регрессия по средним баллам

предварительного теста. Также в качестве независимых переменных

применялись бинарные переменные для программ с использовани�

ем радиопередач и учебников, бинарная переменная, обозначающая

принадлежность к городской или сельской школе, и среднее количе�

ство баллов предварительного теста класса.

Важным компонентом любой оценки является выяснение того,

оказывает ли одна и та же программа разное влияние на различные

группы. В данном исследовании эта задача решалась с помощью

творческого применения взаимодействующих переменных. Разли�

чия между городскими и сельскими районами были отражены взаи�

модействием между бинарными переменными, обозначающими

принадлежность к сельским/городским школам, и программой. Раз�

ница во влиянии программы, основанная на результатах первона�

чальных тестов, была отражена во взаимодействии между програм�

мой и результатами первоначальных тестов.


Данное исследование получало поддержку со стороны Всемирного

банка, но являлось составной частью совместного проекта «Радио

Математика», проводимого Агентством международного развития

США и Министерством образования Никарагуа.


Авторы обнаружили, что как программа радиопередач, так и про�

грамма предоставления учебников оказали на успеваемость зна�

чительное воздействие. Предоставление учебников улучшило бал�

лы заключительного теста школьников на 3,5 единицы; радиоуро�

ки — на 14,9 единиц; это значительный результат, учитывая то, что

стандартное отклонение класса составило 8,3, а индивидуальных

результатов — 11,8. Радиоуроки и учебники были наиболее дейст�

венны в сельских школах и потенциально могли сыграть большую

роль в преодолении разрыва между качеством обучения в городах

и в сельской местности. Как показали данные предварительных


тестов, эти результаты независимы от исходного уровня знаний в

классе.

Различия результатов программы по предоставлению учебников

и радиопрограммы исследователи объясняют неодинаковым ис�

пользованием учебников, особенно при низкой квалификации пре�

подавателей.


Из данной программы можно извлечь три основных урока: важность

учета политических аспектов при выборе схемы исследования, по�

лезность творческого подхода к разработке тестов и трудности при

выполнении работы на местах. Во�первых, в этом исследовании бы�

ла выделена роль соображений общеэкономического характера при

рандомизированном подходе: явно присутствует сильное политиче�

ское давление со стороны правительства, с которым необходимо

справиться как можно раньше и заручиться его поддержкой. Во�вто�

рых, при творческом подходе к разработке тестов исследователи

смогли измерить многие параметры результатов обучения, не ис�

пользуя при этом тесты, выполнение которых потребовало бы слиш�

ком много времени. И, наконец, оценщики четко обозначили ряд во�

просов, связанных с работой на местах: способы и целесообразность

отслеживания фактического использования учебников, выбор того,

кто должен проводить тестирование.


Jamison, Dean T., Barbara Serle, Klaus Galda and Stephen P. Heyneman

«Improving Elementary Mathematics Education in Nicaragua: An

Experimental Study of the Impact of Textbooks and Radio on Achieve�

ment». Journal of Educational Psychology, August 1981, 73 (4): 556–567.


Приложение 1.13. Воздействие различныхмеханизмов возмещения издержек на доступ

к медицинским услугам и справедливостьих предоставления в Нигере

I. Введение

Описание проекта. Способность возмещения части расходов на

здравоохранение чрезвычайно важна для предоставления медицин�

ских услуг. Впрочем, данных о воздействии различных стратегий на

качество предоставляемых услуг и конечное благосостояние пока не�

много. В рамках данного исследования по оценке измеряется то воз�

действие на спрос на медицинские услуги, которое оказали два пи�

лотных проекта по возмещению расходов на такие услуги в сфере

первичной (амбулаторной) медико�санитарной помощи в Нигере.

Нигер — бедная сельскохозяйственная страна; государственные рас�

ходы на здравоохранение составляют 5–6% бюджета, причем боль�

шая часть этих средств неверно адресована и ошибочно направляет�

ся больницам и их персоналу. Правительство было заинтересовано в

оценке тех результатов, к которым приводит применение различных

схем оплаты. В качестве объекта изучения были взяты две такие схе�

мы: традиционный метод «плата за услугу» и финансовый механизм

«налог плюс плата за услугу». Внедрение обеих схем сопровождалось

повышением качества услуг и улучшением управления. Правительст�

во особенно интересовало то, как менялся спрос на медицинские ус�

луги, прежде всего среди наиболее уязвимых групп, а также то, на�

сколько устойчивым будет подобное повышение качества.

Чем интересна оценка. Указанные различные схемы оплаты были

введены в трех районах — по одному району на каждый метод плюс

один контрольный. Для оценки применялся квазиэксперименталь�

ный подход с использованием данных обследований домохозяйств и

административных данных по показателям использования и эксплу�

атационным расходам. Особенно интересным моментом оценки яв�

ляется то, что она непосредственно обращает внимание на вопросы

экономического характера. В анкете обследования содержится во�

прос о том, готовы ли респонденты платить за более качественную

услугу. Такое явное признание того, что для обеспечения устойчивос�

ти проекта одних лишь значительных результатов (итогов) недоста�

точно, является очень ценным моментом. Еще одним полезным ас�


пектом является открытая оценка воздействия программы на разные

целевые группы (дети, женщины, деревни без государственных ле�

чебных учреждений и беднейшее население).


Основные вопросы были связаны с воздействием программы на а)

использование государственных медицинских учреждений и спрос

на них; б) конкретные целевые группы (малоимущие, женщины и де�

ти); в) доступ к услугам с финансовой и географической точек зре�

ния; г) обращение к альтернативным услугам; д) устойчивость улуч�

шений в условиях возмещения издержек (расходы на пациентов и ле�

карства, а также поступления и готовность платить).

На основании административного списка в различных провин�

циях были выбраны три района медицинского обслуживания. Не�

смотря на сходство всех районов с точки зрения экономических, де�

мографических и социальных характеристик, национальный состав

их жителей был различным. В каждом районе имелся медицинский

центр с отделением матери и ребенка, медицинский пункт, один

врач�терапевт, а также сельские аптеки.

В экспериментальных районах были осуществлены четыре меро�

приятия по совершенствованию качества и управления; в контроль�

ном районе изменений не проводилось. В частности, был создан на�

чальный запас лекарств, персонал прошел подготовку по диагности�

ке и лечению, была организована система управления финансами и

запасами лекарств, и сотрудники прошли обучение по ее использова�

нию; кроме того, в целях укрепления управления был усовершенство�

ван надзор за подобного рода деятельностью.

В это же время были введены два различных механизма ценообра�

зования. Первый предусматривал плату за обращение, причем для па�

циента старше пяти лет плата составляла 200 франков КФА∗ (0,66

долл. США), а с детей до пяти лет взимали 100 франков КФА (0,33

долл. США). Второй механизм сочетал уплату ежегодного налога в

размере 200 франков КФА, который выплачивается налогоплатель�

щиками района, и плату в размере 50 франков КФА с пациента стар�

ше пяти лет, и 25 франков КФА — за детей в возрасте до пяти лет. Го�

довой доход составлял около 300 долл. США на душу населения. В

обеих схемах целевые группы освобождались от выплат. Распоряже�

ние финансами осуществлялось на районном уровне.


∗∗ Национальная валюта Нигера. — Прим. перев.

III. Данные

Три указанных района были отобраны на основании административ�

ных данных. Было проведено два обследования домохозяйств (одно

из которых было базисным); их результаты совместили с админист�

ративными записями по объектам здравоохранения. В ходе каждого

обследования была собрана демографическая информация на уров�

не домохозяйств и на индивидуальном уровне из случайной выборки

в 1800 домохозяйств. Базисное исследование позволило получить

данные по 2833 индивидуумам, которые обращались за медицинской

помощью за две недели до проведения опроса, а также 1770 беремен�

ным женщинам; в ходе окончательного обследования были собраны

данные о 2710 больных и 1615 беременных женщинах. Администра�

тивные данные содержали подробную информацию о ежемесячных

расходах на лекарства и управленческих расходах, затратах на пер�

сонал и плату за прием, а также об использовании медицинских уч�

реждений. Эта информация была собрана за год до начала програм�

мы, в базисном году (май 1992 г. — апрель 1993 г.) и через год после

окончания программы.


Данное исследование сочетает сопоставление средних данных с по�

мощью простой программы Logit; последний применяется для отра�

жения изменений в степени использования услуг медучреждений. В

частности, индивидуальный ответ на вопрос о том, использовалось

ли медицинское учреждение (РI), применяется для описания следую�

щей модели.

Logit (PI) = X∃ + ∗ (A+B).

Данная модель, которая учитывает вектор индивидуальных харак�

теристик Х и бинарные переменные А и В, сравнивалась с

Logit (PI) = X∃ + ∗a A+ ∗b B

Фиктивные переменные А и В определяются по�разному. В пер�

вой совокупности регрессий А относится к периоду действия про�

граммы, а В — к периоду до программы, причем регрессии рассчи�

тываются по подгруппам (заданные целевые группы) и по районам.

Во второй совокупности регрессий А и В используются для выпол�


нения шести парных сравнений каждого района с каждым из ос�

тальных районов во время действия программы. В каждом случае ав�

торы проверяют, действительно ли (∗a + ∗b) = ∗. Влияние доступа с ге�

ографической и финансовой точек зрения отражается в матрице Х

временем, за которое можно добраться до медицинского пункта, и

квартилями дохода, соответственно. Из рассмотрения непонятно,

какая категория в каждом случае опускается. Неясно также, были ли

исправлены среднеквадратичные ошибки оценок с учетом кластер�

ной природы выборки.

Хотя метод с использованием программы Logit является эффек�

тивным способом решения сразу трех вопросов исследования (зако�

номерности использования, влияние на подгруппы, воздействие до�

ступа с географической и финансовой точек зрения), четвертый во�

прос (последствия изменений в механизме возмещения издержек)

рассматривается с помощью административных данных и простого

сопоставления средних арифметических значений. Очевидной про�

блемой последнего подхода (которая явно не обозначена) является

возможность смещения в представлении результатов применения

программы. В частности, если деятельность администраторов оце�

нивается в зависимости от успешного результата программы, присут�

ствует моральный риск.

Влияние программы на использование альтернативных систем

здравоохранения было выявлено эконометрическими методами,

описанными в других источниках.


Обследование проводилось Министерством общественного здраво�

охранения при финансовой и технической поддержке со стороны

Агентства международного развития США и Всемирного банка. Не�

посредственно оценку осуществляли Франсис Диоп, Абоде Яцбек и

Рикардо Битран из компании «Abt Associates».


В ходе исследования обнаружилось, что метод «налог плюс плата»

приносит больший доход с одного человека, чем метод, основанный

только на оплате. Кроме того, первый метод оказался гораздо более

популярным. Система оплаты с применением налога также привела к

более позитивным результатам с точки зрения обеспечения доступа

к более качественным медицинским услугам для бедных, женщин и


детей. Но поскольку основной преградой для доступности медицин�

ских услуг является географическое расположение объекта здравоо�

хранения, то система, основанная на налоге, фактически перерас�

пределяет расходы на здравоохранение, перенося их от людей, про�

живающих вблизи лечебных учреждений, на тех, кто живет вдали от

таких учреждений.

В районе, где использовалась обычная плата за услуги, наблюда�

лось некоторое снижение числа первичных посещений врача при

одновременном повышении спроса на медицинские услуги; в райо�

не, где оплата применялась совместно с налогом, оба этих показате�

ля существенно выросли. В значительной степени такой результат

можно объяснить улучшением качества услуг, которое более чем

компенсирует увеличение стоимости.

Сокращение расходов (особенно стоимости лекарств), связанных

с изменением качества и управления, также оказалось действенным и

устойчивым результатом. Возмещение затрат в районе, где применя�

лись оплата и налог, приблизилось к 100% и превысило эту величину,

однако в районе, где использовалась только оплата, показатель был

значительно ниже. Кроме того, в первом районе готовность платить

была намного выше, чем во втором.

Основным результатом стал вывод о том, что сочетание налога с

оплатой является как более результативным с точки зрения достиже�

ния поставленных целей, так и более популярным среди населения

механизмом. Вместе с тем оценка показала, что отсутствие географи�

ческого доступа к объектам здравоохранения — основная помеха для

их использования. На основании этого можно предположить, что

при переходе к сочетанию налога и оплаты присутствуют определен�

ные проблемы в области распределения: домохозяйства, расположе�

ные далеко от лечебных учреждений, будут скрыто субсидировать те

домохозяйства, которые расположены в непосредственной близости

от таких учреждений.


Из данной оценки можно сделать несколько важных выводов. Одним

из них является многогранность подхода при оценке воздействия

проекта на различные параметры, связанные с устойчивостью ре�

зультатов: не только на возмещение издержек, но и на качество и ре�

акцию адресных (экспериментальных) групп. Другой вывод таков:

при сборе данных с помощью административных инструментов и

инструментов обследования важно обращать внимание на детали —


это помогло точно определить, какие компоненты программы оказа�

лись успешными, и что этому способствовало. Наконец, анализ воз�

действия на каждую адресную группу оказался особенно полезен при

составлении рекомендаций в отношении стратегии.


Diop, F. A. Yazbeck and R. Bitran «The impact of alternative cost recovery

schemes on access and equity in Niger» Health Policy and Planning, 10

(3): 223–240.

Wouters, A. «Improving quality through cost recovery in Niger». Health

Policy and Planning 10 (3): 257–270.


Приложение 1.14. Результаты обучения вначальных школах Филиппин:

оценка воздействия четырех экспериментов

I. Введение

Описание проекта. В большинстве развивающихся стран для раз�

работчиков политики причиной озабоченности служат факты зна�

чительного отсева учеников, а также то, что ученики начальной шко�

лы получают недостаточно знаний. Именно такая ситуация сложи�

лась на Филиппинах: почти четвертая часть детей в стране бросает

школу, не закончив шестого класса. Те же, кто продолжает учиться, ус�

ваивают менее половины преподаваемого материала. Для решения

этих проблем в 1990–1992 гг. правительством проводилась Програм�

ма предупреждения отсева учащихся (ППО). В рамках этой програм�

мы было проведено четыре эксперимента: предоставление диффе�

ренцированных учебных материалов (ДУМ), предоставление школь�

ных обедов (ШО), а также сочетание каждой из этих мер с созданием

партнерских отношений между учителями и родителями (ПУР). Пер�

вый подход позволяет учителям строить темп обучения, исходя из

потребностей разных учащихся, и обходится намного дешевле, чем

организация питания в школе. Сотрудничество родителей с учителя�

ми не потребовало почти никаких затрат, но результатом явилось то,

что дети смогут учиться не только в школе, но и дома.

Чем интересна оценка. Данная оценка четко направлена на форми�

рование в стране соответствующего потенциала, чтобы оценка стала

неотъемлемой частью новых программ, а требования к данным учиты�

вались бы еще до начала реализации проекта. Впрочем, в ходе работы

возник ряд проблем, и результаты оценки четко указывают, чего следу�

ет ожидать. Еще одним существенным вкладом оценки является про�

верка устойчивости результатов при применении различных экономе�

трических подходов. И, наконец, важен итоговый анализ «затраты–вы�

годы», так как он ясно говорит о том, что получить одни лишь значи�

тельные результаты (итоги) недостаточно: недорогие программы

вполне могут оказаться предпочтительнее, чем дорогостоящие.


Основным вопросом исследования является оценка воздействия че�

тырех различных программ на отсев учащихся и успеваемость.


Оценка обуславливается не только потребностями программы, но и

прагматическими соображениями. Команда ППО отбирала школы в

три этапа.

• Два района в каждом из пяти регионов страны определялись как му�

ниципалитеты с низким уровнем доходов. В одном районе меры,

применяемые в рамках программы, распределялись как контроль�

ные, ДУМ или ДУМ�ПУР; в другом — контрольные, ШО или ШО�ПУР.

Выбор двух пакетов мер производился на случайной основе.

• В каждом районе команда выбирала три школы, которые: а) име�

ли программу обучения для всех классов, причем на каждом году

обучения имелось по одному классу; б) имели высокие показатели

отсева учеников; в) не предоставляли питания в школе.

• В каждом районе три школы на случайной основе относили к кон�

трольной группе или к одной из двух программ.

Каждая программа случайным образом относилась ко всем клас�

сам в пяти школах; кроме того, в 1991 и 1992 гг. — ко всем классам во

всех 20 школах, а также в 10 контрольных школах были предложены

предварительные и заключительные контрольные работы (тесты).

III. Данные

Порядок сбора данных сам по себе был достаточно поучительным.

Сбор базисных данных начался в 1990–1991 гг.; программа была реа�

лизована в 1991–1992 гг. В течение каждого из двух лет была собрана

детальная информация о 29 школах, приблизительно 180 учителях и

примерно 4000 учениках. Хотя анкеты были очень подробными, вы�

яснилось, что необходимости в этом не было: пригодилась лишь не�

большая часть информации. Таким образом, эту часть расходов на

процесс оценки можно сократить без ущерба для результата. В нача�

ле и в конце каждого учебного года проводились предварительный и

заключительный тесты по трем предметам: математике, филиппин�

скому и английскому языкам.

Данные как по ученикам, так и по школам имели лонгитюдный ха�

рактер. К сожалению, оказалось, что идентификаторы для учащихся в

эти 2 года для учеников и школ не совпадали. Следует отметить, что

об этом не было известно заранее, а выяснилось лишь после шести

месяцев работы, когда проявились внутренние несоответствия. По�

лучить первоначальные идентификаторы из Департамента образова�

ния Филиппин было невозможно. К счастью, удалось восстановить


данные для первоклассников, что позволило провести определен�

ный лонгитюдный анализ.


Структура выборочного исследования обусловила несколько инте�

ресных эконометрических проблем: одно подмножество было для

бросивших школу и одно — для результатов тестирования. В каждом

случае присутствуют два набора очевидных мер контроля: один —

контрольная группа школ, другой — базисное обследование, прове�

денное в год, предшествовавший программе. Авторы использовали

их по�разному.

При анализе отсева естественно применить методику двойных раз�

личий и сравнить изменение среднего показателя отсева в каждом уча�

ствующем в программе за два года, с изменением среднего показателя

отсева в контрольных классах. Однако сразу возникли две проблемы. Во�

первых, хотя результаты и были достаточно масштабны, они являлись

значимыми только для программы ДУМ, что, возможно, было связано с

небольшими размерами выборки. Такая проблема не является редкос�

тью для подобных процедур. Вероятно, она неизбежна, если учесть недо�

статок финансирования больших экспериментов в развивающихся

странах. Во�вторых, краткая проверка того, были ли характеристики и

успеваемость одинаковыми в разных школах за год до введения про�

граммы, показала, что наблюдались значительные различия. Эти два

фактора привели к необходимости проверки авторами надежности ре�

зультатов методами логистической регрессии, где учитывались личные

характеристики (personal characteristics — PC) и семейное положение

(family background — FB); при этом главный результат остался неизмен�

ным. Тем не менее метод регрессии обнаружил важную косвенную при�

чину отсева из школы — плохую успеваемость. Это вызвало вторую ста�

дию анализа, на которой основное внимание уделялось успеваемости.

Еще одна группа эконометрических вопросов возникла при оцен�

ке воздействия программы (INTER) на успеваемость учащегося i в

школе s в период времени t (APist); авторы представляют это как:

APist = δ0 + δ1 APist�1′ + δ2 PCi+ δ3 FBi+δ4 LEst+ δ5 CCi +δ6 INTERjt + ε,

где LE — среда обучения, СС — условия в аудитории.

Сначала необходимо ввести поправки на кластерную корреляцию

ошибок, которые, скорее всего, будут существовать в отношении учени�


ков одного и того же класса и школы. Затем следует отразить ненаблюда�

емую разнородность. Третьим вопросом является смещение при отборе.

Первый вопрос решается путем применения коррекции Губе�

ра–Уайта (Huber–White) к стандартным ошибкам. Второй аспект в

принципе мог бы найти отражение на индивидуальном уровне, если

использовать в качестве независимой переменной различия в ре�

зультатах тестов. Однако авторы утверждают, что подобный метод

неприемлем, поскольку предполагается, что δ1 = 1, а это не под�

тверждается тестами. Поэтому они сохраняют запаздывающую зави�

симую переменную, но это порождает следующую проблему — сме�

щение эндогенной независимой переменной в уравнении регрес�

сии. Она решается через дополнение результатов предварительного

теста по каждому предмету результатами по другим предметам. При

этом авторы отмечают, что за уменьшение смещения приходится

платить (это приводит к снижению эффективности), и приводят ре�

зультаты как метода наименьших квадратов, так и метода инструмен�

тальных переменных. Для того чтобы ввести поправки на ненаблю�

даемую разнородность среды обучения (learning environment, LE) и

аудиторных условий (classroom conditions, CC), авторы используют

фиксированные результаты для школ и преподавателей.

Третья проблема (смещение выборки) также часто упоминается в ли�

тературе, и полного ее разрешения не существует. Очевидно, что, по�

скольку наблюдаются разные уровни отсева, индивидуальная успевае�

мость зависит от решения продолжать учебу. Хотя эту проблему часто

пытались решить с помощью двухэтапной процедуры Хекмана, такой

подход оказывался весьма неудовлетворительным по трем причинам:

из�за его чувствительности к допущению нормального распределения,

его выбора и достаточности приемлемых переменных для использова�

ния на первом этапе, а также частой зависимости от идентификации в

силу нелинейности первого этапа. К сожалению, до сих пор нет единого

мнения относительно того, чем можно было бы ее заменить. Один вари�

ант был предложен Крюгером, который приписал бросившим школу их

результаты предварительного теста и вернул их в регрессию. Таким об�

разом, авторы представляют три набора результатов: простой регрессии

результатов по программе, подхода Крюгера и процедуры Хекмана.


Сбор данных проводился Бюро начального образования Департа�

мента по образованию, культуре и спорту Филиппин. Анализ осуще�

ствляли сотрудник Всемирного банка и два исследователя.



В рамках данного исследования осуществляется оценка воздействия

программ на отсев учеников из 1–6�го классов, а также на результаты

тестов в 1�ом классе при использовании метода двойных различий,

метода инструментальных переменных и метода выборки Хекмана.

Воздействие дифференцированных учебных материалов (особенно

при сотрудничестве родителей и учителей) на решение бросить

школу и на успеваемость устойчиво при различных характеристиках

и весьма рентабельно. Воздействие программы школьных обедов бы�

ло в основном незначительным. Интересным компонентом исследо�

вания был анализ «затраты–выгоды». Его итоги показывают, что по�

лучения существенных результатов недостаточно. В частности, про�

стой расчет прямой и косвенной (альтернативной) стоимости про�

граммы позволяет заключить, что вариант ДУМ одновременно явля�

ется действенным и оправданным с точки зрения затрат.

Впрочем, результативность программы школьного питания может

оказаться заниженной. Возможно, при более высокой адресности та�

кие программы были бы вполне приемлемы. Кроме того, поскольку

между реализацией программы и ее оценкой прошло совсем мало

времени, долгосрочное воздействие программы увидеть сложно.


Во время оценки было сделано несколько выводов. Главный из них

заключался в чрезвычайной значимости деталей — при потере соот�

ветствующих данных, например по причине несовпадения иденти�

фикаторов по годам, может быть упущено огромное количество цен�

ной лонгитюдной информации. Во�вторых, из всей информации,

полученной в ходе детальных исследований, была использована

лишь незначительная часть; таким образом, можно было бы подвер�

гать респондентов меньшей нагрузке. В�третьих, данное исследова�

ние подчеркивает ценность различных эконометрических подходов,

а также полезность обнаружения соответствия между ними. В�чет�

вертых, исследование служит образцом использования метода

«затраты–выгоды». С его помощью затраты на проведение различ�

ных видов программ выявляются и получают стоимостное выраже�

ние. Наконец, несмотря на то, что при выполнении исследования яв�

но был допущен ряд ошибок, авторы отмечают, что главная цель ра�

боты состояла в формировании в стране потенциала для проведения

оценки. Тот факт, что ППО была реализована и прошла оценку, озна�


чает, что подобный потенциал вполне можно сформировать на базе

Министерств образования.


Tan, J.P, J. Lane and G. Lassibille «Schooling Outcomes in Philippine Ele�

mentary Schools: Evaluation of the Impact of Four Experiments» World

Bank Economic Review, September 1999.


Приложение 1.15. Вьетнам: оценкавоздействия проектов по сооружению

сельских дорог на бедность

I. Введение

Описание проекта. Всемирный банк и другие доноры активно под�

держивают строительство сельских шоссейных дорог, рассматривая

их как инструмент для борьбы с бедностью. Проект сельского транс�

порта во Вьетнаме I (Rural Transport Project — RTP I) был начат в 1997 г.

при финансовой поддержке Всемирного банка; предполагалось, что

его реализация займет 3–5 лет. Цель проекта — повысить уровень жиз�

ни в бедных районах посредством восстановления существующих

шоссейных дорог и мостов и улучшения доступа к рынку. В каждой уча�

ствующей (экспериментальной) провинции проекты по восстановле�

нию определялись на основе критерия наименьшей стоимости с уче�

том числа жителей, которое выиграет от проекта, и затрат на проект.

Однако, чтобы повысить адресность в интересах бедных, допускается

отвлечение 20% средств, предназначенных для каждой провинции, на

охват малонаселенных горных районов, где проживают этнические

меньшинства, и где проекты, вообще говоря, не отвечали бы критерию

наименьшей стоимости его применения.

Оценка воздействия. Несмотря на общее согласие по вопросу зна�

чимости сельских дорог, конкретных показателей размера и сущнос�

ти выгод от них на удивление немного. Цель Оценки воздействия

проекта сельских дорог Вьетнама — определить изменения в благо�

состоянии домохозяйств общин, участвующих в нем, по сравнению с

контрольными общинами. Главная задача оценки — успешно выде�

лить воздействие дорог из множества других факторов, которые ме�

няются сегодня в сельских районах Вьетнама в результате перехода к

рынку.

Работа над оценкой началась в 1997 г. одновременно с подготов�

кой к проекту и продолжается до сих пор. Результаты пока не получе�

ны. Однако уже ясно, что эта оценка станет одной из первых полных

попыток исследовать воздействие сельских дорог на благосостояние.

Это главный показатель при выявлении того, действительно ли по�

добные проекты способствуют сокращению бедности. Схема оценки

будет усовершенствована по сравнению с предыдущими оценками

инфраструктуры благодаря сочетанию в ней следующих элементов:


а) сбор данных базисного и дополнительного обследований; б)

включение соответствующих мер контроля для обеспечения устой�

чивости результатов по отношению к ненаблюдаемым факторам, ко�

торые определяют участие в проекте и его результаты; в) достаточно

длительное отслеживание проекта (будет проведено несколько по�

следовательных циклов сбора данных), что позволит оценить пол�

ное воздействие на благосостояние.


Схема Оценки воздействия Проекта сельских дорог Вьетнама (Viet�

nam Rural Roads Impact Evaluation) основывается на данных базис�

ного (до начала проекта) и последующего (после проведения про�

екта) исследования выборки общин, участвующих и не участвую�

щих в нем. Соответствующие меры контроля можно выделить из

общин, не участвующих в проекте, методом сравнения по подобию.

Базисные данные позволяют провести сопоставление показателей

благосостояния в участвующих в проекте (экспериментальных) и

контрольных общинах по методу «до и после» (метод рефлексив�

ных сравнений). Теоретически контрольная группа, выбранная ме�

тодом сравнения по подобию, идентична участвующей в проекте

группе по своим наблюдаемым и ненаблюдаемым характеристи�

кам, и потому конечные результаты в «проектных» общинах можно

объяснить воздействием программы.


Данные, собранные для оценки, включали в себя обследования на

уровне домохозяйств и общин, а также базы данных на уровне райо�

нов, провинций и проекта. Базисные и последующие обследования

общин и домохозяйств были проведены в 1997 и 1999 гг.; также с ин�

тервалом в два года планируется провести третий и четвертый циклы

обследований. Выборка включала 100 участвующих и 100 не участву�

ющих в проекте общин, расположенных в шести из 18 провинций,

которые охвачены проектом. Участвующие в проекте общины выби�

рались случайным образом из перечня всех общин с предлагаемыми

проектами по каждой провинции. Затем составлялся список остав�

шихся общин в районах с предлагаемыми проектами, и из них слу�

чайным образом выбирались контрольные общины. (В идеале они

отличаются от группы, участвующей в проекте, только своим неучас�

тием. Из соображений обеспечения работ, было желательно ограни�


чить работу на местах несколькими конкретными регионами. Поэто�

му контрольные группы выбирались таким образом, чтобы они были

расположены вблизи от общин, участвующих в проекте, или в тех же

районах. Районы достаточно велики, и потому маловероятно, чтобы

проект внес искажения в показатели группы, не участвующей в нем,

однако тем не менее подобная возможность тщательно проверялась.)

Для проверки выбора членов контрольных групп будут использо�

ваться методы отбора подобного по склонности, основанные на ха�

рактеристиках общин, а любые члены контрольных групп с нестан�

дартными по сравнению с участниками проекта характеристиками

будут исключаться из выборки. Для того чтобы убедиться в идентич�

ности показателей склонности (прогнозируемые значения в модели

Logit) для всех контрольных общин, будет рассчитана и использова�

на модель участия общин Logit.

База данных по общинам формировалась на основе существую�

щей административной информации, получаемой ежегодно по всем

общинам и включающей сведения о демографии, землепользовании,

производственной деятельности. В дополнение будут использованы

результаты обследования на уровне общин, которое проводилось

специально в интересах оценки. Данное обследование охватывает

общие характеристики, инфраструктуру, занятость, источники

средств к существованию, сельское хозяйство, землю и другие акти�

вы, образование, здравоохранение, программы развития, общинные

организации, систему финансов общины и уровень цен. Эти данные

будут использоваться для построения ряда показателей благосостоя�

ния на уровне общин, а также для проверки воздействия проекта с те�

чением времени.

Основная цель обследования домохозяйств — получить инфор�

мацию об их доступе к различным благам и услугам, а также об изме�

нениях в этом доступе с течением времени. Анкета для домохозяйств

была предложена 15 выбранным случайным образом домохозяйст�

вам в каждой общине; вопросы анкеты касались занятости, имущест�

ва, производительной деятельности, уровня образования, состояния

здоровья, маркетинга, кредита, общинной деятельности, доступа к

социальному обеспечению и программам по борьбе с бедностью, а

также транспорта. Из�за ограниченных местных возможностей по

проведению исследования попыток собрать сложный набор данных,

необходимых для выведения показателя благосостояния домохо�

зяйств (например, дохода или потребления), не предпринимается.

Однако в исследование был включен ряд вопросов, повторяющих во�

просы Исследования уровня жизни во Вьетнаме. Эта и другая инфор�


мация о характеристиках домохозяйств, общая для обоих исследова�

ний, будет использована, чтобы представить место каждого домохо�

зяйства в распределении национального благосостояния, для этого

будут применены методы регрессии. Была подготовлена также не�

большая база данных на уровне районов, с помощью которой данные

с уровня общин (включая информацию о населении, землепользова�

нии, по экономике, социальным показателям и т.д.) можно поместить

в более широкий контекст. Каждое из этих обследований будет про�

ведено повторно в соответствии с графиком обследования общин.

На основании существующей информации были созданы еще две

базы данных. Обширная база данных на уровне провинций была

сформирована для того, чтобы помочь понять принцип выбора про�

винций для участия в проекте. Эта база данных охватывает все про�

винции Вьетнама и содержит информацию о большом количестве

социально�экономических переменных. Наконец, была также созда�

на база данных на уровне проекта для каждой из прошедших обсле�

дование областей проекта. С ее помощью в ходе оценки воздействия

проекта вносились поправки на его масштаб и способ реализации.

Для моделирования выбора мест реализации проекта с учетом ос�

новных экономических, социальных процессов и процессов полити�

ческой экономии будут использоваться базисные данные. В зависимо�

сти от результатов отбора последующие стадии оценки будут исполь�

зоваться для выявления выгод, измеряемых на уровне общин. В каче�

стве аналитического подхода избрана методика двойных различий в

сочетании с методами отбора подобного. Методы отбора подобного

будут использоваться для выбора идеальных контрольных групп из

100 выбранных общин, не участвующих в проекте. Результаты, полу�

ченные в участвующих в проекте общинах, будут сравниваться с ре�

зультатами контрольных общин в ситуациях как до, так и после осу�

ществления проектов. Воздействие проекта будет определяться так:

разность между результатами, полученными в областях, участвовав�

ших в проекте, до и после его осуществления, минус соответствующая

разность между результатами в отобранных по подобию контроль�

ных областях. Данный метод позволяет получить свободную от сме�

щений оценку воздействия проекта в присутствии ненаблюдаемых,

не зависящих от времени факторов, влияющих как на выбор областей

проекта, так и на полученный результат. Дополнительную надежность

результатам придает то, что подмножества данных содержат большое

число как показателей результата, так и объясняющих (независимых)

переменных. Среди анализируемых показателей результата — сель�

скохозяйственный урожай на уровне общин, диверсификация источ�


ников доходов, возможность трудоустройства, использование и рас�

пределение земли, доступность товаров, услуг и организаций, а также

наличие имущества и его распределение.

IV. Стоимость оценки и администрирование

Затраты. К настоящему моменту общая стоимость оценки состави�

ла 222500 долл. США, или 3,6% от общих затрат на проект. Эта сумма

включает 202500 долл. США на два этапа сбора данных, а также

20000 долл. США, предоставленных в виде гранта на исследования.

Стоимость времени сотрудников Всемирного банка и расходы на

переезды в указанные затраты не включены.

Администрирование. План оценки был разработан сотрудником

Всемирного банка Доминик ван де Валле. Для осуществления надзора

за ходом исследования в стране был приглашен независимый кон�

сультант, имеющий подготовку в сфере экономики и научной дея�

тельности и занимавшийся вопросами сельской бедности и разви�

тия. Этот консультант сформировал и подготовил команду контроле�

ров, решал все вопросы, связанные с обеспечением работ, и вел над�

зор за сбором данных.


Van de Walle, Dominique. 1999. Assessing the Poverty Impact of Rural Road

Projects. The World Bank. Washington, D.C. Processed.


I. Исходная информация

Правительство Уганды обратилось в Международную ассоциацию

развития (МАР) с просьбой выделить кредит для осуществления

Проекта по организации питания и раннему развитию детей. Цель

проекта — повысить уровень жизни детей в возрасте до шести лет и

обеспечить семьям и общинам благоприятные возможности для

воспитания детей. В частности, в задачи проекта входит обеспече'

ние раннего развития детей благодаря улучшению питания, состоя'

ния здоровья, психологического и когнитивного (познавательного,

т.е. способности детей к познанию) статуса детей в Уганде в возрас'

те до шести лет.

II. Обоснование инвестиций в раннее развитие детей

Инвестиции в раннее развитие детей (РРД) приносят осязаемые ре'

зультаты не только для самих детей и родителей, но и для всех общин

и страны в целом. В младенчестве и в раннем возрасте происходят

быстрый физический рост и умственное развитие. К двум годам мозг

ребенка почти полностью сформирован. Способности к обучению

также в значительной степени развиваются уже к четырем годам. До'

статочный физический рост и умственное развитие в раннем возра'

сте позволяют ребенку лучше подготовиться к школе, способствуют

тому, что в школе остается больше детей, а также стимулируют увели'

чение значимости человеческого капитала. Самые значительные вы'

годы от заботы в раннем возрасте могут получить дети из неблагопо'

лучной среды, — благодаря подобным программам устраняются раз'

рывы и неравенство, связанные с бедностью.


Типовое техническое задание

Пример I. Проект по организации питания ираннего развития детей в Уганде

Техническое задание консалтинговой фирмедля оказания содействия при проведении оценки

проекта

Хорошее здоровье и питание наряду с развитием умственных спо'

собностей влияют на всю дальнейшую жизнь. Взаимосвязь между пи'

танием, здоровьем и умственным развитием настолько важна, что

осязаемых положительных результатов роста и развития ребенка

можно добиться только при комплексном подходе.

III. Задачи и стратегические цели проекта

Задача проекта с точки зрения развития — улучшить рост и развитие

детей в возрасте до шести лет с учетом аспектов питания, состояния

здоровья, психологических и когнитивных аспектов. Оценка того,

смог ли проект по истечении пяти лет выполнить такую задачу, будет

строиться на следующих показателях: a) сокращение числа детей'до'

школьников с дефицитом массы в районах, охваченных проектом, на

одну треть от уровня 1995 г.; б) сокращение числа детей с задержкой

роста, отмечаемой на момент поступления в начальную школу, на од'

ну четверть от уровня 1995 г. в районах, охваченных проектом; в)

улучшение психо'социального и когнитивного развития у детей; г)

сокращение числа второгодников и отсева учеников в начальных

классах и д) развитие предпринимательских навыков и экономичес'

кой самостоятельности матерей и лиц, воспитывающих детей.

Проект проводится в поддержку Государственной национальной

программы помощи детям Уганды (Ugandan National Program of

Action for Children) и Плана действий по борьбе с бедностью (Poverty

Eradication Action Plan). Этот проект в частности призван повысить

уровень готовности детей младшего возраста к школе; тем самым он

помогает достичь всеобщего начального образования. Главная стра'

тегическая задача проекта — расширить возможности семей и об'

щин по обеспечению лучшего ухода и воспитания детей дошкольно'

го возраста (от нуля до шести лет), благодаря совершенствованию их

знаний о росте и развитии ребенка, воспитании, питании и меди'

цинском уходе, а также благодаря вовлечению женщин в коммерчес'

кую деятельность.

IV. Методология проекта

Данный проект нацелен на процесс (расширение возможностей се'

мей по улучшению ухода и воспитания детей) и учитывает местные

приоритеты развития. Он не содержит набора готовых рецептов. Ре'

сурсы предоставляются общинам постепенно по результатам процес'

са планирования с участием общественности. Это позволяет гаранти'


ровать чувство сопричастности и обеспечивает устойчивость проек'

та. Проект предусматривает сотрудничество между государственны'

ми ведомствами и общественными организациями (включая отечест'

венные и международные неправительственные организации) и об'

щинами. Будучи межотраслевой программой, которая включает в се'

бя рассмотрение таких вопросов, как здравоохранение, питание, дет'

ское раннее образование, уход за детьми, формирование сбережений

и доходов, проект предусматривает налаживание контактов между

различными государственными ведомствами и неправительственны'

ми организациями, чтобы обеспечить всестороннюю поддержку дет'

скому развитию. Проект будет поддерживать ряд вариантов, исходя из

потребностей детей дошкольного возраста и их семей.

V. Компоненты проекта

Компонент 1. Комплексные меры по уходу за детьми силамиобщин. Этот компонент помогает решить следующие задачи госу'

дарства: a) повышение уровня информированности родителей по

основным аспектам ухода за детьми и их развития через просвеще'

ние родителей, наблюдение за ростом детей и его стимулирование,

обучение и раскрытие важности этих моментов и б) расширение

полномочий общин в плане оказания поддержки программам разви'

тия детей благодаря формированию и приобретению навыков полу'

чения дохода и предоставлению грантов. Цель — сократить количе'

ство случаев дефицита веса у детей на одну треть к концу пятилетне'

го срока в округах, задействованных в проекте, а также повысить уро'

вень подготовки детей к школе и тем самым способствовать достиже'

нию всеобщего начального образования. План правительства преду'

сматривает охват в конечном счете всех округов, однако на этом эта'

пе программа будет введена в действие в 25 округах, выбранных пра'

вительством исходя из уровня недоедания, детской смертности и

процента поступающих в начальную школу. Программа предусмат'

ривает следующие взаимосвязанные меры.

1) Просвещение родителей. Этот подкомпонент проекта пре'

дусматривает работу с родителями и воспитателями, направленную

на достижение понимания по доведению основных аспектов, связан'

ных с уходом за ребенком, его ростом и развитием, включая питание,

здоровье, развитие когнитивных и психологических способностей.

Проект призван повысить уровень компетенции родителей в этих

вопросах. Усвоение родителями навыков и знаний по уходу за ребен'

ТИПОВОЕ ТЕХНИЧЕСКОЕ ЗАДАНИЕ 205

ком, в свою очередь, будет способствовать улучшению здоровья, пси'

хо'социального развития и благополучия детей, а в конечном счете

их готовности к обучению в системе начального образования. Про'

ект предусматривает мобилизацию групп матерей (родителей) на

уровне общин, предоставление им материалов на местных языках,

технический надзор и их взаимодействие. В Уганде был успешно ап'

робирован упрощенный учебный материал для взрослых с низким

уровнем грамотности. Акцент предполагается сделать на расшире'

ние такой практики ухода за детьми, которая обеспечит надлежащий

рост и развитие детей, и включает аспекты питания и здоровья детей

(кормление только грудью и практика отъема от груди, — в частнос'

ти, период введения в рацион детей переходных продуктов, а также

различные виды детского питания и способы его приготовления,

стимулирование роста детей, дегельминтизация), а также вопросы

психологического развития и стимулирования когнитивных способ'

ностей и социальной поддержки, гигиены и совершенствования на'

выков поддержания здоровья в семье.Указанные меры должны подкрепляться дополнительными меро'

приятиями (например, проведение «Дня ребенка») на уровне церков'

ного прихода, чтобы общины могли получать ряд услуг, связанных с

уходом за ребенком, в одном месте. Кроме того, в некоторых прихо'

дах как составляющая часть «Дней ребенка» предусмотрено изучение

эффективности применения антигельминтного препарата альбенда'

зола детьми младшего возраста. Будет также оцениваться то, как его

использование каждые полгода влияет на прибавление в весе.

2) Наращивание потенциала общин и предоставление са�

мостоятельности в уходе за детьми. Эта часть программы

включает в себя два взаимосвязанных мероприятия: а) развитие на'

выков общин, — с этой целью будут проводиться практические семи'

нары по планированию деятельности общин и доведению до них

важности соответствующих аспектов и б) обучение предпринима'

тельским навыкам с целью повысить доходы матерей и воспитателей.

Компонент 2. Предоставление общинам социальных субси&дий в интересах развития детей. Для общин предусмотрены два

типа субсидий.

1) Социальные субсидии предоставляются общинам при усло'

вии их долевого участия. Эти субсидии и вклады общин предназначе'

ны для финансирования мероприятий, проводимых в рамках про'

граммы развития детей и соответствующих основным направлени'

ям, отраженным в Руководстве по реализации проекта. Чтобы полу'


чить право на эту субсидию, общины должны внести равную долю

средств. Взнос может быть сделан в виде товаров, работ или услуг.

Примерами использования таких субсидий служат строительство и

эксплуатация общинных центров развития детей, домашних цент'

ров по уходу за детьми или производство и маркетинг продуктов дет'

ского питания, заменяющих материнское молоко. Данный компо'

нент будет осуществляться в тех же 25 округах, что и компонент 1.

2) Гранты на инновации — это субсидии, предоставляемые об'

щинам для разрешения проблем, связанных с воспитанием и уходом

за детьми. Гранты на инновации предназначены для проведения ме'

роприятий, не вошедших в перечень основных действий, перечис'

ленных в рамках социальных субсидий. Как следует из названия, «ин'

новационный» фонд будет использоваться для поддержки общин

разного уровня при реализации «инновационных идей» по улучше'

нию жизни их детей. Инновационные гранты будут получаться об'

щинами в том же порядке, что и социальные субсидии, т.е. предложе'

ния, подготовленные общинами в результате совместного планиро'

вания, будут изучены районным комитетом округа, а затем представ'

лены для финансирования в рамках проекта.

Компонент 3. Национальная программа поддержки развитиядетей. Этот компонент предусматривает осуществление мероприя'

тий центральной программы и стратегических инициатив, призван'

ных поддержать проекты, которые осуществляются на уровне райо'

нов в рамках компонентов 1 и 2, а также обеспечение качества прове'

дения первоочередных мероприятий на уровне общин. Компонент

включает в себя: a) мониторинг и оценку программы, б) помощь в

предупреждении дефицита питательных микроэлементов, в) разра'

ботку учебных планов в интересах раннего развития детей, г) подго'

товку преподавателей по раннему развитию детей, а также д) инфор'

мацию, пропаганду и связь.

VI. Порядок реализации

За реализацию проекта отвечает Правительство Уганды. В условиях

децентрализации и передачи полномочий на нижние уровни власти,

которые предусмотрены принятой в стране стратегией, содействие

ему оказывают неправительственные организации. В качестве еди'

ницы предоставления услуг выступает община, хотя структура коор'

динации будет также включать церковный округ, район и админист'

ративный округ.


Кроме того, в проекте предполагается работать с заинтересован'

ными сторонами (консультации и объяснение важности осуществля'

емых мер), мобилизовать усилия общин, обеспечить планирование с

участием общественности, создать возможности для устойчивого

функционирования на всех уровнях, а также усилить взаимодопол'

няемость с другими действующими национальными программами и

структурами. Использование существующих политических и инсти'

туциональных структур должно быть разносторонним. Также на всех

уровнях должны быть обеспечены прозрачность и подотчетность.

VII. Координация проекта

На национальном уровне. За общее руководство реализацией

проекта будет отвечать Наблюдательный комитет, в состав которого

входят отраслевые министерства, спонсоры и представители непра'

вительственных организаций.

Этот комитет, возглавляемый Постоянным секретарем Министер'

ства финансов, планирования и экономического развития, будет

обеспечивать руководство стратегическими вопросами, анализиро'

вать и одобрять качество и эффективность выполнения проекта. На'

блюдательный комитет будет также вносить предложения по опти'

мизации годового бюджета административных округов и рабочих

планов проекта.

На базе Отдела социальных услуг Министерства финансов, плани'

рования и экономического развития будет сформирована неболь'

шая Группа координации проекта (ГКП); в ее состав войдут коорди'

натор, его заместитель, квалифицированный бухгалтер и вспомога'

тельный персонал. ГКП будет отвечать за текущую координацию ме'

роприятий, проводимых в рамках проекта на национальном уровне.

На уровне административных округов. Состав существующего меж'

ведомственного комитета (Окружной координационный комитет —

ОКК) будет руководителем проекта (РП) и будет отвечать за координа'

цию проекта на окружном уровне. РП определит ответственного из чис'

ла правительственных чиновников, который будет координировать ра'

боту, связанную с деятельностью неправительственных организаций, и

прочие мероприятия, осуществляемые в рамках проекта. Ведущая непра'

вительственная организация будет включена в качестве члена ОКК. В тех

административных округах, где не представляется возможным выявить

или укрепить неправительственные организации с достаточным опы'

том, чтобы они стали ведущими, реализация проекта будет осуществлять'


ся через администрацию округов.

На уровне района. Существующий отраслевой комитет, сходный с

тем, что действует на уровне округа, будет отвечать за координацию

мероприятий, осуществляемых в рамках проекта на уровне района.

Такой районный координационный комитет будет также содейство'

вать налаживанию контактов между существующими структурами и

структурами проекта и вместе с ведущей окружной НПО, утверждать

годовые рабочие планы районных НПО/Организаций на базе общин

(ОБО) и финансирование проекта в данном районе.

VIII. Оценка воздействия проекта

Правительство Уганды заинтересовано в оценке долгосрочного ре'

зультата от различных аспектов проекта, чтобы определить его дей'

ственность и использовать эту информацию при создании будущих

проектов в области питания и раннего развития детей (ПРРД). Кроме

того, поскольку Всемирный банк рассматривает данный проект в ка'

честве потенциальной иллюстрации услуг ПРРД для других стран, он

включил этот проект в оценку программ РРД, проводимую в трех

странах, и будет оказывать техническое содействие в форме грантов

ГКП на поддержку конкретных исследований. В частности, в рамках

общего проекта будут проведены два исследования по оценке воз'

действия конкретных мероприятий.

•• Исследование результатов проведения «Дней здоровья ребенка»

(Child Health Day Study) при церковных приходах для оценки ох'

вата антигельминтными препаратами детей на уровне приходов и

их воздействия на прибавление в весе детей до шести лет. В иссле'

довании применяется рандомизированный экспериментальный

подход.

•• Обследования, проводимые с использованием методологии ба'

зисных данных и повторного обследования для оценки а) воздей'

ствия антигельминтных мер и проекта в целом на развитие позна'

вательных способностей, здоровье и питание детей в возрасте до

шести лет; б) воздействия образовательного компонента про'

грамм и кампании в средствах массовой информации на уровень

знаний, отношение к ним и реально используемые методы ухода

и воспитания, применяемые основными лицами, осуществляю'

щими уход за детьми; и в) воздействие обучения широких масс на'

селения управлению, мероприятий по оптимизации доходов на'

селения и формирования ссудно'сберегательных групп, а также


предоставления социальных субсидий на благосостояние домо'

хозяйствам и общинам.

Будет выбрана фирма для предоставления технической поддерж'

ки и материально'технического обеспечения в интересах указанных

исследований; ей будет предложено в качестве местной исследова'

тельской структуры осуществить разработку, сбор данных и анализ,

которые необходимы для проведения двух исследований по оценке

воздействия. Данная фирма станет основным партнером ГКП, нацио'

нальных исследователей и исследователей из Всемирного банка и

Оксфордского университета, которые возьмут на себя проведение

оценки воздействия.

IX. Обзор исследований

Исследование 1. Эффект антигельминтной программы, про&водимой в рамках «Дня здоровья ребенка» в приходах. Сущест'

вует ряд исследований, наглядно показывающих результат лечения

детей школьного возраста антигельминтными препаратами. Однако

для дошкольников имеется только одно широкомасштабное, рандо'

мизированное исследование, которое демонстрирует большое влия'

ние этого лечения на прибавление в весе детей этого возраста. В свя'

зи с этим возник вопрос: можно ли достичь такого эффекта для аф'

риканских детей? Таким образом, в проект ПРРД войдет рандомизи'

рованное исследование того воздействия, которое дало лечение де'

тей младшего возраста антигельминтным препаратом альбендазо'

лом; препарат использовался в рамках «Дней здоровья ребенка» в 25

отобранных церковных приходах. Также будет выявлен эффект от

применения этого препарата для прибавления детей в весе в случае

его использования через каждые шесть месяцев. Данные будут посту'

пать от этих церковных приходов, а также от 25 контрольных групп,

в которых также будут проводиться «Дни здоровья ребенка», но дети

не будут регулярно принимать альбендазол. Если антигельминтное

лечение будет успешным, и удастся продемонстрировать положи'

тельные результаты для детей Уганды, то эта программа может быть

рекомендована для проведения во всех округах.

Поскольку это исследование проводится на научной и хорошо

контролируемой основе, церковные приходы, где дети будут прини'

мать альбендазол, будут отбираться ГКП из списка тех приходов, в ко'

торых будут проходить «Дни здоровья ребенка» (этот список будет

представлен НПО из соответствующих округов). ГКП также выберет


приходы, которые войдут в контрольную группу. Экспериментальный

подход принципиально важен для успешного проведения оценки.

Фирма обеспечит, чтобы местные НПО, отвечающие за проведе'

ние «Дней здоровья ребенка» в приходах, были ознакомлены с обос'

нованием данного экспериментального подхода и соблюдали требо'

вания намеченной стратегии. Каждый ребенок в возрасте от 12 меся'

цев до шести лет, участвующий в «детских ярмарках» в 25 отобран'

ных церковных приходах, получит специально разработанную жева'

тельную таблетку (400 мг) альбендазола. Альбендазол будет выдавать'

ся каждые полгода. Даже если НПО решат проводить «Дни здоровья

ребенка» чаще, дети все равно должны принимать антигельминтный

препарат один раз в шесть месяцев.

Дети в тех церковных приходах, где будет выдаваться альбендазол,

так же как и дети в 25 намеченных контрольных церковных прихо'

дах, при проведении каждого «Дня здоровья ребенка» будут взвеши'

ваться; их вес будет регистрироваться в личных медицинских кар'

точках и в реестре общины. Тех детей, которые слишком малы, чтобы

встать на весы, будут взвешивать на руках матерей; после этого мать

встает на весы одна и шкала устанавливается на нулевую отметку. Вес

ребенка округляется в сторону ближайших 100 г. За регистрацию ве'

са детей в реестрах общин будут отвечать местные НПО, однако фир'

ма будет работать вместе с ними, чтобы гарантировать совмести'

мость системы сбора данных со всеми задачами исследования.

Консультант фирмы будет заносить вес детей в регистрационную

форму, разработанную с участием технических консультантов Все'

мирного банка и Оксфордского университета. Каждые полгода после

проведения «Дней здоровья ребенка» в охваченных проектом райо'

нах будет проводиться расшифровка этих данных. В дополнение к

идентификационному личному коду ребенка (он представляет собой

сочетание уникального идентификационного номера прихода,

идентификационного номера деревни и индивидуального иденти'

фикационного номера ребенка, который указан в его собственной

медицинской карте и в реестре общины) в регистрационную форму

будут вноситься данные о поле ребенка, дате рождения, которая ука'

зана в медицинской карте ребенка или (если ее нет) — о дате рожде'

ния, указанной в реестре общины, дате проведения «детской ярмар'

ки», на которой ребенка взвешивали, а также отметка о том, прини'

мал ли ребенок дозу альбендазола. Эти данные будут вводится в ком'

пьютерную базу данных в Кампале. Индивидуальный идентификаци'

онный номер будет служить основанием для совмещения данных,

полученных за различные периоды, и, таким образом, идентифика'


ционный номер должен вноситься каждый раз, когда производится

запись этих данных, и оставаться неизменным для каждого ребенка

на протяжении всего времени реализации проекта.

Также должны быть зафиксированы местные обстоятельства и ус'

ловия проведения каждого «Дня здоровья ребенка», которые могут

помешать матерям присутствовать на них. Сюда включены данные о

состоянии урожая и погодных условиях, так как оба этих фактора мо'

гут воспрепятствовать посещению мероприятий. Следует указать лю'

бые особые способы и возможности, используемые для объявления о

проведении каждого «Дня здоровья ребенка», так как различные виды

рекламы могут обеспечить разные показатели участия. Регистраци'

онные записи также должны включать оценку количества детей из

других приходов, которые пришли на «День здоровья ребенка» и ко'

торым его организаторы не присвоили личного идентификацион'

ного номера.

Эксперимент рассчитан на два года. Таким образом, консультант

фирмы должен зафиксировать эти данные для каждого прихода пять

раз. Он будет собирать данные в момент начала проекта и через

шесть, 12, 18 и 24 месяца после него.

Каждые шесть месяцев в ГКП будет направляться полный ком'

плект данных. Эти комплекты будут рассматриваться как продукт/ре'

зультат первого исследования в рамках проекта. Предварительный

анализ будет проводиться в Оксфорде раз в полгода. Однако фирме

поручено назначить представителя, который будет участвовать в

процессе основного анализа через два года. Этому представителю бу'

дут оплачиваться дорожные и прочие расходы во время его работы

по проведению анализа в Оксфорде. Средства для этой поездки уже

внесены в бюджет отдельной строкой, и поэтому нет необходимости

включать их в тендерное предложение.

Исследование 2. Общее воздействие мер ПРРД. В ходе обследо'

ваний домохозяйств и общин будет получена базисная и дополни'

тельная информация, необходимая для оценки воздействия различ'

ных мероприятий, которые осуществляются в рамках проекта. Эти

обследования будут включать в себя несколько модулей для измере'

ния следующих аспектов.

•• Уровень развития когнитивных способностей и рост детей в воз'

расте до шести лет, достигнутый в результате антигельминтного

лечения и проекта в целом; в ходе второго исследования будет

проведена оценка лонгитюдных показателей роста, психологиче'


ского и когнитивного развития в группе детей из общин, участву'

ющих в проекте (с применением антигельминтных препаратов и

без него) по сравнению с группой детей из общин, которые в про'

екте не участвуют. Обе группы будут изучаться в течение двух или

более лет. Таким образом, исследование дополнит изучение воз'

действия антигельминтного лечения на уровне приходов и позво'

лит лучше понять, что влияет на решение приводить детей на «Дни

здоровья ребенка», а также определит, действительно ли участие в

проекте влечет за собой со временем рост показателей когнитив'

ного развития. Кроме того, благодаря рассмотрению общин, ко'

торые не получают каких'либо услуг в области РРД, это исследова'

ние сможет показать, приводит ли пакет таких услуг к улучшению

условий питания и развитию когнитивных способностей.

•• Изменение в знаниях, отношениях и практических методах ухода

за детьми, которые произошли в результате проведения програм'

мы просвещения родителей и кампании в СМИ.

•• Улучшение здоровья и условий питания детей в возрасте до шести

лет, выявленное в ходе мониторинга роста, профилактики заболе'

ваний и обучения основам здорового питания, применения анти'

гельминтных препаратов и других мероприятий по проекту в це'

лом.

•• Повышение уровня благосостояния домохозяйств, достигнутое в

результате предоставления общинам субсидий, обучения основам

управления, проведения мероприятий, направленных на получе'

ние дохода, и формирования ссудно'сберегательных групп.

•• Характеристики общины и изменения, произошедшие в результа'

те действий проекта (или в силу других причин), которые могли

бы сказаться на благополучии детей в период функционирования

проекта.

Формирование выборки. В основе этого исследования будут

лежать результаты базисного обследования, полученные к моменту

начала предоставления услуг общинам, и данные последующего об'

следования, полученные от тех же домохозяйств через два года после

первоначального замера. Одна треть выборки будет взята из тех же

25 приходов, проводящих антигельминтную терапию, еще треть —

из контрольных групп, изученных в ходе исследования 1. Кроме того,

треть выборки будет получена из деревень в 25 приходах тех же ок'

ругов, которые тоже участвуют в проекте, но не получают услуг по

проекту ПРРД. В каждом приходе будут отобраны по тридцать домо'

хозяйств, т.е. по 750 домохозяйств из каждого слоя (всего 2250) в пер'


воначальном обследовании. С учетом ожидаемого выбытия при по'

вторном замере предполагается, что в повторном обследовании при'

мет участие на 5–10% домохозяйств меньше.

Для построения выборки из участвующих в проекте (экмпери'

ментальных) и контрольных приходов, все домохозяйства в них (в

среднем — примерно 700 домохозяйств в каждом приходе) будут за'

несены в списки. Возможно, такие списки будет составлять один из

жителей общины. В списке будут указаны имя и фамилия главы се'

мейства, данные о месте расположения этого домохозяйства, а также

количество в семье детей в возрасте до шести лет. Этот список выпол'

няет две цели. Во'первых, выбор в каждом приходе 30 домохозяйств,

имеющих по крайней мере одного ребенка в возрасте до шести лет,

будет случайным. Во'вторых, общее количество детей, не достигших

шестилетнего возраста, поможет оценить потенциальный охват де'

тей мероприятиями, проводимыми в рамках «Дня здоровья ребенка»

и, таким образом, определить уровень посещаемости.

Поскольку в проекте ПРРД предусмотрено меньше контактов с те'

ми общинами, где не проводятся текущие мероприятия ПРРД, при от'

боре домохозяйств, которым не оказывают никаких услуг РРД, для

снижения затрат на составление списков выборки следует использо'

вать метод кластерной выборки. В частности, на каждый участвую'

щий в проекте район должен быть выбран район, который не участ'

вует в проекте, при этом предпочтительно, чтобы районы были со'

седними. Все приходы в этих районах должны быть внесены в спи'

сок, а из общего списка методом случайной выборки будут отобраны

25 приходов. Затем будут выбраны по две деревни от каждого отоб'

ранного прихода, при этом снова используется список всех деревень

в приходе. Этот шаг сокращает количество деревень, в которых по'

требуется проводить перепись. Перепись населения (подобная той,

что проведена в экспериментальных и контрольных приходах) даст

список тех домохозяйств, из которых будет составлена выборка в

объеме 30 домохозяйств по каждому приходу. Это будет третьим

уровнем обследования.

Первоначальное базисное обследование должно начаться в сере'

дине 1999 г. Эти сроки обусловлены необходимостью ознакомиться с

районами и приходами, в которых будут действовать НПО, чтобы

иметь возможность применить предлагаемую структуру выборки.

Этот срок также установлен исходя из предположения что отбор и

обучение ведущих НПО будут завершены не ранее конца 1998 г.

Тем не менее, чтобы быть готовыми к запуску проекта сразу после

того, как НПО определят те приходы, в которых они будут действо'


вать, разработку и предварительное тестирование по анкете следует

начинать намного раньше (в начале 1999 г.). Поскольку базисные

данные необходимо собрать до первого антигельминтного лечения,

идеальный момент для проведения базисного исследования совпа'

дает с началом организационных мероприятий по подготовке к

«Дню здоровья ребенка». Так как выборка из тридцати семей в каждом

приходе достаточно мала по сравнению с общей численностью на'

селения, то маловероятно, что сбор данных воспрепятствует другим

мероприятиям или обременит общины. Сбор данных в контрольных

группах (тех, что задействованы в мероприятиях НПО, но не прохо'

дят антигельминтного лечения, и тех, которые не участвуют ни в том,

ни в другом) должен осуществляться одновременно со сбором дан'

ных в группе, участвующей в проекте.

Инструменты обследования. Для обследования будут исполь'

зоваться следующие основные анкеты: анкеты для домохозяйств

(сбор данных на уровне домохозяйств и отдельных лиц) и анкеты для

общин.

X. Обследование домохозяйств

Данные о домохозяйствах будут собираться с помощью предвари'

тельно кодированной схемы. Она будет составлена по модели

«Обследований уровня жизни», которые проводились более чем в

30 странах. Первый вариант будет представлен исследователями

из Всемирного банка. Однако этот инструмент будет так сокра'

щен, чтобы отвечать конкретным потребностям проекта, и при'

способлен к местным условиям (для этого фирма проведет пред'

варительное тестирование и серию обследований фокус'групп).

Анкета для домохозяйств будет содержать модули для сбора дан'

ных по следующим аспектам.

1. Социально'демографические характеристики: список лиц, про'

живающих в домохозяйстве в течение последних 12 месяцев, их

возраст, пол, образование и тип работы (для работающих). Фор'

мат кодирования будет указывать родителей всех детей, если они

присутствуют (в отсутствие родителей — отметка о том, живы ли

они). Индикатором социально'экономического статуса будет слу'

жить подробная опись имущества.

2. Знания, отношение и практика: анкета также служит для сбора ин'

формации о знаниях, отношении и реально используемых мето'

дах ухода за детьми, применяемых основными воспитателями.


3. Антропометрические данные. Для всех детей в возрасте до шести

лет вес при взвешивании округляется до ближайших 100 г. Для

взвешивания будут предоставлены электронные весы. Кроме того,

у всех детей в возрасте от двух до шести лет будут измерять рост.

Предварительное тестирование будет использоваться для того,

чтобы определить, возможно ли также собрать данные о весе ма'

терей этих детей (если они проживают в домохозяйствах).

4. Определение уровня развития когнитивных способностей. Фир'

ма будет сотрудничать с другими национальными и иностранны'

ми научными консультантами, работающими с ГКП, чтобы интег'

рировать тесты на развитие когнитивных способностей у детей в

процесс общего сбора данных. В базисном исследовании будет

проведен признанный на международном уровне тест степени

развития когнитивных способностей для детей в возрасте от 4,0

до 5,99 лет. Этот тест будет проведен повторно с той же самой воз'

растной группой на втором этапе исследования, что позволит

сравнить эти когорты. Кроме того, этот же тест на втором этапе

обследования пройдет подгруппа детей в возрасте от 6,0 до 7,99.

(Краткое описание этого подхода см. в табл. 2.1 приложения.)

Также для второго этапа исследования могут быть разработаны

оценка полученных знаний на основе конкретного содержания

программы и динамическая оценка. Решение о включении этих

показателей будет сделано в ходе проекта. Наконец, будет разра'

ботан показатель успеваемости школьников для оценки знаний,

приобретенных за первый год обучения в школе; этот тест будет

проводиться с подгруппой детей более старшего возраста во вре'

мя повторного обследования. Возможна адаптация существую'

щих тестов.

5. Здоровье детей: данные о заболеваемости (включая количество и

вид симптомов, степень тяжести заболевания, его продолжитель'

ность), схемы доступа к услугам здравоохранения и схемы их ис'

пользования, состояние канализации, и т.д.

6. Домашнее хозяйство. На этапе предварительного тестирования,

до завершения работы над анкетой, будет вестись поиск опти'

мального способа сбора этой информации и его оценка совмест'

но с консультантами из ГКП. Переменные могут включать в себя:

расходы на продукты питания; земледельческую и скотоводчес'

кую деятельность, потребление продукции собственного произ'

водства; расходы на непродовольственные товары; характеристи'

ки жилья; список товаров длительного пользования; занятость; хо'

зяйственную деятельность; доход; землю; посевы и скот; доход от


мероприятий в рамках проекта; семейные предприятия; владение

имуществом; информацию о кредитах и сбережениях; о количе'

стве товаров и денежных суммах, которые были получены взаймы

или предоставлены в кредит; о фактах заимствования денег и то'

варов в течение последних 12 месяцев; сбережения и чистую сум'

му долга на дату проведения опроса; информацию о ссудах, вклю'

чая график погашения, основания для обращения за кредитом и

количество ссуд, полученных из одного и того же источника; раз'

мещение сбережений (если таковые имеются), включая банк, банк

для жилищных ссуд, сельский сберегательный банк и т.д. Эта ин'

формация будет входить только в базисные и заключительные ис'

следования.

XI. Обследование общин

Анкеты для общин будут использованы для сбора информации о ме'

стных условиях, которые являются общими для всех домохозяйств в

этом районе. На этапе предварительного тестирования, до заверше'

ния работы над анкетой, будет вестись поиск оптимального способа

сбора этой информации и его оценка совместно с консультантами из

ГКП. К переменным могут относиться следующие параметры.

1. Демографическая информация: количество домохозяйств, общая

численность населения, число детей в возрасте до шести лет, эт'

нические и религиозные группы.

2. Экономическая информация, в том числе основные виды экономи'

ческой деятельности и модели миграции с целью трудоустройства.

3. Инфраструктура: наличие дорог, электричества, водопровода,

рынков, банков, а также общественного транспорта. Состояние

местной инфраструктуры, например дорог, источников топлива и

воды, наличие электричества и средств связи.

4. Местные условия сельскохозяйственной деятельности и методы

ее ведения: вид культур, выращиваемых в общине, периодичность

и сроки посева и сбора урожая, обычная практика реализации

урожая, качественные показатели по атмосферным осадкам, кли'

матическим условиям и сезонным колебаниям.

5. Образование: количество и виды дошкольных учреждений, офи'

циальные и неофициальные мероприятия по РРД, удаленность

школ, количество классов, показатели приема учащихся (общий и

отдельно для мальчиков и девочек), посещаемость, переход уча'

щихся из класса в класс, медицинские услуги и питание, которые


предоставляются в школе (например, школьные программы здра'

воохранения, обеды в школе).

6. Здравоохранение: тип медицинского учреждения, расстояние и

время, необходимое для посещения ближайшего медицинского

учреждения каждого указанного типа (больница, аптека, меди'

цинский пункт и т.д.). Расстояние и время в пути до каждого из ука'

занных медработников (врач, медсестра, фармацевт, акушерка,

работник здравоохранения, действующий в общине, и т.д.).

7. Прочее: количество и тип действующих местных НПО/ОБО, дру'

гие проекты или программы, связанные с детьми (например, госу'

дарственные кампании по вакцинации населения) и прочие про'

екты развития общин.

Предлагаемое кадровое обеспечение обследования. Штат со'

трудников, проводящих исследование, должен включать в себя следу'

ющие категории.

•• Основной штат обследования (руководитель обследования, руко'

водитель исследований на местах, ответственный за сбор данных

и отвечающие за ввод данных работники, которые будут осуще'

ствлять общую координацию, надзор и мониторинг за сбором и

вводом данных, а также их обработкой при работе на местах).

•• Штат обследования для работы на местах (работа на местах будет

проводиться группами, состоящими из руководителя, двух или

трех интервьюеров, в чьи обязанности входит заполнение основ'

ных опросных листов и антропометрические измерения, а также

водителя; схожая по численности группа будет отобрана и подго'

товлена при участии национальных и иностранных экспертов

для проведения тестирования когнитивного развития детей).

•• Координатор рандомизированного пробного исследования

(координатор будет оказывать содействие при разработке инст'

рументов сбора данных, при обучении; будет осуществлять на'

блюдения за местными НПО, отвечающими за организацию

«Дней здоровья ребенка» в церковных приходах, в вопросах ис'

пользования экспериментального подхода, сбора и расшифровки

данных, их ввода и обработки; а также будет участвовать в анали'

зе, который должен быть проведен по завершении исследования).

Организация работы на местах. Фирма примет участие в разра'

ботке инструментов для работы на местах до предварительного тес'

тирования (которое является частью исследования) и будет нести


главную ответственность за проведение этих тестов. После предва'

рительного тестирования анкета будет переработана (при участии

исследователей Всемирного банка) и переведена на местные языки.

Фирма будет работать вместе с другими национальными и иност'

ранными консультантами, выбранными ГКП, чтобы включить тесты на

когнитивное развитие детей в общую работу по сбору данных. Нацио'

нальные исследователи при поддержке иностранных консультантов

будут отбирать и адаптировать основные когнитивные тесты, а также

готовить тех, кто будет непосредственно проводить тестирование.

Предлагается организовать работу на местах следующим образом.

В основе организации будет лежать международный опыт; цель —

обеспечить контроль качества. Некоторые видоизменения в данном

подходе могут быть согласованы во время консультаций с исследовате'

лями Всемирного банка исходя из опыта фирмы и других советников

ГКП и информации, полученной при предварительном исследовании.

Работу на местах будут вести небольшие группы в составе руково'

дителя, двух (или трех) интервьюеров, ответственных за заполнение

основных анкет и проведение антропометрических измерений, и та'

кого же числа специалистов по проведению тестов на когнитивное

развитие детей. Данный персонал будет обучаться в Кампале нацио'

нальными исследователями при содействии иностранных советни'

ков в области психологического тестирования. Подготовка будет

включать в себя рассмотрение целей исследования, анализ каждого

этапа опроса, обучение практическим навыкам в аудитории и упраж'

нение в реальных условиях (на местах) с последующим разбором.

По завершении обучения группы должны, по возможности, сохранять

неизменный состав по возможности на протяжении всего цикла обсле'

дования. Но, поскольку некоторые сотрудники могут не подойти для ра'

боты на местах, целесообразно подготовить несколько «запасных». Не ре'

комендуется привлекать сотрудников на несколько дней для работы в од'

ном приходе, а затем использовать новых людей в другом приходе; из'за

этого сотрудники не получат необходимого опыта. В начале повторного

обследования все сотрудники должны проходить переподготовку.

При проведении когнитивных тестов дети должны, по возможно'

сти, во время тестирования быть наедине с интервьюером. Другие ли'

ца (взрослые или дети) ни в коем случае не должны отвечать на во'

просы, задаваемые ребенку. Однако во время повторного исследова'

ния подмножества 8'летних детей тесты могут проводиться в груп'

пах, если это будет удобным.

Руководитель должен обеспечить проведение обследования до'

мохозяйств в соответствии с выборкой, без замены их на другие, а


также охват тестами на когнитивное развитие всех детей в соответст'

вующих возрастных группах. Кроме того, руководитель должен про'

сматривать анкеты после их заполнения (до переезда группы специ'

алистов в новый приход) во избежание пропусков в ответах и для

проверки информации, которая представляется противоречивой.

После того как данные будут собраны, фирма должна обеспечить мак'

симально оперативный их ввод. Копии индивидуальных данных об об'

щинах и детях, а также шкалы оценок вместе с документацией, необходи'

мой для получения доступа к данным, будут направляться в ГКП проекта в

электронном виде в конце базисного обследования. Оригиналы анкет

должны сохраняться фирмой, поскольку, как правило, в процессе анали'

за возникает необходимость доступа к первоначальным данным.

Данные на уровне отдельного ребенка должны содержать точные

идентифицирующие коды, которые могут сопоставляться с кодами

домохозяйств, присвоенными для обследования. Хотя включать фа'

милии членов домохозяйств или их точное местоположение в пред'

ставляемые в ГКП уникальные индивидуальные коды и коды домохо'

зяйств не нужно, данная информация должна сохраняться фирмой

таким образом, который позволил бы повторно посетить данное до'

мохозяйство. Поскольку на одном из этапов анализа предполагается

сопоставление участников повторного исследования с результатами

их тестов из базисного исследования, все индивидуальные коды и ко'

ды домохозяйств должны оставаться неизменными на протяжении

всех трех замеров.

XII. Конкретные задания для специалистов,участвующих в обследовании

Фирма будет участвовать в следующих мероприятиях вместе с ГКП, на'

циональными исследователями, а также исследователями Всемирного

банка, Оксфордского университета и НПО, осуществляющими проект.

•• Пересмотр рабочих программ.

•• Разработка и адаптация инструментов сбора данных и сопутству'

ющей документации, которая включает: перечни материалов, ан'

кеты, руководства по кодировке, инструкции для интервьюеров и

руководителей, порядок работы, руководство по вводу данных и

методике работы на местах.

•• Доработка различных проектов документов, верстка, перевод, об'

ратный перевод и тестирование на местах. Представление печат'

ных копий и электронных версий всей документации в ГКП. Пере'


дача анкет исследователям Всемирного банка для анализа и дора'

ботки перед пробным (пилотным) исследованием.

•• Составление списка мест проживания и уточнение картографиче'

ских данных. Обязанности по составлению перечня мест прожи'

вания в каждом выбранном приходе подразумевают: получение

базовой карты, подготовку материалов для составления списка,

контакты с местными властями для информирования их о прово'

дящихся работах, определение границ, составление карт, состав'

ление систематизированного перечня домашних хозяйств, полу'

чение предварительной информации о домохозяйствах, включая

имя главы хозяйства, указание местонахождения домашнего хо'

зяйства, а также количества детей в возрасте до шести лет. Доку'

ментирование осуществляется во время составления выборки, по

окончании работ на местах и после заполнения массива данных.

•• Подготовка границ выборки (вместе со специалистом по выбо'

рочному обследованию), подготовка персонала для проведения

выборочного обследования, контроль на стадии осуществления с

целью обеспечить качество выборки, а также предоставление по'

дробных отчетов с изложением всех этапов, в ходе которых осу'

ществлялись разработка и проведение выборки.

•• При условии консультаций со Всемирным банком, определение

соответствующей стратегии выбора контрольных групп (т.е. при'

ходов, не участвующих в проекте).

•• Отбор и подготовка работников на местах. Данное мероприятие

включает в себя все, что необходимо для предоставления учебных

материалов и инструкций для всех лиц, участвующих в работе на

местах. Необходимо провести подготовку интервьюеров, руково'

дителей групп интервьюеров, руководителей общих групп, со'

трудников, отвечающих за ввод данных, и сотрудников, проводя'

щих антропометрические исследования.

•• Работа на местах, включая материально'техническое обеспече'

ние сбора данных, а также получение согласия общин и отдель'

ных лиц. Регистрация всех исследуемых домохозяйств.

•• Составление отчета о проделанной работе. Фирма будет готовить

отчеты о выполнении работ на местах (каждые шесть месяцев),

копии которых будут направляться в ГКП и Всемирный банк. Кро'

ме того, фирма обязана предоставить базовое описание обследо'

вания. Оно должно охватывать содержание обследования, план

выборки и порядок ее формирования, а также использованные

методики работ на местах. В качестве приложений должны вклю'

чаться полные анкеты и основная документация.


•• Разработка программы ввода данных с использованием про'

граммного обеспечения, способного проверять диапазоны и не'

противоречивость данных, а также выдавать отчеты с указанием

пропущенных данных, показателей, выходящих за границы при'

нятого диапазона и противоречивых ответов.

•• Проверка и ввод данных, управление базами данных и составле'

ние табличных сводок, в том числе разработка программ ввода

данных, руководств по вводу данных, подготовка операторов вво'

да данных, проверка качества данных, а также рекомендации по

использованию данных. Кроме того, кодирование открытых во'

просов, проверка данных, сопоставление антропометрических

данных со стандартными справочными таблицами.

•• Исполнение Соглашения о порядке использования данных: фир'

ма и исследователи, участвующие в процессе сбора и анализа дан'

ных, подпишут меморандум о взаимопонимании с ГКП, в котором

будет четко определена политика в отношении таких вопросов,

как доступ к данным, предполагаемые пользователи, порядок по'

лучения копий наборов данных и документации, а также публика'

ция и авторские права.

•• Проведение анализа данных: фирма будет проводить анализ дан'

ных исследований (например, частотные, процентные табличные

сводки и таблицы соотнесенности) по ключевым переменным и

их коррелятам. Фирма будет осуществлять современное статисти'

ческое моделирование воздействия после 2'го и 3'го циклов, что'

бы определить общее продвижение в отношении социальных по'

казателей (например, качество питания, состояние здоровья, до'

ходов, общинное развитие), а также факторов, которые объясня'

ют их изменения или отсутствие.

•• Предоставление аналитических отчетов: фирма представит отче'

ты о своих выводах и заключениях после окончания 2'го и 3'го

циклов обследования на основании анализа социальных показа'

телей и других независимых переменных. Фирма будет согласо'

вывать с ГКП и Всемирным банком обследование в рамках «Дня

здоровья ребенка» в приходах, а также сбор информации о воз'

действии на когнитивное развитие, но не будет отвечать за окон'

чательный отчет по результатам этих исследований.

Конкретные задания для обследования общин:

•• Работа с советниками ГКП по разработке анкеты для общин и все'

стороннему поиску оптимального подхода к сбору данной ин'


формации на этапе предварительных исследований.

•• Тесное сотрудничество со структурами, участвующими в реализации

проекта (ведущими и местными НПО), в сборе данных об общинах.

•• Контакт с местными властями и главами общин для разъяснения

подхода к оценке воздействия проекта и получения согласия об'

щины на проведение обзорного обследования и обследования в

рамках «Дней здоровья ребенка».

•• Опрос основных экспертов, получение карт, списков и других

данных по общинам.

•• Получение списка учреждений здравоохранения и образования

(дошкольные учреждения и начальные школы), включая геогра'

фическое положение, район охвата и тип учреждения (например,

частное, государственное).

•• Получение демографической информации об общине, включая

сведения о количестве домохозяйств, о половом и возрастном со'

ставе населения.

•• Получение других сведений, предусмотренных в анкетах для общин.

Конкретные задания для обследования в рамках «Дней здоровья

ребенка»:

•• Участие в разработке протокола обследования.

•• Создание инструментов сбора данных.

•• Подготовка местных НПО, отвечающих за проведение «Дней здо'

ровья ребенка» в приходах, для участия в исследовании на основа'

нии экспериментального подхода.

•• Надзор за сбором данных во время «Дней здоровья ребенка».

•• Расшифровка данных.

•• Ввод и управление данными.

•• Участие в основном анализе, осуществляемом в конце исследования.

Проверка валидности. В дополнение к вышеуказанному будет

проведено еще одно небольшое лонгитюдное исследование; с его помо'

щью будет проверена валидность показателя, полученного до поступле'

ния в школу, в отношении прогнозируемых результатов учебы по завер'

шении первого года обучения. Во время базисного обследования будут

протестированы по два ребенка в возрасте от 6,0 до 6,9 лет (еще не посе'

щающие школу) в каждой общине, а общее число составит N=150. Эти

дети будут внесены в список повторной проверки, и через два года будут

проанализированы результаты их учебы в школе; к этому времени дети

достигнут возраста от 8,0 до 8,9 лет.



Приложение: таблица 2.1. Предлагаемые объемы выборкидля оценки воздействия Проекта по организации питания ираннего развития детей, Уганда

Количестводомохозяйств

Количество детей,взвешенных вовремя «Днейздоровья ребен'ка»b

Количество детейс результатамиантропометриив возрасте0'5,99 лет (всреднем два ре'бенка в семье)с

Количество детей,прошедших ког'нитивные тесты :тестированиевсех детей в воз'расте 4,0'5,99 летв домохозяйст'вах

Количество детейв возрасте6,0'7,99 лет,прошедшихкогнитивныетесты и антропо'метрическиеисследования

Показательзачисленияв школы

750

5000

1500

500d

25общин

700

5000

1395

465e

Подмно'жествоf

25общин

750

5000

1500

500

–

25общин

700

5000

1395

465

Подмно'жество

25общин

750

1500

500

–

25общин

700

1395

465


25общин

2250

20000

11580

2895


Категория

Дегельминтизацияи просвещение

родителей

Отсутствие де�гельминтизаци, ноесть просвещение

родителей

Отсутствиедегельминтизации

и просвещения

Количество цер�ковных приходов

Период

25

Базис�ный

Второйцикла

Базис�ный

Второйцикл

Базис�ный

Второйцикл

25 25 Всего

а. С учетом незначительного выбытия в размере 8% в течение двух лет.b. Предполагается, что на каждом «Дне здоровья ребенка» будет присутствовать около 200 детей.с. Предполагается наличие двух детей в семье, однако семьи будут учитываться при любом количестведетей младше шести лет. В данном случае под семьей подразумевается пара «мать (или лицо еезамещающее) — ребенок».d. Это максимальное значение, фактическое количество может варьироваться в зависимости от числаучтенных 4–5 летних детей.e. Предполагается наличие такого же выбытия — 8% в течение двух лет; тестироваться будут только детиродителей, прошедших интервью.f. Количество будет представлять собой подмножество детей в данном возрасте, чьи родители прошлиинтервью. Они будут сопоставлены с более ранним показателем. Даже если количествопротестированных детей будет увеличиваться во втором цикле, время на интервью может сократиться,поскольку не будет необходимости повторно оценивать большое количество информации. Кроме того,возможно уменьшение размера данной группы.Источник: Документ о проекте Всемирного банка.

График работы. Предварительный временной график осуще'

ствления работы выглядит следующим образом.

Месяц 1'й. Начало процесса разработки показателей когнитивно'

го развития совместно с иностранными консультантами и в соответ'

ствии с техническим заданием. Данный процесс может продолжать'

ся до шести месяцев.

Месяц 2'й. Первоначальное предварительное обследование и до'

работка анкеты.

Месяц 5'й. Начало составления списка домохозяйств для проведе'

ния выборки. Данный этап зависит от выбора ведущих и местных

НПО. Он может проводиться только после того, как ГКП и НПО выбе'

рут церковные приходы, где будут проводиться «Дни здоровья ребен'

ка», и определят места для осуществления первоначальной програм'

мы дегельминтизации. В это же время анкета должна быть переведе'

на и снова опробована на местах.

Месяц 7'й. Начало сбора данных в ходе «Дней здоровья ребенка» в

рамках исследования дегельминтизации. Данные будут собираться

во время подобных дней с шестимесячными интервалами. Как указа'

но выше, определение сроков осуществления данного шага зависит

от выбора ведущих и местных НПО.

Месяц 8'й. Подготовка сотрудников для работы на местах в рам'

ках обследования домохозяйств и начало этого обследования. Об'

следование должно занять приблизительно 3–4 месяца в зависимос'

ти от количества работающих команд. Ввод данных должен происхо'

дить одновременно со сбором информации.

Месяц 14'й. Первоначальный анализ базисных данных. Анализ бу'

дет осуществляться постоянно.

Месяц 20'й. Посещение персоналом фирмы Оксфордского уни'

верситета для участия в анализе первоначальных данных.

Месяцы 20–36'й. Сбор данных для второго цикла исследования

дегельминтизации.

Промежуточное и окончательное обследование домохозяйств

будет проведено через 2 и 4 года после базисного.

Содействие фирме

Для выполнения заданий фирме не будет предоставляться какой'ли'

бо особой поддержки. Фирмам рекомендуется включать в свои пред'

ложения все требования, необходимые для результативного выпол'

нения задания.


Пример II. Оценка воздействия Проекта строительства сель&ских дорог: базисное обследование 1997 г. во Вьетнаме*

Техническое задание: проведение базисного обследованиядля изучения воздействия сельских дорог

I. Исходная информация

Целью изучения является оценка воздействия Проекта строительства

сельских дорог во Вьетнаме, который финансировался Всемирным

банком, на жизненный уровень населения. Данный проект проводился

в 15 бедных провинциях с 1997 г. в течение 3–5 лет. Исследование будет

сосредоточено на том, как изменились с течением времени факторы,

определяющие уровень жизни, в общинах, где осуществлялся данный

проект, по сравнению с общинами, которые в проекте не участвовали.

Для этого необходимо собрать базисные данные до начала осуществле'

ния проекта как в районах его проведения (экспериментальных), так и

в контрольных районах; кроме того, требуется провести несколько по'

следующих циклов сбора данных, которые характеризуют период по'

сле реализации проекта, с интервалом в два года. Подробные базы дан'

ных на уровне общины будут частично основаны на записях, которые

собираются на этом уровне ежегодно. Они будут дополнены ретро'

спективными данными на уровне общины и другими источниками до'

полнительной информации. Краткое обследование на уровне округа

поможет включить данные на уровне общины в общий контекст. В за'

ключение из списков общинного уровня будут случайно выбраны от 10

до 15 домохозяйств, и им будет предложена краткая анкета. Данное ис'

следование будет проводиться в шести провинциях из 15, участвующих

в проекте. Эти шесть провинций будут представлять шесть географиче'

ских регионов Вьетнама. Будет произведена случайная выборка поряд'

ка 200 общин, участвующих и не участвующих в проекте. Будет создано

шесть групп для одновременного изучения каждой провинции. Иссле'

дование начнется в апреле и завершится приблизительно в августе. Дан'

ные исследований будут доступны в октябре–ноябре.

II. Подход к обследованию

Формирование выборки. Формирование выборки будет осуще'

ствляться на трех уровнях.


* Данное техническое задание подготовлено Доминик ван де Валле.

1. На уровне провинции: 15 провинций, участвующих в проекте,

расположены в шести географических регионах Вьетнама. Критерии

выбора провинций для проведения опроса будут следующими: а) в

каждом географическом регионе будет выбрана одна провинция; б)

если в каждом регионе имеется более одной провинции — потенци'

альной участницы проекта, осуществляется случайный выбор.

2. На уровне общины: необходимо опросить 200 или более общин,

которые выбираются случайным образом. Около половины из них или

менее (но не более) должны участвовать в проекте развития дорожной

сети, остальные будут контрольными. Будет составлен список общин из

этих шести провинций, которые не участвуют в проекте (либо один спи'

сок для каждой провинции), и проведена случайная выборка. Аналогич'

ным образом составляется список всех участвующих в дорожных проек'

тах общин в этих шести провинциях (либо по каждой провинции). В

данном случае возможно, что на одну дорогу будет приходиться более

одной общины; все общины должны быть включены в границы выбор'

ки. Из них также будет составлена случайная выборка. Данная выборка

не обязательно будет включать в себя обе общины, связанные проектом

строительства дорог. Если доступ к некоторым выбранным общинам не'

возможен, они заменяются любой другой общиной в сходном округе.

3. На уровне домохозяйства: в каждой выбранной общине проводится

опрос 15 домохозяйств. Эти домохозяйства (а также, возможно, несколько

«запасных» домохозяйств) выбираются случайным образом из списка до'

мохозяйств общины. После того как выбор осуществлен, от руководителей

общины будет получена информация об имущественном статусе этих до'

мохозяйств (очень бедные, бедные, средние, небедные или богатые).

III. Порядок проведения опроса

Для проведения обследования в шести провинциях будут наняты

шесть соответствующих специалистов. После их подготовки и апроба'

ции анкет на местах они одновременно приступают к обследованиям

в каждой провинции. В округах среди специалистов, проводящих об'

следование, должен быть по крайней мере один сотрудник из окруж'

ной группы управления проектом округа для оказания содействия при

контакте с местными властями и в некоторых случаях — при поиске

подходящих проводников и переводчиков в районах проживания

меньшинств. По мере необходимости нанимаются помощники и при'

влекается поддержка со стороны Отдела управления проектом округа.

Каждый специалист по проведению обследования собирает дан'

ные в среднем по 35 общинам, по округу, к которому они принадле'


жат, и по примерно 15 домохозяйствам в каждой общине. На обследо'

вание каждой общины потребуется три–четыре дня. Время работы на

местах будет составлять приблизительно от 100 до 140 дней (4–5 ме'

сяцев). Общая продолжительность обследования составит 6 месяцев.

В ходе обследования руководитель осуществляет выезды на места

во все шесть провинций для надзора за ходом сбора данных и обес'

печения высокого качества работы.

Собранные данные проверяются и вводятся в систему с использо'

ванием программы ввода данных.

В табл. 2.2. приложения представлен предполагаемый график об'

следования.

Приложение 2: таблица 2.2. График обследования по оценкевоздействия, Вьетнам

IV. Прочие положения

Оборудование. Оборудование, закупаемое в рамках проекта, будет

принадлежать проекту на время проведения исследований (в тече'

ние будущих циклов), однако в периоды, когда оно не будет исполь'

зоваться рабочей группой, оборудование будет размещаться в Группе

управления проектом.

Выделение средств. Бюджет исследований (за исключением опла'

ты работы основного исследователя, который будет пополняться


Разработка анкет

Апробация анкет

на местах

Доработка анкет

Адаптация

программ ввода

данных, перевод

и печать анкет

Набор и

подготовка

специалистов по

проведению

обследования

Обследование на

местах

Проверка данных

Ввод данных

∗∗∗∗ ∗∗∗∗

∗∗∗∗∗∗∗∗

∗∗∗∗

∗∗∗∗

∗∗∗∗ ∗∗∗∗ ∗∗∗∗ ∗∗∗∗ ∗∗∗∗∗∗∗∗ ∗∗∗∗

∗∗∗∗

Янв. Фев. Март Апр. Май Июнь Июль Авг. Сент.

ежемесячными выплатами) будет расходоваться тремя частями. Пер'

вая часть после подписания контракта будет составлять 20% от всех

средств. Вторая часть (50% от общего бюджета) будет выделена после

завершения работы над анкетами для общин, домохозяйств и окру'

гов и их утверждения руководителем проекта Всемирного банка. Вы'

деление этих средств намечается на конец марта. Третья, заключи'

тельная часть будет выделена в конце июля или в середине процесса

сбора данных. Подробная смета приведена в табл. 2.II.2.

Приложение 2: таблица 2.II.2. Смета исследования


1. Основной исследователь2. Специалисты по проведе'

нию обследования3. Командировочные расхо'

ды для шести групп об'следования, шести мест'ных проводников и пере'водчиков

4. Автомобиль и другойтранспорт для шестигрупп обследованияСтоимость аренды автомо'биля для основного иссле'дователя

5. Авиабилеты Ханой — Хо'шимин — Ханой— для проводящих обсле'дование (южные провин'ции);— для основного исследо'вателя.

6. Подготовка проводящихобследование— оплата— поездка на места— суточные

7. Апробация анкеты на мес'тах (общины на севере июге)

8. Проверка и ввод данных9. Материалы исследования10. Средства связи (факс, теле'

фон, электронная почта,ксерокс)

11. Оборудование— Компьютер (ГУП*18)— принтер (ГУП18)— аппарат факсимильнойсвязи (группа обследования)— портативный компью'тер (группа обследования)

Численность

1

6

12

6

1

6

3 чел.

3 поездки

12

12

11

1

1

Период

9 месяцев

6 месяцев

125 дней

125 дней

30 дней

1 неделя3 дня/3 машины

3 дня

2 недели2 месяца

Итого(долл. США)

9000

14400

12000

30000

1500

1200

1338

2000800

2000

20005000

Стоимость(долл. США)

1000

400

8

40

50

200

50508

200

17001000

500

1800

(Продолжение таблицы на следующей странице)

Таблица 2.II.2. (продолжение)

Техническое задание. Руководительобследования или ведущий исследователь

I. Описание работ

Руководитель обследования на территории страны/основной исследо'

ватель будет отвечать за проведение базисного обследования на терри'

тории Вьетнама. Круг его обязанностей включает в себя: определение

имеющейся в наличии информации на уровне общин; помощь при про'

верке и окончательном оформлении анкет для округов, общин и домо'

хозяйств; тестирование анкет на местах; доработка анкет; обеспечение

перевода анкет; подбор и подготовка ассистентов; планирование мате'

риально'технического обеспечения работ на местах; подготовка доку'

ментации по проведению обследования и анкетам; надзор за осуществ'

лением обследования и контроль качества работ; управление базой дан'

ных проекта, а также организация проверки и ввода данных. Кроме того,

данное лицо будет выступать в качестве посредника между группой уп'

равления проектом (ГУП18) Министерства транспорта, постоянным

представительством Всемирного банка, представителем Канадского

агентства международного развития (CIDA) в Ханое и руководителем

Проекта во Всемирном банке в Вашингтоне. Данное лицо будет отчиты'

ваться непосредственно перед руководителем Проекта и приступит к

своим обязанностям в январе 1997 г.; контракт может быть оформлен на

9'месячный срок с оплатой в размере 1000 долл. США в месяц.

II. Конкретные задачи

Конкретные задачи включают в себя следующее.

1. Ответственность за подбор персонала, составление подробных

технических заданий, подготовку и руководство шестью основ'


12. Перевод(анкеты,руководства,документация)

13. Распечатка,ксерокопирова'ние

14. Непредвиден'ные расходы

Итого

200 страниц

1600

800

1362

85000

8/страница

∗∗ PMU — лат.

ными ассистентами, которые будут работать совместно с местны'

ми ассистентами (по возможности, из местного транспортного

управления) и будут отвечать за сбор данных на уровне округов,

общин и домохозяйств.

2. Определение наличия данных на уровне общин и работа в тесном

контакте с руководителем проекта Всемирного банка в целях раз'

работки окончательного варианта анкеты.

3. Апробация анкет на месте как в южных, так и в северных сельских

общинах; доклад о возможных проблемах и необходимых изме'

нениях; при необходимости доработка анкет.

4. Организация перевода, распечатки и ксерокопирования анкет.

Окончательный вариант анкет должен быть составлен на англий'

ском и вьетнамском языках.

5. Выбор шести провинций, которые будут включены в исследова'

ние, таким образом, чтобы каждый географический регион был

представлен одной провинцией. Если имеется более одной под'

ходящей провинции, выбор осуществляется случайным образом.

Проведение произвольной выборки порядка 200 сельских общин

из шести провинций, половина из которых участвует в проекте, а

остальные — не участвуют.

6. Планирование всего материально'технического обеспечения ра'

бот в поле, включая обеспечение транспортом, водителями, ко'

мандировочными, графиком обследования общин, оповещение

администраций общин о прибытии групп и целях их посещения.

7. Участие в проведении обследования, осуществление поперемен'

ного надзора за работой групп. Обеспечение контроля качества.

Выявление проблем, влияющих на проведение обследования,

проверка качества и полноты собранных данных, предложение

способов разрешения проблем и их реализация после консульта'

ций с руководителем исследования.

8. Обеспечение дублирования базисного обследования будущими

циклами обследования. Это потребует подготовки а) подробной

документации всех планов проведения обследования и матери'

ально'технического обеспечения (порядок осуществления вы'

борки провинций, общин и домохозяйств; порядок организации

работ на местах; порядок действий в случае недоступности вошед'

шего в выборку места или отсутствия вошедшего в выборку домо'

хозяйства; возникшие проблемы и найденные способы их разре'

шения); а также б) подготовка подробного руководства по опреде'

лению терминов (например, безработица, доход, основное заня'

тие, ребенок/взрослый, расстояние и т.п.), единиц наблюдения,


денежных сумм, кодов, используемых в анкетах; порядка предо'

ставления анкет для заполнения (кому); порядка сбора информа'

ции о ценах и т.п. Первый вид документации должен гарантиро'

вать, что последующие циклы обследования смогут воспроизвес'

ти ту организацию и детали материально'технического обеспече'

ния, которые использовались при базисном обследовании. Вто'

рой вид документации должен использоваться при подготовке

специалистов по проведению обследования и во время их работы,

а также в помощь будущим пользователям данных. Документация

будет составляться как на английском, так и на вьетнамском язы'

ках.

9. Закупка необходимого оборудования, указанного в статьях сметы

обследования.

10.Установление добрых отношений и обеспечение тесного взаимо'

действия с ГУП18. Информирование ее сотрудников о ходе иссле'

дования и результатах мониторинга проекта; надзор за созданием

базы данных по проекту (данные, подлежащие включению в нее,

будут определяться руководителем проекта Всемирного банка).

11.Организация и надзор за проверкой и вводом данных с использо'

ванием предусмотренной программы ввода данных.

12.Поддержание контакта с руководителем проекта и частый «выход

на связь» с ним.


Этап I: Июль 1999 г. – Декабрь 2000 г.а

Предложение по исследованию организации школьного питания —

базисная и одномоментная оценка

(Июль 1999 г. – Декабрь 2000 г.)

Проект бюджета — 7/14/1999 г. — долл. США


Примерный бюджет оценкивоздействия

Программы организациишкольного питания

СотрудникиВсемирногобанкаЭкономистСпециалист пооценкеСпециалист попитаниюЭксперт#оценщикпрограммыЭксперт#оценщикпрограммы

Сотрудники FES∗∗

Координаторисследований

ИностранныеконсультантыСитуативнаяоценка (включаяоплату проезда)Разработкакогнитивноготестирования(включая оплатупроезда)

4

5

5

0,2

0,2

4

2

3

3

0,2

0,2

4

17640

23520

23520

1948

1948

6000

12000

7000

68577

12000

2000 ф.г. 2001 ф.г. Бюджетбанка

RPO∗ Иные Итого

Недели работысотрудников/Мероприятие Источник финансирования /Расходы

(Продолжение таблицы на следующей странице)


Специалист поформированиювыборкиАнализ«затраты–эффективность»

Региональнаяконсалтинговаяфирмаb

Планирование,формированиевыборки,руководствоРабота на местахОбработка данныхАнализ

Поездки встрануПоездки

НепредвиденныерасходыСвязьПрограммноеобеспечениеПеревод

ИТОГО

4 2

68577

2000

25000

42000250003500

30000

12000

1000

20002000

150500 19000

40000

100500

12000

5000

238077

Итого запрошено из RAD∗∗∗: 150500 долл. США.Итого запрошено из бюджета Банка: 68577 долл. США.Итого предоставлено внешними источниками: 19000 долл. США.

а. В настоящее предложение не включены бюджетные сметы для второго этапа оценки.

b. Данные расходы подробно представлены на следующей странице.∗ RPO — Research Proposal (предложение (заявка) о проведении исследований; на

его основании производится финансирование).∗∗ FES — School Feeding Program (Программа школьного питания; аббревиатура

происходит от названия на испанском языке).∗∗∗ RAD — Research and Development (программа «Исследование и развитие»).

2000 ф.г. 2001 ф.г. Бюджетбанка

RPO∗ Иные Итого

Недели работысотрудников/Мероприятие Источник финансирования /Расходы

Смета — Сбор и анализ местных данных для Этапа IОценка воздействия Проекта организации школьного питания,

Расходы в долл. США

ПРИМЕРНЫЙ БЮДЖЕТ ОЦЕНКИ ВОЗДЕЙСТВИЯ 235

Количестволиц

Рабочиенедели

Недельнаяставка Итого

СпециалистыДиректорСпециалист по образованиюСпециалист по питаниюСтатистик/формирование

выборкиРуководитель работ на местахПрограммистРуководитель обработки данныхАссистент — обследованияАссистент — антропометрияАссистент — тестирование

когнитивного развитияКонтроль качества данныхПромежуточный итог —

специалистыШтат для работы на местахРуководительСпециалист по когнитивному

тестированиюАнтропометристИнтервьюерВодитель

Транспортные средства(четыре на 5 недель)

Бензин (4 транспортныхсредства на 5 недель)

Весы, линейки (5 наборов)Оборудование для когнитивного

тестирования (для 4тестирующих)

Оборудование для обследования(для 4 интервьюеров )

Промежуточный итог — работана местах

Кодировка данныхВвод данныхПромежуточный итог —

обработка данных

Итого

111

111111

11

4

4444

4

45

4

4

34

1288

128

108

1010

108

6

6665

5

5

77

200015001500

750750300300100100

100100

200

120120120100

350

8020

20

20

7575

240001200012000

900060003000240010001000

1000800

72200

4800

2880288028802000

7000

1600100

80

8024300

15752100

3675

100175

Оборудование дляработы на местах

Работники/единицы Стоимость в неделюили за единицу

Обработка данных Работники

Разработано в ноябре 1997 г.

I. Официальное образование — школы типа «A» и «B»(с несколькими классами и обычные)

1. Конечные показатели воздействияРезультаты тестирования по математике и языкуа

Показатели повтора годаПоказатели отсеваЗачислениеУровень преподаванияСпрос на обучение (% учащихся, отчисленных из школы)а

2. Промежуточные показатели воздействия Регулярность посещения учащимисяРегулярность посещения учителямиРаспределение времени учащихся/время, потраченное на учебуМетод преподавания в классеа

Текучесть преподавательского составаа

3. Показатели программыИнфраструктура

Соотношение «учащиеся/класс»Количество классов в «хорошем состоянии»Количество недостающих классных комнатНаличие многофункциональной площадиНаличие основных услуг

— электричество— источник основного водоснабжения— тип канализации; состояния канализации

МебельСоотношение «учащиеся/парты»Соотношение «учительские столы/классные комнаты»Соотношение «учительские стулья/классные комнаты»Соотношение «соответствующие классные доски/классные

комнаты»Соотношение «стеллажи/классные комнаты»Учебники и методические материалыСоотношение «учебники/учащийся»


Показатели воздействия — оценкаСоциального инвестиционного

фонда Боливии (СИФ)

Качество учебников по математике, языку, обществоведениюи естественным наукам

Наличие методических пособий для учителейНаличие и состояние карт и схемОбучающие игры по школьным циклам (начальный,

основной и промежуточный)Наличие счет

Показатели реформы образования b

4. Факторы, влияющие на результаты и не связанные с про$ектом СИФ (экзогенные)ПитаниеНаличие программы организации школьных завтраковСтоимость обучения в школеХарактеристики учителейУровень образованияСтажПолученная подготовкаМетоды, применяемые в преподавании (во время классных заня:тий)Полученная подготовка, по темам и курсамПорядок оценки знаний учащихся (периодичность домашних за:даний и работ над ошибками)Оценка учителей учащимисяОснования для отсева Учащиеся, отчисленные школойРасстояние от дома до школыСоотношение «ученики/учитель»

5. Идентифицирующие показатели Уделяется ли школе первостепенное внимание в рамках

реформы образованияЗапрограммированные расходы по компонентам проектаФактические расходы по компонентам проекта

II. Состояние здоровья

1. Конечные показатели воздействия вУровень младенческой смертностиУровень детской смертностиУровень заболеваемости и распространенность основных

заболеванийРаспространенность неполноценного питания (общая,

незначительная, умеренная и серьезная)

2. Промежуточные индикаторы влиянияИспользование государственных медицинских

учрежденийРаспространенность вакцинации против столбняка

Места проведения вакцинацииРаспространенность предродового обследования

ПОКАЗАТЕЛИ ВОЗДЕЙСТВИЯ — ОЦЕНКА 237

Количество предродовых обследованийКачество контроля

Распространенность услуг по оказанию помощи при родах в медицинских учрежденияхКачество родовспоможения

Распространенность родовспоможения медицинскимперсоналом на дому

Рост при рожденииМасса при рожденииАнтропометрические данные

Места проведения измеренийВозраст проведения первого измерения

Случаи заболевания и распространенность вакцинации поколичеству полученных дозПолиомиелитКоклюш–дифтерия–столбняк (КДС)КорьТуберкулез

Знание мест проведения вакцинацииЗаболеваемость и лечение кашляЗаболеваемость и лечение диареиИнформированность и использование оральных регидраци:

онных пакетовМедицинские знания о течении беременностиУход в случаях беременности высокого рискаПреобладание правильных навыков в отношении гигиены и

использования водыПродолжительность кормления грудью

3. Показатели программыг

Качество инфраструктуры по типам медицинских учрежденийНаличие базовых коммунальных услуг в медицинских учрежде:

ниях (питьевая вода, канализация и электроснабжение).Соответствие инфраструктуры установленным нормам по

типу медицинского учреждения Соответствие оборудования установленным нормам по типу

медицинского учрежденияКоличество коек в медицинском учрежденииНаличие важнейших медикаментов по типу медицинского учрежденияНаличие основных медицинских инструментов по типу

медицинского учрежденияНаличие необходимой мебели по типу медицинского учрежде:ния

4. Факторы, влияющие на результаты и не связанные с про$ектом СИФ (экзогенные) Характеристики домохозяйства

КачествоТип


Базовые коммунальные услуги в домохозяйствеЭлектричествоИсточник водыТип канализации

Доступ к основным услугамРасстояние между домохозяйством и ближайшим медицинским

учреждениемРасстояние между санитарными службами и источником водыРасстояние между домохозяйством и основным источником водыКоличество часов в день, когда подается водаДостаточность подачи воды в деньНаличие воды в течение всего годаСтоимость консультации в медицинском учрежденииВосприятие главой семьи качества:

«услуг» в медицинском учреждении, которое посещают члены домохозяйства

«инфраструктура» медицинского учреждения, которое посещают члены домохозяйства

«доступность медикаментов» в медицинском учрежде:нии, которое посещают члены домохозяйства

Расходы домохозяйстваЛичные характеристики членов домохозяйства

ВозрастЯзыкУровень образованияРод занятий

Географические характеристикиОкруг здравоохраненияРайон здравоохраненияСектор здравоохраненияПровинцияМестность

Людские ресурсы в медицинском учреждении (врачи, стомато:логи, диетологи, медсестры, помощники медсестер, техники,

административный персонал)Население в районе обслуживания медицинского учреждения по возрастным группамСтоимость консультации в медицинском учрежденииПрограммы здравоохранения, не финансируемые СИФ

5. Идентифицирующие показатели Запрограммированные расходы по компонентам проектаФактические расходы по компонентам проекта

III. Вода

1. Конечные показатели воздействияд

Уровень младенческой смертностиУровень детской смертности


Уровень заболеваемости и распространенность диареи вдомохозяйствах

Распространенность неполноценного питания (общая,незначительная, умеренная и серьезная)

2. Промежуточные показатели воздействия Уровень заболеваемости и лечение диареи в медицинских

учрежденияхОсведомленность и использование оральных регидратацион:

ных пакетовРаспространенность правильных навыков в отношении гиги:

ены и использования воды3. Показатели программы (используемых ресурсов)

Распространенность обучения в области здраво:охранения

Доступность основных услугОсновной источник водоснабженияНаличие и тип санитарных услугРасстояние между санитарными службами и источником водыРасстояние между домохозяйством и основным источником водыКоличество часов подачи воды в деньДостаточность подачи воды в деньНаличие воды в течение всего года

Количество воды, потребляемой домохозяйством а

Качество воды а

4. Факторы, влияющие на результаты и не связанные с про$ектом СИФ (экзогенные)

Использование государственных медицинских учреждений (MSSP)

Рост при рожденииВес при рожденииПродолжительность кормления грудьюХарактеристики домохозяйства

КачествоТип

Доступ к основным услугамРасстояние между домохозяйством и ближайшим

медицинским учреждениемСтоимость консультации в медицинском учрежденииРасходы на домашнее хозяйство

Личные характеристики членов семьиВозрастЯзыкУровень образованияРод занятий

5. Идентифицирующие показателиЗапрограммированные расходы по компонентам проектаФактические расходы по компонентам проекта


а. Не рассматриваются в базисном обследовании.

б. Разрабатывается совместно с персоналом Реформы образования; будут счи:

таться экзогенными, если программы Реформы образования СИФ не будут рас:

сматриваться вместе.

в. За исключением общего уровня смертности, рождаемости, общего уровня

фертильности, уровня смертности взрослых и средней ожидаемой продолжи:

тельности жизни при рождении.

г. За исключением подготовки по медицинской тематике.

д. За исключением общего уровня смертности, рождаемости, общего уровня

фертильности, уровня смертности взрослых (мужчин и женщин), средней ожида:

емой продолжительности жизни при рождении, заболеваемости острыми респи:

раторными инфекциями и лечения кашля.



Образец матрицы логической структурыпрограммы/проекта для составления отчета о завершении

проекта или документа об оценке проекта

Иерархия целей

Секторная цель Стратегии помощистране (СПС)Представьте одним предло�жением долгосрочную стра�тегическую цель (как отра�жено в СПС), для достиже�ния которой предназначенпроект. Данное заявлениедолжно описывать значи�тельные изменения разви�тия в затрагиваемом(ых)секторе(ах).

Основные показатели эф�фективности

Показатели сектора1. Показатели, сопутствую�щие секторной цели СПС,требуют проведения изме�рений, которые, как прави�ло, не финансируются изсредств проекта, однако мо�гут финансироваться Бан�ком как часть другой рабо�ты.2. Как правило, заемщик бу�дет отслеживать данные по�казатели как часть «передо�вого опыта» в управлениисектором.

Критические допущения

(От цели до задачи Бан�ка)• Допустив, что секторныецели CПС (см. крайний ле�вый столбец) в долгосроч�ной перспективе будут до�стигнуты, перечислите лю�бые дополнительные допу�щения, необходимые для то�го, чтобы связать эти цели сзадачей Банка (т.е. борьба сбедностью).• Подобные допущения не�редко включают условия,действия либо реакции зарамками проекта и за рам�ками сектора.

Мониторинг и оценка

Отчеты по сектору истране1. Здесь определяются ис�точники информации дляпроверки каждого показате�ля и необходимые для этогопроцессы.2. Мониторинг и оценка по�казателей, сопутствующихсекторной цели СПС, какправило, осуществляются спомощью разнообразныхотчетов по сектору илистране, которые составля�ются вне рамок проекта.

243

Цель развития в проекте1. Представьте одним пред�

ложением поведенческиеизменения, которые ожида�ются в целевой группе илиучреждении(ях) к концуосуществления проекта. До�стижение этой цели — про�стая проверка спроса на ре�зультаты данного проекта.Цель должна выражать от�дельное направление разви�тия, которое является реали�стичным, конкретным, из�меряемым и востребован�ным. При определении це�лей проекта можно руковод�ствоваться документом «Do'sand Don't's for Setting a Pro�ject Development Objective»(чтобы получить экземпляробращайтесь по тел. x37065или e�mail M&EHelp@world�bank.org).

Показатели итога/воз�действия1. Показатели итога отно�

сятся к результатам, которыедолжны быть достигнуты кконцу проведения проекта,в то время как воздействиеможет проявиться полно�стью не ранее чем черезпять и более лет после окон�чания проекта.2. Итоговые показатели

(уровень ЦРП) не повторя�ют показатели на уровне«продукта».3. Сбор информации для

измерения данных показа�телей обычно финансирует�ся в рамках проекта.

(От цели развития впроекте до секторнойцели в СПС)• Допустив, что цель разви�тия в проекте будет достиг�нута, перечислите любыедополнительные допуще�ния, необходимые, чтобыобосновать вклад проекта вдостижение изложенной це�ли.• Эти допущения относятсяк необходимым для дости�жения изложенных целейвкладу(ам) дополнительныхпроектов, дополнительнымресурсам или дополнитель�ной реакции бенефициаров(групп и учреждений).

Отчеты о проекте1. Здесь определяются ис�

точники информации дляпроверки каждого показате�ля и необходимые для этогопроцессы.2. Мониторинг и оценка по�

казателей, сопутствующихцели развития в проекте, какправило осуществляются спомощью разнообразныхотчетов о проекте, отчетов оработе контрольной миссиии отчетов по оценке (про�межуточной и окончатель�ной).3. При необходимости сбо�

ра данных следует особо от�метить методы и обязаннос�ти, для чего может потребо�ваться запросить мнение бе�нефициаров.

(Продолжение приложения на следующей странице)

244

Продукт каждого компо�нента1. Изложите здесь (в про�

шедшем времени) пользу,полученную от завершениякаждого компонента.2. Правильное изложение

пользы «продукта» будетлегко измерить (см. показа�тели справа).3. Для простоты и ясности,

для каждого компонентапроекта должно быть односоответствующее заявлениео «продукте».4. Номер каждого «продук�

та» должен совпадать с соот�ветствующим компонентом.5. Группа проекта обычно

отвечает за обеспечение«продуктов» как составнойчасти правильного плани�рования проекта и успеш�ной реализации, планирова�ния и осуществления.

Показатели «продукта»1. Показатели «продукта»

имеют количественные, ка�чественные и временныесвойства. Если время не ука�зывается, то подразумевает�ся окончание проекта.2. Показатели «продукта»

обычно включают в себяоценку эффективности за�трат.3. Сбор данных для измере�

ния показателей «продукта»финансируется из средствпроекта.4. В сложных проектах для

более подробного предо�ставления перечня показа�телей «продукта» могут ис�пользоваться отдельныетаблицы (как дополнение кприложению 1).5. Лучше иметь небольшое

количество значимых и лег�коизмеряемых показателей«продукта», чем множествотаких показателей, для кото�рых сложно собрать данные.6. Показатели «продукта»

согласовываются с заемщи�ком на этапе PCD (в отно�

(От «продукта» к целямразвития в проекте)• Допустив, что «продукты»,указанные в крайнем левомстолбце, к завершению про�екта будут получены, пере�числите любые дополни�тельные допущения, необ�ходимые для достиженияцели проекта.• Эти допущения могутвключать в себя измененияусловий, политики или ожи�даемого поведения бенефи�циаров (групп или учрежде�ний), которые необходимыдля успеха проекта.• Эти допущения критичныдля достижения объявлен�ных целей проекта, однаконаходятся за пределами не�посредственного контролясо стороны проекта.

Отчеты о проекте1. Мониторинг и оценка по�казателей «продукта», какправило, осуществляются спомощью разнообразныхотчетов о проекте, отчетов оработе контрольной миссиии отчетов по оценке (проме�жуточной и окончательной).2. Источники данных для

мониторинга и оценки по�добных показателей обычновключают в себя системыадминистративного и уп�равленческого учета, а так�же отчеты, составляемые врамках проекта.

Приложение 5 (продолжение)

245

Компоненты/подкомпо�ненты проекта1. Компонент представляет

собой блок подкомпонен�тов или мероприятий, кото�рые предназначены для по�лучения отдельного «про�дукта» проекта.2. Укажите каждый компо�

нент проекта в качестве за�головка с последующимиосновными подкомпонента�ми (если таковые имеются),которые финансируютсякак часть данного компо�нента.

шении наличия данных ипростоты сбора), и до про�ведения оценки собираютсябазисные данные.

Ресурсы проекта (бюд�жет для каждого компо�нента)1. Перечислите ресурсы, ис�

пользуемые в компонентепроекта как долю общихрасходов на каждый компо�нент с учетом непредвиден�ных расходов (например, __ долл. США).2. Для крупных или слож�

ных проектов может такжеуказываться стоимость под�компонентов.

(От компонентов проек�та — к «продукту» проек�та)• Допустив, что компонентыи мероприятия, указанные вкрайнем левом столбце, бу�дут успешно осуществлены,перечислите любые допол�нительные допущения, не�обходимые для получениязаявленного «продукта».• Эти допущения представ�ляют собой условия, находя�щиеся за пределами непо�средственного контроля состороны проекта, которыеявляются необходимымидля получения заявленного«продукта».• Для достижения какого�либо из данных условий недолжны расходоваться сред�ства самого проекта (по�скольку подобные допуще�ния включены в сами ком�поненты).

Отчеты по проекту1. Мониторинг используе�

мых ресурсов обычно ведет�ся с помощью отчетов опродвижении проекта и от�четов о расходованиисредств (оба типа отчетовпредставляются ежеквар�тально).2. Ресурсы, используемые в

проекте, обычно оценива�ются с помощью отчетовконтрольных миссий (раз вполгода) и отчетов о резуль�татах аудиторских проверок(ежегодно).

Источник: Департамент основных услуг (Operational Core Services Department) Всемирный банк. Для получения заполненных образцовданного приложения обращайтесь в M&E Help Desk на сайте во внутренней сети Банка http://Lnts012/helpdesk.nsf


Матрица анализаОценка воздействия Чрезвычайного фонда социальных инвестиций

Никарагуа — 1998 г.

Вопросы

Уровень бедностиобщин/округов Социаль$ного фонда (СФ)

Общие показатели

• % домохозяйств общи$ны/округа за чертой бед$ности и/или ниже уровняпотребления, соответству$ющего крайней бедности.

• Средний уровень по$требления в общинах,участвующих в проектахСоциального фонда, посравнению с уровнем по$требления в стране.

• Индекс карты бедности(используемый СФ).

Комментарии

Для проведения сравне$ния по странам необхо$димо одинаковое опре$деление черты бедности.

Недостаток в том, что по$казатели и удельные веса

Источник данных

Расширенная выборка изобследования домохо$зяйств страны (LSMS) вобщинах СФ — толькодля проектов в областиобразования, здравоо$хранения, водоснабже$ния и канализации.

Расширенная выборкаиз обследования домохо$зяйств страны (LSMS) вобщинах СФ — толькодля проектов в областиобразования, здравоо$хранения, водоснабже$ния и канализации.

СФ использует карту бед$ности на основе данных

Методики

Требует обследования до$ходов/потребления до$мохозяйств и определе$ния мероприятий СФ пообщинам/округам.

Требует обследования до$ходов/потребления до$мохозяйств и определе$ния мероприятий СФ пообщинам/округам.

Карты, как правило, ис$пользуют эрзац$показа$

A. Адресность в отношении бедности

247

Уровни бедности бене$фициаров СФ (уровеньдомохозяйств )

• Процент бенефициа$ров ниже черты беднос$ти или в крайней беднос$ти.

• Средний уровень по$требления в домохояйст$вах, получающих по$мощь, по сравнению сосредним уровнем по$требления в стране дляаналогичных домохо$зяйств по типам проек$тов (например, дети, по$сещающие начальнуюшколу; наличие доступа кводопроводу; использо$

выбираются произвольно,а каждая страна имеетсвой, отличный от другихиндекс. Преимущество втом, что нередко можнополучить большее геогра$фическое разукрупнение,чем при обследовании до$ходов/потребления, — этидва показателя могут бытьсвязаны вместе, чтобы по$лучить прогнозируемыйуровень потребления наболее низких уровнях.

Могут варьироваться вшироких пределах в за$висимости от типа про$екта СФ.

LSMS93 с применениемсводного индекса бедно$сти; для прогнозирова$ния потребления на суб$национальных уровняхвводится уточнение с по$мощью данных LSMS98 ипереписи.

Расширенная выборкана основании обследова$ния домохозяйств стра$ны (LSMS) в общинах СФ.

Расширенная выборкана основании обследова$ния домохозяйств стра$ны (LSMS) в общинах СФ.

тели, такие как сводныйиндекс бедности, осно$ванный на сочетании пе$ременных.

Обследование дохо$дов/потребления, в кото$ром бенефициары СФ оп$ределяются либо по раз$мерам СФ, либо посредст$вом расширенной выбор$ки из общин$участниц СФ.

Обследование дохо$дов/потребления, в кото$ром бенефициары СФопределяются либо поразмерам СФ, либо по$средством расширеннойвыборки из общин$участ$ниц СФ; также можнопровести расширеннуювыборку в отобранныхпо подобию общинах, неучаствующих в програм$мах СФ.


248


Распределение ресурсовСФ

Особенности институци$ональной структуры,влияющие на показателиадресности СФ

Другие факторы, влияю$щие на показатели адрес$ности

Сопоставление вариантов

вание уборных и т.п.).• Процент проектов/ре$сурсов СФ в нижнемквинтиле округа.

• Использование картбедности.• Стимулирующие уси$лия.• Прямой доступ группбенефициаров.• Доля проектов запра$шивающей стороны.• Децентрализованныеофисы.• Адресное распределе$ние ресурсов.• «Меню» подпроекта.

• Срок деятельности СФ• «Социальный капитал»общины• Расстояние до голо$вной структуры СФСамый высокий уровеньобразования бенецициа$ров• Наличие действий состороны государства илиНПО• Степень неравенствапо доходам в стране.

• Процент проектов/ресур$сов СФ в нижнем квинтиле

Сложно обнаружить при$емлемые показатели длясравнения; необходимо раз$делить программы сбора

Требует пересмотра и по$вторной калибровки си$стемы ранжирования.

Информация может бытьполучена от Социально$го фонда.

Единственным сомни$тельным показателем яв$ляется «социальный ка$питал общины».

Запланировано для ана$лиза рентабельности.

Требует последователь$ного ранжированиястран.

Разработать типовые ин$ституциональные пере$менные, которые могут ис$пользоваться для объясне$ния результатов адреснос$ти — переменные можнолегко получить от СФ.

Также необходимы типо$вые определения для пе$ременных — переменныеполучены от СФ, из об$следований домохо$зяйств (с указанием бене$фициаров СФ) и нацио$нальных обследований.

Сравнить показатели ад$ресности, основанной нагеографическом положе$нии или уровне бедности

249

Вопросы

Физический капитал

округа по сравнению с со$поставимыми программа$ми/механизмами доставки.


• В какой степени под$проекты отвечают при$оритетам общины?

• В какой степени бене$фициары считают, чтоони получают выгоды иих благосостояние улуч$шилось?

• Улучшение доступа ксоциальной и экономи$ческой инфраструктуре(«до» и «после»).

информации и сравнения.


Необходимо иметь ба$зисные или повторныевопросы. Необходиморазработать отдельныепоказатели по типампроектов СФ.

«Кейс"стади»:Никарагуа

Включено в Программуанализа бенефициаров иобследования ресурсов,финансируемую Межа$мериканским банкомразвития.

Включено в обследова$ние домохозяйств и Про$грамму анализа бенефи$циаров, финансируемуюМежамериканским бан$ком развития.

Некоторые повторныевопросы при обследова$нии домохозяйств. Крометого, можно провести ана$лиз, заранее, на основанииданных предыдущегоLSMS; можно сравнить бе$нефициаров СФ с харак$теристиками населениястраны и отобранными поподобию общинами.

бенефициаров, в зависи$мости от схемы обследо$вания, масштаба СФ идругих программ.

Источникиданных/методики

Обследование на уровнеобщины, анализ бенефи$циаров или обследованиедомохозяйств с расши$ренной выборкой в райо$нах СФ.

Обследование домохо$зяйств или анализ бене$фициаров в общинах,участвующих в СФ.

Обследование домохо$зяйств — бенефициаровСФ.


B. Выгоды

250


Человеческий капитал

• Улучшение доступа ксоциальной и экономи$ческой инфраструктурев сопоставлении со срав$нимыми проектами.

•Улучшение качества ин$фраструктуры и услуг(«до» и «после»).

• Повышение качестваинфраструктуры и услугв сопоставлении со срав$нимыми проектами.

• Улучшение состояния об$разования: посещение школ,количество лет завершенно$го обучения, показатели поотсеву и повтору года («до»и «после», а также в сопос$




Можно сравнить бене$фициаров СФ с характе$ристиками населениястраны и отобраннымипо подобию общинами.

Для проектов в сфереобразования, здравоо$хранения, водоснабже$ния и канализации необ$ходима повторная ин$формация и информа$ция прежних периодовиз исследования ресур$сов и проведенной зара$нее оценки СФ.

Для проектов в сфере об$разования, здравоохране$ния, водоснабжения и ка$нализации, объектов впроектах СФ и не входя$щих в проекты СФ, по$средством обследованийдомохозяйств и ресурсов.

Опрос домохозяйств иинформация из школ, дляшкол и домохозяйств, уча$ствующих и не участвую$щих в проектах СФ.

Обследование домохо$зяйств — бенефициаровСФ и бенефициаровсравниваемых проектов.

Исследование ресурсов иобследование домохо$зяйств, частичный охватв программе анализа бе$нефициаров.

Исследование ресурсов иобследование домохо$зяйств, частичный охват впрограмме анализа бене$фициаров (в проектах СФи сравнимых проектах).

Опрос домохозяйств иинформация из школ.

251

Социальный капитал

тавлении со сравнимымипроектами).• Улучшение состояниездоровья: заболеваемость,младенческая смертность,неполноценное питание,более широкое распрост$ранение практики груд$ного вскармливания и т.п.(«до» и «после», а также всопоставлении со срав$нимыми проектами).

• Улучшение экономичес$кого положения: рост до$хода, сокращение временина доставку воды, сниже$ние стоимости услуг, ростзанятости («до» и «после», атакже в сопоставлении сосравнимыми проектами).

• Рост способности об$щин решать проблемы (всопоставлении со срав$нимыми общинами, неучаствующими в про$грамме).

• Более интенсивное уча$стие общественности визменениях, иницииро$ванных общиной (в со$поставлении со сравни$мыми общинами).

Необходимо разрабо$тать показатели.

Опрос домохозяйств иинформация из учрежде$ний здравоохранения,участвующих и не участ$вующих в проектах СФ.

Обследование домохо$зяйств в отобранных поподобию общинах, участ$вующих и не участвую$щих в проектах СФ.

Не рассматривается.

Информация в обследова$нии домохозяйств об уча$стии общественности.

Опрос домохозяйств сблоком здравоохранения.При наличии неполно$ценного питания добав$ляются антропометриче$ские измерения.

Опрос домохозяйств.

Опрос домохозяйств, оп$рос общин и/или оценкабенефициаров.

Опрос домохозяйств, оп$рос общин и/или оценкабенефициаров.


252


Вопросы

Устойчивостьдеятельности

Сохранность и обслужи$вание объектов инфраст$руктуры


• Условия, при которыхпроекты СФ будут дейст$вовать после завершенияпрограммы СФ (абсо$лютная устойчивость).

• Условия, при которыхпроекты СФ будут дейст$вовать после завершенияпрограммы СФ в сопос$тавлении со сравнимымипроектами (относитель$ная устойчивость).

• Сохранность инфраст$руктуры и услуг с течени$ем времени (абсолютная).

• Сохранность (поддер$жание) достигнутого со$стояния инфраструкту$ры и уровня обеспече$ния услуг с течениемвремени в сопоставле$нии со сравнимымипроектами (относитель$ная).


Можно получить допол$нительную информациюиз анализа бенефициаров.

Можно получить допол$нительную информациюиз анализа бенефициа$ров.


Можно получить допол$нительную информациюиз анализа бенефициаров.


Для исследования проек$тов в сфере образования издравоохранения (каквключенных в программыСФ, так и не имеющих кним отношения).




Источники данных/методики

Исследование ресурсов.




A. Адресность в отношении бедности

253

Устойчивость воздействия

Устойчивость влияния ре$зультатов проекта на об$щины

Вопросы

Рентабельностьподпроектов (покритерию «затраты$эффективность»)

• Качество и количествообъектов инфраструкту$ры и объем услуг с тече$нием времени.

• Тенденция в динамикеблагосостояния общин,участвующих в проектахСФ, представлять с тече$нием времени другиепредложения (в СФ идругие организации).

• Участие членов общи$ны в удовлетворении по$требностей в социальнойи экономической инфра$структуре.


• Средний объем затратна новую школу/меди$цинское учреждение/си$стему водоснабжения посравнению с другими ва$риантами в сопоставле$нии со сравнимыми про$ектами.



Изменения затрат с те$чением времени и сопос$тавимые проекты долж$ны быть идентичными.


Потребует дополнитель$ной работы.

Включается в последую$щие программы анализабенефициаров; оценкувоздействия.


Данные в рамках проек$тов СФ и вне проектов СФиз исследований ресур$сов. Оценки затрат вне ра$мок проекта СФ могутбыть ненадежными.

Исследование ресурсов иопрос домохозяйств.

База данных СФ, опрособщин и/или анализ бе$нефициаров.

Обследование общин, оп$рос домохозяйств и/илианализ бенефициаров.

Источники данных/ме"тодики

База данных СФ и ин$формация от минис$терств и муниципальныхвластей.


D. Затраты – эффективность

254


Рентабельность меха$низма доставки (услуг ивыгод)

• Удельная стоимость: за$траты на квадратныйметр строительства, накилометр дорожного по$лотна и т.п. в сопоставле$нии с затратами по срав$нимым проектам.

• Средняя стоимость из рас$чета на бенефициара по ти$пам проектов СФ в сопос$тавлении со сравнимымипроектами.

• Средняя стоимость со$здания одного рабочегоместа в сопоставлении сосравнимыми проектами.

• Институциональныезатраты СФ (инвестици$онные и эксплуатацион$ные) как доля проектовСФ в сопоставлении сосравнимыми проектами.

• Среднее время завер$шения проекта в сопос$тавлении со сравнимымипроектами.

Необходимо разработатьтиповые методики опре$деления затрат на инсти$туциональное развитиена определенный вре$менной период.

Возможен расчет сред$них затрат СФ и их вклю$чение в анализ показате$лей рентабельности.

Возможен расчет сред$них затрат СФ. Они будутвключены в анализ рен$табельности.

Возможен расчет сред$них затрат СФ. Они будутвключены в анализ рен$табельности








АА�1* Агентства содействия развитию (development assistance agen�

cies) — организации, деятельность которых сосредоточена на под�держке проектов, направленных на цели развития в разных сферах(например, в таких областях, как образование, здравоохранение, ох�рана природы и др.).

А�2 Адресование (обеспечение адресности проекта) (targeting) —определение целевой (адресной) группы, на которую направлено воз�действие проекта; фокусировка.

А�3 Альтернативный сценарий (counterfactual) — путь развития си�туации, который сложился бы в отсутствие вмешательства, связанно�го с осуществлением программы (т.е. что было бы без программы);гипотетическая модель; «предположение от обратного».

А�4 Анализ временны ´х рядов (серий) (time series analysis) — ана�лиз статистических данных, собранных и зарегистрированных за пе�риодически повторяющиеся отрезки времени, достаточные для оп�ределения тенденций развития.

А�5 Анализ «затраты–выгоды» (cost�benefit analysis) — метод оцен�ки проекта (программы) путем сопоставления ожидаемых затрат ивозможных выгод от его (ее) реализации.

А�6 Анализ «затраты–эффективность» (cost�effectiveness analysis)— метод оценки «отдачи» программы с точки зрения эффективностивложенных средств, расходов.

А�7 Анализ конкретной ситуации («кейс�стади» ) (case study) — ме�тод тематического исследования, при котором какая�либо проблемаразбирается при оценке реальных примеров — конкретных ситуа�ций.

А�8 Анализ условий выживания (модели продолжительности)(survival analysis, or duration models).

А�9 Аналитики стратегии (policy analysts).А�10 Анкетирование (questionnaires) — проведение опроса по утверж�

денным анкетам.А�11 Африканский фонд здравоохранения и исследований (African

Medical and Research Foundation).

Глоссарий

ББ�1 Базисное (базовое) обследование (опрос) (baseline survey) —

предварительное обследование, которое проводится до начала осуще�ствления программы (проекта); данные, полученные по его результа�там используются при разработке проекта (программы) и затем приподведении итогов.

Б�2 Базовые данные (baseline data) — исходные данные, напримерданные базисного обследования**, проведенного до начала осуществ�ления проекта (программы), используются при разработке програм�мы, для сравнительного анализа и оценки результатов.

Б�3 Бенефициар (beneficiary) — 1) получатель дохода, платежа, посо�бий, помощи; 2) получатель выгод от проведения проекта; 3. участникпрограммы.

Б�4 Британская администрация по развитию заморских террито�рий (British Overseas Development Administration).

ВВ�1 Валидность (validity) — надежность информации.В�2 Веса выборки (sampling weights) — совокупность показателей,

используемых для расчета степени репрезентативности полученнойвыборки (по отношению к генеральной совокупности) и рассчитан�ных после проведения исследований на местах.

В�3 «Включенное» наблюдение (participatory observation ) — на�блюдение, которое проводится с участием лиц, участвующих в проек�те, получающих помощь; или при котором наблюдатель на время ста�новится участником происходящего. См. также: Прямое наблюдение.

В�4 Вмешательство (программы) с полным охватом (full�coverageintervention (programs)) — комплексное мероприятие (програм�мы), предполагающее: 1) охват какими�либо услугами всего населе�ния или определенного его контингента (например, всеобщая вакци�нация детей и т.д.) или 2) одновременное воздействие по многим на�правлениям развития (во многих секторах социально�экономичес�кого развития), например сельских общин и др.

В�5 Вмешательство в целях развития (development intervention) —мероприятие, способствующее развитию, действия в интересах раз�вития, например при осуществлении проекта (программы).

В�6 Внешнее потрясение (exogenous shock) — сильное воздействиекакого�либо внешнего фактора (экономические и политические из�менения, кризисы, стихийные бедствия и т.д.), которое оказывает зна�чительное влияние на функционирование системы. При проведенииоценки этот фактор необходимо учитывать, чтобы избежать искаже�ния результата.

В�7 Временной ряд (time series). См.: Анализ временны´х рядов (серий).В�8 Временны ´е рамки (timeframe (timeline, timing)) — сроки про�

ведения проекта.В�9 Выбор (отбор) по наблюдаемым переменным (selection on

observables) — способ, при котором показатели, характеризующиеадресатов программы, одновременно входят в набор контролируе�мых переменных.

В�10 Выборка, типы (sample types):


•• вероятностная/детерминированная (probability/non�prob�ability);

•• стратифицированная (с расслоением) (stratified);•• нерепрезентативная (convenience);•• преднамеренная (judgemental);•• по квоте (quota);•• непреднамеренная (accidental).

В�11 Выборочное обследование (sampling).В�12 «Выбросы» (outliers) — ответы, не вписывающиеся в общую картину.В�13 Выгоды (benefits) — прибыль, результаты (в любой форме) от про�

ведения проекта (программы).

ГГ�1 Глубина бедности (poverty gap) — размер недостающего дохода (для

того, чтобы «подняться» над чертой бедности). Например, глубина беднос�ти для каждого домохозяйства — это разница между чертой бедности и до�ходом данного домохозяйства. Для тех, кто находится выше черты беднос�ти, эта разница равна нулю. Если взять за точку отсчета черту бедности ирассчитать среднее значение по всем домохозяйствам (как бедным, так инебедным), то мы получим индекс глубины бедности. (Альтернативный по�казатель — Доля бедных.)

Г�2 Государственная национальная программа помощи детямУганды (Ugandan National Program of Action for Children).

Г�3 Границы выборки (sample frame) — контингент, из которогоформируется выборка.

Г�4 Группа (команда) оценки (evaluation team) — группа экспертов испециалистов, проводящих работы на местах и обработку данных,может включать как сотрудников Всемирного банка, так и нацио�нальных и местных представителей.

ДД�1 Данные, характеризующие период после вмешательства

(post�intervention data) — данные, отобранные после проведенияпроекта для оценки его влияния.

Д�2 Департамент II Всемирного банка по Латинской Америке истранам Карибского региона (The Latin America and CaribbeanCountry Department II of the World Bank).

Д�3 Департамент IV Всемирного банка по Европе и ЦентральнойАзии (The Europe and Central Asia Country Department IV of theWorld Bank).

Д�4 Департамент Всемирного банка по развитию частного сектора(The Private Sector Development Department of the World Bank).

Д�5 Департамент оценки операций Всемирного банка, ДОО(Operations Evaluation Department of the World Bank).

Д�6 Дециль (decile) — статистическая единица (десятая часть).Д�7 Дни здоровья ребенка (Child Health Days).Д�8 Доверительный уровень (интервал) (confidence level (inter�

val)).Д�9 Долгосрочное воздействие (longer�term impact) — воздействие,

при котором влияние (последствия осуществления) проекта про�

ГЛОССАРИЙ 257

явится в отдаленной перспективе; при оценке воздействия проектаего необходимо учитывать.

Д�10 Доля бедных (poverty rate or headcount index) — доля бедных внаселении (%).

Д�11 Домашнее хозяйство (домохозяйство) (household) — группа лиц,совместно проживающих и обеспечивающих себя всем необходи�мым для жизни. Может состоять как из родственников, так и из нерод�ственников или одиночек; часто используется в статистическом уче�те как единица учета при оценке воздействия проектов развития (восновном в развивающихся странах).

ЕЕ�1 Единица анализа (наблюдения) (unit of analysis).

ИИ�1 Индекс Уаттса (Watts index) — среднее значение логарифма отно�

шения черты бедности к доходу (для небедных это отношение приня�то за единицу).

И�2 Институциональная инфраструктура (institutional frame�work) — организации и учреждения, обеспечивающие организаци�онную основу для осуществления проекта.

И�3 Инструментальные переменные (instrumental variables) — пе�ременные в модели, отражающие совокупность объясняющих пере�менных, но не подверженные обратному воздействию результата (за�висимой переменной). См.: Квазиэкспериментальные методы.

И�4 Интервьюеры (interviewers) — специалисты, проводящие опро�сы, анкетирование, сбор данных.

И�5 Информационно�консультативная служба (ИКС) (сельско�хозяйственная ИКС) (Extension (agricultural) services) —структура, оказывающая информационно�консультационные услуги(например, консультирование фермеров по вопросам примененияагрохимикатов); создание ИКС может быть одной из задач проектовразвития в целях интенсификации сельскохозяйственного произ�водства.

И�6 Информационные пробелы (information gaps) — отсутствие(недостаток или недоступность) данных по каким�либо показателям,группам людей или за какие�либо промежутки времени. Являютсяпричиной снижения достоверности (искажения) итоговых результа�тов оценки.

И�7 Исследование уровня жизни (Living Standards Survey, LSS).И�8 Исследования уровня жизни (Living Standards Measurement

Study, LSMS) — методы исследования определенного набора показа�телей, свидетельствующих о повышении (снижении) качества жизни;используются при комплексной оценке воздействия проектов разви�тия.

И�9 Источник информации (informant (source)) — эксперт, респон�дент, участник фокус�группы.

И�10 Итоги (результаты) проекта (project outcome) — непосредствен�ные результаты (полученные сразу в ходе реализации или по завер�шении проекта).


КК�1 Качественные методы (qualitative methods) — методы оценки

воздействия с вовлечением бенефициаров (позволяющие с их пози�ций посмотреть на результаты программы).

К�2 Качество (условия) питания (nutritional status) — категория,учитывающая количественные характеристики питания и его полно�ценность, сбалансированность (Cм. также: Недоедание).

К�3 Квадрат глубины бедности (squared poverty gap) — показательдисперсии отклонений от черты бедности (отклонения от черты бед�ности как бедных, так и богатых, возводятся в квадрат, суммируются иберется их среднее). См.: Глубина бедности.

К�4 Квазиэкспериментальные (нерандомизированные) методыили подходы (quasi�experimental (nonrendomized) methods ordesigns) — количественные методы оценки, применяются в тех случа�ях, когда невозможно создать экспериментальные и контрольныегруппы посредством экспериментальных методов, и приходится со�здавать их с помощью эконометрических методов, таких как Отборпо подобию, Метод двойных различий, Методы с использованием ин&струментальных переменных, Метод рефлексивных сравнений.

К�5 Квинтиль (quintile) — пятая часть (20%).К�6 Когнитивный (познавательный) статус (cognitive status) — спо�

собности детей к познанию.К�7 Компараторы (comparators) — инструменты, способы сравни�

тельного анализа.К�8 Конструируемый контроль (отбор) (constructed controls) —

конструируемые средства контроля, позволяющие отобратьидеальные сравнения, соответствующие экспериментальной группе.См.: Квазиэкспериментальные (нерандомизорованные) методы илиподходы; Отбор по подобию; Отбор подобного по склонности.

К�9 Контент�анализ — метод анализа, который применяется кданным интервью, наблюдений и документов (content�analy�sis). Оценщик разрабатывает систему классификации данных и орга�низует информацию на основе: а) вопросов оценки, для ответа на ко�торые была собрана информация, б) планов использования материа�ла и в) потребности в перекрестной сверке для подтверждения ин�формации. После выработки единой системы классификации начи�нается фаза анализа, которая включает определение закономернос�тей в имеющихся данных и переход от простого описания к понима�нию процессов программы, ее результатов и воздействий.

К�10 Контролеры (supervisors) — специалисты, осуществляющие над�зор за проведением работ по проекту.

К�11 Контролируемые переменные (control variables).К�12 Контрольная (сравнительная) группа (comparison group) —

группа населения (популяция), характеристики которой совпадают сэкспериментальной группой, но составляющие ее люди не являютсяучастниками и соответственно объектами воздействия программы.Используется для оценки степени воздействия проводимой програм�мы при сравнении с экспериментальной группой.

К�13 Координатор оценки (evaluation manager) — руководительгруппы оценки (например, координатор работы на местах).


К�14 Координатор работы на местах (т.н. «полевой работы»)/ ра�ботники (fieldwork manager and staff).

К�15 Коэффициенты расширения выборки (expansion factors).

ЛЛ�1 Лог�фрейм (logical framework, log frame) — матрица логической

структуры проекта оценки.Л�2 Лонгитюдное обследование (данные) (longitudinal survey or

data) — метод исследований (данные), охватывающий нескольковременны´х периодов и разных респондентов.

Л�3 Лучшая (образцовая) практика (лучшие практические приме�ры) (best practice) — примеры передового опыта, оптимальныеметоды, подходы, способы решения поставленных задач.

ММ�1 Матрица для анализа воздействий проекта (Project Impact

Evaluation Matrix) — это матричная форма представления планаоценки. Строки матрицы соответствуют оцениваемым аспектам про�екта (например, адресаты проекта, типы получаемых от него выгод иих устойчивость, соотношение затрат и выгод компонентов проектаи т.д.). Столбцы матрицы описывают общие количественные и каче�ственные показатели, по которым ведется оценка, источники и мето�ды получения информации о показателях, комментарии, а также на�личие и использование разработанных для данного проекта приме�ров и конкретных ситуаций для обучения местных специалистов.

М�2 Международный исследовательский институт политики вобласти питания (International Food Policy Research Institute,IFPRI).

М�3 Мера связи (measure of association).М�4 Метод «плата за услугу» (free�for�service).М�5 Метод двойных различий (метод учета «различий между раз�

личиями») («double difference method» or «difference�in�differ�ences method») — метод анализа результативности программы, прикотором сравниваются различия, имевшие место в эксперименталь�ной и контрольной группах за время ее реализации.

М�6 Метод наименьших квадратов, МНК (least squares, LS) — приобработке результатов оценки используются: обычный МНК (ОМНК)(ordinary LS) и трехступенчатый МНК (ТМНК) (three stages LS) —для трех стадий расчета (формирования итогового уравнения из си�стемы уравнений).

М�7 Метод простых различий (Simple�difference approach).М�8 Методы оценки стратегии структурной перестройки (adjust�

ment policies evaluation methods) — для оценки применяются дваподхода: 1) без использования гипотетической альтернативной ситу�ации (no counterfactual) — качественные методы (qualitative meth�ods); метод «до и после программы» («before and after» ) и 2) с постро�ением гипотетической альтернативной ситуации при множествен�ных допущениях (counterfactual using multiple assumptions) — расчет�ные модели общего равновесия (computable general equilibrium meth�ods); метод «с программой и без программы» (with and without com�


parisons); методы внесения статистической поправки, или статис&тического контроля (statistical control).

М�9 Методы сбора данных с учетом гендерных признаков (gen�der�sensitive data collection methods) — методы дифференциро�ванного сбора данных с учетом половой принадлежности (См. такжеПоказатели, основывающиеся на гендерных признаках).

М�10 Модели разрывной регрессии (regression discontinuitydesign).

М�11 Мониторинг (monitoring) — текущее регулярное наблюдение за со�стоянием системы, за ходом процесса, за осуществлением проекта исвоевременное исправление недостатков, ликвидация «узких мест» икорректировка деятельности после оценки результатов.

НН�1 Наращивание (развитие) потенциала (capacity building) — со�

здание условий, материальной базы для развития и успешного функ�ционирования какой�либо отрасли, сферы, направления. Проектыразвития, которые реализуются Всемирным банком в конкретныхстранах, часто направлены на наращивание потенциала в определен�ных секторах экономики и социального развития (таких, как укреп�ление малого предпринимательства, улучшение водоснабжения,здравоохранение, образование, и др.) этой страны.

Н�2 Население (population) — в зависимости от контекста: все населе�ние; популяция, генеральная совокупность (стат.).

Н�3 Национальные статистические учреждения (представительст�ва, бюро) (national statistical offices) — статистические организа�ции в стране, предоставляющие информацию для разработки и оцен�ки воздействия проектов развития.

Н�4 Национальный научный фонд (США) (National Science Foun�dation).

Н�5 Национальный проект создания сельскохозяйственной ин�формационно�консультативной службы, ИКС (NationalExtension Project, NEP�I). См. также: Информационно&консульта&тивная служба.

Н�6 Недоедание, неполноценное питание (malnutrition) — недо�статочное (по количеству, калорийности) и несбалансированное пи�тание. Борьба с недоеданием (особенно у детей) является одной изважных целей проектов развития.

Н�7 Ненаблюдаемый фактор (unobservable).Н�8 Неправительственные организации, НПО

(nongovernment(al) organisations (NGOs) — общественныенекоммерческие организации (например, экологические, благотво�рительные и др.); часто принимают участие в осуществлении проек�тов развития.

Н�9 Неучастник (проекта, программы) (non�participant) — организа�ция или лицо, на которые не распространяется воздействие проекта;данные по этой категории лиц используются при сравнении с данны�ми по участникам (проекта, программы) для оценки воздействия.При этом необходимо, чтобы основные характеристики неучастни�ков и участников совпадали. См. также: Контрольная группа.


ОО�1 Образовательные и инновационные займы (learning and

innovation loans).О�2 Объем выборки (sample size) — количество членов выборки.О�3 Объясняющие переменные (explanatory variables) — регрессо�

ры, независимые переменные.О�4 Одномоментное обследование (данные) (cross�section survey

(data)) — отбор показателей по всем параметрам в определенныймомент времени ( «временной срез» ).

О�5 Оператор, ответственный за ввод данных (data entry operator).О�6 Организации на базе общин, ОБО (Community�Based Organiza�

tions, CBO’s).О�7 Организация экономического сотрудничества и развития

(ОЭСР) (Organization for Economic Cooperation and Develop�ment, OECD)

О�8 Острота бедности (poverty severity).О�9 Отбор по подобию (matching methods) — методы формирова�

ния контрольной группы из лиц, которые не участвуют в проекте, нонаиболее близоки по ключевым параметрам к участникам экспери�ментальной группы.

О�10 Отбор подобного по склонности (вероятности) (propensityscore matching) — метод формирования контрольной группы с ис�пользованием показателей уравнения регрессии, рассчитанного дляэкспериментальной группы.

О�11 Отдача от проекта (программы) (project (or programme) out�put) — результаты проекта, которые могут быть получены как в ходеего осуществления, так и по завершении; могут иметь материальный(в этом случае они измеряются количественными показателями) илинематериальный (качественный) характер.

О�12 Открытые методы (качественного анализа) (оpen�endedmethods) — методы исследования, при которых опрашиваемые неограничены жестким набором возможных вариантов ответов, а тре�буются пространные ответы участников, рассказы о жизненной ситу�ации, впечатления интервьюера (например, открытые вопросы в ан�кетах, фокус�группы и т.д.).

О�13 Отраслевые министерства (line (sectoral) ministries) — нацио�нальные министерства, которые участвуют в осуществлении проек�тов в связанных с их деятельностью областях, выступают в качествеместных координаторов работ, предоставляют информацию, техни�ческую помощь, людские ресурсы.

О�14 Оценка воздействия (impact evaluation) — метод исследования,определяющий результативность проводимых проектов, их влияниена целевые группы населения и на ситуацию в стране проведения вцелом, на устойчивость достигнутых результатов. Данные для оценкисобирают как в ходе реализации проекта, так и после его завершения.Для обработки данных широко используются эконометрические ме�тоды и компьютерное моделирование.

О�14 Оценщик (evaluator) — эксперт, проводящий оценку, специалистпо оценке.


ПП�1 Панельные данные (panel data) — данные, полученные по одной

и той же совокупности респондентов и охватывающие нескольковременны´х периодов; данные панельного обследования. См. также:Панельные обследования.

П�2 Панельные обследования (panel surveys) — исследования однойи той же (по возможности) совокупности респондентов, которыепроводятся несколько раз (т.е. охватывают несколько временны´х пе�риодов) на основе единой программы и инструментария для изуче�ния динамики общественных явлений.

П�3 Перепись населения (census).П�4 Перепись с присвоением номеров (enumeration) — персональ�

ный учет респондентов.П�5 Пилотный проект (pilot project) — пробный, экспериментальный

проект.П�6 План (проект, модели) оценки (evaluation design) — план проведе�

ния оценки проектов развития, в котором регламентируются этапы еепроведения, использование персонала, источники финансирования.

П�7 План действий по борьбе с бедностью (Poverty EradicationAction Plan).

П�8 План проекта (программы) (project (programme) design) —план, в котором регламентируются цель и методы ее достижения,адресные группы, этапы осуществления, источники финансирова�ния проекта. Как принято в практике Всемирного банка, любойпроект должен пройти через процедуры экспертизы, одобрения,подписания, выделения средств, осуществления, мониторинга(оценки).

П�9 Подотчетность программ в глазах общественности (publicscrutiny) — соблюдение принципа прозрачности, информированиеобщественности о целях, планах, группах, которым адресована по�мощь, источниках финансирования.

П�10 Показатели (долгосрочных результатов) воздействия (impactindicators) — параметры, иллюстрирующие влияние проекта, выво�дятся из отраслевых данных и применяются для измерения долгосроч�ного воздействия проекта на долгосрочные отраслевые цели заказчика(адресной группы), исследуются обычно после завершения проекта.

П�11 Показатели по отсеву и повтору года (по второгодникам)(dropout and repetition rates) — статистические данные, использу�емые при оценке воздействия проектов в области образования.

П�12 Показатели, основывающиеся на гендерных признаках (gen�der�based indicators) — данные, которые отобраны с учетом поло�вой принадлежности, например зачисление в школу девочек и т.д.Многие проекты развития направлены на повышение уровня образо�вания и медицинского обслуживания женщин, так как от этого вомногом зависит здоровье и благополучие нации в целом. Соответст�венно при оценке воздействия этих проектов необходимо прини�мать во внимание гендерные аспекты.

П�13 Положительные практические примеры или методы (приме�ры или методы «наилучшей практики») (good�practice examples ormethods) — примеры, образцы передового опыта, которые исполь�


зуются при разработке оптимальных моделей развития, при оценкеэффективности проектов и для целей обучения.

П�14 Предоставление (доставка) услуг (delivery (service delivery)) —предоставление услуг, предусмотренных программой, осуществле�ние программы.

П�15 Признание надежности выборки (validation). См. также: Валидность.П�16 Прогнозная оценка (prospective evaluation) — оценка будущих

результатов проекта.П�17 Программа «Обучение и посещение», ОиП (Training and Visit,

T&V).П�18 Программа «Продовольствие за образование» в Бангладеш

(Food for Education).П�19 Программа предупреждения отсева учащихся, ППО (Dropout

Intervention Program, DIP).П�20 Программа Сельскохозяйственного банка Нижней Пра в Гане

(Lower Pra Rural Bank Program). П�21 «Программные» («проектные») страны (programme or project

countries) — служебный термин, определяющий страны, в которыхбыла осуществлена программа (проект) (соответственно антоним —«непрограммные», или «непроектные»).

П�22 Программы трудового обучения (Labor training programs).П�23 Проект сельского развития транспорта во Вьетнаме I (Rural

Transport Project, RTP I).П�24 Профильное исследование (cross�section(al) survey) — одномо&

ментное обследование, т. н. «временной срез» развития ситуации впроцессе осуществления проекта.

П�25 Прямое (непосредственное, «невключенное») наблюдение(direct observation) — метод наблюдения за выполнением проекта,при котором наблюдатель смотрит и записывает, не принимая учас�тия в процессе. См. также «Включенное» наблюдение».

РР�1 Работа на местах («полевая работа») (field work) — интервьюиро�

вание, сбор и обработка данных на местах.Р�2 Развернутый анализ данных (Data Envelopment Analysis, DEA)

— непараметрический метод, позволяющий измерить изменения вэффективности и производительности фермерского хозяйства заопределенный период.

Р�3 Разработчик плана обследования (survey designer).Р�4 Разработчики стратегии, политики (policymakers) — полити�

ки, специалисты, эксперты, должностные лица, директивные органы.Р�5 Рандомизация (randomization) См. также: Экспериментальные

методы.Р�6 Распространенность бедности (poverty incidence).Р�7 Расчет мощности выборки (power calculation) — предваритель�

ное обоснование объема выборки с точки зрения ее близости по дан�ному набору показателей к моделируемому объекту.

Р�8 Расширение полномочий (прав и возможностей) (empower�ment) — предоставление самостоятельности, увеличение автоно�мии, одна из целей проектов развития.


Р�9 Результаты адресного воздействия программы (targeting out�comes). См также: Адресование; Целевая группа.

Р�10 Ресурсы проекта или программы (input (project or pro�gramme input)) — необходимые исходные вложения ресурсов (фи�нансовых, материальных, людских), используемые для осуществле�ния проекта.

Р�11 Рефлексивные сравнения (reflexive comparions) — методоценки результативности программы, когда за контрольную груп�пу принимаются участники программы до ее начала и сравнива�ются изменения, произошедшие с ними в ходе ее реализации (ис�пользуется в случае полного охвата данной группы населения про�граммой и невозможности выделить сосуществующую, но не за�тронутую программой контрольную группу).

Р�12 Реформа по предоставлению автономии школам (по повы�шению школьного самоуправления) (School autonomyreform) — направлена на увеличение самостоятельности школ в вы�боре образовательных программ и в распределении финансирова�ния и т.д.

СС�1 Семейное окружение (положение) (family background) — харак�

теристики семей респондентов.С�2 Система мониторинга и оценки (Monitoring and Evaluation

system, M&E) — обеспечивает постоянную обратную связь с бене�фициарами относительно содержания услуг.

С�3 Случайный отбор (random assignment).С�4 Смещение (bias) — отклонение: 1) разность между данной вели�

чиной и средним значением некоторого набора величин; 2) степеньотклонения данных в наборе от случайного распределения; при при�менении квазиэкспериментальных методов может происходить из�за различий: а) в наблюдаемых (observables), б) в ненаблюдаемыхфакторах (unobservables). В последнем случае его называют Смеще&нием выборки. Возможно также смещение вследствие ошибкиизмерений (attenuation bias), которое вызывает снижение расчетногокоэффициента регрессии.

С�5 Смещение выборки (selection bias) — смещение из�за различия вненаблюдаемых факторах (unobservables). См. также Смещение.

С�6 Смещение выбытия (attrition bias).С�7 Социальный инвестиционный фонд Боливии, СИФ (Bolivian

Social Investment Fund, SIF).С�8 Социальный инвестиционный фонд Гондураса (Honduran

Social Investment Fund, FHIS).С�9 Специалист по выборке (sampling expert).С�10 Специалисты по организации (управлению) и обработке дан�

ных (data managers and processors).С�11 Способ измерения распространенности бедности (poverty

measure).С�12 Сравнение по подобию (matched comparison) — метод сравне�

ния экспериментальной и контрольной групп (последняя отобрана спомощью эконометрических методик, например показателей урав�


нений регрессии, на основе более широких исследований, в частнос�ти, бюджетных).

С�13 Сравнение по подобию после завершения проекта (ex postmatched comparison) — применение метода сравнения экспери&ментальной и контрольной групп по окончании проекта. Позволяетопределить устойчивость достигнутых результатов. См. также: Срав&нение по подобию.

С�14 Ссудно� (кредитно�) сберегательная группа (credit savingsgroup) — структура, которая занимается кредитованием при осуще�ствлении проекта.

С�15 Статистический контроль (внесение статистической поправки)(statistical controls) — методы контроля случайности оценок по кри�терию значимости, доверительным интервалам и т.д. Задача С. к. — от�делить при определенном уровне вероятности воздействие объясняю�щих переменных от случайных воздействий.

С�16 Структурная перестройка (structural adjustment) — структур�ное урегулирование, направленное на достижение экономическойсамодостаточности страны. Одна из частых целей проектов развитияВсемирного банка в развивающихся странах. Банк предоставляеткредиты для сокращения дефицита платежного баланса, поощрениячастного сектора, стимулирования экспорта и т.д. См.: Методы оцен&ки стратегии структурной перестройки.

ТТ�1 Таблицы соотнесенности (сопряженности, соответствия)

(cross�tabulation) — показывают соотношение долей трансфертов,которые предоставляет программа, и долей получающих их домохо�зяйств, ранжированных по уровню среднедушевого дохода.

Т�2 Технико�экономическое обоснование (feasibility study) — ра�бота по подготовке документа, в котором регламентируются все тех�нические, финансовые и кадровые вопросы по проведению проекта.

Т�3 Триангуляция (triangulation) — одновременное использованиенескольких различных источников и способов сбора информации;процесс независимых повторных (многоразовых) оценок основныхпеременных для проверки устойчивости измерений; один из мето�дов, используемых при проведении оценки воздействия проектов.

УУ�1 Уровень бедности (poverty level).У�2 Уровень грамотности (literacy rate) — показатель степени гра�

мотности населения, используется при оценке воздействия проектовразвития в области образования (может использоваться также проти�воположный показатель — уровень неграмотности (illiteracy rate)).

У�3 Устойчивое развитие (sustainable development) — комплексноепонятие, тип развития, удовлетворяющий потребностям настоящеговремени, но не ставящий под угрозу способность будущих поколе�ний удовлетворять их собственные потребности. Включает в себястабильный экономический рост, полную занятость, отсутствие ин�фляции, улучшение социальных условий, безопасность для окружаю�щей среды и др. факторы.


У�4 Устойчивость (sustainability) — применительно к проектам раз�вития: устойчивость (сохранение) достигнутых при их осуществле�нии результатов в перспективе. См. также: Устойчивое развитие.

У�5 Участник (проекта, программы) (participant) — организация илилицо, которые принимают участие в проекте и на которые распро�страняется его воздействие. См. также Бенефициар.

У�6 Уязвимые группы (vulnerable groups) — самые незащищенныегруппы населения, которые наиболее страдают от различных потря�сений (экономических кризисов, социальных изменений, стихий�ных бедствий). Многие проекты развития направлены на помощь У. г.и смягчение для них последствий кризисов.

ФФ�1 Фокус�группа (focus�group) — дискуссии с представителями целе�

вой группы по исследуемой теме (часто до того, как будет составленструктурированный опросник) с целью сопоставления взглядов имнений бенефициаров с абстрактными концепциями, представлен�ными в задачах оценки.

Ф�2 Формирование выборки (sampling). См. также: Выборка, типы. Ф�3 Формирование случайной выборки (random sampling).

ЦЦ�1 Целевая (адресная) группа (target group) — группа или популя�

ция, на которую направлено воздействие проекта. См. также:Адресование; Бенефициар.

Ц�2 Целевая выборка (purposive sampling) — выборка, сделанная сучетом определенных исследовательских задач.

Ц�3 Церковный приход (округ) (parish) — может быть объектом вли�яния проектов развития (также как единицы административного де�ления, общины, домашние хозяйства и т.д.) и соответственно исполь�зуется при статистическом учете для оценки воздействия.

ЧЧ�1 Частичный (неполный) охват (partial�coverage) — распростра�

нение влияния проекта только на часть (отдельные группы) населе�ния, согласно первоначальному замыслу (например, предусматрива�ется воздействие только на адресные группы) или в силу каких�либопомех.

Ч�2 Черта бедности (poverty line).

ЭЭ�1 Экзогенные факторы (exogenous factors) — внешние факторы,

которые могут влиять на систему извне; при проведении оценки ихнеобходимо учитывать, чтобы избежать смещения (искажения) ре�зультатов.

Э�2 Эконометрика (econometrics) — применение статистических, ма�тематических методов и компьютерного моделирования для анализавзаимосвязей между различными показателями. Эти методы широкоиспользуются при разработке проектов развития для моделированияих возможного воздействия и путей развития ситуации, а также при


оценке воздействия проектов для анализа их результатов и эффек�тивности.

Э�3 Экспериментальная группа (treatment group) — популяция илигруппа, которая является объектом воздействия проекта и соответст�венно исследуется при проведении оценки его результатов. См. также:Целевая группа и Контрольная группа.

Э�4 Экспериментальные (рандомизированные) подходы (experi�mental or rendomized designs ) — количественные методы оценки,в основе которых лежит процесс формирования случайной выборки(при распределении помощи производится случайная выборка экс�периментальной и контрольной групп из четко определенной сово�купности; группы отличаются только тем, что одна из них принимаетучастие в программе, другая — нет).

Э�5 ЭкшенЭйд Кения (ActionAid Kenya).Э�6 Эффект воздействия (treatment effect) — результаты воздейст�

вия проекта (программы).

Названия, использующиеся в текстена английском языке (EN)

EN�1 Logit (Logit�regression ) — логистическая регрессия, входит в пакетпрограмм SPSS.

EN�2 PROBECAT (Programa de Becas de Caritacitacion para Traba�jadores, PROBECAT) — Программа профессиональной переподго�товки (Мексика).

EN�3 Probit (Probit�regression) — регрессия вероятностей (от англ.probability — вероятность), уравнение регрессии для дихотомичес�ких переменных, которое входит в пакет программ SPSS.

EN�4 PROGRESA — Мексиканская национальная программа в области об�разования, здравоохранения и питания.

EN�5 PROSCOL — гипотетическая программа по борьбе с бедностью.EN�6 t�тест (t�test) — проверка по критерию Стьюдента.EN�7 TRABAJAR — Программа стимулирования трудовой деятельности

(Аргентина).

∗ В левой колонке проставлен номер данного термина в Глоссарии, по немучитатель найдет нужное слово при переводе с английского на русский,пользуясь Алфавитным указателем терминов на английском языке,который приведен ниже.

∗∗ Здесь и далее курсивом выделены термины, имеющие в Глоссарии отдель�ные статьи.


АActionAid Kenya Э�5Adjustment Policies Evaluation meth�

ods М�8African Medical and Research Foun�

dation А�11Attrition bias С�6

BBaseline data Б�2Baseline survey Б�1«Before and after» М�8Beneficiary Б�3Benefits В�13Best practice Л�3Bias С�4Bolivian Social Investment Fund (SIF)

С�7British Overseas Development

Administration Б�4

CCapacity building Н�1Case study А�7Census П�3Child Health Days Д�7Cognitive status К�6Community�Based Organizations

(CBO’s) О�6Comparators К�7Comparison group К�12Computable general equilibrium

methods М�8Confidence level (interval) Д�8Constructed controls К�8Content�analysis К�9Control variables К�11Cost�benefit analysis А�5Cost�effectiveness analysis А�6Counterfactual А�3Counterfactual using multiple

assumptions М�8Credit savings group С�14Cross�section survey (data) О�4Cross�section(al) survey П�24Cross�tabulation (cross�tabs) Т�1

DData entry operator О�5Data Envelopment Analysis (DEA)

Р�2Data managers and processors

С�10Decile L�6Delivery (service delivery) П�14Development assistance agencies А�1Development intervention В�5Direct observation П�25«Double difference method» (differ�

ence�in�differences method) М�5Dropout and repetition rates П�11Dropout Intervention Program (DIP)

П�19

EEconometrics Э�2Empowerment Р�8Enumeration П�4The Europe and Central Asia Country

Department IV Д�3Evaluation design П�6Evaluation manager К�13Evaluation team Г�4Evaluator О�15Ex post matched comparison

С�13Exogenous factors Э�1Exogenous shock В�6Expansion factors К�15Experimental designs (rendomized)

Э�4Explanatory variables О�3Extension Services (Agricultural

extension services) И�5

FFamily background С�1Feasibility Study Т�2Field work Р�1Fieldwork manager and staff К�14Focus�group Ф�1Food for Education П�18Free�for�service М�4

Алфавитный указатель терминовна английском языке

Full�coverage intervention (pro�grams) В�4

GGender�based indicators П�12Gender�sensitive data collection

methods М�9Good�practice examples or methods

П�13

HHonduran Social Investment Fund

(FHIS) С�8Household Д�11

IIlliteracy rate У�2Impact evaluation О�15Impact indicators П�10Informant (source) И�9Information gaps И�6Input Р�10Institutional framework И�2Instrumental variable И�3International Food and Policy

Research Institute (IFPRI) М�2Interviewers И�4

LLabor training programs П�22The Latin America and Caribbean

Country Department II of the WorldBank Д�2

Learning and Innovation LoansО�1

Least Squares (LS) Ordinary LS;Threestages LS М�6

Line (sectoral) ministries О�13Literacy rate У�2Living Standards Measurement Study

(LSMS) И�8Living Standards Survey (LSS) И�7Logical framework (log frame) Л�1Logit�regression EN�1Longer�term impact Д�9Longitudinal survey (data) Л�2Lower Pra Rural Bank Program П�20

MMalnutrition Н�6

Matched comparison С�12Matching methods О�9Measure of association М�3Monitoring М�11Monitoring and Evaluation system

(M&E) С�2

NNational Extension Project (NEP�I)

Н�5National Science Foundation Н�4National statistical offices Н�3Nongovernment(al) organisations

(NGOs) Н�8Non�participant Н�9Nutritional status К�2

OObservables С�4Оpen�ended methods О�12Operations Evaluation Department

of the World Bank Д�5Organization for Economic Coopera�

tion and Development (OECD) О�7Outcome И�10Outliers В�12Output О�11

PPanel data П�1Panel surveys П�2Parish Ц�3Partial�coverage Ч�1Participant У�5Participatory observation В�3Pilot project П�5Policy analysts А�9Policymakers Р�4Population Н�2Post�intervention data Д�1Poverty Eradication Action Plan

П�7Poverty gap Г�1Poverty incidence Р�6Poverty level У�1Poverty line Ч�2Poverty measure С�11Poverty rate (headcount index) Д�10Poverty severity О�8Power calculation Р�7


The Private Sector DevelopmentDepartment of the World BankД�4

PROBECAT (Programa de Becas deCaritacitacion para Trabajadores)EN�2

Probit�regression EN�3Programme (project) countries

П�21PROGRESA EN�4Project (or programme) output

О�11Project (programme) design П�8Project (programme) input Р�9Project Impact Evaluation Matrix М�1Project outcome И�10Propensity score matching О�10PROSCOL EN�5Prospective evaluation П�16Public scrutiny П�9Purposive sampling Ц�2

QQualitative methods К�1, М�8Quasi�experimental methods or

designs (nonrendomized) К�4Questionnaires А�10Quintile К�5

RRandom assignment С�3Random sampling Ф�3Randomization Р�5Reflexive comparions Р�11Regression discontinuity design М�10Rural Transport Project — RTPI П�23

SSample frame Г�3Sample size О�2Sample types: В�10

• Probability/non�probability• Stratified• Convenience• Judgemental• Quota• Accidental

Sampling В�11, Ф�2Sampling expert С�9Sampling weights В�2School autonomy reform Р�12Sectoral ministries О�14Selection bias С�5Selection on observables В�9Simple�difference approach М�7Squared poverty gap К�3Statistical controls С�15, М�8Structural adjustment С�16Supervisors К�10Survey designer Р�3Survival analysis (duration models)

А�8Sustainability У�4Sustainable development У�3

TTarget group Ц�1Targeting А�2Targeting outcomes Р�9Time series В�7Time series analysis А�4Timeframe (timeline, timing) В�8TRABAJAR EN�7Training and Visit (T&V) П�17Treatment effect Э�6Treatment group Э�3Triangulation Т�3t�test EN�6

UUgandan National Program of Action

for Children Г�2Unit of analysis Е�1Unobservable С�4, Н�7

VValidation П�15Validity В�1Vulnerable groups У�6

WWatts index И�1With and without comparisons

М�8

АЛФАВИТНЫЙ УКАЗАТЕЛЬ ТЕРМИНОВ 271

ООО Издательство «Весь Мир» является официальнымдистрибьютором публикаций Всемирного банка

в Российской Федерации

Наш адрес: 9а Колпачный переулок, Москва, 101831, РоссияТел.: (095) 917 8749, 917 8046

Факс: (095) 917 9259e'mail: [email protected]

http://www.vesmirbooks.ru

В Издательстве можно приобрести или заказать по каталогу

любые издания Всемирного банка идругих международных организаций

ОЦЕНКА ВОЗДЕЙСТВИџ ПРОЕКТОВ РАЗВИТИџ НА БЕДНОСТЬПРАКТИчЕСКОЕ РУКОВОДСТВО

Подготовка русского издания — Отдел международных изданий

Издательства «Весь Мир»

Руководитель проекта: Поликанин А.А.

Ответственный редактор: Осадчая О.Е.

Младший редактор: Блинова А.А.

Корректор: Агарева Е.Ю.

Руководитель производственного отдела: Кузнецова Н.А.

Технический редактор: Сергеева О.Н.

ИД № 03510 от 15.12.2000 («Весь Мир»)

Подписано в печать 09.11.2001

Печать офсетная. Формат 60 x 90 1/16 Печ. л. 18,0

ООО Издательство «Весь Мир»

101831, Москва'Центр, Колпачный пер., 9а

Оценка воздействия проектов развития на бедность:...

Documents