Моніторинг, Оцінка, навчання. Організаційний розвиток

Вступ

Мій досвід і підхід

Що ми робимо, чому і в який спосіб

Завдання семінару

Отримати навички і впевненість для розроблення системи МОН в сфері організаційного розвитку

Використати ці знання для модифікації та впровадження матриці МОН для організаційного розвитку

Етапи МОН в рамках TTDI

КРОК 1:

Оцінка організаційного розвитку та рекомендації

КРОК 2: РОЗРОБКА стратегії організаційного розвитку і плану МОН

Встановлення чітких цілей в 3-х сферах організаційного розвитку

Визначення індикаторів і створення матриці МОН

Визначенні інструментів для збору даних

КРОК 3: РЕАЛІЗАЦІЯ

КРОК 4: ЗАСВОЄННЯ УРОКІВ

Використання засвоєних уроків для покращення реалізації

Аналіз і презентація даних

Поширення нових знань

Що ви спроможні контролювати, а що ні…

Зовнішні фактори

Внутрішні фактори

Біл

ьше

кон

тро

лю

М

енш

е ко

нтр

ол

ю

Рівень економічного розвитку Політична конкуренція Міжнародні тенденцій в сфері політичних досліджень Формальні і неформальні інституції Інтелектуальний клімат Стан громадянського суспільства Пріоритети донорів Наявність фінансування для дослідницької роботи Становище партнерів або конкурентів Конкретна проблема в сфері формування політики – державні пріоритети Наявність і якість даних та інших інформаційних систем Залучення і пріоритети Правління організації Компетентність персоналу і особисті пріоритети в сфері дослідницької роботи Організація командної роботи Матеріальні і нематеріальні заохочення

10 речей, які потрібно знати про оцінку

Діяльність в сфері розвитку часто відбувається в умовах невизначеності, ризиків і обмежених ресурсів. Для того, щоб раціонально використовувати ці ресурси, нам потрібно розуміти що працює, що не працює і чому. Саме тому вкрай важливо проводити належну оцінку. Це систематичний процес оцінки цінності нашої діяльності і засвоєння уроків для прийняття майбутніх рішень.

БЕЗ ЦЬОГО НЕМОЖЛИВО ЗДІЙСНЮВАТИ ДІЯЛЬНІСТЬ В СФЕРІ РОЗВИТКУ

ГОЛОВНЕ В ДЕТАЛЯХ

Деякі оцінки містять загальні твердження про “успіхи”. Належні оцінки йдуть далі і ставлять питання: які конкретні зміни відбулися (позитивні і негативні, навмисні і ненавмисні), яким чином і для кого? Висновки про успішність проекту роблять на основі прозорих критеріїв або стандартів.

ДО ОЦІНКИ ЗАЛУЧАЮТЬСЯ ВСІ Рішення про те, хто має здійснівати оцінку, залежить від наявності часу і ресурсів та мети проведення оцінки. Часто оцінка проводиться компетентними зовнішніми консультантами або внутрішніми фахівцями, але проектний персонал, донори, учасники і бенефіціари також виконують важливу роль. Належна оцінка надає можливість людям висловлювати свою позицію в процесі прийняття рішень, які впливають на їх життя. Розвивайте свої навички проведення оцінки на допомогою:

МОНІТОРИНГ І ОЦІНКА – НЕ ОДНЕ Й ТЕ САМЕ

Хоч вони і пов'язані між собою, це два окремих процеси.

Моніторинг – це постійно діюча система збору інформації і відстеження результатів виконання проекту. Індикатори використовуються для вимірювання прогресу і перевірки спроможності проекту досягти бажаних результатів.

Оцінка має на меті оцінити загальну релевантність, продуктивність, ефективність, стійкість і вплив дизайну, впровадження і результатів проекту для прийняття рішень стосовно наступних дій.

НЕВДАЧІ ТЕЖ ВАЖЛИВІ Іноді оцінка базується на бажанні показати, що проект був успішний і вартий витрачених ресурсів. Однак оцінки майже завжди показують змішані результати. Розуміти і показувати те, що не працює, так само важливо, як і успіхи.

ПРИКЛАД Оцінка програми підвищення якості охорони здоров'я, освіти і водопостачання в Малі виявила, що нездатність встановити умови залучення партнерів призвела до суперечностей і непорозумінь, які вплинули на реалізацію програми. Результати покращились після того, як лідери громади і представники церков розробили меморандум про взаєморозуміння.

В залежності від мети проводяться різні види оцінок. Поширені види оцінки: оцінка впливу, оцінка ефективності роботи, економічна оцінка і оцінка процесу. Вони можуть бути коротко- або довго-строкові і можуть виконуватись однією особою або цілими командами. Не існує одного найкращого методу оцінки. Оцінки часто використовують комбінацію методів для збору, аналізу і інтерпретації даних. Рішення про те, який метод використовувати, залежить від мети оцінки, контексту, ресурсів і доступної інформації.

ОЦІНКИ БУВАЮТЬ РІЗНИХ ФОРМ І РОЗМІРІВ

Достовірна оцінка, що базується на запитаннях, показує змішані результати і визнає, що це є важливою частиною навчального процесу. Починайте з питань про мету і обсяг оцінки: що потрібно оцінити? Кому потрібна інформація? Чому вона їм потрібна? Які дані або ресурси є в наявності? Потім визначте конкретні запитання для оцінки. Процес має базуватися на 4-х типах запитань:

ОЦІНКА БАЗУЄТЬСЯ НА ЗАПИТАННЯХ

Описові запитання. Що відбулось або що змінилось?

Причинно-наслідкові запитання. Що спричинило або вплинуло на зміну і в чому полягає роль діяльності в спричиненні зміни?

Синтезні запитання. В чому полягає загальний успіх діяльності?

Запитання з фокусом на дію. Що має відбуватися далі?

КОНТЕКСТ МАЄ ПЕРШОРЯДНЕ ЗНАЧЕННЯ

Оцінка має враховувати соціальний, культурний і політичний контекст. Важливо розуміти: те, що працює в одному контексті, може бути не прийнятним для іншого контексту.

ПРИКЛАД Для відтворення успішної ініціативи в Танзанії, яка показала збільшення врожайності, оцінка має враховувати зовнішні фактори, такі як погодні умови, місцеві погляди або державні стимули для використання нових технологій

ОЦІНКА ПРОВОДИТЬСЯ НЕ ТІЛЬКИ В КІНЦІ Оцінка може відбуватись в формальних і неформальних умовах протягом всього проектного циклу, а не тільки в кінці. Неформальна оцінка може проводитись на щоденній основі протягом дослідження, розробки, управління або адміністрування проекту. Чим більше запитань і процесів оцінки інтегровано в проект, тим кориснішою буде система оцінки. В комплексних ініціативах оцінка має плануватись і проводитись від самого початку, щоби висновки могли використовуватись в розробці і реалізації проекту.

Постійне навчання,

моніторинг і оцінка

Результати/висновки оцінки визначають те, що відбувається далі в проекті, і можуть впливати на ширші рішення щодо формування політики. Ви можете мотивувати людей використовувати результати оцінки, якщо залучатимете їх в процес оцінки. Надавання публічного доступу до звітів також допомагає іншим покращувати практику. Фахівці з оцінки можуть використовувати різні формати для поширення висновків серед різних груп, від інфографіки, мультимедіа і до громадських зібрань.

РЕЗУЛЬТАТИ/ВИСНОВКИ ОЦІНКИ НЕОБХІДНО ПОШИРЮВАТИ

Організація процесу МОН

? Чим відрізняється МОН для організаційного розвитку

? Які запитання потрібно ставити

Управляння за результатами

УЗР - це…

Підхід до стратегічного управління. Цикл управління програмою, що містить планування, впровадження, моніторинг і вимірювання досягнутих змін, а не просто вхідні ресурси і проведені заходи. Це підхід, який фокусується на кінцевих результатах (outcomes). Починається з цільової групи і ставить такі питання: “з якою метою?” “які зміни ми хочемо побачити?” і “як ми дізнаємось і покажемо, що ми досягли результатів, які ми намагалися досягти?”. (SIDA, 2014)

Управління за результатами ЛАНЦЮЖОК РЕЗУЛЬТАТІВ

вхідні ресурси діяльність продукт ефект вплив

Часовий і причинно-наслідковий вимір

Вхідні ресурси (input) – фінансові, людські і матеріальні ресурси, які використовуються в роботі Діяльність (activity) – робота, що виконується і мобілізує вхідні ресурси для вироблення продуктів Продукт (output) – продукти, капітальні блага і послуги, які виробляються в результаті операційної діяльності Ефект (outcome) – коротко- або середньострокові наслідки продуктів операційної діяльності Вплив (impact) – довгострокові наслідки суспільного значення, які спричинені навмисно або ненавмисно конкретною діяльністю або політикою

Управління за результатами

ЛАНЦЮЖОК РЕЗУЛЬТАТІВ МОДЕЛЬ АБО ЛАНЦЮЖОК РЕЗУЛЬТАТІВ

безпосередній результат проміжне досягнення досягнуті цілі

Вплив - довгострокові наслідки суспільного значення, які спричинені навмисно або ненавмисно конкретною діяльністю або політикою

Ключові терміни

ПРОДУКТ (OUTPUT) Продукт або послуга, яку виробляє організація ЕФЕКТ (OUTCOME) Що відбувається після того, як ви надали продукт або послугу ІНДИКАТОР ЕФЕКТУ (OUTCOME INDICATOR) Індикатори повинні відповідати двом критеріям: Чи поєднаний ефект із продуктом? Чи можливо його виміряти? ЗБІР ДАНИХ (DATA COLLECTION) Які дані? Що є джерелом даних? Як збираються дані? Хто збиратиме інформацію і коли?

Приклад УЗР з нашої роботи …

Довгострокова ціль: більша ступінь євро-інтеграції

Ціль для аналітичної роботи: Здійснювати вплив на тих, хто формуює політику, з метою тіснішої євроінтеграції у торговельних відносинах

Аналіз проблеми: бракує інформації, складна або неякісна інформація

Output:

Outcome:

Індикатори для outcome:

Збір даних:

Приклад УЗР з нашої роботи …

Довгострокова ціль: покращення організаційного врядування

Ціль для організаційного розвитку: Розробка системного процесу інформування Правління

Аналіз проблеми:

Output:

Outcome:

Індикатори для outcome:

Збір даних:

Приклад матриці

Конкретна ціль 1:

Припущення:

Види продуктів

Ефекти, в тому числі цільові показники

Індикатори досягнення ефекту

Початковий стан/рівень, якщо відомо

Джерело даних

Стратегія збору даних

Що ми засвоїли?

- Починати треба з того, чого ви бажаєте досягти і чому.

- Робити ‘маленькими шматочками’ є ключовим для здійснення моніторингу і оцінки.

- Чіткі кроки і терміни важливі для структурування мислення.

Як зробити так, щоб індикатори працювали на вас…

‘SMART’ критерії для розробки індикаторів:

- Specific – наскільки вони конкретні?

- Measurable – чи можливо виміряти (перевірити) прогрес по кожному з них?

- Achievable – наскільки вони досяжні?

- Relevant – очікувані досягнення стосуються проблеми?

- Time-bound - чи можливо їх виконати своєчасно?

Хороші індикатори….

① Кожний окремий індикатор представляє тільки одну концепцію. Індикатор має бути пов’язаний з конкретним результатом (outcome)

② Індикатор має бути здатний виміряти чи було досягнуто конкретного результату (outcome).

③ Індикатор має піддаватися вимірюванню (щоби було можливо зібрати для нього дані).

Хороші індикатори….

Також…використовуйте чіткі формулювання і формуйте індикатори за високими стандартами - Частота : послідовно, постійно, регулярно, безперервно, періодично

- Спосіб: компетентно, відкрито, успішно, строго, систематично

- Специфіка: важливість, безпосередність, значущість, релевантність,

повнота

- Якість: точні(о) чіткі(о), добре визначені, добре розвинені, ефективні(о), добре зрозуміли, своєчасні

- Охоплення/обсяг: (широкий) діапазон (велика) різноманітність,

Індикатори організаційного розвитку:….

Враховують:

- Чи існує система/практика

- В якій мірі вона функціонує як передбачалося

Індикатори організаційного розвитку:….

Оцініть свій індикатор:

Візьміть 1 (або 2) індикатор(а) з кожної частини вашої матриці і оцініть його за вказаними вище критеріями: (візьміть ваш кращий або гірший індикатор - як вам до вподоби)

• Чи вимірює він щось одне?

• Чи вимірює він очікуваний результат (outcome)?

• Чи можливо його виміряти/зібрати для нього дані?

Основні акценти другого дня

Практична робота над формуванням модифікованих індикаторів

Практичне застосування МОН всередині організації та для стратегічного планування

Основні акценти з першого дня

МОН забезпечує спосіб управління організаційним розвитком

МОН в сфері організаційного розвитку має ті ж самі абревіатури/принципи, що і інша діяльність з моніторингу і оцінки

Перегляд матриці

Перегляньте і переформулюйте 1-2 цілі в кожній з 3-х сфер організаційного розвитку за допомогою excel-матриці.

Оберіть приклади для презентації після перерви.

Перегляд матриці

- Що було найскладнішим в переформулюванні?

- Наскільки ви впевнені в тому, що зможете продовжити переформулуювання?

Практичні аспекти впровадження МОН

Наскільки ви спроможні наразі?

- Переробити матрицю-план

- Здійснювати моніторинг матриці-плану

- Оцінювати результати

- Використовувати отримані результати для прийняття управлінських рішень

Поточні практики базуються на…

- Процедура оцінки програм

- Процедура збору та аналізу даних

SWOT Сильні сторони Слабкі сторони

Можливості Загрози

Потенціал, ресурси, лідерство, інтереси …………..

Практичні аспекти впровадження МОН

‘Н’ в МОН

Що означає навчання (засвоєння уроків) і що для цього потрібно?

- Час для обміркування

- Час для звітування

- Час для застосування

‘Н’ в МОН

Обміркування…

Чи є періодична точка оцінки прогресу?

Чи є місце для керівництва та персоналу розглядати отримані результати?

Чи є місце для Правління розглядати отримані результати в процесі прийняття рішень?

‘Н’ в МОН

Звітування - Як перекласти продукти (outputs) і ефекти

(outcomes) на ‘Результати’

- Як зробити звітування лаконічним і орієнтованим на дію

- Як поєднати звітування з ширшим стратегічним планом і звітністю

‘Н’ в МОН

Застосування в стратегічному плані…

Як це узгоджується зі стратегічним планом?

①Бачення, місія, цінності (1/2) стор.

②Речі, які ми будемо робити, щоб виконати нашу місію (2-4 стор.)

①Речі, які нам потрібні для виконання місії (2-4 стор.) - Врядування та управління

- Бізнес модель

- Фінансові ресурси і т.п.

④Як ми дізнаємось, що ми на правильному шляху (1-2 стор. підсумків загальної стратегії МОН)

- Результативність (оцінка результатів роботи персоналу, аудити і т.п.)

- Якість (наших продуктів)

- Видимість

- Релевантність (для ключових аудиторій)

⑤Як інші дізнаються про результати нашої діяльності

Етапи МОН в рамках TTDI

КРОК 1:

Оцінка організаційного розвитку та рекомендації

КРОК 2: РОЗРОБКА стратегії організаційного розвитку і плану МОН

Встановлення чітких цілей в 3-х сферах організаційного розвитку

Визначення індикаторів і створення матриці МОН

Визначенні інструментів для збору даних

КРОК 3: РЕАЛІЗАЦІЯ

КРОК 4: ЗАСВОЄННЯ УРОКІВ

Використання засвоєних уроків для покращення реалізації

Аналіз і презентація даних

Поширення нових знань

Обмірковуючи процес

Що заважатиме вам заснути вночі менше тепер, після семінару?

Що заважатиме вам заснути вночі більше після семінару?

Як ми можемо допомогти?

Наступні кроки

Переробити матриці

Надати зворотній зв’язок в письмовій формі або через Skype

Фіналізувати МОН для організаційного розвитку

Запровадити на практиці

Корисні ресурси

http://onthinktanks.org/2012/05/07/what-keep-think-tank-directors-up-at-night-reflections-on-funding-staffing-governance-communications-and-me/ http://www.resultsfordevelopment.org/sites/resultsfordevelopment.org/files/resources/Linking%20Think%20Tank%20Performance%20and%20Context.pdf http://www.odi.org/sites/odi.org.uk/files/odi-assets/publications-opinion-files/9672.pdf http://www.sidaresearch.se/media/22336/rbm-handbook-2014.pdf http://www.rootchange.org/about_us/resources/publications/OCA%20MANUAL_Short_RC_7-20-11.pdf http://www.politicsandideas.org/?page_id=2303 The Online training to strengthen Monitoring & Evaluation & Learning on policy influence in Central and Eastern Europe course was produced by Vanesa Weyrauch with collaboration of Kristie Evenson and Dena Lomofsky. It was supported [in part] by the Think Tank Fund of the Open Society Foundations http://onthinktanks.org/2013/04/19/strategic-plans-a-simple-version/

Дякую!

Dr. Kristie D Evenson

kdevenson@yahoo.com

Skype: kristie_evenson

+385 91 910 4054