cover (rbm pwc) manual 2011-2012-frresults-based management within dfatd the development branch as...

Results-Based Management and How it Compares to the Operational Planning Process

Prepared By: Centre for Intercultural Learning (CIL) Department of Foreign Affairs, Trade and Development Canada (DFATD) 115, rue Bisson Street Gatineau, Québec J8Y 5M2

CSA: Tara Holton, DRDC – Toronto Research Centre

The scientific or technical validity of this Contract Report is entirely the responsibility of the Contractor and the contents do not necessarily have the approval or endorsement of the Department of National Defence of Canada.

Contract Report DRDC-RDDC-2014-C162 July 2014

IMPORTANT INFORMATIVE STATEMENTS CSSP-2012-TI-1033 Cyber Intelligence Analysis Sandbox was supported by the Canadian Safety and Security Program (CSSP) which is led by Defence Research and Development Canada’s Centre for Security Science, in partnership with Public Safety Canada. Partners in the project are Royal Canadian Mounted Police, Natural Resources Canada, and École Polytechnique. CSSP is a federally-funded program to strengthen Canada’s ability to anticipate, prevent/mitigate, prepare for, respond to, and recover from natural disasters, serious accidents, crime and terrorism through the convergence of science and technology with policy, operations and intelligence.

© Her Majesty the Queen in Right of Canada, as represented by the Minister of National Defence, 2014

© Sa Majesté la Reine (en droit du Canada), telle que représentée par le ministre de la Défense nationale, 2014

Results-Based Managementand How it Compares to the Operational Planning Process

Foreign Affairs, Trade andDevelopment Canada

Affaires étrangères, Commerce etDéveloppement Canada

Centre d’apprentissage interculturelInstitut canadien du service extérieur

Centre for Intercultural LearningCanadian Foreign Service Institute

Foreign Affairs, Trade and Development Canada (DFATD), International Development/Affaires étrangères, Commerce et Développement Canada (MAECD), Développement International125 rue SussexOttawa, Ontario

Te./Tél. : 613-944-4000Toll-free/Sans frais (Canada) : 1-800-267-8376http://www.international.gc.ca/

Centre for Intercultural Learning, Canadian Foreign Service Institute/ Centre d’apprentissage interculturel, Institut canadien du service extérieur115, rue Bisson Street Gatineau, Québec J8Y 5M2

Tel./Tél. : 819-997-1197 Toll-free/Sans frais (Canada) : 1-800-852-9211 www.intercultures.gc.ca

Permissions

No part of this manual may be reproduced or distributed without the prior written permission of the Centre for Intercultural Learning and/or DRDC.

© Her Majesty the Queen in Right of Canada, as represented by the Minister of Foreign Affairs, 2014

www.intercultures.gc.caToll-free |Sans frais (Canada) 1-800-852-9211



Table of Contents

Results-Based Management . Introduction. Managing for Results and Operational Planning Process (OPP). Results-Based Management: A Cyclical Approach. Stages of OPP Compared to RBM. Notes on the Stages of OPP Compared to RBM. Causal Analysis – DFATD Context. Expected Change and Result Level. Logic Model (LM) – Terms and Definitions. Checklist: How to Formulate Sound Results. Creating a Results Chain. Developing Indicators. Checklist: Indicator Selection. Risk Management. Establishing a Performance Measurement Framework (PMF). Checklist: Data Analysis & Reporting on Change

Further Reference . Glossary. Treasury Board of Canada Secretariat Results-Based Management Lexicon. Some Useful Links


125679

121314152021223037

414346

Managing for Results





Introduction

Government of Canada Context In 2000, the Treasury Board Secretariat (TBS) introduced the Results for Canadians management framework for the federal government. Since then, Results-Based Management (RBM) has become a key component of the Government of Canada’s Results-based Management and Accountability Framework and a requirement for Treasury Board Submissions requesting funds.

Results-Based Management within DFATD The Development Branch as well as other Divisions within the Department of Foreign Affairs, Trade and Development (DFATD) uses RBM as a means to improve decision-making and accountability in the programming that it funds. This approach to project management focuses on achieving outcomes, implementing performance measurement, learning and adapting, and reporting performance.

The international development donor community has sought for years to track and demonstrate progress against ambitious internationally-agreed upon targets. The consensus for some time now has been that efforts to manage development assistance spending should focus on managing results rather than activities. In order for that to happen, progress (or lack thereof) toward the attainment of desired results needs to be tracked, reported on and integrated into lessons learned.

While some aspects of RBM can be quite intuitive, the complexity of the contexts in which it is applied can frustrate efforts to use it to full effect, particularly in multi-stakeholder environments. The tools presented in this manual are meant to support an understanding in the application of RBM.

1




1. A Workshop Operational Planning Process (OPP) Handbook for Interagency Planners.

Managing for Results and Operational Planning Process (OPP)

Terminology Results-Based Management (RBM) is a life-cycle approach to management that integrates strategy, people, resources, processes and measurement to improve decision-making, transparency and accountability. It is an approach that focuses on achieving outcomes, aligning activities with priorities, managing for project performance, continuous learning and adapting, and reporting on performance and change (Treasury Board Secretariat (TBS) RBM Lexicon, last updated April 2012). DND is bound by TBS directive and uses RBM for all of its project funding requirements such as capital acquisitions and contracting.

The Operational Planning Process (OPP) is a collaborative process used by a group of planners to determine the best method of accomplishing assigned tasks. The planning process is designed to optimize logical, analytical steps of decision-making and is particularly useful when faced with inadequate information, insufficient time and limited resources often encountered in operational conditions of uncertainty and ambiguity1.

RBM OPP

Focus Measuring, tracking and managing progress toward desired change.

The what? and the why?

Planning with shorter-term as well as longer-term horizons.

The what? and how?

Level/Context of application

Project/program levels

Corporate levels

Task and/or mission-driven.

Can be used for deliberate planning and rapid response.

Tools or Deliverables

Stakeholder analysis, analysis of impact on stakeholder analysis, baseline study, Logic Model, Performance Measurement Framework, Risk Register, reporting on results

Analysis of strategic direction and defined end-state.

Initiating Directive – defines end-state

Mission analysis – restraints, constraints, factors – mission statement that defines what is to be done, by whom, when, where and why.

Course of Action

Risk mitigation planning

Operations Plan

Operations Order

Information Brief and Fragmentary Orders

2




RBM OPP

Processes Assessment of issues and policies; establishment of logic of expected results; performance measurement planning and implementation; risk planning; reporting

Initiation – direction received from headquarters

Orientation – assessment of direction, analysis of mission

Course of Action Development – wargaming, CMaps

Plan Development – decisive point analysis, develop lines of effort

Issue orders

Performance management planning and implementation, risk planning and mitigation

Timing Heavy emphasis in project inception and monitoring phases of the project life-cycle.

Heavy emphasis on developing plan and initial implementation. Monitoring of execution to adjust plan.

Measures of success Measurable progress toward the attainment of expected results (vis-à-vis targets set), risks are mitigated, lessons learned are captured and there is evidence of their application during implementation

The description in RBM is applicable to OPP

Scope of Data Collection

At every level of expected result and during and after project implementation and closing.

Relies heavily on the input from stakeholders at all levels.

Similar to RBM, right through to the after action/lessons learned process

Risk Management Approach

Managing the risk of not achieving the expected outcomes.

Similar to RBM. Particular attention about risk to soldiers and civilians.

Fit with Project Monitoring & Evaluation

Provides framework and timeline setting out the timing and responsibilities for both.

Similar to RBM.

3




RBM OPP

Reporting Focus Keeping project on track and reporting up on progress or results achieved. Communicating value.

Meeting accountability requirements.

Track progress towards decisive points. Report on issues and actions being taken to resolve problems

Status Report Content

Outputs delivered (% completed)

Outcomes achieved • targets met – evidence?• not met – reasons?

Risk occurrences? Mitigation measures in place?

Status of ongoing project activities

List of deliverables achieved

% of deliverables completed or milestones achieved

Change of scope (any variations from plan, cost, effort, etc.)

Requests/recommendations to get back on track

4




Results-Based Management is a management philosophy and approach that emphasizes results in planning, implementation, monitoring, reporting, learning and making iterative adjustments throughout the project cycle.

(1) ASSESS/ANALYZE

- Context, assets, problems, gender inequalities, etc.- Social, economic, political, religious,

environmental, gender and cultural issues- Governance principles issues at the project,

local, regional and national level, obstacles and/ or opportunities

- Potential environmental effects (positive and negative)- Actors/stakeholders- Organizational and policy context- Baseline situation and desired change

(2) DEFINE EXPECTED RESULTS& RESULTS CHAIN(S)

- Ultimate Outcome- Intermediate Outcomes- Immediate Outcomes- Outputs- Activities- Inputs

(4) ESTABLISH A PERFORMANCE MEASUREMENT FRAMEWORK (PMF)

- Select indicators- Data collection sources, methods, etc.

(3) IDENTIFY RISKS

- Risk analysis and response strategies

(5) IMPLEMENT

(8) REPORT

- Progress, achievements, variance, learning and adjustments

(7) LEARN AND ADJUST

- Identify lessons learned- Implement changes and make

necessary adjustments

(6) MONITOR

- Collect performance information- Measure progress and results- Risks and risk responses

Results-Based Management: A Cyclical Approach

5





STAGE 1: INITIATION

- Receive direction- Warn others- Activate planning team- Gather planning data & tools- Complete initial assessment- Issue Initial Guidance

STAGE 5: PLAN REVIEW

- Monitor progress/validity- Conduct Additional Wargaming- Adjust the Plan

STAGE 2: ORIENTATION

- Review Situation - Develop Mission Statement- Deliver Mission Analysis Brief- Issue Planning Guidance

STAGE 3: Course Of Action (COA) DEVELOPMENT

- Analyze Factors- Develop COAs- Deliver Information Brief- Conduct COA Wargaming and Comparison- Deliver Decision Brief- Prepare Concept of Operations (CONOPS)

STAGE 4: PLAN DEVELOPMENT

- Seek CONOPS approval- Conduct Plan Wargaming- Prepare the Plan- Seek Plan Approval

(1) ASSESS/ANALYZE

- Context, assets, problems, gender inequalities, etc.- Social, economic, political, religious, environmental,

gender and cultural issues- Governance principles issues at the project, local, regional

and national level, obstacles and/or opportunities- Potential environmental effects (positive and negative)- Actors/stakeholders- Organizational and policy context- Baseline situation and desired change

(2) DEFINE EXPECTED RESULTS & RESULTS CHAIN(S)

- Ultimate Outcome - Outputs- Intermediate Outcomes - Activities- Immediate Outcomes - Inputs

(4) ESTABLISH A PERFORMANCE MEASUREMENT FRAMEWORK (PMF)

- Select indicators- Data collection sources, methods, etc.

(3) IDENTIFY RISKS

- Risk analysis and response strategies

(5) IMPLEMENT

(8) REPORT

- Progress, achievements, variance, learning and adjustments

(7) LEARN AND ADJUST

- Identify lessons learned- Implement changes and

make necessary adjustments

(6) MONITOR

- Collect performance information

- Measure progress and results- Risks and risk responses

Stages of OPP1

Compared to RBM

6




1. Source: Department of Foreign Affairs, Trade and Development (DFATD).2. Source: CIDA Operational Guidelines for Program Management in Acutely Fragile States and Conflict-Affected Situations.3. Source: A Workshop Operational Planning Process (OPP) Handbook for Interagency Planners.4. Source: Department of Foreign Affairs, Trade and Development (DFATD).

Timeframe For RBM, the shift from individual projects to broader programs implies a different time-frame dimension, freed from the confines of a single project’s life cycle. By focusing on program level development outcomes, the timeframe now becomes longer-term, outliving the comings and goings of individual project activities1. The process of RBM for DFATD reflects this long-term horizon for achieving results (i.e. years). The process of OPP, conversely, usually consists of shorter timeframes (i.e. weeks or months). For RBM and OPP, each process will have different timeframes.

Strategic and Operational level considerations The Stages of OPP Compared to RBM comparison does not clearly differentiate between operational and strategic level activities. What is considered ‘operational’ for an RBM process can be ‘strategic’ for an OPP objective. Moreover, for the RBM process, strategic level considerations involves broader program-level outcomes.

Implement Several actors are involved in the life-cycle of an RBM process, which increases the number of stakeholders accountable to the implementation.

The inherent instability of the Partner Country government in Acutely Fragile States and Conflict Affected Situations (AFSCAS) may prevent CIDA from being able to enter arrangements with local public sector organizations, thus impeding the Agency’s ability to deliver programming. This constraint may limit CIDA’s ability to select certain programming modalities. In such cases, programming needs to be undertaken via a third party partner, such as a multilateral organization2.

Monitor, Learn and Adjust Once an OPP cycle has produced a plan, the Commander and staff must monitor its progress during execution to determine if it is still relevant and effective and make the changes required3. For RBM, Performance Monitoring is a continuous process of collecting and analyzing data to compare how well a project, program or policy is being implemented against expected results (outcomes). One of the aims is to empower managers and stakeholders with “real time” information about the use of resources, the extent of reach and the achievement of results4. Making adjustments to the RBM process of monitoring, learning and evaluating in Acutely Fragile States and Conflict Affected Situations (AFSCAS) is particularly challenging. For example, monitoring and evaluation may necessitate a reliance on locally engaged professionals a time when local Non-Governmental Organization (NGO) partners are often overburdened with multiple donor requests.

Notes on the Stages of OPP Compared to RBM

7




5. Source: Results-Based Management Lexicon, Treasury Board Secretariat6. Source: Department of Foreign Affairs, Trade and Development (DFATD)

Report Performance reporting supports decision-making, serves to meet accountability requirements and provides a basis for citizen engagement and a performance dialogue with parliamentarians5.

Some challenges in reporting6:

• Frequent dilemma: how to present what is inherently a complex picture through few indicators and how to demonstrate achievements financed by DFATD without creating complex and burdensome reporting systems;

• Reports only describe complete activities, products developed and services delivered Ex. 27 Wells Built.”;

• Monitoring system was established but was not carried through (often too burdensome and complex for easy use).

8




The first step to conducting a proper analysis is to examine the larger context. When using RBM, one must ensure to have enough information to analyze the problem within the larger context of the country, region, sector and community (This analysis can be compared with the Initiation Stage in OPP.)

To arrive at a more complete and holistic understanding of the problem, an analysis of the apparent core problem can consider the immediate, underlying and structural causes. This may also contribute to redefining the core problem in terms of one of the underlying or structural causes. For instance, analyzing the fundamental causes of the lack of access to education for children with disabilities may result in identifying socio-cultural stigma and discrimination as the core problem, rather than the lack of accessible schools. Without a causal analysis, this may not be initially apparent.

Similarly, a proper Gender Based Analysis (GBA) will help determine the different practical needs and strategic interests of women, men, girls and boys. In turn, this information will provide the basis for planning activities, managing risk and measuring change.

Likewise, a strategic environment assessment will help determine potential environmental effects that need to be considered in the project design. This includes both effects of the environment on the project, and potential effects of the project on the environment. In turn, this information will provide the basis for planning activities to enhance positive environmental opportunities, minimize environmental risk and monitor and measure change.

Immediate causes are the most apparent and closely connected to the identified problem. However, addressing these causes may or may not resolve the identified problem.

Underlying causes are less obvious but implicitly connected to the identified problem. Addressing these causes may be challenging but may contribute more to resolving the development issue.

Structural causes are systemic political, economic, social or cultural structures that may be at the root of a wide variety of issues. Gender inequalities are often structural causes of other problems.

Causal Analysis – DFATD Context

9




It is important to continually redefine the problem based on the findings of your analysis and the availability of new information. Understanding the situation of a specific area of in a country/area is not an isolated process but rather a continual analysis, built over time, reflecting changes in the situation in this area as well as new information.

The “problem tree” is a tool that can be used to identify the core problem that the project seeks to address, as well as analyze its causes and effects, and to examine the relationships among them. The steps for using the “problem tree” are as follows:

1. Identify the core problem that the program or project is designed, or should be designed, to address.2. Identify the causes (immediate, underlying and structural) of the problem and its effects.3. Consider whether the analysis of the causes and effects requires a redefinition of the core problem

that the project will seek to address.

10




Here is an example of what a problem tree could look like with a DFATD context:

Effects

Causes

Core Problem

Lack of participation

in local & national politics

High rates of unemployment

High under 5 mortality rate

High birth rate

Devaluing of indigenous way of life

Insufficient funding allocated

to in-service teacher training

Lack of pedagogical

knowledge & skill among teachers

Corrupt school admin/teachers

Curriculum is not relevant to

rural, indigenous children

Lack of safe access to quality, relevant education

Low learning achievement

Insecure routes to school

High rates of school drop out

Obsolete instruction materials

Limited toilet facilities

Girls expected to help mothers

at home

Girls are discouraged from pursuing studies outside the home.

11




Analysis of expected change Expected Results

PROBLEM DEFINITION

Situation Analysis What change in the lives of women, men, girls and boys is the program

or project designed to achieve?

Causal AnalysisWhat are the causes of the problem that the project or program seeks to address?

Ultimate Outcome

STAKEHOLDER ANALYSIS Who are the stakeholders?

Which organizations, groups, women and men?

Are the stakeholders involved inclusive of all groups of beneficiaries?

Function and Role Analysis What roles or functions must the

stakeholders fulfill in order to solve the problem?

Intermediate Outcomes(Better performance of roles or functions by stakeholders)

Capacity AnalysisWhat capacities do the

stakeholders need in order to perform their roles or functions

and achieve the desired change?

Immediate Outcomes(Improved capacities)

Expected Change and Result Level

12




Resu

lts C

hain

Results

Ulti

mat

e O

utco

me

The

high

est-l

evel

cha

nge

that

can

be

reas

onab

ly a

ttrib

uted

to a

n or

gani

zatio

n, p

olic

y, p

rogr

am o

r

initi

ativ

e in

a c

ausa

l man

ner,

and

is th

e co

nseq

uenc

e of

one

or

mor

e in

term

edia

te o

utco

mes

. Th

e ul

timat

e ou

tcom

e us

ually

rep

rese

nts

the

rais

on d

’être

of a

n or

gani

zatio

n, p

olic

y, p

rogr

am

or in

itiat

ive

and

take

s th

e fo

rm o

f a s

usta

inab

le c

hang

e of

sta

te a

mon

g be

nefic

iarie

s.

Why

?

Inte

rmed

iate

O

utco

mes

A ch

ange

that

is e

xpec

ted

to lo

gica

lly o

ccur

onc

e on

e or

mor

e im

med

iate

out

com

es h

ave

been

ach

ieve

d.

In te

rms

of ti

me

fram

e an

d le

vel,

thes

e ar

e m

ediu

m te

rm o

utco

mes

, whi

ch a

re u

sual

ly a

chie

ved

by th

e en

d of

a p

roje

ct/p

rogr

am a

nd a

re u

sual

ly a

t the

cha

nge

of b

ehav

iour

/pra

ctic

e le

vel a

mon

g w

/m1

bene

ficia

ries.

Wha

t?

Imm

edia

te

Out

com

es

A ch

ange

that

is d

irect

ly a

ttrib

utab

le to

the

outp

uts

of a

n or

gani

zatio

n, p

olic

y, p

rogr

am o

r in

itiat

ive.

In

term

s of

tim

e fra

me

and

leve

l, th

ese

are

shor

t-ter

m o

utco

mes

and

are

usu

ally

at t

he le

vel o

f an

in

crea

se in

cap

acity

, kno

wle

dge,

aw

aren

ess

and/

or s

kills

am

ong

w/m

ben

efic

iairi

es.

Out

puts

Dire

ct p

rodu

cts

or s

ervi

ces

stem

min

g fro

m th

e ac

tiviti

es o

f an

orga

niza

tion,

pol

icy,

pro

gram

or

initi

ativ

e.

How

?A

ctiv

ities

Act

ions

take

n or

wor

k pe

rfor

med

thro

ugh

whi

ch in

puts

are

mob

ilize

d to

pro

duce

out

puts

.

Inpu

tsTh

e fin

anci

al, h

uman

, mat

eria

l, an

d in

form

atio

n re

sour

ces

used

to

prod

uce

outp

uts

thro

ugh

activ

ities

and

acc

ompl

ish

outc

omes

.

Resu

lt: A

des

crib

able

or

mea

sura

ble

chan

ge in

sta

te th

at is

der

ived

from

a c

ause

and

effe

ct r

elat

ions

hip.

Res

ults

are

the

sam

e as

Out

com

es a

nd

furt

her

qual

ified

as

imm

edia

te, i

nter

med

iate

or

ultim

ate.

1. w

/m d

enot

es w

omen

/men

. The

con

vent

ion

is to

put

wom

en a

nd g

irls

befo

re m

en a

nd b

oys.

Sour

ce:

CID

A R

BM P

olic

y St

atem

ent,

June

25,

20

08

Logi

c M

odel

(LM

) –

Term

s an

d D

efin

ition

s

13




Checklist: How to Formulate Sound Results

Specific:

• Does the results statement include a directional verb and tell you: Who? What? Where?

Simply Worded:

• Is the statement simply worded and does it contain one idea?

Measurable:

• Can the result be measured? Is it sex disaggregated?

Achievable:

• Is the result realistic and achievable?

Relevant:

• Is the result relevant?

Inclusive:

• Was the statement developed in a participatory and inclusive fashion? Is the result gender sensitive or advance gender equality? Does the result include governance principles?

14




Creating a Results Chain

Results and the dimensions of change The ultimate aim of a results-based approach is social, economic, political and cultural change, and the transformation of power relations. Using a list of dimensions of change is useful for keeping the analysis results-based. The following list of dimensions of change can be used as a check list to review goals, expected changes, outcomes, indicators and activities.

• Positive changes in people’s lives (women and men, youth, girls and boys).

• Changes in policies, practices, behaviours and resources.

• Strengthen society’s capacity and commitment to support and demand change.

• Strengthen the participation of stakeholders.

• Strengthen equality and inclusion, and fight discrimination.

• Link with the work of other organizations.

The dimension of “changes in policies, practices, behaviours and resources” can be more specific:

• Changes in policies, laws and programs;

• Economic policies that enable human development;

• Effective enforcement of laws;

• Allocation of larger budgets and more resources for poor, marginalized and at-risk people, and for basic social services;

• Changes in awareness, attitudes, behaviours, practices, norms and values;

• Improved quality, relevance and responsiveness of institutions and services;

• Opportunities for greater and more institutionalized participation in decision making and claiming of rights; and

• Better data and information systems about women’s, men’s, girls and boys’ situations.

• Improved access to information on how decisions are made.

The Logic Model Sometimes also called a “results chain”, a Logic Model is a depiction of the causal or logical relationships between inputs, activities, outputs and consequences of a given policy, program or investment. The bottom three levels (inputs, activities, outputs) consider the how of an investment, while the top three levels (immediate, intermediate and ultimate outcomes) constitute the what or the changes that are expected to take place: the development results (see Logic Model terms and definitions). The Logic Model can be seen as a pyramid: it gets smaller the closer you move toward the highest level. The number of outcomes should decrease as you move upward toward the ultimate outcome (see the slide on the results chain for a representation of this pyramid).

15




Integrating the dimensions of change into the Logic Model means identifying activities, outputs and outcomes (immediate, intermediate and ultimate) that strengthen the capacity of key stakeholders to realize the proposed changes. Gaps in capacity, whether due to a lack of information, resources, knowledge, skills, authority or motivation, or due to intrinsic risks, are often the underlying causes of development problems. It is by addressing these underlying, structural or systemic issues that it is possible to resolve the most obvious symptoms of poverty.

Participatory processes

Insofar as it is possible, it is important to ensure that programs and projects are developed in a participatory manner with key stakeholders, as well as to ensure that the participatory dimensions are reflected in the results statements and indicators.

When developing a Logic Model, ensure that the right people are at the table. These include relevant partners, intermediaries, executing agencies and participants (men, women, girls and boys). Once the Logic Model is drafted, it is also important to validate it with the key stakeholders and partners to ensure that the anticipated outcomes reflect their needs and objectives and that the investment will work in the way that has been agreed beforehand. This participatory practice is also consistent with results-based management. Projects create structures and processes that should apply the principles of good governance: participation, inclusion, equity, transparency and accountability.

However, participation does not just refer to the process of planning, implementing and evaluating programs and projects. It also means including participatory dimensions in the Logic Model, i.e. expected results that address the participation of key stakeholders, in the decision-making processes that affect their lives.

Defining expected outcomes

1. Identify the ultimate outcome (long term: change in conditions or state of the ultimate beneficiaries) based on the definition of the problem that the program is designed to address. The ultimate outcome is the highest level of change that is desired to solve the core problem. Start by defining the core problem that the investment intends to address, using the situation analysis and causal analysis. Ask yourself what substantial change you want to see. What change in the lives of people will occur as a result of the anticipated change being realized (e.g. improved access to education for particularly marginalized groups of girls and boys)? Be sure to analyze the context (social, economic, political, cultural and environmental) surrounding the problem.

2. Identify the intermediate outcomes (medium term: change in behaviour, practice or performance). Given that this level of outcome is focused on the desired changes in behaviour, start by analyzing the key stakeholders and their performance in fulfilling their various obligations, roles and responsibilities, or in claiming their rights.

16




Ask yourself what changes in behaviour are needed to achieve the intermediate outcome, such as a change in the performance of parents, school administrators or community groups, or the Ministry of Education in terms of the reallocation of resources towards education. Try to ensure that the stakeholders are disaggregated as much as possible (e.g. persons with disabilities, women living in rural areas), and that their various levels of interest and influence to effect change have been taken into account.

3. Identify the immediate outcomes (short term: changes in capacity). This level of outcome focuses on the changes in capacity (access, authority, awareness, understanding or resources) needed to achieve the desired change in the performance of intermediairies and stakeholders. Examples include awareness of human rights and of the negative effects of discrimination, or knowledge of best practices in education.

Example of a Results Chain Here is an example of how an analysis based on the dimensions of change can inform the definition of program or project results.

Results statement (illustrative)

Ultimate outcome Increased access to quality, relevant education for girls and boys in municipalities of Department X

Intermediate outcome(Improved performance by key stakeholders)

Increased implementation of relevant quality and gender-sensitive pedagogical practices by the teachers in municipalities of Department X.

Immediate outcome(Improved capacities of stakeholders)

Strengthened capacity among w/m teachers in municipalities of Department X to improve the quality and relevance of their classroom teaching.

Outputs(Direct goods or services stemming from the activities of an organization, policy, program or initiative)

Teacher Resource Centres established in accessible locations.

Teacher upgrading programs emphasizing new child-centred and gender-sensitive pedagogical approaches, developed and operational.

Activities(Actions undertaken or work carried out that have mobilized inputs to generate outputs)

Build and furnish the Teacher Resource Centres in accessible locations.

Develop teacher upgrading programs emphasizing new child-centred and gender sensitive pedagogical approaches.

17




Illus

tratio

n: M

anag

ing

for

Activ

ities

vs.

Man

agin

g fo

r Re

sults

Elem

ent

Man

agem

ent

by A

ctiv

ities

M

anag

emen

t fo

r Re

sults

Obj

ectiv

eTo

est

ablis

h Te

ache

r Re

sour

ce C

entre

s an

d se

t up

teac

her

upgr

adin

g pr

ogra

ms

Stat

ed a

s an

exp

ecte

d re

sult:

“In

crea

sed

impl

emen

tatio

n of

re

leva

nt, q

ualit

y an

d ge

nder

sen

sitiv

e pe

dago

gica

l pra

ctic

es

by te

ache

rs in

mun

icip

aliti

es o

f Dep

artm

ent X

.”

Indi

cato

rs#

of T

each

er R

esou

rce

Cen

tres,

# o

f tea

cher

up

grad

ing

prog

ram

s, #

of t

each

ers

who

hav

e co

mpl

eted

trai

ning

pro

gram

s

# o

f w/m

teac

hers

who

impl

emen

t rel

evan

t, qu

ality

pe

dago

gica

l pra

ctic

es;

Perc

eptio

n by

girl

s an

d bo

ys o

n qu

ality

and

rel

evan

ce o

f pe

dago

gica

l pra

ctic

es.

Com

plet

ed

Act

iviti

es/O

utpu

ts

(Impl

emen

tatio

n)

Teac

her

Reso

urce

Cen

tres

esta

blis

hed,

in

-ser

vice

teac

her

upgr

adin

g pr

ogra

ms

de

velo

ped

and

oper

atio

nal

Teac

her

Reso

urce

Cen

tres

esta

blis

hed

in a

cces

sibl

e lo

catio

ns; T

each

er u

pgra

ding

pro

gram

s em

phas

izin

g ne

w

child

-cen

tred

and

gend

er s

ensi

tive

peda

gogi

cal a

ppro

ache

s de

velo

ped

and

deliv

ered

.

Perf

orm

ance

M

easu

rem

ent

Usin

g in

dica

tors

, we

wou

ld c

onfir

m th

at th

e ce

ntre

s an

d pr

ogra

ms

wer

e es

tabl

ishe

d as

pla

nned

. U

sing

indi

cato

rs, w

e w

ould

con

firm

whe

ther

teac

hers

hav

e im

plem

ente

d ne

w p

edag

ogic

al p

ract

ices

; asc

erta

in th

eir

qual

ity a

nd r

elev

ance

; and

gat

her

info

rmat

ion

on g

irls’

and

bo

ys’ p

erce

ptio

n of

thei

r qu

ality

and

rel

evan

ce.

18




Elem

ent

Man

agem

ent

by A

ctiv

ities

M

anag

emen

t fo

r Re

sults

Cha

nge/

Resu

lts

Ach

ieve

d by

the

en

d of

Pro

ject

Mos

t tea

cher

s co

ntin

ue w

ith te

ache

r-ce

ntre

d pr

actic

es a

nd a

cur

ricul

um th

at d

oes

not r

elat

e to

ch

ildre

n’s

daily

live

s. W

hy?

No

shar

ed o

wne

rshi

p,

no fo

llow

-thro

ugh

to s

uppo

rt be

havi

oura

l cha

nge.

Impr

oved

acc

ess

to q

ualit

y, r

elev

ant e

duca

tion

for

girls

and

bo

ys in

mun

icip

aliti

es o

f Dep

artm

ent X

Acc

ount

abili

tyC

ould

not

hol

d or

gani

zatio

n ac

coun

tabl

e fo

r an

y la

ck o

f cha

nge

in te

ache

rs’ p

edag

ogic

al p

ract

ice

or in

acc

ess

to q

ualit

y ed

ucat

ion.

The

y de

liver

ed

wha

t the

y sa

id th

ey w

ould

—re

sour

ce c

entre

s an

d up

grad

ing

prog

ram

s.

The

impl

emen

ting

orga

niza

tion

(IO) w

ould

be

resp

onsi

ble

for

the

com

plet

ion

of th

e ou

tput

s (e

.g. t

each

er r

esou

rce

cent

res

esta

blis

hed,

teac

her

upgr

adin

g pr

ogra

ms

deve

lope

d an

d de

liver

ed),

for

usin

g th

e pe

rform

ance

mea

sure

men

t fra

mew

ork

and

for

man

agin

g pr

ojec

t ris

k:

This

invo

lves

:a)

col

lect

ing

the

data

ref

eren

ced

in th

e PM

F b)

rev

isin

g an

d up

datin

g th

e ris

k re

gist

er a

nd r

espo

nses

c) tr

acki

ng p

rogr

ess

tow

ard

outp

uts

and

outc

omes

19




Developing Indicators

A Quick Review of Indicators An indicator is a pointer, measurement, number, fact, opinion or perception that helps to measure the progress towards achieving outcomes and outputs. Both quantitative and qualitative indicators are valuable tools for measuring progress. These two types of indicators are complementary and they can cross-validate and point out problems with each other.

Qualitative indicators are people’s judgments and perceptions about a subject or situation. They are usually obtained from sources such as public hearings, attitude surveys, and participant observation. Properly defined, qualitative indicators can play an important role in identifying constraints and obstacles to success, which would not otherwise be apparent.

Quantitative indicators are measures of quantity such as the percentages of girls relative to boys attending school or the change in infant mortality rates. Quantitative indicators are generally drawn from more formal surveys and data collection.

N.B. Indicators should be neutral: they should not specify direction of change.

Selecting indicators

Perf

orm

ance

In

dica

tors

Ultimate outcome:

What measurements can verify changes in the lives of the beneficiairies (women and men)?

Intermediate outcome:

How can we measure a positive change in behavior, practices and performance of the intermediaries?

Immediate outcome:

How can we know whether the capacity of participants has improved?

Out

put

Indi

cato

rs

Outputs:

How can we measure progress toward the achievement of outputs?

20




Indicators should:

1. Measure the expected results

2. Show trends over time

3. Present appropriately disaggregated information

4. Use available information to the extent possible

5. Be cost effective and be feasible to collect and analyse

6. Measure positive as well as potential negative directions (all indicators must be neutral)

7. Be developed in a participatory and inclusive fashion

8. Number two to three per result: at least one qualitative and one quantitative

Tips for Indicator Selection: 1. A maximum of two or three indicators for each result will help keep frameworks manageable: one

qualitative, one quantitative, and one that makes the most sense for the respective result statement. It is fine if less will do or more are needed. It is important to ensure that there are sufficient indicators to tell the performance story and that there are not too many indicators, making measurement too difficult or too expensive.

2. Development Programs require sex-disaggregated data for all indicators, targets and baseline data (i.e.: farmers, people, households, trainees, etc. do not capture gender gaps between girls and boys or women and men). Gender-sensitive indicators* (qualitative and quantitative) may be required for each gender- equality outcome. * A gender sensitive indicator measures progress in addressing the gaps and inequalities between women and men, girls and boys. It

also measures changes in attitudes, roles, division of labour, responsibilities and decision-making authority.

3. Development programs require that an environmental indicator be included at the intermediate and immediate levels to measure progress identified in the project’s environmental analysis for enhancing environmental sustainability or mitigating potential environmental harm.

Checklist: Indicator Selection

21




Risk Management

Risk refers to the effect of uncertainty on achieving expected results. Risk can mean both threats to and unexpected opportunities for achieving results.

Risk management is a systematic approach to setting the best course of action under uncertainty by identifying, assessing, understanding, making decisions on and communicating risk issues. Ultimately it means responding proactively to change by mitigating the threats—and capitalizing on the opportunities—that uncertainty presents to expected results.

Risk Management Process The picture below outlines key steps in managing risks in a systematic way. It was developed to address Development needs and can be adapted as appropriate.

• Communications strategy• Gender considerations• Governance considerations• Environmental considerations• Stakeholder consultation• Risk owners accountable

UnderstandingContext

1. Identifying Risk • Local context scanning • Possible collaboration • Selecting key risk areas

2. Assessing Risk • Current responses • Impact and likelihood • Risk ranking • Risk tolerance

3. Implementing• Additional risk responses• Communications

with partners• Determining options

4. Monitoring • Decision-making • Adjusting • Risk response

effectiveness

5. Evaluating • Performance reporting • Improving the process • Organizational learning

Feedback

22




1. Risk identification: Inventory of Key Risks The first step in the risk management process is identifying potential risks. Stakeholders should be involved in the process of brainstorming risks.

Two big questions to consider are:a) What risks or events could cause the project/program to not meet its expected results?b) If we could eliminate any risks we wanted to, what opportunities could we take that would make us

even more successful?

Tip: Review the project narrative for bottlenecks/barriers identified during your analysis.

2. Risk Assessment: Impact-Probability Matrix and Risk Level Scale Once you have identified potential risks, the next step is to prioritize the risks for which you want to develop strategies. Aim to develop a minimum of seven risks and a maximum of twelve. A very simple way to do that would be to give the list of risks to your group of stakeholders and ask them to choose the ones they believe to be the most important.

The risk matrix below can help stakeholders to do that ranking. To use it, stakeholders can estimate, based on analysis and intuition, the likelihood (1, 2, 3 or 4 from very low to very high) of that risk occurring, as well as the level of impact that risk would have on the achievement of the expected result(s) (1, 2, 3 or 4 from very low to very high).

Likelihood is the perceived probability of occurrence of an event or circumstance.

Impact is the effect of that event on the achievement of results.

Risk level is impact squared multiplied by likelihood (I2 x L).

23




Risk Matrix

Impa

ct

4

3

2

1 2 3 4

Likelihood

Once you have determined the level of that risk and the corresponding colour, the risk level table below can help you determine the level of response required. The level of risk management should be proportional to the degree of impact and likelihood of the risks identified.

Four-point rating Scale

Risk Level

Very Low Low High Very High

Routine procedures sufficient to deal with consequences

Could threaten results, and thus may require monitoring

Would threaten results, and thus may require review

Would prevent achievement of results, and would require close management

24




3. Risk Response: Decision Tree, Residual Risk and List of Examples Responding to risk is about finding ways to minimize the threats and maximize the opportunities presented by uncertainty.

Basic approaches to risk response include:

• Acceptance: Assume awareness of the risk and accept the consequences and exposure.

• Avoidance: Refuse to accept the risk in order to avoid potentially unfavourable results. This could involve changing program expected results, activities, strategies, partners, target population or geographic location.

• Monitoring: Obtain better, timelier information through research, or continue to watch the situation closely to determine whether other responses are needed.

• Mitigation, including:- Reduction of impact: Decrease impact by limiting the extent of possible damage. - Reduction of likelihood: Decrease the likelihood through risk responses, prevention or anticipation.

This is by far the most common strategy. - Reserves: Use contingency funds and flexible schedules.

• Sharing: Treat risks by sharing exposure or strategy with other organizations.

The level of tolerance for a given risk will play an important role in determining the level and type of response to it. For example, a lower risk tolerance could lead you to avoid the risk altogether, or to go to greater lengths to mitigate the risk.

Risk tolerance (or appetite) is a measure of how much risk an individual or organization is willing to take in the pursuit of expected results.

It is also important to consider what will get you the best outcome at the most cost-effective price. Other key considerations are ethics, public and international expectations, and best practices in the field. Add additional risk response strategies only if the strategies currently in place are judged as insufficient, i.e. the risk level is higher than the tolerance.

25




The decision tree below is a graphic representation of when different response strategies might come into play.

Risk Planning Decision Tree

Risk Event

Accept

MonitorCan

you act?

Acceptable?

Tolerance

NO

NO

YES

YES

Avoid ShareMitigate

Specific actions with owner and date

Residual risk

Once you have developed risk response strategies, you can assess the level of residual risk, using the Risk Matrix and four-point scale.

Residual risk is the remaining level of risk after taking into consideration the risk response measures and controls in place.

26




4. Risk Monitoring and Evaluation: Risk Register A risk register lists the most important risks, the results of their analysis and a summary of risk response strategies. Information on the status of the risk is included over a regular reporting schedule. The risk register should be continuously updated and reviewed throughout the course of a project.

Steps to complete a risk register

Step 1 – Risk Definition: Write down the key risks to the project.

Step 2 – Risk Response: Give a brief summary of the current or additional risk response strategies that you will use to manage the risk or to prevent a risk event. Following these actions, the risk level can be expected to decrease.

Step 3 – Risk Level: For each risk selected, establish the current risk level. Note that this is the residual risk after the risk responses you just put in from Step 2. You can use the Risk Matrix and four-point scale above for determining the risk level. Then transfer the colour from the four-point scale under “Date 1.”

Step 4 – Logic Model: A risk is the effect of uncertainty on a result. Referring back to the Logic Model, the result statement affected by the risk is indicated in the last column (or, at least, its level). If the entire project is affected by the risk, the box may be filled in with “whole project.”

Step 5 – Risk Owner: The person who owns the process of coordinating, responding to and gathering information about the risk. In other words, the person who would deal with the risk incident.

Step 6 – Overall Risk Level: To estimate the project’s overall risk, the following guide may be used:

Very high risk project (red) The three highest risks are in the Red area

High risk project (amber)The three highest risks are in the Amber area or two risks are in the Red area

Low risk project (yellow)The three highest risks are in the Yellow area or two risks are in the Amber area

Very low risk project (green)Two risks are in the Yellow area or all the risks are in the Green area

This is meant to support, not replace, qualitative good judgement.

Step 7 – Monitoring: In the real world, risks will change constantly during the life of the project. As risks arise or disappear, change the corresponding risk definitions and risk level. Also track the use and the effectiveness of the risk response strategies, and change the “Risk Response” column as necessary.

Over a regular monitoring schedule, re-rate the risk and add the colour under “Date 2” and so on. Add columns as needed. Note that this should be done as the project goes along, and not all at once in the project approval document. Monitoring periods will vary according to the project, but a typical period is six months.

27




Exam

ple

of a

Ris

k Re

gist

er

Risk

Def

initi

onRi

sk R

espo

nse

Resi

dual

Ris

k Le

vel

Very

Low

/Low

/Hig

h/Ve

ry H

igh

(Add

col

umns

as

need

ed)

Logi

c M

odel

Re

sult

Stat

emen

tRi

sk O

wne

r

Dat

e 1

Dat

e 2

Dat

e 3

Ope

ratio

nal R

isks

Inad

equa

te fi

eld

pres

ence

for

on-g

oing

coa

chin

g of

fem

ale

teac

her

trai

nees

and

rep

ortin

g on

pro

gres

s

• M

ake

use

of lo

cal c

oach

ing

serv

ices

• Fi

nd a

bal

ance

bet

wee

n kn

owle

dge

and

m

anag

emen

t cap

acity

• Re

quire

lear

ning

pla

ns a

nd

offe

r tr

aini

ng fo

r al

l mun

icip

al

empl

oyee

s in

are

as s

uch

as

gend

er a

nd c

oach

ing

L= 3

.4

I= 3

.0

L= I=

L= I=

• St

reng

then

ed k

now

ledg

e, s

kills

and

at

titud

es a

mon

g w

/m te

ache

rs in

m

unic

ipal

ities

of D

ept.

X to

impr

ove

the

qual

ity a

nd r

elev

ance

of t

heir

clas

sroo

m te

achi

ng.

Fina

ncia

l Ris

ks

Dec

entr

aliz

atio

n of

res

pons

ibili

ty

to m

unic

ipal

ities

with

out c

apac

ity

for

cont

ract

ing,

pro

cure

men

t and

pa

yrol

l man

agem

ent

• Bu

ild c

apac

ity fo

r be

tter

publ

ic

proc

urem

ent,

cont

ract

ing

and

payr

oll m

anag

emen

t•

Con

duct

ann

ual a

nd ra

ndom

fin

anci

al &

con

trac

ting

com

plia

nce

audi

ts

L= 2

.0

I= 3

.0

L= I=

L= I=

• In

crea

se im

plem

enta

tion

of r

elev

ant

qual

ity a

nd g

ende

r-se

nsiti

ve

peda

gogi

cal p

ract

ices

by

w/m

te

ache

rs in

mun

icip

aliti

es o

f Dep

t. X

to im

prov

e th

e qu

ality

and

rel

evan

ce

of th

eir

clas

sroo

m tr

aini

ng.

Dev

elop

men

t Ri

sks

Gen

der

bias

es th

at li

mit

wom

en’s

par

ticip

atio

n•

Ass

ess

mun

icip

aliti

es’ s

trat

egie

s an

d es

tabl

ish

best

pra

ctic

es•

Incl

ude

gend

er-s

ensi

tivity

trai

ning

in

teac

her

trai

ning

cur

ricul

a

L= 2

.7

I= 2

.5

L= I=

L= I=

• St

reng

then

ed k

now

ledg

e, s

kills

and

at

titud

es a

mon

g w

/m te

ache

rs in

m

unic

ipal

ities

of D

ept.

X to

impr

ove

the

qual

ity a

nd r

elev

ance

of t

heir

clas

sroo

m te

achi

ng.

• In

crea

se im

plem

enta

tion

of r

elev

ant

qual

ity a

nd g

ende

r-se

nsiti

ve

peda

gogi

cal p

ract

ices

by

w/m

te

ache

rs in

mun

icip

aliti

es o

f Dep

t. X

to im

prov

e th

e qu

ality

and

rel

evan

ce

of th

eir

clas

sroo

m tr

aini

ng.

28




Risk

Def

initi

onRi

sk R

espo

nse

Resi

dual

Ris

k Le

vel

Very

Low

/Low

/Hig

h/Ve

ry H

igh

(Add

col

umns

as

need

ed)

Logi

c M

odel

Re

sult

Stat

emen

tRi

sk O

wne

r

Dat

e 1

Dat

e 2

Dat

e 3

Lack

of s

tand

ards

and

co

nsis

tenc

y in

teac

her

hirin

g pr

actic

es

• Bu

ild o

n in

stitu

tiona

l con

tinui

ty

and

best

pra

ctic

es•

Impl

emen

t mea

sure

s to

ada

pt

outs

ide

good

pra

ctic

es to

the

loca

l con

text

L= 2

.5

I= 2

.5

L=

I=

L=

I=

• In

crea

se im

plem

enta

tion

of r

elev

ant

qual

ity a

nd g

ende

r-se

nsiti

ve

peda

gogi

cal p

ract

ices

by

w/m

te

ache

rs in

mun

icip

aliti

es o

f Dep

t. X

to im

prov

e th

e qu

ality

and

rel

evan

ce

of th

eir

clas

sroo

m tr

aini

ng.

Occ

asio

nal f

lood

ing

and

mud

slid

es in

mou

ntai

nous

par

ts

of s

tude

nt c

atch

men

ts a

reas

• D

esig

n an

d in

stal

l rap

id

resp

onse

mec

hani

sms

base

d on

prin

cipl

es o

f effe

ctiv

enes

s•

Build

mun

icip

al c

apac

ity to

tr

ain

and

prov

ide

disa

ster

pr

epar

edne

ss•

Build

cap

acity

for

bette

r en

viro

nmen

tal m

anag

emen

t •

Ensu

re s

choo

ls a

re n

ot lo

cate

d on

floo

d pl

ains

.

L= 1

I= 3

.5

L=

I=

L=

I=

• In

crea

se im

plem

enta

tion

of r

elev

ant

qual

ity a

nd g

ende

r-se

nsiti

ve

peda

gogi

cal p

ract

ices

by

w/m

te

ache

rs in

mun

icip

aliti

es o

f Dep

t. X

to im

prov

e th

e qu

ality

and

rel

evan

ce

of th

eir

clas

sroo

m tr

aini

ng.

Repu

tatio

n Ri

sks

Risk

of m

issi

ng p

re-h

arve

st

win

dow

to c

omm

unic

ate

pr

ojec

t obj

ectiv

es

• D

evel

op c

omm

unic

atio

ns

stra

tegy

for

com

mun

icat

ing

proj

ect o

bjec

tives

L= 1

I= 3

.5

L=

I=

L=

I=

• In

crea

se im

plem

enta

tion

of r

elev

ant

qual

ity a

nd g

ende

r-se

nsiti

ve

peda

gogi

cal p

ract

ices

by

w/m

te

ache

rs in

mun

icip

aliti

es o

f Dep

t. X

to im

prov

e th

e qu

ality

and

rel

evan

ce

of th

eir

clas

sroo

m tr

aini

ng.

29




Establishing a Performance Measurement Framework (PMF)

Measuring performance is a vital component of the RBM approach. It is important to establish a structured plan for the collection and analysis of performance information. Across the government of Canada, the performance measurement framework (PMF) is the RBM tool used for this purpose. Use of the PMF is not limited to the government of Canada; other organizations and donors use similar tools to plan the collection and analysis of performance information for their programming as well.

Why Performance Measurement?Performance measurement is undertaken on a continuous basis during the implementation of investments so as to empower managers and stakeholder with ongoing information (use of resources, extent of reach, and progress towards the achievement of outputs and outcomes). This helps identify strengths, weaknesses and problems as they occur and enables project managers to take timely corrective action during the investment’s life cycle. This in turn increases the chance of achieving the expected outcomes.

The PMF: Terms and Definitions

What is a PMF?A performance measurement framework is a plan to systematically collect relevant data over the lifetime of an investment to assess and demonstrate progress made in achieving expected results. It documents the major elements of the monitoring system and ensures that performance information is collected on a regular basis. It also contains information on baseline, targets, and the responsibility for data collection. As with the LM, the PMF should be developed and/or assessed in a participatory fashion with the inclusion of local partners, participants, stakeholders.

The PMF is divided into eight columns: expected results, indicators, baseline data, targets, data sources, data collection methods, frequency and responsibility (see example on page 33).

What are Expected Results?The expected results column is divided into four rows, one for each of outputs, immediate outcomes, intermediate outcomes and ultimate outcome that come from the Logic Model.

What are Indicators?Indicators are selected and developed according to the results level (see the Developing Indicators tool in the previous pages).

What is Baseline Data?Baseline data is the set of conditions existing at the outset of a program/investment; quantitative and qualitative data collected to establish a profile. Baseline data is collected at one point in time and is used as a point of reference against which results will be measured or assessed. A baseline is needed for each

30




performance indicator that will be used to measure results during the investment. It is important to ensure that baseline data is disaggregated by relevant groups (e.g. age, sex, ethnicity, language, geographic location, socio-economic status, working children etc.) and collected for the most marginalized girls and boys.

What are Targets?A target specifies a particular value for a performance indicator to be accomplished by a specific date in the future; it is what the investment would like to achieve within a certain period of time, in relation to one of its expected results. Targets provide tangible and meaningful points of discussion with all affected parties.

Targets however, belong only in the PMF and should not appear in results statements themselves, for a number of reasons. First, when targets are included in a result statement they limit the ability to report against the achievement of that result by restricting success to an overly narrow window; i.e., the target itself. Reporting in this context becomes an exercise of justifying why the target was not met or was exceeded (both could be seen as poor planning) instead of comparing expected outcomes to actual outcomes and discussing variance. In addition, results need to be measurable statements that capture, with simplicity and specificity, an expected change. The inclusion of targets makes this impossible; a statement that includes its own measurement cannot then be assessed or measured.

Hint: Developing Strong Targets

• Targets must be realistic and reviewed regularly.• Participants and stakeholders should be involved in establishing targets. • Timelines for targets can vary from short to long-term (i.e. in a month, midway, project-end).• A strong target consists of a clear statement of desired performance against an expected

outcome, and it is developed using an established baseline.

Example:

Indicator: School attendance rate among primary school-age girlsBaseline: At the moment, 70% of primary school-age girls in district X attend school. Target: The target for the end of the initiative in 2013 is to have 80% of primary school-age girls

attend school.

What is a Data Source?Data sources are the women and men, girls and boys, organizations or documents from whom/which data about your indicators will be obtained. Performance data on some indicators can be found in existent sources, such as land registry, appointment logs, tracking sheets, or the reports and studies carried out annually by actors in the international development community. Other data can be obtained through indicators tracked by governments and partner organizations and reported in annual reports to donors.

Data sources are who or what provide data, not the method of collecting data. 31




Examples of Data Sources for Indicators

Data Sources may include the following, however it is not an exhaustive list:

1) Women and men, girls and boys • Government representatives • Individual participants • Groups of participants • Representatives of organizational stakeholders, partners, participants • External stakeholders • Donors • Media representatives

2) Documents • Media articles • Project documents • Donor documents (evaluations, monitoring missions) • Records • Testing records • Organisational documents • Statistical indicators • Weather data • Demand data • Habitat data • Census data

While developing the Performance Monitoring Framework (PMF), data sources must be specified to provide data to measure the result achievement with the given indicator. The source of performance data is very important to the credibility of reported results; try to incorporate data from a variety of sources to validate findings.

What is a Data Collection Method?Data collection methods represent HOW data about indicators is collected. Choosing a data collection method depends on the type of indicator and the purpose of the information being gathered. It also depends on how often this information will be gathered.

Hint: Selecting appropriate Data Collection Methods

• Determine which data collection methods best suit the indicators in question• Use multiple lines of evidence• Consider the practicality and costs of each method• Weigh the pros and cons of each data collection method (accuracy, difficulty, reliability, time)

Data-collection methods allow us to systematically collect information about the results. Data collection methods do not have to be complicated; they can be very simple. Different data collection techniques can complement each other.32




Some Methods for Collecting Information

Survey: collecting standardized information through structured questionnaires to generate quantitative data. Surveys may be mailed (surface and electronic), completed on site or through interviews, either face-to-face or telephone. Sample surveys use probability or purposive sampling.

Case Study: in-depth examination of a particular case (program, group of participants, single individual, site/location). Case studies use multiple sources of information and methods to provide as complete a picture as possible.

Interviews: information collected by talking with and listening to people, either face-to-face or over the telephone. Interviews range on a continuum from those which are tightly structured (as in a survey) to free flowing, conversational interviews.

Observation: collecting information through “seeing” and “listening.” Observations may be structured or unstructured.

Group assessment: use of group processes to collect evaluation information such as nominal group technique, focus group, Delphi, brainstorming and community forums.

Expert or peer review: examination by a review committee, panel of experts or peers.

Portfolio reviews: collection of materials, including samples of work that encompass the breadth and scope of the program activity being evaluated.

Testimonials: individual statements by people indicating personal responses and reactions.

Tests: use of established standards to assess knowledge, skill, performance such as in pen-and-pencil tests or skills tests.

Photographs, slides, videos: use of photography to capture visual images.

Diaries, journals: recording of events over time revealing the personal perspective of the writer/recorder.

Logs: recording of chronological entries which are usually brief and factual.

Document analysis: use of content analysis and other techniques to analyze and summarize printed material and existing information.

Other methods

Action cards: use of index cards on which participants record what they did–the “action”–and when they reach their goal; primarily used in self-assessment.

Simulations: use of models or mock-ups to solicit perceptions and reactions.

33




Problem stories: narrative accounts of past, present or future situations as a means of identifying perceptions using fictional characters to externalize the problem situation.

Creative expression: use of art forms to represent people’s ideas and feeling through stories, drama, dance, music, art.

Unobtrusive measures: the gathering of information without the knowledge of the people in the setting such as the wear and tear on a “planted” mat in front of a display.

Conversation with

concerned individuals

Community interviews

Field visits

Review of official records (management information system and

administrative data)

Key informant interviews

Participant observation

Focus group interviews

Direct observation

Questionnaires

One-time survey

Panel surveys

Census

Field experiments

Informal and less-structured methods Formal and more-structured methods

Taken from: Ten Steps to a Results-Based Monitoring and Evaluation System: A Handbook for Development Practitioners, Jody Zall

Kusek, Ray C. Rist, World Bank Publications, 2004

What is Frequency?Frequency looks at the timing of data collection; how often will information about each indicator be collected and/or validated? Will information about a performance indicator be collected regularly (quarterly or annually) as part of ongoing performance management and reporting, or periodically, for baseline, midterm or final evaluations? It is important to note that data on some indicators will need to be collected early in the investment to establish the baseline.

What is Responsibility?Responsibility looks at who is responsible for collecting and/or validating the data.

34




Some examples of actors responsible for data collection/validation:

• Participants• Local professionals• Partner organizations• Consultants• External monitoring and evaluation specialists

Steps to complete a PMF The development of the PMF starts at the planning and design phase. Some elements of the PMF may be established after or during project implementation (ex. collection of baseline data and setting of some targets).

1. Review the project narrative to ensure coherence between statements made in the narrative and the PMF.

2. Ensure that the information for your PMF is developed in a participatory fashion, including key local stakeholders, partners and participants. Discuss possible indicators.

3. Cut and paste the ultimate outcome, intermediate outcomes, immediate outcomes and outputs from your LM into the appropriate boxes in the PMF template.

4. Establish performance indicators for your expected outcomes and outputs and enter the performance indicators for the ultimate, intermediate and immediate outcomes and the outputs. Validate and check the quality of your performance indicators, using the indicator selection checklist (page 18).

5. Establish “Data Source” and “Data Collection Method” for chosen performance indicators. Multiple

lines of evidence are included wherever possible to increase the reliability of performance data.

6. Fill in the “Frequency” and “Responsibility” columns for each performance indicator. Decide whether information on each performance indicator needs to be collected on an ongoing basis as part of performance monitoring or periodically through evaluations.

7. Fill in baseline data where possible. If reliable historical data on your performance indicators exists (in the form of government data, information from a previous phase of the project or information gathered during a needs analysis), then it should be used; otherwise a set of baseline data should be collected at the first opportunity.

8. Establish realistic targets for each indicator in relation to the baseline data you have identified. This sets the expectations for performance over a fixed period of time. Key targets, based on gaps and priorities identified during initial analysis, are necessary to establish budgets and allocate resources. They therefore play an important role in project planning and design. Others may be established later, once a baseline study had been conducted.

35




Exam

ple

of a

Per

form

ance

Mea

sure

men

t Fra

mew

ork

(PM

F) –

Dev

elop

men

t Con

text

Expe

cted

Res

ults

1In

dica

tors

2Ba

selin

e D

ata

Targ

ets3

Dat

a So

urce

sD

ata

Col

lect

ion

Met

hods

Freq

uenc

yRe

spon

sibi

lity

Ulti

mat

e O

utco

me

(Lon

g te

rm)

Impr

oved

acc

ess

to q

ualit

y, r

elev

ant

educ

atio

n fo

r gi

rls,

boys

, ado

lesc

ents

an

d yo

uth

in

mun

icip

aliti

es o

f D

epar

tmen

t X

Inte

rmed

iate

O

utco

mes

(Med

ium

te

rm)

Incr

ease

d im

plem

enta

tion

of

rele

vant

, qua

lity

and

gend

er s

ensi

tive

peda

gogi

cal

prac

tices

by

teac

hers

in

mun

icip

aliti

es o

f D

epar

tmen

t X

• N

umbe

r of

w/m

te

ache

rs (b

y ge

nder

an

d m

unic

ipal

ity)

who

impl

emen

t re

leva

nt, q

ualit

y pe

dago

gica

l pra

ctic

es

• Pe

rcep

tion

of g

irls

and

boys

(by

sex,

leve

l of

scho

olin

g, a

ge a

nd

mun

icip

ality

) of

the

qual

ity

and

rele

vanc

e of

teac

hers

’ pe

dago

gica

l pra

ctic

es

150

w50

m(2

008)

750

w25

0 m

(201

2)

• w

/m

Teac

hers

• Sc

hool

s

• C

ours

e sy

llabu

s

• Sc

hool

’s

teac

her

eval

uatio

n do

cum

ents

• C

lass

room

ob

serv

atio

n

• Fi

eld

diar

ies

• Te

ache

r su

rvey

s

• D

ocum

ent

anal

ysis

• Q

uarte

rly

• M

id-

and

end-

of-p

roje

ct

• In

tern

al m

onito

rs

(edu

catio

n sp

ecia

lists

) of t

he

impl

emen

ting

NG

O

• Sc

hool

s

Imm

edia

te

Out

com

es(S

hort

ter

m)

Stre

ngth

ened

kn

owle

dge,

ski

lls

and

attit

udes

am

ong

w/m

teac

hers

in

mun

icip

aliti

es o

f D

epar

tmen

t X to

im

prov

e th

e qu

ality

an

d re

leva

nce

of th

eir

clas

sroo

m te

achi

ng

36




Checklist: Data Analysis & Reporting on Change

1. Set results in context• What was the status before?• What are the changes in the current situation?• What are the implications for results achievement?

2. Measure and report on progress, adjustments and achievements (actual results) versus expected results stated in the project/program results framework

3. Use performance information you have collected related to indicators to support reporting on achievements

4. Explain variance between expected and actual results (e.g. discuss challenges and issues)

5. Suggest lessons learned and improvements

37

Further Reference


39




Baseline The baseline is the set of conditions existing at the outset of a program or investment. Baseline data is collected at one point in time and used as a point of reference against which to measure change over time (results).

Disaggregated Data

Data from different groups. “Disaggregate” means to separate a whole into its parts. The information is broken down by groups such as sex, age, ethnic origin, income level, rural/urban, etc.

Horizontal Logic The relationship between an expected result and indicators. Is it clear which indicators will measure which results? Will the chosen indicators allow measurement of that expected result?

Indicator A quantitative or qualitative pointer, measurement, number, fact, opinion or perception that allows the verification of changes produced by a development intervention relative to what was planned.

Likelihood (of a risk)

The perceived probability of occurrence of an event or circumstance.

Logic Model A table or chart that sets out how an intervention (such as a project, a program, or a policy) is understood or intended to produce particular results.

Performance Measurement Framework

A Performance Measurement Framework (PMF) is a plan to systematically collect relevant data over the lifetime of an investment to assess and demonstrate progress made in achieving expected results.

Residual Risk Those risks which are not avoided, eliminated or transferred in the risk response strategy, i.e. residual risk is the risk remaining after risk response

Results Chain The causal sequence for a development intervention that stipulates the necessary sequence to achieve desired objectives—beginning with inputs, moving through activities and outputs, and culminating in immediate, intermediate and ultimate outcomes.

Risk The effect of uncertainty on achieving expected results.

Risk Level Impact multiplied by likelihood.

Risk Management A systematic approach to setting the best course of action under uncertainty.

Glossary: RBM Terms for the DFATD Context

41




Risk Owner The person who owns the process of coordinating, responding to and gathering information about the risk. In other words, the person who would deal with the risk incident.

Risk Tolerance How much risk an individual or organization is willing to take in the pursuit of expected results.

Stakeholder An individual, group, institution, or government with an interest or concern, either economic, societal, or environmental, in a particular measure, proposal, project, or event. Significantly, stakeholders are also entities who can have an influence on or will be influenced by the project or its outcomes.

42




Source: Treasury Board of Canada Secretariat http://www.tbs-sct.gc.ca/cee/pubs/lex-eng.asp

Accountability The obligation to demonstrate that responsibility is being taken both for the means used and the results achieved in light of agreed expectations.

Activity An operation or work process an organization performs, which uses inputs to produce outputs. E.g., Training, research, construction, negotiation and investigation.

Attribution the extent to which a reasonable causal connection can be made between a specific outcome and the activities and outputs of a government policy, program or initiative.

Canada’s Performance

A government-wide performance report tabled in the fall of each year by the President of Treasury Board. Canada’s Performance provides parliamentarians and Canadians with a whole-of-government perspective from which to view the plans, results and resources reported by individual federal departments and agencies in their spring planning and fall performance reports. Example: Canada’s Performance 2003

Departmental Performance Reports (DPR)

Departmental Performance Reports (DPRs), tabled in the fall of each year by the President of Treasury Board on behalf of all federal departments and agencies named in Schedules I, I.1 and II of the Financial Administration Act, are part of the Estimates and Supply process. Their fundamental purpose is to present a report on results and accomplishments as established in the corresponding Reports on Plans and Priorities (RPP) in order to provide Parliamentarians with knowledge and understanding of the government’s stewardship of public resources.

Effectiveness The extent to which an organization, policy, program or initiative is meeting its expected results. Related term: Cost Effectiveness - The extent to which an organization, program, policy or initiative is using the most appropriate and efficient means in achieving its expected results relative to alternative design and delivery approaches.

Efficiency The relationship between the outputs and results of an organization, policy, program or initiative and the resources used to produce them.

Evaluation A systematic collection and analysis of evidence on the outcomes of programs to make judgments about their relevance, performance and alternative ways to deliver them or to achieve the same results.

Expected Result An outcome that a program, policy or initiative is designed to produce.

Governance The processes and structures through which decision-making authority is exercised. E.g., An effective governance structure ensures individuals or groups of individuals are responsible for setting policy directions, priorities, taking investment decisions, re-allocating resources, and designing programs.

Government of Canada Outcome

The long-term and enduring benefits to Canadians that more than one federal department or agency is working to achieve. Example: An Innovative and Knowledge-based Economy

Treasury Board of Canada SecretariatResults-Based Management Lexicon

43




Horizontal Initiative An initiative in which partners from two or more organizations have established a formal funding agreement (e.g. Memorandum to Cabinet, Treasury Board submission, federal-provincial agreement) to work toward the achievement of shared outcomes. E.g., Canada’s Drug Strategy, Measures to Combat Organized Crime Initiative.

Horizontal Results- Based Management and Accountability Framework (HRMAF)

A framework that ensures horizontal initiatives and policy-program domains have adequate governance and accountability structures, are logically designed and have in place the processes and structures necessary to measure and report on performance. E.g., Measures to Combat Organized Crime Initiative RMAF.

Initiative A priority outcome articulated by the government of Canada and the means to achieve it. It may involve one or more departments, and one or more programs.

Performance criteria A variable used to characterize or determine success of an organization, program, policy or initiative in producing outputs or achieving expected outcomes. E.g., client satisfaction.

Examples of relationships between outcome/outputs, performance criteria and performance measures:

Output/Outcome

Performance criteria

Performance measures/indicators

Training sessions for clients

Quantity # of training sessions held

Reduced production of GHG in a certain industry

Stakeholder support

Number of stakeholders that have indicated they are interested in participating in GHG reduction programs

GHG reduction

Input The financial and non-financial resources used by organizations to implement policies, programs and initiatives to produce outputs and accomplish outcomes. E.g., Funds, personnel, equipment and supplies.

Logic Model A depiction of the causal or logical relationships between activities inputs, outputs and the outcomes of a given policy, program or initiative. E.g., Results Chain

Figure 1: Logic Model

44




Management Resources and Results Structure (MRRS)

A comprehensive framework that consists of an organization’s inventory of activities, resources, results, performance measurement and governance information. Activities and results are depicted in their logical relationship to each other and to the Strategic Outcome(s) to which they contribute. The MRRS is developed from a Program Activity Architecture (PAA).

Outcome An external consequence attributed, in part, to an organization, policy, program or initiative. Outcomes are not within the control of a single organization, policy, program or initiative; instead they are within the area of the organization’s influence. Outcomes are usually further qualified as immediate, intermediate, or ultimate (final), expected, direct, etc.

Three types of outcomes related to the logic model are defined as :

Immediate Outcome - (Résultat immédiat)an outcome that is directly attributable to a policy, program or initiative’s outputs. In terms of time frame and level, these are short-term outcomes and are often at the level of an increase in awareness of a target population.

Intermediate Outcome - (Résultat intermédiaire)an outcome that is expected to logically occur once one or more immediate outcomes have been achieved. In terms of time frame and level, these are medium-term outcomes and are often at the change of behaviour level among a target population.

Final Outcome - (Résultat final)the highest-level outcome that can be reasonably attributed to a policy, program or initiative in causal manner, and is the consequence of one or more intermediate outcomes having been achieved. These outcomes usually represent the raison d’être of a policy, program or initiative. They are long-term outcomes that represent a change of state of a target population. Ultimate outcomes of individual programs, policies or initiatives contribute to the higher-level departmental Strategic Outcomes.

Output Direct products or services stemming from the activities of an organization, policy, program or initiative, and usually within the control of the organization itself. E.g., pamphlet, research study, water treatment plant and training session

Performance What a government did with its resources to achieve its results, how well those results compare to what the government intended to achieve and how well lessons learned have been identified.

Performance Indicator

see Performance measure

Performance measure

A qualitative or quantitative means of measuring an output or outcome, with the intention of gauging the performance of an organization, program, policy or initiative respecting expected results. Quantitative performance measures are composed of a number and a unit. The number provides the magnitude (how much) and the unit gives the number its meaning (what). E.g., number of written complaints received.

Performance Measurement

The process and systems of selection, development and on-going use of performance measures to guide decision-making.

45




Performance Monitoring

The ongoing, systematic process of collecting, analyzing and using performance information to assess and report on an organization’s progress in meeting expected results and, if necessary, make adjustments to ensure these results are achieved.

Performance Reporting

The process of communicating evidence-based performance information. Performance reporting supports decision-making, accountability and transparency.

Policy Government legislation, regulation, official guidelines or operating principles that influence behaviour towards a stated outcome. Example: Canada Health Act.

Plans The articulation of strategic choices, which provides information on how an organization intends to achieve its priorities and associated results. Generally a plan will explain the logic behind the strategies chosen and tend to focus on actions that lead up to the expected result.

Priorities (for RPP) Plans or projects that an organization has chosen to focus and report on during the planning period. They represent the things that are most important or what must be done first to support the achievement of the desired Strategic Outcome(s).

Program A group of related activities that are designed and managed to meet a specific public need and often treated as a budgetary unit.

Program Alignment Architecture (PAA)

An inventory of all the programs undertaken by a department or agency. The programs are depicted in their logical relationship to each other and to the Strategic Outcome(s) to which they contribute. The PAA is the initial document for the establishment of a Management Resource and Results Structure (MRRS).

Program Alignment Architecture, Horizontal

An inventory of all programs and initiatives in a horizontal policy-program domain and their relationship to outcomes.

Reach The target that a given program or organization is intended to influence, including individuals and organizations, clients, partners, and other stakeholders (see Target Group).

Reports on Plans and Priorities (RPP)

As part of the Main Estimates, the RPPs provide information on departmental plans and expected performance over a three-year period. These reports are tabled in Parliament each spring, after resource allocation deliberations. They include information on the department or agency’s mission or mandate, strategic outcomes, strategies, plans and performance targets.

Result Results are the same as outcomes. See outcome definition.

Result Chain See Logic model

Results for Canadians

Describes the management framework for the federal government of Canada. Published in early 2000, this key document outlines the four management commitments for the federal government: citizen focus, public service values, results and responsible spending.

46




Results-based Management

A comprehensive, lifecycle approach to management that integrates strategy, people, resources, processes and measurements to improve decision-making and drive change. The approach focuses on getting the right design early in a process, foussing on outcomes, implementing performance measurement, learning and changing, and reporting performance.

Results-based Management and Accountability Framework (RMAF)

A document which outlines the rationale, theory, resources and governance and accountability structures of a program policy or initiative and sets out a plan to measure, monitor and report on results throughout the lifecycle of the policy, program or initiative. RMAFs are intended to assist departments in achieving the expected results of their policy, program or initiative.

Strategic Outcome A long-term and enduring benefit to Canadians that stems from a department or agency’s mandate, vision and efforts. It represents what a department or agency wants to do for Canadians and should be a clear measurable outcome that is within the department or agency’s sphere of influence.

Target A measurable performance or success level that an organization, program or initiative plans to achieve within a specified time period. Targets can be either quantitative or qualitative and are appropriate for both outputs and outcomes. E.g., 70% of Canadian households will own their own home in 2006.

Target Group The set of individuals that an activity is intended to influence.

47




Some Useful Links

RBM and Outcome Management in the GoC

Canadian Government Executive: www.canadiangovernmentexecutive.ca/management/ performance-management.html

Marc Schacter Consulting publications site: www.schacterconsulting.com/publications.html

Office of the Auditor General of Canada, Implementing Results-Based Management: Lessons from the Literature: www.oag-bvg.gc.ca/internet/English/meth_gde_e_10225.html

Performance and Planning Exchange: http://www.ppx.ca/

Treasury Board Secretariat

• Policy on Management, Resources and Results Structures www.tbs-sct.gc.ca/pol/doc-eng.aspx?id=18218&section=text

• Centre for Excellence for Evaluation (CEE) www.tbs-sct.gc.ca/cee/index-eng.asp

RBM at DFATD

Results-Based Management: www.acdi-cida.gc.ca/acdi-cida/acdi-cida.nsf/eng/NAT-92213444-N2H

• Tools at CIDA: A How-to Guide

• Internal Audit of Results-Based Management

RBM and International Development

Managing for Development Results: www.mfdr.org/

OECD/DAC, Glossary of Key Terms in Evaluation and Results-Based Management: www.oecd.org/development/peer-reviews/2754804.pdf

OECD, Managing for Development Results: www.oecd.org/dac/effectiveness/mfdr.htm

UN Development Group: Results-Based Management Handbook: www.un.cv/files/UNDG%20RBM%20Handbook.pdf

World Bank: www.worldbank.org/results/

Other Results-Based Management Websites: http://results-based-management.blogspot.ca/2010/02/cidas-practical-guide-to-planning-large.html

La gestion axée sur les résultats et comment elle se compare au Processus de planification opérationnelle

Préparé par : Centre d’apprentissage interculturel Affaires étrangères, Commerce et Développement Canada (MAECD) 115, rue Bisson Street Gatineau, Québec J8Y 5M2

Autorité technique : Tara Holton, RDDC – Centre de recherches de Toronto

Avis de non-responsabilité : La validité scientifique ou technique du présent rapport de contrat relève entièrement de l’entrepreneur, et le ministère de la Défense nationale du Canada ne donne pas nécessairement son approbation ou son assentiment à son contenu.

Rapport de contratDRDC-RDDC-2014-C162Juillet 2014

ÉNONCÉS INFORMATIFS IMPORTANTS

PCSS-2012-IC-1033 Le bac à sable d’analyse du renseignement cybernétique a été appuyé par le Programme canadien pour la sûreté et la sécurité (PCSS), qui est dirigé par le Centre des sciences pour la sécurité de Recherche et développement pour la défense Canada, en partenariat avec Sécurité publique Canada. Les partenaires du projet sont la Gendarmerie royale du Canada, Ressources naturelles Canada et l’École Polytechnique.

Le PCSS est un programme financé par le gouvernement fédéral visant à renforcer la capacité du Canada à réagir (anticipation, prévention/atténuation, préparation, intervention et rétablissement) à des accidents graves, à des catastrophes naturelles ou à des actes terroristes et criminels par la convergence de la science et de la technologie avec la politique, les opérations et le renseignement.

© Her Majesty the Queen in Right of Canada, as represented by the Minister of National Defence, 2014

© Sa Majesté la Reine (en droit du Canada), telle que représentée par le ministre de la Défense nationale, 2014

La gestion axée sur les résultats

et comment elle se compare au Processus de planification opérationnelle

Foreign Affairs, Trade andDevelopment Canada

Affaires étrangères, Commerce etDéveloppement Canada



Affaires étrangères, Commerce et Développement Canada (MAECD), Développement International / Foreign Affairs, Trade and Development Canada (DFATD), International Development

125 rue SussexOttawa, Ontario

Tél./Tel. : 613-944-4000Sans frais (Canada)/Toll-free : 1-800-267-8376http://www.international.gc.ca/

Centre d’apprentissage interculturel, Institut canadien du service extérieur/Centre for Intercultural Learning, Canadian Foreign Service Institute115, rue Bisson Street Gatineau, Québec J8Y 5M2

Tél./Tel. : 819-997-1197 Sans frais (Canada)/Toll-free : 1-800-852-9211 www.intercultures.gc.ca

Les Permissions

Aucune partie de ce manuel ne peut être reproduite ou distribuée sans la permission écrite du Centre d’apprentissage interculturel et/ou RDDC

© Sa Majesté la Reine du chef du Canada, tel que représentée par le ministre des Affaires étrangères, 2014

www.intercultures.gc.caSans frais |Toll-free (Canada) 1-800-852-9211



Table des matières

La gestion axée sur les résultats . Introduction. Gestion des résultats et processus de planification opérationnelle (PPO). Gestion axée sur les résultats : une approche cyclique. Les étapes du PPO et de la GAR. Notes sur les étapes du PPO par comparaison avec la GAR. Analyse Causale – contexte MAECD. Changement désiré et niveau des résultats escomptés. Modèle logique – Terminologie. Liste de vérification : Formulation d’énoncés de résultats rigoureux. Création d’une chaîne de résultats. Élaboration d’indicateurs. Liste de vérification pour le choix des indicateurs. Gestion du risque. Établissement d’un Cadre de mesure du rendement (CMR). Aide mémoire pour présenter le rendement

Documents de référence . Glossaire. Lexique de la gestion axée sur les résultats. Quelques liens utiles

La gestion axée sur les résultats et comment elle se compare au Processus de planification opérationnelle

125679

121314152122233341

454752

La gestion axée sur les résultats

La gestion axée sur les résultats et comment elle se compare au processus de planification opérationnelle




Introduction

Contexte du gouvernement du Canada En 2000, le Secrétariat du Conseil du Trésor (SCT) a établi le cadre de gestion pour le gouvernement du Canada « Des résultats pour les Canadiens et les Canadiennes ». Depuis lors, la gestion axée sur les résultats (GAR) est devenue un élément clé du Cadre de gestion et de responsabilisation axé sur les résultats et une exigence pour les présentations au Conseil du Trésor visant à demander des fonds.

Gestion axée sur les résultats au MAECD Le Secteur du développement et d’autres directions du ministère des Affaires étrangères, du Commerce et du Développement (MAECD) ont recours à la GAR en vue d’améliorer la prise de décisions et la responsabilisation concernant les programmes qu’ils financent. Cette approche de la gestion de projet met l’accent sur l’obtention de résultats, la mise en œuvre de mesures de rendement, l’apprentissage, l’adaptation et les rapports sur le rendement.

La collectivité des donateurs du développement international cherche depuis des années à suivre et à démontrer les progrès réalisés par rapport aux objectifs ambitieux convenus à l’échelle internationale. Depuis un certain temps, il y a un consensus selon lequel les efforts pour gérer les fonds investis dans l’aide au développement devraient être axés sur la gestion des résultats plutôt que sur la gestion des activités. Pour ce faire, il faut assurer le suivi des progrès (ou de l’absence de progrès) vers l’atteinte des résultats souhaités, en rendre compte et les intégrer aux leçons apprises.

Alors que certains aspects de la GAR peuvent être relativement intuitifs, la complexité des contextes dans lesquels elle est appliquée peut nuire aux efforts déployés pour la mettre à pleine contribution, notamment lorsque les intervenants sont nombreux. Les outils présentés dans ce manuel visent à bien faire comprendre l’application de la GAR.

1





Gestion des résultats et processus de planification opérationnelle (PPO)

Terminologie

La gestion axée sur les résultats (GAR) est une approche cyclique de gestion qui intègre la stratégie, les personnes, les ressources, les processus et les mesures pour améliorer la prise de décisions, la transparence et la responsabilisation. Elle met l’accent sur la production des résultats escomptés, l’harmonisation des activités et des priorités, la gestion en fonction du rendement des projets, l’apprentissage et l’adaptation continus, de même que la production de rapports sur le rendement et les changements (Lexique de la GAR du Secrétariat du Conseil du Trésor [SCT], mis à jour en avril 2012).

Le Processus de planification opérationnelle (PPO) est un processus collaboratif utilisé par un groupe de planificateurs pour choisir la meilleure méthode à adopter pour accomplir les tâches attribuées. Le processus de planification est conçu pour optimiser les étapes logiques et analytiques du processus décisionnel et est particulièrement utile dans les situations opérationnelles incertaines et ambiguës où il arrive souvent que l’information est inadéquate, que le temps accordé est insuffisant et que les ressources sont limitées1

GAR PPO

Élément central Mesurer, suivre et gérer les progrès vers l’atteinte du changement visé.

Le « quoi » et le « pourquoi ».

Planification à court terme et horizons à plus long terme

Niveau/contexte de l’application

Au niveau des projets ou des programmes.

Au niveau de l’organisation.

Accent mis sur la tâche et/ou la mission

Outils ou produits livrables

Analyse des intervenants, analyse des répercussions sur les intervenants, étude de base, modèle logique, cadre de mesure du rendement, registre des risques, communication des résultats.

Directive initiale du commandant, ordre d’avertissement, schémas conceptuels, ordre opérationnel, plan opérationnel, énoncé de la mission, plan d’action

Processus Évaluation des enjeux et des politiques; établissement de la logique des résultats attendus; planification et mise en œuvre de la mesure du rendement; planification des risques; production de rapports.

Analyse des points de décision, simulation, séance d’information, ordres fragmentaires

2




GAR PPO

Période Importance particulière accordée aux étapes du lancement et de la surveillance dans le cycle de vie du projet.

Importance accordée à la planification et à la mise en œuvre.

Indicateurs de réussite

Progrès mesurables vers l’atteinte des résultats attendus (par rapport aux cibles établies), atténuation des risques, détermination des leçons apprises et preuve de la mise en pratique de ces leçons durant la mise en œuvre.

Comparaison des progrès de la solution choisie avec la réalité de la situation

Portée de la collecte de données

À tous les niveaux des résultats attendus, pendant et après la mise en œuvre et à la clôture du projet.

Repose dans une large mesure sur les commentaires des intervenants à tous les niveaux

Du début jusqu’à la mise en œuvre

Repose dans une large mesure sur les commentaires du commandant et de l’équipe de mise en œuvre

Approche de gestion des risques

Gérer le risque de ne pas obtenir les résultats attendus.

Gérer le risque de ne pas terminer le projet à temps et dans les limites du budget.

Intégration à la surveillance et à l’évaluation du projet

Établissement d’un cadre et d’un échéancier servant à déterminer la période et les responsabilités associées à chaque étape.

Responsabilité généralement partagée à l’étape de la surveillance, selon le plan de projet. Évaluation séparée.

Objet des rapports Maintenir le projet sur la bonne voie et rendre compte des progrès réalisés ou des résultats obtenus. Communiquer la valeur.

Répondre aux exigences en matière de reddition de comptes.

Rendre compte des mesures prises pour résoudre le problème.

3




GAR PPO

Contenu du rapport d’étape

Extrants livrés (% des travaux terminés)

Résultats obtenus • cibles atteintes – preuve?• cibles non atteintes – raisons?

Probabilité qu’un risque se concrétise? Mesures d’atténuation en place?

État d’avancement des activités de projet en cours

Liste des produits livrables réalisés

% des produits livrables réalisés ou des principales étapes franchies

Modification de la portée (tout changement par rapport au plan, au coût, aux efforts, etc.)

Demandes/recommandations en vue de ramener le projet sur la bonne voie

Mises à jour sur le budget ou les coûts

Demande de paiement provisoire

4




La gestion axée sur les résultats constitue une philosophie et une approche de gestion qui met l’accent sur les résultats au stade de la planification, de la mise en œuvre, du contrôle, de l’établissement de rapports et de l’apprentissage.

(2) DÉTERMINATION DES RÉSULTATS ESCOMPTÉS ET DE

LA CHAÎNE DE RÉSULTATS

- Résultat ultime- Résultats intermédiaires- Résultats immédiats- Extrants- Activités- Intrants

(4) MISE EN PLACE D’UN CADRE DE MESURE DU RENDEMENT (CMR)

- Choix des indicateurs- Collecte de données (sources, méthodes, etc.)

(3) DÉTERMINATION DES RISQUES

- Analyse des risques et stratégies d’intervention

(8) ÉTABLISSEMENT DE RAPPORTS

- Progrès, réalisations, écarts, apprentissage et ajustements

(7) APPRENTISSAGE ET AJUSTEMENT

- Détermination des leçons apprises- Mise en œuvre des changements et des

ajustements requis

(6) SUIVI

- Collecte de l’information sur le rendement- Mesure des progrès et des résultats- Les risques et les réponses aux risques

(5) MISE EN ŒUVRE

Gestion axée sur les résultats : une approche cyclique

(1) ÉVALUER/ANALYSER

- Contexte, atouts, problèmes, disparités entre les sexes, etc.

- Questions sociales, économiques, politiques, religieuses, culturelles et relatives au sexe.

- Enjeux relatifs aux principes de gouvernance dans le cadre du projet, obstacles ou possibilités sur les plans local, régional et national

- Effets environnementaux potentiels (positifs et négatifs)- Acteurs/intervenants/parties prenantes- Contextes organisationnel et politique- Situation initiale et changement souhaité

5





ÉTAPE 1 : AMORCE

- Recevoir une orientation- Avertir les autres- Mettre l’équipe de planification

en branle- Trouver des données et des

outils de planification- Effectuer l’évaluation initiale- Émettre une directive initiale

ÉTAPE 5 : EXAMEN DU PLAN

- Contrôler les progrès/la validité- Faire d’autres simulations- Ajuster le plan

ÉTAPE 2 : ORIENTATION

- Évaluer la situation- Formuler l’énoncé de la mission- Présenter un exposé sur l’analyse de la mission- Émettre une directive en matière de planification

ÉTAPE 3 : ÉLABORATION d’un plan d’action

- Analyser les facteurs- Élaborer des plans d’action- Présenter une séance d’information- Comparer les plans d’action et faire

des simulations- Présenter un exposé de décision- Préparer le concept des opérations

ÉTAPE 4 : ÉLABORATION D’UN PLAN

- Faire approuver le concept des opérations- Faire des simulations liées au plan- Préparer le plan- Faire approuver le plan

(1) ÉVALUER/ANALYSER

- Contexte, atouts, problèmes, disparités entre les sexes, etc.- Questions sociales, économiques, politiques, religieuses,

culturelles et relatives au sexe.- Enjeux relatifs aux principes de gouvernance dans le

cadre du projet, obstacles ou possibilités sur les plans local, régional et national

- Effets environnementaux potentiels (positifs et négatifs)- Acteurs/intervenants/parties prenantes- Contextes organisationnel et politique- Situation initiale et changement souhaité

(2) DÉTERMINATION DES RÉSULTATS ESCOMPTÉS ET DE LA CHAÎNE DE RÉSULTATS

- Résultat ultime - Extrants- Résultats intermédiaires - Activités- Résultats immédiats - Intrants

(4) MISE EN PLACE D’UN CADRE DE MESURE DU RENDEMENT (CMR)

- Choix des indicateurs- Collecte de données (sources, méthodes, etc.)

(3) DÉTERMINATION DES RISQUES

- Analyse des risques et stratégies d’intervention

(5) MISE EN ŒUVRE

(8) ÉTABLISSEMENT DE RAPPORTS

- Progrès, réalisations, écarts et apprentissage et ajustements

(7) APPRENTISSAGE ET AJUSTEMENT

- Détermination des leçons apprises- Mise en œuvre des changements

et des ajustements requis

(6) SUIVI

- Collecte de l’information sur le rendement

- Mesure des progrès et des résultats- Les risques et les réponses

aux risques

Les étapes du PPO1

et de la GAR

6

www.intercultures.gc.caSans frais (Canada) 1-800-852-9211 poste 0



1. Source : Ministère des Affaires étrangères, du Commerce et du Développement (MAECD)2. Source : Lignes directrices opérationnelles de l’ACDI pour la gestion de programmes dans les États fragilisés et les situations de conflit3. Source : A Workshop Operational Planning Process (OPP) Handbook for Interagency Planners4. Source : Ministère des Affaires étrangères, du Commerce et du Développement (MAECD)

Durée Dans le cadre de la GAR, le passage des projets individuels à des programmes plus vastes laisse entendre une autre dimension temporelle, libérée des contraintes liées au cycle de vie d’un seul projet. Lorsqu’on se concentre sur les résultats de développement au niveau du programme, la durée est désormais plus longue et dépasse la durée des activités des projets individuels1. Le processus de GAR du MAECD témoigne de cet horizon à long terme pour la réalisation des résultats (c.-à-d. en années). Quant au PPO, il est généralement assorti de délais plus courts (c.-à-d. en semaines ou en mois). Pour la GAR et le PPO, chaque processus a des délais différents.

Considérations d’ordre stratégique et opérationnel Dans le document intitulé The Stages of OPP Compared to RBM comparison, on ne fait pas une distinction claire entre les activités d’ordre stratégique et opérationnel. Ce qui est qualifié d’« opérationnel » dans le cadre d’un processus de GAR peut être « stratégique » pour un objectif du PPO. Par ailleurs, pour ce qui est du processus de GAR, les considérations d’ordre stratégique comprennent des résultats plus généraux au niveau du programme.

Mise en œuvre Plusieurs acteurs participent au cycle de vie d’un processus de GAR, ce qui augmente le nombre de parties prenantes devant rendre des comptes au chapitre de la mise en œuvre.

L’instabilité inhérente du gouvernement du pays partenaire dans les États fragiles et les situations de conflit (EFSC) peut empêcher l’ACDI de signer des accords avec les organismes publics locaux, ce qui entrave la capacité de l’Agence à mettre en œuvre la programmation. Cette contrainte peut limiter la capacité de l’Agence à sélectionner certaines modalités de programmation. Le cas échéant, on devra avoir recours à un partenaire tiers, comme une organisation multilatérale, pour répondre aux besoins en programmation.2

Surveiller, apprendre et ajuster Quand un plan est issu d’un cycle du PPO, le commandant et son personnel doivent surveiller sa progression tout au long de son exécution afin de déterminer s’il est toujours pertinent et efficace et si des changements sont requis3. Dans le cadre de la GAR, la surveillance du rendement est un processus continu de collecte et d’analyse de données visant à déterminer l’efficacité de la mise en œuvre d’un projet, d’un programme ou d’une politique en fonction des résultats escomptés. L’un des buts visés consiste à fournir de l’information « en temps réel » aux gestionnaires et aux parties prenantes au sujet de l’utilisation des ressources, des publics cibles et de l’atteinte des résultats4. Il est

Notes sur les étapes du PPO par comparaison avec la GAR

7

www.intercultures.gc.caSans frais (Canada) 1-800-852-9211 poste 0



5. Source : Lexique de la gestion axée sur les résultats, Secrétariat du Conseil du Trésor6. Source : Ministère des Affaires étrangères, du Commerce et du Développement (MAECD)

particulièrement difficile d’apporter des ajustements au processus de GAR au niveau de la surveillance, de l’apprentissage et de l’évaluation dans les États fragilisés et les situations de conflit (EFSC). Par exemple, la surveillance et l’évaluation pourraient faire en sorte que l’on doive compter sur les employés recrutés sur place pendant un certain temps lorsque les partenaires d’une organisation non gouvernementale locale sont surchargés de demandes de bailleurs de fonds.

Rapport Les rapports sur le rendement éclairent la prise de décision, servent à satisfaire aux exigences en matière de responsabilisation et constituent le point de départ pour l’engagement des citoyens et pour le dialogue des parlementaires sur le rendement5.

Il y a certains défis à relever au niveau de l’établissement des rapports6.

• Dilemme fréquent : comment brosser un tableau d’une chose qui est intrinsèquement complexe à l’aide de quelques indicateurs et démontrer ce qui a été réalisé avec le financement du MAECD sans créer des systèmes de rapports lourds et complexes;

• Les rapports ne décrivent que les activités menées à bien, les produits élaborés et les services fournis (p. ex., 27 puits ont été construits);

• Un système de suivi a été établi mais n’a pas été mis en œuvre ou utilisé dans les faits (sa lourdeur et sa complexité font souvent en sorte qu’il n’est pas convivial).

8




La première étape à suivre pour réaliser une bonne analyse consiste à examiner le contexte dans son ensemble. Assurez-vous d’avoir suffisamment d’information pour analyser le problème dans le contexte élargi du pays, de la région, du secteur et de la communauté en question. (Cette analyse peut être comparée à l’étape « initiation » dans le processus de planification opérationnelle.)

L’analyse du problème fondamental apparent peut servir à examiner les causes immédiates, sous-jacentes et structurelles, de manière à permettre une compréhension globale et approfondie du problème. Elle peut aussi servir à redéfinir le problème fondamental en fonction d’une des causes sous-jacentes ou structurelles. Par exemple, l’analyse des causes sous-jacentes empêchant l’accès des enfants handicapés à l’école peut faire ressortir que le problème fondamental tient à la stigmatisation socioculturelle et à la discrimination, et non au manque d’écoles adaptées aux handicapés. Or, cela n’est pas toujours évident avant l’analyse causale.

De même, une bonne analyse comparative entre les sexes contribuera à déterminer les différents besoins pratiques et intérêts stratégiques des femmes, des hommes, des filles et des garçons. Puis, cette information jettera les bases de la planification des activités, de la gestion des risques et de la mesure du changement.

En outre, une évaluation stratégique de l’environnement aidera à déterminer les effets environnementaux possibles dont il faut tenir compte dans la conception du projet. On entend par là les effets de l’environnement sur le projet et les effets possibles du projet sur l’environnement. Cette information jettera également les bases de la planification des activités et permettra d’accroître les possibilités positives sur l’environnement, de minimiser les risques pour l’environnement ainsi que de surveiller et de mesurer le changement.

Les causes immédiates sont les plus apparentes et sont étroitement liées au problème en question. Le fait de s’attaquer à ces causes peut servir ou non à résoudre le problème.

Les causes sous-jacentes sont moins évidentes que les causes immédiates, mais sont implicitement liées aux problèmes concernés. Il peut être particulièrement difficile d’agir sur les causes sous-jacentes, mais cela est d’autant plus susceptible de contribuer à la résolution du problème.

Les causes structurelles sont attribuables à des systèmes ou à des structures d’ordre politique, économique, social ou culturel et peuvent être communes à un large éventail de problèmes.

Analyse Causale – contexte MAECD

9




Il est important de toujours redéfinir le problème d’après les conclusions de votre analyse et les nouveaux renseignements à votre disposition. Le fait de comprendre la situation dans un pays ne résulte pas d’un processus unique et instantané, mais bien d’une analyse continue qui doit s’enrichir au fil du temps pour refléter l’évolution de la situation et les nouveaux renseignements obtenus.

Une arborescence de problèmes est un outil pratique qui peut aider à déterminer le problème fondamental auquel le projet doit s’attaquer, et il peut aussi aider à analyser les causes et les effets du problème, de même que leurs interrelations. Voici les étapes à suivre pour utiliser une arborescence de problèmes :

1. Déterminez le problème fondamental auquel le projet doit ou devrait s’attaquer.2. Déterminez les causes (immédiates, sous-jacentes et structurelles) de cette ou de ces violations de

droits ainsi que leurs effets.3. Évaluez si l’analyse des causes et des effets exige une redéfinition du problème fondamental

auquel le projet doit s’attaquer.

10




Voici à quoi une arborescence de problèmes peut ressembler dans un contexte MAECD :

Effets

Causes

Problème fondamental

Insuffisance du financement accordé à la formation des

enseignants en cours d’emploi

Défaut de participation à la politique locale

et nationale

Taux de chômage élevé

Taux de mortalité élevé avant l’âge

de 5 ans

Taux de natalité élevé

Dévalorisation du mode de

vie autochtone

Administrateurs d’école et

enseignants corrompus

Faibles acquis scolaires

Routes peu sûres pour se rendre

à l’école et en revenir

Taux élevé de décrochage

scolaire

Matériel de formation désuet Toilettes limitées

Filles censées aider leur mère

à la maison

Les filles sont découragées de poursuivre des études à l’extérieur de la maison.

Accès déficient à une éducation adéquate et pertinente

Manque de connaissances et de compétences

pédagogiques chez les enseignants

Programme d’enseignement

non pertinent pour les enfants des

milieux ruraux et les enfants autochtones

11




Analyse du changement désiré Résultats escomptés

DÉFINITION DU PROBLÈME

Analyse de la situation Quels changements se produiront

dans la vie des participants à la suite de la réalisation du projet/programme?

Analyse causale Quelles sont les causes du problème

que le projet ou programme doit traiter?

Résultat ultime

ANALYSE CONCERNANT LES PARTIES PRENANTES

Qui sont les parties prenantes? Quelles organisations, groupes ou individus?

Les parties prenantes concernées représentent elles l’ensemble des

groupes de bénéficiaires?

Analyse des rôles et des fonctions Quels rôles ou fonctions doivent-elles

assumer afin de résoudre le problème?

Résultats intermédiaires(meilleur rendement des parties

prenantes dans leurs rôles ou fonctions)

Analyse des capacitésQuelles capacités doivent posséder les parties prenantes afin d’assumer leurs rôles ou fonctions et rencontrer

le changement désiré?

Résultats immédiats(capacités accrues)

Changement désiré et niveau des résultats escomptés

12




Mod

èle

logi

que

– Te

rmin

olog

ie

Cha

îne

de

résu

ltats

Résultats de développement

Résu

ltat

ultim

e

Le p

lus

haut

deg

ré d

e ch

ange

men

t qui

peu

t être

rai

sonn

able

men

t attr

ibué

à u

ne o

rgan

isat

ion,

à u

ne p

oliti

que,

à

un p

rogr

amm

e ou

à u

ne in

itiat

ive

par

un li

en d

e ca

use

à ef

fet.

Le r

ésul

tat u

ltim

e dé

coul

e di

rect

emen

t d’u

n ou

de

plus

ieur

s ré

sulta

ts in

term

édia

ires.

Il r

epré

sent

e la

rai

son

d’êt

re d

’une

org

anis

atio

n, d

’une

pol

itiqu

e, d

’un

prog

ram

me

ou d

’une

initi

ativ

e et

cor

resp

ond

à un

cha

ngem

ent d

’éta

t dur

able

pou

r le

s pa

rtic

ipan

ts.

Pour

quoi

?

Résu

ltats

in

term

édia

ires

Cha

ngem

ent q

ui d

oit l

ogiq

uem

ent s

e pr

odui

re lo

rsqu

’un

ou p

lusi

eurs

rés

ulta

ts im

méd

iats

ont

été

réa

lisés

. C

e so

nt d

es r

ésul

tats

à m

oyen

term

e qu

i son

t hab

ituel

lem

ent a

ttein

ts à

la fi

n d’

un p

roje

t ou

d’un

pro

gram

me

et

qui

se

tradu

isent

gén

éral

emen

t par

une

mod

ifica

tion

des

com

porte

men

ts ou

des

pra

tique

s pa

rmi l

es p

artic

ipan

ts f/

h1 .

Quo

i?

Résu

ltats

im

méd

iats

Cha

ngem

ent d

irect

emen

t attr

ibua

ble

aux

extra

nts

d’un

e or

gani

satio

n ou

aux

ext

rant

s qu

i se

rapp

orte

nt à

un

e po

litiq

ue, à

un

prog

ram

me

ou à

une

initi

ativ

e. C

e so

nt d

es r

ésul

tats

à c

ourt

term

e qu

i se

man

ifest

ent

géné

rale

men

t par

une

cap

acité

ou

une

sens

ibili

satio

n ac

crue

s pa

rmi l

es p

artic

ipan

ts f/

h, o

u pa

r le

dé

velo

ppem

ent d

e le

urs

conn

aiss

ance

s ou

de

leur

s co

mpé

tenc

es.

Extr

ants

Prod

uits

ou

serv

ices

qui

déc

oule

nt d

irect

emen

t des

act

ivité

s d’

une

orga

nisa

tion

ou d

es a

ctiv

ités

rela

tives

à u

ne

polit

ique

, à u

n pr

ogra

mm

e ou

à u

ne in

itiat

ive.

Com

men

t?A

ctiv

ités

Act

ions

ent

repr

ises

ou

trava

il m

ené

en v

ue d

e pr

odui

re d

es e

xtra

nts.

L’a

ctiv

ité m

obili

se le

s re

ssou

rces

.

Intr

ants

Ress

ourc

es fi

nanc

ière

s, h

umai

nes

et m

atér

ielle

s et

res

sour

ces

en in

form

atio

n ut

ilisé

es p

our

prod

uire

les

extra

nts

au m

oyen

d’a

ctiv

ités,

et p

our

réal

iser

les

résu

ltats

.

Résu

ltat

: C

hang

emen

t d’é

tat d

escr

iptib

le o

u m

esur

able

qui

déc

oule

d’u

ne r

elat

ion

de c

ause

à e

ffet.

Les

résu

ltats

peu

vent

être

déc

rits

com

me

imm

édia

ts,

inte

rméd

iaire

s ou

ulti

mes

.

1.L

es le

ttres

« f

/h »

sig

nifie

nt «

fem

me/

hom

me

». L

a co

nven

tion

veut

qu’

on in

scriv

e le

s fe

mm

es e

t les

fille

s av

ant l

es h

omm

es e

t les

gar

çons

.

Sour

ce :

AC

DI,

La g

estio

n ax

ée s

ur le

s ré

sulta

ts –

Éno

ncé

de p

rinci

pe 2

00

8, 2

5 ju

in 2

00

8

13




Liste de vérification : Formulation d’énoncés de résultats rigoureux

Éléments précis :

• L’énoncé des résultats comporte-t-il un verbe d’orientation précisant :Qui? Quoi? Où?

Formulation simples :

• L’énoncé est-il formulé simplement et comporte-t-il une seule idée?

Résultat mesurable :

• Le résultat peut-il être mesuré? Peut-il être ventilé par sexe?

Résultat atteignable :

• Le résultat est-il réaliste et atteignable?

Résultat pertinent :

• Le résultat est-il pertinent?

Énoncé inclusif :

• L’énoncé a-t-il été élaboré au moyen d’un processus participatif et inclusif?Le résultat est il adapté aux sexes ou promeut il l’égalité entre les sexes?Comprend il des principes de gouvernance?

14




Création d’une chaîne de résultats

Gestion axée sur les résultats et portée du changement Le résultat ultime d’une approche fondée sur les résultats est un changement social, économique, politique et culturel et la transformation des rapports de force. L’usage d’une liste ayant trait à la portée du changement est utile pour que l’analyse demeure axée sur les résultats. La liste suivante peut servir d’aide-mémoire afin de passer en revue les buts, les changements, les résultats, les objectifs, les indicateurs ainsi que les activités.

• Apporter des changements positifs dans la vie des gens (hommes et femmes, jeunes, garçons et filles).• Apporter des changements au niveau des politiques, des pratiques, des comportements et des ressources.• Renforcer la capacité et l’engagement de la société à soutenir et à exiger des changements.• Accroître la participation des parties prenantes.• Accroître l’égalité et l’inclusion, et lutter contre la discrimination.• Établir des liens avec les travaux d’autres organisations.

Il est possible d’être plus précis pour la dimension « Apporter des changements au niveau des politiques, des comportements et des ressources » : • Changements au niveau des politiques, des lois et des programmes;• Mise en place de politiques économiques qui favorisent le développement humain;• Application efficace des lois;• Allocation de budgets plus importants et d’un plus grand nombre de ressources relativement aux

services destinés aux personnes pauvres, marginalisées et à risque et aux services sociaux de base;• Changements au niveau de la sensibilisation, des attitudes, des comportements, des pratiques,

des normes et des valeurs;• Qualité, pertinence et souplesse accrues des institutions et des services;• Occasions d’obtenir une meilleure participation à l’égard de la prise de décisions et de la

revendication des droits;• Meilleurs systèmes d’information et données par rapport à la situation des gens.• Accès accru à l’information relative à la façon de prendre des décisions.

Le modèle logique Parfois appelé « chaîne de résultats », le modèle logique illustre la relation causale ou logique entre les intrants, les activités, les extrants et les résultats d’une politique, d’un programme ou d’une initiative donnés. Les trois niveaux inférieurs (intrants, activités et extrants) décrivent comment un investissement sera réalisé alors que les trois niveaux supérieurs (résultats immédiats, intermédiaires et ultime) représentent les changements réels ou escomptés, c’est à dire les résultats de développement (voir

15




la terminologie et les définitions relatives au modèle logique). Un modèle logique ressemble à une pyramide; il rétrécit au fur et à mesure qu’on se rapproche du sommet (résultat ultime) et le nombre de résultats diminue (voir la diapositive sur la chaîne des résultats pour une illustration de cette relation).

L’intégration de la portée du changement dans le modèle logique vise à déterminer les activités, les extrants et les résultats (immédiats, intermédiaires et ultimes) qui renforcent la capacité des principales parties prenantes au développement de réaliser le changement désiré. Ces défauts de capacité, qu’ils soient attribuables à un manque de compréhension, de connaissances, de compétences, de ressources, d’autorité ou de motivation ou encore au risque inhérent, sont souvent les causes sous-jacentes des problèmes de développement. La résolution de ces problèmes sous-jacents, structurels ou systémiques permet d’éradiquer les symptômes les plus évidents de la pauvreté.

Processus participatifs

Dans la mesure où il est possible, il est important de veiller à ce que les principales parties prenantes participent à l’élaboration des programmes et des projets et que les énoncés de résultats et les indicateurs reflètent leur participation.

Durant l’élaboration d’un modèle logique, il faut s’assurer que les personnes concernées soient autour de la table, entre autres les partenaires, les intermédiaires, les agents d’exécution et, bien sûr, les participants (notamment les hommes, les femmes, les filles et les garçons). Il est également important qu’une fois rédigé, le modèle logique soit validé avec les principales parties prenantes et les principaux partenaires pour que les résultats répondent à leurs besoins et reflètent leurs objectifs et que l’investissement se fasse comme il avait été prévu, ce qui correspond aussi à une gestion efficace axée sur les résultats. Dans les projets, les structures et les processus créés devraient appliquer les principes de la bonne gouvernance : participation, inclusion, équité, transparence et responsabilisation.

Cependant, la participation ne se limite pas au processus de planification, de mise en œuvre et d’évaluation des programmes et des projets, mais elle implique inclure la participation dans le modèle logique, c’est à dire intégrer des résultats relatifs à la participation des parties prenantes, clés aux processus de prise de décisions ayant une incidence sur leurs vies.

Définir les résultats escomptés

1. Déterminer le résultat ultime (à long terme : changement de situation ou état) en fonction de ladéfinition du problème que le programme vise à résoudre.

Le résultat ultime est le niveau de changement le plus élevé que l’on souhaite atteindre afin de résoudre le problème principal. Il faut commencer par cerner le problème principal que l’investissement vise à régler, à l’aide de l’analyse des causes et de l’analyse de la situation.

16




Il faut ensuite se demander quels changements, dans une situation ultime, on veut voir. Quels changements se produiront dans la vie des personnes à la suite de la réalisation du changement désiré (par exemple un accès amélioré à l’éducation pour des groupes de filles et de garçons particulièrement marginalisés)? Puis, on procède à l’analyse du contexte (social, économique, politique, culturel et environnemental) lié au problème.

2. Déterminer les résultats intermédiaires (à moyen terme : changement de comportement ou depratiques; amélioration du rendement des parties prenantes)

Étant donné que ce niveau de résultat porte principalement sur le changement de comportement visé, il faut commencer par l’analyse des principales parties prenantes et analyser leur rendement relativement au respect de leurs obligations, rôles et responsabilités.

Quels changements de comportement doivent être apportés pour atteindre le résultat intermédiaire, par exemple, un changement de rendement chez les parents, les administrateurs d’écoles, les groupes communautaires ou le ministère de l’Éducation en ce qui concerne la réaffectation des ressources pour l’éducation.

Il faut veiller à ventiler au maximum les parties prenantes (p.ex., personnes handicapées, femmes vivant en zones rurales) et à examiner leurs divers niveaux d’intérêt et degrés d’influence pour effectuer le changement.

3. Déterminer les résultats immédiats (à court terme : changement sur le plan des capacités)

Ce niveau de résultat porte principalement sur le changement nécessaire sur le plan des capacités (motivation, autorité, compréhension, ressources et risques) pour atteindre le rendement visé dans le rendement des parties prenantes. Par exemple : la sensibilisation aux droits de la personne et aux effets néfastes de la discrimination ou de la connaissance des pratiques exemplaires en éducation.

17




Exemple : Une chaîne de résultats Voici comment une analyse fondée sur la portée du changement peut inspirer la définition des résultats d’un programme ou d’un projet.

Exemples d’énoncé des résultats

Résultat ultime Amélioration de l’accès à une éducation de qualité et pertinente pour les filles, les garçons, les adolescents et les jeunes dans sept municipalités du département X

Résultat intermédiaire (amélioration du rendement des parties prenantes clés)

Recours accru, parmi les ensignants, à des pratiques pédagogiques pertinentes et de qualité dans sept municipalités du département X

Résultat immédiat(amélioration des capacités des parties prenantes)

Connaissances, compétences et attitudes renforcées des enseignants dans sept municipalités du département X afin d’améliorer la qualité et la pertinence de l’enseignement offert en classe

Extrants(produits ou services qui découlent directement des activités d’une organisation ou des activités relatives à une politique, à un programme ou à une initiative)

Facilité d’accès des Centres de ressources pour les enseignants

Offre, sur place, de programmes de perfectionnement des enseignants, comprenant de nouvelles approches axées sur l’enfant, mises au point et opérationnelles

Activités(actions entreprises ou travail mené en vue de produire des intrants; l’activité mobilise les ressources)

Construction et ameublement des centres de ressources pour les enseignants dans des endroits faciles d’accès.

Mise sur pied de programmes de perfectionnement des enseignants mettant l’accent sur les nouvelles approches pédagogiques adaptées aux sexes et axées sur l’enfant.

18




Exem

ple

: Ges

tion

par a

ctiv

ités

par r

appo

rt à

la g

estio

n ax

ée s

ur le

s ré

sulta

ts

Élém

ent

Ges

tion

par

activ

ités

Ges

tion

axée

sur

les

résu

ltats

Obj

ectif

Étab

lisse

men

t de

cent

res

de r

esso

urce

s et

de

pro

gram

mes

de

perfe

ctio

nnem

ent p

our

le

s en

seig

nant

s

Énon

ciat

ion

sous

form

e de

rés

ulta

t esc

ompt

é : «

Rec

ours

ac

cru,

par

mi l

es e

nsei

gnan

ts, à

des

pra

tique

s pé

dago

giqu

es

perti

nent

es e

t de

qual

ité d

ans

sept

mun

icip

alité

s du

dé

parte

men

t X »

Indi

cate

urs

Nom

bre

de c

entre

s de

ress

ourc

es p

our

ense

igna

nts,

nom

bre

de p

rogr

amm

es d

e pe

rfect

ionn

emen

t, no

mbr

e d’

ense

igna

nts

qui o

nt

suiv

i un

prog

ram

me

de fo

rmat

ion

Nom

bre

d’en

seig

nant

s qu

i ado

pten

t des

pra

tique

s pé

dago

giqu

es p

ertin

ente

s et

de

qual

ité; p

erce

ptio

ns d

es fi

lles,

de

s ga

rçon

s, d

es a

dole

scen

ts e

t des

jeun

es p

ar r

appo

rt à

la

perti

nenc

e et

à la

qua

lité

des

prat

ique

s pé

dago

giqu

es

Act

ivité

s ac

hevé

es

(mis

e en

œuv

re)

Mis

e su

r pi

ed d

e ce

ntre

s de

res

sour

ces

pour

en

seig

nant

s, é

labo

ratio

n et

exé

cutio

n de

pr

ogra

mm

es d

e pe

rfect

ionn

emen

t en

cour

s d’

empl

oi p

our

les

ense

igna

nts

Étab

lisse

men

t de

cent

re d

e re

ssou

rces

pou

r ens

eign

ants

dans

des

en

droi

ts fa

cile

s d’

accè

s; é

labo

ratio

n et

exé

cutio

n de

pro

gram

mes

de

per

fect

ionn

emen

t en

cour

s d’

empl

oi p

our

les

ense

igna

nts,

qu

i com

pren

nent

des

app

roch

es a

xées

sur

les

enfa

nts

Mes

ure

du

rend

emen

tU

tilis

atio

n d’

indi

cate

urs

pour

con

firm

er q

ue

les

cent

res

et le

s pr

ogra

mm

es o

nt é

té é

tabl

is

com

me

prév

u

Util

isatio

n d’

indi

cate

urs

pour

con

firm

er q

ue le

s en

seig

nant

s on

t ad

opté

de

nouv

elle

s pr

atiq

ues

péda

gogi

ques

; vér

ifica

tion

de

leur

per

tinen

ce e

t de

leur

qua

lité;

et c

olle

cte

d’in

form

atio

n su

r la

perc

eptio

n de

s en

fant

s qu

ant à

leur

per

tinen

ce e

t à le

ur q

ualit

é

Cha

ngem

ent

ou

rés

ulta

ts

obte

nus

une

fois

le

pro

jet

ache

vé

Prat

ique

s en

core

axé

es s

ur l’

ense

igna

nt d

ans

la p

lupa

rt de

s ca

s, e

t pro

gram

me

de c

ours

en

core

déc

onne

cté

du q

uotid

ien

des

enfa

nts;

ca

use

: pris

e en

cha

rge

non

parta

gée,

abs

ence

de

sui

vi fi

nal q

ui c

ontri

buer

ait à

un

chan

gem

ent

de c

ompo

rtem

ent

Amél

iora

tion

de l’

accè

s à

une

éduc

atio

n pe

rtine

nte

et d

e qu

alité

pou

r le

s fil

les,

les

garç

ons

et le

s ad

oles

cent

s da

ns

sept

mun

icip

alité

s du

dép

arte

men

t X

19




Élém

ent

Ges

tion

par

activ

ités

Ges

tion

axée

sur

les

résu

ltats

Resp

onsa

bilis

atio

nIm

poss

ibili

té d

e te

nir

l’org

anis

atio

n re

spon

sabl

e si

les

prat

ique

s pé

dago

giqu

es d

es e

nsei

gnan

ts

ne c

hang

ent p

as o

u si

l’ac

cès

à un

e éd

ucat

ion

de q

ualit

é ne

s’a

mél

iore

pas

; l’o

rgan

isat

ion

a fa

it ce

qui

éta

it en

tend

u : é

tabl

ir de

s ce

ntre

s de

res

sour

ces

et d

es p

rogr

amm

es d

e pe

rfect

ionn

emen

t

L’org

anis

me

de m

ise

en œ

uvre

ser

ait r

espo

nsab

le d

e la

ré

alis

atio

n de

s ex

trant

s (p

. ex.

, éta

blis

sem

ent d

es c

entre

s de

res

sour

ces

pour

ens

eign

ants

, mis

e su

r pi

ed e

t exé

cutio

n de

s pr

ogra

mm

es d

e pe

rfect

ionn

emen

t des

ens

eign

ants

), de

l’u

tilis

atio

n du

Cad

re d

e m

esur

e du

ren

dem

ent e

t de

la g

estio

n de

s ris

ques

ass

ocié

s au

pro

jet.

Elle

dev

rait

entre

aut

res

:a)

recu

eilli

r les

don

nées

aux

quel

les

on fa

it ré

fére

nce

dans

le C

MR

b) r

evoi

r et

act

ualis

er le

reg

istre

des

ris

ques

et l

es m

esur

esc)

faire

le s

uivi

des

pro

grès

par

rapp

ort a

ux e

xtran

ts et

aux

résu

ltats

20




Élaboration d’indicateurs

Aide mémoire concernant les indicateurs Un indicateur est un repère, une mesure, un chiffre, un fait, une opinion ou une perception qui aide à mesurer les progrès par rapport à l’atteinte de résultats. Qu’ils soient quantitatifs ou qualitatifs, les indicateurs sont des outils très utiles lorsqu’on mesure les résultats obtenus. Ces deux types d’indicateurs sont complémentaires et peuvent servir à la validation croisée des problèmes ou à la mise en évidence d’un problème par un autre.

Les indicateurs qualitatifs correspondent aux jugements et aux perceptions des gens par rapport à une question ou à une situation. Ils proviennent généralement de sources telles que les audiences publiques, les enquêtes d’attitudes et observation participante. L’information rattachée à ces indicateurs se présente sous forme textuelle ou descriptive. Lorsqu’ils sont bien définis, les indicateurs qualitatifs peuvent grandement contribuer à la découverte des entraves à la réussite, qui autrement pourraient passer inaperçues.

Les indicateurs quantitatifs représentent des mesures de quantité, par exemple : la différence entre les pourcentages de filles et de garçons qui vont à l’école, ou l’évolution des taux de mortalité infantile. Ces indicateurs sont numériques et proviennent généralement de processus officiels d’enquête et de collecte de données.

N.B. Tous les indicateurs doivent être neutres : ils ne doivent pas indiquer la direction du changement.

Choix des indicateurs

Indi

cate

urs

de r

ende

men

t

Résultat ultime :

Quelles mesures pouvez vous utiliser pour les changements apportés dans la vie des participants (femmes et hommes)?

Résultat intermédiaire :

Comment pouvez vous mesurer un changement de comportement ou de rendement chez les parties prenantes?

Résultat immédiat :

Comment pouvez vous savoir si les participants ont connu une évolution de leur capacité?

Indi

cate

urs

des

extr

ants

Extrants :

Comment peut on mesurer les progrès accomplis en matière de réalisation des extrants?

21




Les indicateurs doivent :

1. Permettre de mesurer les résultats escomptés

2. Permettre de mesurer les changements au fil du temps

3. Comporter un mode approprié de ventilation des données

4. Refléter le plus possible les données disponibles

5. Permettre de recueillir et d’analyser les données de façon économique

6. Permettre de mesurer à la fois les changements positifs et négatifs(tous les indicateurs doivent être neutres)

7. Être élaborés de façon participative

8. Être au moins au nombre de deux par résultat : au moins un indicateur qualitatifet un indicateur quantitatif

Principes pour la sélection des indicateurs : 1. On doit utiliser un maximum de trois indicateurs pour chaque résultat : au moins un indicateur

qualitatif et un indicateur quantitatif. Il est acceptable d’avoir un ou deux indicateurs, ou plus, si c’est nécessaire. On doit s’assurer d’avoir assez d’indicateurs pour bien déterminer le rendement, mais pas trop pour ne pas rendre les mesures trop difficiles ou trop coûteuses.

2. Pour l’ensemble des indicateurs, des cibles et des données de base de projets/programmes dedéveloppement ont besoin de données ventilées selon le sexe (c.à.d., les termes agriculteurs,personnes, ménages, stagiaires, etc. ne permettent pas d’illustrer les disparités relatives aux sexesprésentes entre les filles et les garçons ou les femmes et les hommes).

Pour chaque résultat en matière d’égalité entre les sexes, vous devez avoir des indicateurs adaptésaux sexes* (qualitatifs et quantitatifs).

* L’indicateur adapté aux sexes permet de mesurer les progrès accomplis dans le gommage des écarts et des inégalitésentre les femmes et les hommes, de même qu’entre les filles et les garçons. Cet indicateur permet également d’évaluer leschangements dans les attitudes, les rôles, la division du travail, les responsabilités et le pouvoir décisionnel.

3. Les projets/programmes de développement doivent inclure un indicateur environnemental pourles niveaux intermédiaire et immédiat afin de mesurer les progrès constatés dans l’analyseenvironnementale du projet en vue d’accroître la durabilité de l’environnement ou de réduire lesdommages environnementaux éventuels.

Liste de vérification pour le choix des indicateurs

22




Gestion du risque

Le risque correspond à l’effet de l’incertitude sur l’obtention des résultats escomptés. Le risque peut comporter aussi bien des éléments menaçant l’obtention de ces résultats que des occasions inattendues en ce sens.

La gestion du risque est une approche systématique visant à déterminer la meilleure voie à suivre en cas d’incertitude par l’identification, l’évaluation et l’interprétation des risques, par la prise de décisions appropriées et par la communication de renseignements relatifs à ces risques. Ultimement, il s’agit de répondre proactivement au changement en atténuant les menaces – et en profitant des occasions – que l’incertitude apporte quant à l’obtention des résultats.

Processus de gestion du risque Le schéma ci-dessous indique les principales étapes de la gestion systématique des risques. Il a été élaboré en réponse aux besoins particuliers du développement et peut être adapté si nécessaire.

• Stratégie de communication• Considérations liées à l’égalité

entre les sexes• Considérations liées à la

gouvernance• Considérations environnementales• Consultation des intervenants• Responsables du risque tenus de

rendre des comptes

Compréhension du contexte

1. Déterminer quel est le risque• Examen du contexte local• Collaborations possibles• Sélection des principaux

secteurs de risque

2. Évaluer le risque• Réponses en place• Impact et probabilité• Classement des risques• Tolérance aux risques

3. Mise en œuvre• Réponses additionnelles• Communications

avec partenaires• Identification des options

4. Suivi• Prise de décisions• Modifications• Efficacité des réponses

aux risques

5. Évaluer• Rapports sur le rendement• Amélioration du processus• Apprentissage organisationnel

Rétroaction

23




1. Identification des risques : inventaire de risques déterminantsLa première étape du processus de gestion du risque consiste à identifier les risques potentiels. Il est souhaitable que les parties prenantes participent au processus de remue-méninges servant à identifier les risques.

Voici deux grandes questions à se poser :a) Quels risques ou événements pourraient nous empêcher d’obtenir les résultats escomptés par

rapport à un projet ou à un programme?b) Si nous pouvions éliminer n’importe quel risque à notre choix, quelles occasions pourrions-nous

saisir pour être encore plus efficaces?

Conseil : Examinez l’exposé du projet pour cerner les entraves/obstacles constatés au cours de votre analyse.

2. Évaluation du risque : Matrice des risques(impact selon la probabilité) et échelle de risque

Une fois que vous avez identifié les risques potentiels, l’étape suivante consiste donc à classer par ordre de priorité les risques pour lesquels vous souhaitez élaborer des stratégies. Veillez à vous concentrer sur un minimum de sept risques et un maximum de douze. Pour ce faire, il existe un moyen très simple : vous n’avez qu’à donner la liste des risques identifiés à votre groupe de parties prenantes, puis à leur demander de choisir ceux qu’ils jugent les plus importants.

La matrice des risques fournie ci-dessous peut aider les parties prenantes à établir cet ordre de priorité. Lorsqu’elles l’utilisent, les parties prenantes peuvent se fonder sur leur analyse et leur intuition pour estimer la probabilité de concrétisation du risque (1, 2, 3 ou 4, de la plus faible à la plus forte) ainsi que l’ampleur des impacts qui en découleraient par rapport à l’obtention des résultats escomptés (1, 2, 3 ou 4, de la plus faible à la plus forte).

Probabilité : Probabilité d’occurrence (perçue) d’un événement ou d’une situation.

Impact : Effet de la concrétisation d’un risque sur la réalisation des résultats.

Niveau de risque : Produit de l’impact au carré multiplié par la probabilité (I2 x P).

24




Matrice des risques

Impa

ct

4

3

2

1 2 3 4

Probabilité

Une fois que vous avez déterminé le niveau de risque et la couleur correspondante, vous pouvez vous aider du tableau ci-dessous pour déterminer le degré d’importance de la réponse requise. Le degré de gestion du risque doit être proportionnel à l’impact et à la probabilité des risques identifiés.

Échelle de risque à quatre niveaux

Niveau de risque

Très faible Faible Élevé Très élevé

La procédure habituelle suffit pour gérer les conséquences

Les conséquences pourraient menacer l’obtention des résultats escomptés et peuvent ainsi exiger un suivi

Les conséquences menaceraient l’obtention des résultats escomptés et peuvent ainsi exiger un examen

Les conséquences empêcheraient l’obtention des résultats escomptés et exigeraient une gestion serrée

25




3. Réponse au risque : Arbre de décision, risque résiduel et liste d’exemplesLa réponse au risque consiste à trouver des moyens de réduire les menaces au minimum, tout en maximisant les occasions liées à l’incertitude.

Quelques approches élémentaires en matière de réponse au risque :

• Acceptation : Prendre conscience du risque, en accepter les conséquences et accepter d’y être exposé.

• Évitement : Refuser d’accepter le risque afin d’éviter des résultats potentiellement défavorables.Cette approche peut exiger que des éléments du programme soient modifiés, notamment en ce quiconcerne les résultats escomptés, les activités, les stratégies, les partenaires, la population visée oule lieu géographique.

• Suivi : Accroître la qualité et la pertinence de l’information obtenue, par le biais de la recherche,ou continuer de surveiller la situation de près afin de déterminer si d’autres réponses sont requises.

• Atténuation, notamment :- Réduction des impacts : Diminuer les effets en limitant l’ampleur des dommages éventuels.- Réduction de la probabilité : Diminuer la probabilité par la réponse aux risques, la prévention ou

l’anticipation. C’est de loin la stratégie la plus courante. - Réserves : Recourir à des fonds de prévoyance et à des horaires variables.

• Partage : S’occuper des risques en faisant partager l’exposition ou les stratégies avecd’autres organisations.

Le niveau de tolérance à l’égard d’un risque donné joue un rôle important lorsque vient le temps de déterminer le degré d’importance de la réponse et le type de réponse. Par exemple, une faible tolérance au risque peut vous amener à éviter le risque complètement ou à déployer de grands efforts pour l’atténuer.

Tolérance au risque (ou goût du risque) : Mesure du niveau de risque qu’une personne ou une organisation est prête à assumer afin d’obtenir les résultats escomptés.

Il est aussi important de déterminer ce qui vous permettra d’obtenir le meilleur résultat au moindre coût. D’autres éléments importants sont également à considérer, dont l’éthique, les attentes du public, les attentes internationales et les pratiques exemplaires sur le terrain. N’ajoutez des stratégies de réponse au risque que si les stratégies établies sont jugées insuffisantes, autrement dit si le niveau de risque est supérieur au niveau de tolérance.

26




L’arbre de décision ci-dessous illustre dans quelles circonstances les différentes stratégies de réponse peuvent entrer en jeu.

Arbre de décision concernant la planification du risque

Événement à risque

Acceptation

SuiviPouvez-

vous agir?

Acceptable?

Tolérance

NON

NON

OUI

OUI

Évitement PartageAtténuation

Mesures particulières, responsable et date

Risque résiduel

Une fois que vous avez élaboré des stratégies de réponse aux risques, vous pouvez évaluer le niveau de risque résiduel en vous servant de la matrice des risques et de l’échelle de risque à quatre niveaux.

Risque résiduel : Niveau de risque qui demeure après la prise en compte des mesures d’atténuation du risque ainsi que des contrôles en place.

27




4. Suivi et évaluation des risques : registre des risquesUn registre des risques sert à dresser la liste des risques les plus importants et des résultats de leur analyse, et à résumer les stratégies de réponse. De l’information sur l’état du risque est aussi fournie selon un calendrier de comptes rendus réguliers. Le registre des risques doit être revu et mis à jour en continu pendant toute la durée du projet concerné.

Étapes à suivre pour remplir un registre des risques

Étape 1 – Description des risques : Notez par écrit les principaux risques associés au projet.

Étape 2 – Réponse aux risques : Faites un résumé succinct des stratégies de réponse auxquelles vous recourrez pour gérer le risque ou prévenir un événement à risque, qu’il s’agisse de stratégies établies ou de stratégies supplémentaires. On peut s’attendre à ce que ces stratégies fassent diminuer le niveau de risque.

Étape 3 – Niveau de risque : Pour chacun des risques sélectionnés, déterminez le niveau de risque actuel. Prenez note qu’il s’agit du risque résiduel subsistant après le recours aux stratégies de réponse aux risques que vous avez prévues à l’étape 2. Vous pouvez vous servir de la matrice des risques et de l’échelle de risque à quatre niveaux, ci-dessus, pour déterminer le niveau de risque. Indiquez ensuite, dans la colonne « Date 1 », la couleur correspondante selon l’échelle de risque.

Étape 4 – Modèle logique : Un risque se définit comme l’effet de l’incertitude sur l’obtention d’un résultat. En vous référant au modèle logique, inscrivez dans la dernière colonne l’énoncé du résultat que le risque en question est susceptible d’influencer (ou le niveau correspondant, à tout le moins). Si ce risque concerne l’ensemble du projet, vous pouvez y inscrire « tout le projet ».

Étape 5 – Responsable du risque : Il s’agit de la personne qui est chargée du processus de coordination relatif au risque, de la réponse au risque et de la collecte d’information sur le risque. Autrement dit, lorsque le risque se transforme en incident, cette personne s’occupe de le résoudre.

Étape 6 – Niveau de risque global : Pour évaluer le niveau de risque global associé au projet, on peut se servir du guide suivant :

Projet à très haut risque (rouge)Les trois risques les plus importants sont dans la zone rouge

Projet à haut risque (orange)Les trois risques les plus importants sont dans la zone orange, ou deux des trois sont dans la zone rouge

Projet à faible risque (jaune)Les trois risques les plus importants sont dans la zone jaune, ou deux des trois sont dans la zone orange

Projet à très faible risque (vert)Deux des trois risques les plus importants sont dans la zone jaune, ou les trois sont dans la zone verte

28




Ce guide a pour seul but de vous aider à exercer votre jugement qualitatif, et non de s’y substituer.

Étape 7 – Suivi : Dans le monde concret, les risques changent constamment pendant la durée d’un projet. À mesure que les risques surviennent ou disparaissent, changez les descriptions correspondantes et les niveaux de risque qui s’y rapportent. Faites aussi un suivi du recours aux stratégies de réponse et de leur efficacité, et modifiez au besoin ce que vous avez écrit dans la colonne « réponse au risque ».

Selon un calendrier de suivi régulier, réévaluez le risque et indiquez la couleur correspondante dans la colonne « Date 2 », et ainsi de suite. Ajoutez des colonnes au besoin. Veuillez noter que cela doit se faire au fil de l’exécution du projet, et non d’un seul coup au moment de préparer le document d’approbation du projet. Les périodes de suivi varieront selon le projet, mais la période type est de six mois.

29




Exem

ple

de r

egis

tre d

es r

isqu

es

Des

crip

tion

du r

isqu

eRé

pons

e au

ris

que

Niv

eau

de r

isqu

e ré

sidu

el

Très

faib

le/f

aibl

e/él

evé/

tr

ès é

levé

(Ajo

utez

des

co

lonn

es a

u be

soin

)

Énon

cé d

u ré

sulta

t

(mod

èle

logi

que)

Resp

onsa

ble

du r

isqu

e

Dat

e 1

Dat

e 2

Dat

e 3

Risq

ues

opér

atio

nnel

s

Prés

ence

sur

le te

rrai

n in

adéq

uate

po

ur a

ssur

er l’

enca

drem

ent

cont

inu

des

ense

igna

ntes

st

agia

ires

et p

our

rend

re c

ompt

e de

s pr

ogrè

s ac

com

plis

• U

tilis

atio

n de

s se

rvic

esd’

enca

drem

ent l

ocau

x•

Équi

libre

ent

re le

s co

nnai

ssan

ces

et la

cap

acité

de

gest

ion

• Ét

ablis

sem

ent d

es p

lans

d’ap

pren

tissa

ge r

equi

s et

offr

e de

form

atio

n à

tous

les

empl

oyés

mun

icip

aux

dans

des

dom

aine

s co

mm

e l’é

galit

é en

tre

les

sexe

s et

l’en

cadr

emen

t

P= 3

.4

I= 3

.0

P=

I=

P=

I=

• C

onna

issa

nces

, com

péte

nces

et

attit

udes

ren

forc

ées

des

ense

igna

nts

f/h

dans

les

mun

icip

alité

s du

dépa

rtem

ent X

afin

d’a

mél

iore

rla

qua

lité

et la

per

tinen

ce d

el’e

nsei

gnem

ent o

ffert

en

clas

se

Risq

ues

finan

cier

s

Déc

entr

alis

atio

n de

la

resp

onsa

bilit

é à

l’int

entio

n de

s m

unic

ipal

ités

ne p

ossé

dant

pa

s la

cap

acité

de

gére

r la

con

clus

ion

de c

ontr

ats,

l’a

ppro

visi

onne

men

t et l

es p

aies

• C

onso

lidat

ion

des

capa

cité

sen

vue

d’u

ne m

eille

ure

gest

ion

publ

ique

de

l’app

rovi

sion

nem

ent,

des

cont

rats

et d

es p

aies

• Ré

alis

atio

n de

vér

ifica

tions

annu

elle

s et

alé

atoi

res

dela

con

form

ité e

n m

atiè

re d

efin

ance

s et

de

cont

rats

P= 2

.0

I= 3

.0

P=

I=

P=

I=

• A

pplic

atio

n pl

us r

igou

reus

e de

bonn

es p

ratiq

ues

péda

gogi

ques

pert

inen

tes

par

les

ense

igna

nts

f/h

dans

les

mun

icip

alité

s du

dépa

rtem

ent X

afin

d’a

mél

iore

rla

qua

lité

et la

per

tinen

ce d

el’e

nsei

gnem

ent o

ffert

en

clas

se

30




Des

crip

tion

du r

isqu

eRé

pons

e au

ris

que

Niv

eau

de r

isqu

e ré

sidu

el

Très

faib

le/f

aibl

e/él

evé/

tr

ès é

levé

(Ajo

utez

des

co

lonn

es a

u be

soin

)

Énon

cé d

u ré

sulta

t

(mod

èle

logi

que)

Resp

onsa

ble

du r

isqu

e

Dat

e 1

Dat

e 2

Dat

e 3

Risq

ues

liés

au d

ével

oppe

men

t

Sexi

sme

qui l

imite

la p

artic

ipat

ion

des

fem

mes

• Év

alua

tion

des

stra

tégi

es d

esm

unic

ipal

ités

et m

ise

en p

lace

des

prat

ique

s ex

empl

aire

s•

Ajo

ut d

e la

form

atio

n su

rl’é

galit

é en

tre

les

sexe

s da

nsle

pro

gram

me

de fo

rmat

ion

des

ense

igna

nts

P= 2

.7

I= 2

.5

P=

I=

P=

I=

• C

onna

issa

nces

, com

péte

nces

et

attit

udes

ren

forc

ées

des

ense

igna

nts

f/h

dans

les

mun

icip

alité

s du

dépa

rtem

ent X

afin

d’a

mél

iore

rla

qua

lité

et la

per

tinen

ce d

el’e

nsei

gnem

ent o

ffert

en

clas

se•

App

licat

ion

plus

rig

oure

use

debo

nnes

pra

tique

s pé

dago

giqu

espe

rtin

ente

s pa

r le

s en

seig

nant

sf/

h da

ns le

s m

unic

ipal

ités

dudé

part

emen

t X a

fin d

’am

élio

rer

la q

ualit

é et

la p

ertin

ence

de

l’ens

eign

emen

t offe

rt e

n cl

asse

Abs

ence

de

norm

es e

t de

cohé

renc

e da

ns le

s pr

atiq

ues

d’em

bauc

he d

es e

nsei

gnan

ts

• M

ise

à pr

ofit

de la

con

tinui

téin

stitu

tionn

elle

et d

es p

ratiq

ues

exem

plai

res

• M

ise

en œ

uvre

de

mes

ures

perm

etta

nt d

’ada

pter

les

bonn

es p

ratiq

ues

d’ai

lleur

s au

cont

exte

loca

l

P= 2

.5

I= 2

.5

P=

I=

P=

I=

• A

pplic

atio

n pl

us r

igou

reus

e de

bonn

es p

ratiq

ues

péda

gogi

ques

pert

inen

tes

par

les

ense

igna

nts

f/h

dans

les

mun

icip

alité

s du

dépa

rtem

ent X

afin

d’a

mél

iore

rla

qua

lité

et la

per

tinen

ce d

el’e

nsei

gnem

ent o

ffert

en

clas

se

31




Des

crip

tion

du r

isqu

eRé

pons

e au

ris

que

Niv

eau

de r

isqu

e ré

sidu

el

Très

faib

le/f

aibl

e/él

evé/

tr

ès é

levé

(Ajo

utez

des

co

lonn

es a

u be

soin

)

Énon

cé d

u ré

sulta

t

(mod

èle

logi

que)

Resp

onsa

ble

du r

isqu

e

Dat

e 1

Dat

e 2

Dat

e 3

Inon

datio

ns e

t cou

lées

de

boue

oc

casi

onne

lles

dans

les

régi

ons

mon

tagn

euse

s de

s zo

nes

de

recr

utem

ent d

es é

lève

s

• C

once

ptio

n et

inst

alla

tion

dem

écan

ismes

d’in

terv

entio

n ra

pide

fond

és s

ur d

es p

rinci

pes

d’ef

ficac

ité•

Con

solid

atio

n de

la c

apac

itém

unic

ipal

e d’

offr

ir un

efo

rmat

ion

et u

ne p

répa

ratio

nau

x ca

tast

roph

es•

Con

solid

atio

n de

la c

apac

ité d

em

ieux

gér

er l’

envi

ronn

emen

t•

Vérif

icat

ion

de la

loca

lisat

ion

des

écol

es (e

lles

doiv

ent s

e tro

uver

en

deho

rs d

es p

lain

es in

onda

bles

)

P= 1

.5

I= 3

.5

P=

I=

P=

I=

• A

pplic

atio

n pl

us r

igou

reus

e de

bonn

es p

ratiq

ues

péda

gogi

ques

pert

inen

tes

par

les

ense

igna

nts

f/h

dans

les

mun

icip

alité

s du

dépa

rtem

ent X

afin

d’a

mél

iore

rla

qua

lité

et la

per

tinen

ce d

el’e

nsei

gnem

ent o

ffert

en

clas

se

Risq

ues

liés

à la

rép

utat

ion

Risq

ue d

e m

anqu

er la

pér

iode

av

ant r

écol

te p

our

com

mun

ique

r le

s ob

ject

ifs d

u pr

ojet

• Él

abor

atio

n d’

une

stra

tégi

ede

com

mun

icat

ions

pou

r fa

ireco

nnaî

tre

les

obje

ctifs

du

proj

et

P= 1

.5

I= 3

.5

P=

I=

P=

I=

• A

pplic

atio

n pl

us r

igou

reus

e de

bonn

es p

ratiq

ues

péda

gogi

ques

pert

inen

tes

par

les

ense

igna

nts

f/h

dans

les

mun

icip

alité

s du

dépa

rtem

ent X

afin

d’a

mél

iore

rla

qua

lité

et la

per

tinen

ce d

el’e

nsei

gnem

ent o

ffert

en

clas

se

32




Établissement d’un Cadre de mesure du rendement (CMR)

La mesure du rendement est un volet essentiel de la GAR; il importe d’établir un plan structuré pour la collecte et l’analyse de l’information sur le rendement. Dans l’ensemble de l’administration fédérale, le Cadre de mesure du rendement (CMR) est l’outil de GAR utilisé à cette fin. Le CMR n’est pas adopté uniquement par le gouvernement canadien : d’autres organisations et bailleurs de fonds se servent d’outils similaires pour planifier la collecte et l’analyse de l’information sur le rendement pour leur programmation.

Pourquoi mesurer le rendement?La mesure du rendement est effectuée de façon continue pendant la mise en œuvre des investissements, de manière à fournir régulièrement des données aux gestionnaires et aux parties prenantes (utilisation des ressources, publics concernés, progrès accomplis vers la réalisation des extrants et des résultats). Ces renseignements aident à déterminer les points forts, les points faibles et les problèmes à mesure qu’ils se font jour et permettent aux gestionnaires de projet de prendre en temps voulu des mesures correctives pendant le cycle de vie de l’investissement. Cela accroît les chances d’obtenir les résultats escomptés.

Le CMR : Terminologie et définitions

Qu’est-ce qu’un CMR?Un cadre de mesure du rendement est un plan permettant de recueillir systématiquement des données pertinentes pendant toute la durée d’un investissement afin d’évaluer et de mettre en évidence les progrès accomplis vers l’obtention des résultats escomptés. Il recense les principaux éléments du système de suivi et fait en sorte que l’information sur le rendement est recueillie régulièrement. Il contient aussi les données de base, les cibles et la responsabilité (entité ou personne responsable) pour ce qui est de la collecte des données. Comme c’est le cas pour le modèle logique, le CMR doit être élaboré ou évalué au moyen d’un processus participatif qui met à contribution les partenaires locaux, les participants et les parties prenantes.

Le CMR comporte huit colonnes : résultats escomptés, indicateurs, données de base, cibles, sources de données, méthodes de collecte des données, fréquence et responsabilité (voir exemple à la page 37).

Que sont les résultats escomptés?La colonne « Résultats escomptés » comporte quatre rangées, soit les extrants, les résultats immédiats, les résultats intermédiaires et le résultat ultime, tel que le modèle logique.

Que sont les indicateurs?Les indicateurs sont choisis et définis en fonction du niveau de résultats (voir l’outil permettant d’élaborer les indicateurs dans les pages précédentes).

33




Que sont les données de base?Les données de base sont l’ensemble des conditions qui existent au début d’un programme ou d’un investissement; ce sont les données quantitatives et qualitatives obtenues en vue d’établir un profil. Les données de base sont recueillies à un moment précis et servent de point de référence en fonction duquel les résultats seront mesurés ou évalués. Il faut des données de base pour chaque indicateur de rendement qui sera utilisé pour mesurer les résultats pendant l’investissement. Il est important de s’assurer que les données de base soient ventilées en catégories pertinentes (p ex., âge, sexe, origine ethnique, langue, emplacement géographique, statut socioéconomique, enfants travailleurs, etc.) et recueillies pour les filles et les garçons les plus marginalisés.

Que sont les cibles?Une cible précise la valeur particulière à atteindre pour un indicateur de rendement avant une date donnée; il s’agit d’un objectif que l’investissement vise à atteindre au cours d’une certaine période par rapport à l’un de ses résultats escomptés. Les cibles fournissent une base concrète et utile pour engager la discussion avec les parties prenantes.

Toutefois, les cibles sont indiquées uniquement dans le CMR et ne devraient pas figurer dans les énoncés des résultats pour diverses raisons. Premièrement, lorsque les cibles sont incluses dans un énoncé des résultats, elles réduisent la capacité de rendre compte de l’obtention du résultat en question en limitant trop le succès à un objectif très restreint, c.-à-d. l’atteinte de la cible elle-même. Dans un tel contexte, rendre compte des résultats revient à justifier le non-respect de la cible ou le fait qu’elle a été dépassée (ce qui dans les deux cas pourrait être considéré comme un signe de mauvaise planification) plutôt qu’à comparer les résultats escomptés aux résultats réels et à analyser les écarts. En outre, les résultats doivent être mesurables et décrire, de manière simple et précise, un changement escompté. L’ajout de cibles dans un énoncé des résultats ne le permet pas; en effet, un résultat qui inclut sa propre mesure ne peut être évalué ni mesuré.

Conseil : La détermination de cibles solides

• Les cibles doivent être réalistes et examinées régulièrement.• Les partenaires et les parties prenantes doivent participer à l’établissement des cibles.• Les cibles peuvent être définies à court et à long terme (p. ex., le mois suivant, à mi-parcours,

en fin de projet).• Une cible solide prend la forme d’un énoncé clair du rendement souhaité par rapport à un

résultat escompté et est définie à partir des données de base établies.

Exemple :

Indicateur : Taux de fréquentation scolaire parmi les filles en âge de fréquenter l’école primaire.Données de base : En ce moment, 70 % des filles en âge de fréquenter l’école primaire dans le

district X y vont. Cible : La cible à la fin de l’initiative (en 2013) est de faire en sorte que 80 % des filles en âge de

fréquenter l’école primaire y aillent.

34




Qu’est ce qu’une source de données?Les sources de données sont les personnes, les organisations ou les documents qui fournissent des données pour les indicateurs. Les données sur le rendement pour certains indicateurs peuvent se trouver dans des sources existantes, comme les bureaux d’enregistrement, les registres des rendez-vous, les fiches de suivi ou les rapports rédigés et les études effectuées annuellement par les membres de la communauté du développement international. On peut obtenir d’autres données au moyen des indicateurs qui font l’objet d’un suivi par les gouvernements et les organisations partenaires et sont compilés dans les rapports annuels destinés aux bailleurs de fonds.

Une source de données s’entend d’une personne ou des éléments qui fournissent des données, et non pas de la méthode de collecte des données.

Exemples de sources de données pour les indicateurs

Les sources de données peuvent comprendre les exemples ci-dessous, par contre, ceci n’est pas une liste exhaustive :

1) Personnes • Représentants du gouvernement • Participants individuels • Groupes de participants • Représentants de parties prenantes au sein de l’organisation, de partenaires et de participants • Parties prenantes externes • Bailleurs de fonds • Représentants des médias

2) Documents • Articles des médias • Documents de projet • Documents des bailleurs de fonds (évaluations, missions de surveillance) • Dossiers • Dossiers d’examen • Documents organisationnels • Indicateurs statistiques • Données météorologiques • Données sur la demande • Données sur l’habitat • Données de recensement

Pour l’élaboration du Cadre de mesure du rendement (CMR), précisez les sources de données auxquelles vous pouvez accéder pour des renseignements permettant de mesurer les résultats atteints pour un indicateur donné.

La source des données sur le rendement est très importante pour assurer la crédibilité des résultats signalés; essayez d’inclure des données provenant de diverses sources pour confirmer les conclusions.

35




Qu’est-ce qu’une méthode de collecte des données?Les méthodes de collecte des données expliquent COMMENT les données sur les indicateurs sont obtenues. Le choix d’une méthode de collecte des données varie en fonction du type d’indicateur et des fins auxquelles l’information est recueillie. Elle varie aussi selon la fréquence de la collecte de l’information.

Conseil : La sélection d’une méthode appropriée de collecte des données

• Déterminez quelle méthode de collecte des données convient le mieux aux indicateurs en question.• Utilisez des sources de données multiples.• Tenez compte du caractère pratique et du coût de chaque méthode.• Évaluez les avantages et les inconvénients de chaque méthode de collecte des données

(exactitude, difficulté, fiabilité, délai).

Les méthodes de collecte des données nous permettent de recueillir des renseignements sur les résultats de façon systématique. Il n’est pas nécessaire que les méthodes de collecte de données soient compliquées. Elles peuvent au contraire être très simples. Il est possible d’utiliser différentes techniques de collecte des données en complémentarité.

Quelques méthodes pour la collecte des données

Sondage : Collecte de renseignements normalisés au moyen de questionnaires structurés afin de produire des données quantitatives. Les sondages peuvent être remplis à distance (puis retourné par courrier postal ou électronique), sur place, ou bien lors d’entrevues menées soit en personne, soit par téléphone. Les enquêtes par sondage s’appuient sur une méthode d’échantillonnage probabiliste ou dirigé.

Étude de cas : Examen approfondi d’un cas particulier (programme, groupe de participants, personne seule, site/lieu). Les études de cas reposent sur de multiples méthodes et sources d’information afin d’offrir la représentation la plus complète possible.

Entrevue : Collecte de renseignements au moyen d’entretiens directs avec les personnes, soit en personne, soit par téléphone. Les entrevues varient selon une échelle qui va de l’entretien très structuré (à l’instar d’un sondage) à la conversation ouverte.

Observation : Collecte d’information par « l’observation » et « l’écoute ». La méthode d’observation peut être structurée ou non.

Évaluation collective : Utilisation d’un processus afin de collecter des données aux fins d’évaluation, tel que la méthode de groupe nominal, de groupe de discussion, ou la méthode Delphi, ou encore la technique du remue méninges ou les forums communautaires.

Examen par des experts ou des pairs : Examen par un Comité de révision, un groupe d’experts ou de pairs.

36




Examen de portefeuille : Collecte de documents, notamment d’échantillons du travail accompli représentatifs de l’étendue et de la portée de l’activité de programme évaluée.

Témoignage : Déclarations dans lesquelles des personnes expliquent leurs réactions et donnent leur avis.

Test : Utilisation des normes établies pour évaluer les connaissances, les compétences et le rendement, telles que le « test des crayons et des stylos » ou le test de compétences.

Photographies, diapositives, vidéos : Utilisation de photographies aux fins de représentation visuelle.

Journal personnel, journal : Consignation d’événements au fil du temps, reflétant la vision personnelle de l’auteur/du rédacteur.

Journal de bord : Inscription par ordre chronologique d’entrées généralement brèves et factuelles.

Analyse de document : Utilisation de techniques d’analyse de contenu ou d’autres méthodes pour analyser et résumer la documentation écrite et les renseignements disponibles.

Autres méthodes

Carte d’action : Utilisation de fiches sur lesquelles les participants inscrivent ce qu’ils ont entrepris (« l’action ») et le moment où ils ont atteint le but recherché. Cette méthode est surtout utilisée à des fins d’autoévaluation.

Simulation : Utilisation de modèles ou de maquettes pour susciter les réactions et l’expression de points de vue.

Exemples de problèmes : Utilisation de comptes rendus narratifs de situations problématiques passées, présentes ou futures comme point de départ pour évaluer les points de vue en extériorisant la situation au moyen des personnages fictifs.

Expression créative : Utilisation de formes artistiques pour représenter les idées et les sentiments des personnes, au moyen de l’écriture, du théâtre, de la danse, de la musique et de l’art.

Mesure dissimulée : Collecte de renseignements sans que les personnes en aient conscience, par exemple, en observant l’usure que leur passage a laissée sur un tapis « dissimulé » devant une affiche.

37




Conversation avec les

personnes concernées

Entrevue dans la

communauté

Visite sur le terrain

Examen de documents

officiels (système

d’information de gestion et données

administratives)

Entrevue avec les principaux répondants

Observation participante

Entrevue avec des groupes de discussion

Observation directe

Questionnaires

Sondage unique

Sondages par panel

Recensement

Expérience sur le terrain

Méthodes non officielles et moins structurées Méthodes officielles et plus structurées

Tiré de : Jody Zall Kusek et Ray C. Rist, Ten Steps to a Results-Based Monitoring and Evaluation System: A Handbook for Development Practitioners, Publications de la Banque mondiale, 2004.

Qu’est-ce que la fréquence?La fréquence renvoie au moment choisi pour la collecte des données : à quel intervalle l’information sur chaque indicateur sera-t-elle recueillie ou validée? Est-ce que l’information sur un indicateur du rendement sera recueillie régulièrement (tous les trois mois ou une fois par an) dans le cadre de la gestion continue du rendement et de l’établissement de rapports, ou périodiquement pour les évaluations finales, à mi-parcours ou de référence? Il importe également de mentionner qu’il faudra obtenir des données sur certains indicateurs au début de l’investissement pour établir les données de base.

Qu’est-ce que la responsabilité?La responsabilité détermine qui est chargé de recueillir ou de valider les données.

Exemples de parties prenantes chargées de la collecte et de la validation des données

• Les participants• Les professionnels locaux• Les organisations partenaires• Les consultants• Les spécialistes externes de l’évaluation et du suivi• Le personnel de l’ACDI

38




La marche à suivre pour remplir un CMR L’élaboration d’un CMR s’amorce à l’étape de la planification et de la conception. Il est à noter que certains éléments peuvent être déterminés après ou pendant la mise en œuvre du projet (p. ex., la collecte des données de base et la définition de certaines cibles).

1. Examinez l’exposé du projet pour vous assurer de la cohérence entre les énoncés de l’exposé et ceux du CMR.

2. Veillez à ce que le CMR soit élaboré dans le cadre d’une approche participative, qui mettra à contribution, entre autres, les principales parties prenantes locales, les partenaires, les participants et les spécialistes de l’ACDI concernés. Discutez des indicateurs possibles.

3. Retranscrivez le résultat ultime, les résultats intermédiaires, les résultats immédiats et les extrants tirés de votre modèle logique dans les cases appropriées du modèle de CMR.

4. Déterminez les indicateurs de rendement pour les extrants et résultats escomptés et inscrivez ces indicateurs pour le résultat ultime, les résultats intermédiaires, les résultats immédiats et les extrants. Validez et vérifiez la qualité de vos indicateurs de rendement, au moyen de la liste de vérification pour le choix des indicateurs (à la page 19).

5. Établissez la « source de données » et la « méthode de collecte des données » pour les indicateurs

de rendement choisis. Cherchez à inclure des sources de données multiples dans la mesure du possible afin d’accroître la fiabilité de vos données sur le rendement.

6. Remplissez les colonnes « Fréquence » et « Responsabilité » pour chaque indicateur de rendement. Déterminez s’il faut recueillir l’information sur chaque indicateur de façon continue dans le cadre du suivi du rendement ou périodiquement au moyen d’évaluations.

7. Inscrivez les données de base dans la mesure du possible. S’il existe des données historiques fiables sur vos indicateurs de rendement (sous forme de données du gouvernement, d’information provenant d’une phase antérieure du projet ou d’information recueillie dans le cadre d’une analyse des besoins), il faut les utiliser; sinon, une série de données de base doit être recueillie dès que possible. Si vous comptez recueillir les données plus tard, précisez-le dans votre CMR avec un énoncé tel que « Données de base à recueillir au début du projet » ou « Données fournies après la sélection des collectivités ». Si possible, fixez la date à laquelle cette tâche sera achevée (cela doit être fait avant la fin de la première année).

8. Établissez des cibles réalistes pour chaque indicateur par rapport aux données de base que vous avez retenues. Cela permet de définir les attentes en matière de rendement pour une période déterminée. Des cibles clés, fondées sur les lacunes et les priorités déterminées au cours de l’analyse initiale, doivent être fixées pour l’établissement des budgets et l’affectation des ressources, et elles jouent un rôle important dans la planification et la conception du projet. D’autres cibles peuvent être établies ultérieurement une fois que l’étude de référence a été réalisée.

39




Exem

ple

: Un

CM

R

Résu

ltats

esc

ompt

és1

Indi

cate

urs2

Don

nées

de

bas

eC

ible

s3So

urce

s de

do

nnée

s

Mét

hode

s

de c

olle

cte

des

donn

ées

Fréq

uenc

eRe

spon

sabi

lité

Résu

ltat

ultim

e(à

long

ter

me)

Accè

s am

élio

ré d

es

enfa

nts

à un

e éd

ucat

ion

de q

ualit

é et

per

tinen

te

pour

les

fille

s, le

s ga

rçon

s, le

s ad

oles

cent

s et

les

jeun

es d

ans

mun

icip

alité

s du

dé

parte

men

t X

Résu

ltats

in

term

édia

ires

(à m

oyen

te

rme)

Reco

urs

accr

u, p

arm

i le

s en

seig

nant

s, à

des

pr

atiq

ues

péda

gogi

ques

pe

rtine

ntes

et d

e qu

alité

da

ns m

unic

ipal

ités

du

dépa

rtem

ent X

• N

ombr

e d’

ense

igna

nts

(par

se

xe e

t par

mun

icip

alité

) qu

i app

lique

nt d

e bo

nnes

pr

atiq

ues

péda

gogi

ques

pe

rtine

ntes

• Pe

rcep

tion

des

fille

s, d

es

garç

ons,

des

ado

lesc

ents

et

des

jeun

es (p

ar s

exe,

ni

veau

de

scol

arité

, âge

et

mun

icip

alité

) en

ce

qui c

once

rne

la q

ualit

é et

la p

ertin

ence

des

pr

atiq

ues

péda

gogi

ques

de

s en

seig

nant

s

150

f50

h(2

008)

750

f25

0 h

(201

2)

• En

seig

nant

s

• Éc

oles

• Pr

ogra

mm

e de

cou

rs

• D

ocum

ents

d’

éval

uatio

n de

s en

seig

nant

s de

l’éc

ole

• O

bser

vatio

n en

cla

sse

• Jo

urna

ux

• En

quêt

es

sur

les

ense

igna

nts

• An

alys

e de

do

cum

ents

• C

haqu

e m

ois

• À

mi

parc

ours

et

à la

fin

du p

roje

t

• Su

rvei

llanc

e in

tern

e (s

péci

alis

tes

en é

duca

tion)

de

la m

ise

su

r pi

ed

de l’

ON

G

• Éc

oles

Résu

ltats

im

méd

iats

(à c

ourt

te

rme)

Con

nais

sanc

es,

com

péte

nces

et

attit

udes

ren

forc

ées

des

ense

igna

nts

dans

m

unic

ipal

ités

du

dépa

rtem

ent X

afin

d’

amél

iore

r la

qua

lité

et la

per

tinen

ce d

e l’e

nsei

gnem

ent o

ffert

en

cla

sse

40




Aide mémoire pour présenter le rendement

1. Mettre les résultats en contexte • Quelle était la situation? • Quels changements ont été apportés à la situation actuelle? • Quelles sont les conséquences pour l’atteinte des résultats?

2. Mesurer les progrès, les ajustements et les réalisations accomplis (résultats réels) par rapport aux résultats escomptés présentés dans l’énoncé des résultats du projet ou du programme, et en rendre compte.

3. Rendre compte des réalisations accomplies à l’aide des renseignements sur le rendement liés aux indicateurs qui ont été recueillis.

4. Expliquer les écarts entre les résultats escomptés et les résultats réels (p. ex., discuter des difficultés et des enjeux).

5. Proposer des leçons apprises et des améliorations.

41

Documents de référence

La gestion axée sur les résultats et comment elle se compare au processus de planification opérationnelle

43




Cadre de mesure du rendement (CMR)

Plan visant à recueillir systématiquement les données pertinentes pendant toute la durée de vie d’un investissement, de manière à évaluer et à déterminer les progrès réalisés par rapport à l’atteinte des résultats escomptés.

Chaîne de résultats

Chaîne causale d’actions à réaliser pour qu’une intervention en matière de développement puisse mener à l’atteinte des objectifs établis. La chaîne de résultats commence par les intrants, passe par les activités et les extrants, puis aboutit aux résultats immédiats, intermédiaires et ultime.

Données de base Ensemble des conditions existantes au moment de lancer un programme ou d’effectuer un investissement. Les données de base sont recueillies à un moment déterminé et servent de point de référence pour mesurer le changement au fil du temps (résultats).

Données ventilées

Données provenant de différents groupes. « Ventiler » signifie répartir en plusieurs groupes. L’information peut être répartie selon le sexe, l’âge, l’origine ethnique, le niveau de revenu, le caractère rural ou urbain, etc.

Gestion du risque

Approche systématique visant à déterminer la meilleure voie à suivre en cas d’incertitude.

Indicateur Repère quantitatif ou qualitatif, mesure, chiffre, fait, opinion ou perception permettant de vérifier les changements qu’une intervention en matière de développement a pu apporter par rapport à ce qui était prévu.

Logique horizontale

Relation entre un résultat escompté et les indicateurs connexes. Peut-on voir clairement quels indicateurs servent à mesurer quels résultats? Les indicateurs choisis permettront-ils de mesurer ce résultat escompté?

Modèle logique Tableau ou graphique illustrant la compréhension d’une intervention (notamment un projet, un programme ou une politique) ou les résultats particuliers que cette intervention est censée produire.

Niveau de risque Produit de l’impact multiplié par la probabilité.

Probabilité (de concrétisation d’un risque)

Probabilité d’occurrence (perçue) d’un événement ou d’une situation.

Responsable du risque

Personne qui est chargée du processus de coordination relatif au risque, de la réponse au risque et de la collecte d’information sur le risque. Autrement dit, lorsque le risque se transforme en incident, cette personne s’occupe de gérer la résolution de l’incident.

GlossaireGestion axée sur les résultats dans le contexte du MAECD

45




Risque Effet de l’incertitude par rapport à l’atteinte des résultats escomptés.

Risque résiduel Niveau de risque qui demeure après la prise en compte des mesures

Tolérance au risque

Niveau de risque qu’une personne ou une organisation est prête à assumer dans le cadre des activités visant à atteindre les résultats escomptés.

46




Source : Secrétariat du Conseil du Trésor du Canadahttp://www.tbs-sct.gc.ca/cee/pubs/lex-fra.asp

Activité Opération ou démarche exécutée par une organisation qui utilise des intrants pour produire des extrants (p. ex. formation , recherche, construction, négociation, enquête).

Architecture d’alignement de programmes (AAP)

Inventaire de tous les programmes entrepris par un ministère ou organisme. Les programmes sont décrits par leur lien logique entre eux et par rapport aux résultats stratégiques auxquels ils contribuent. L’AAP est le document initial qui sert à l’établissement d’une structure de gestion des ressources et des résultats (SGRR).

Architecture d'alignement de programme, horizontal

Inventaire de toutes les activités et initiatives dans un domaine de programme ou de politique horizontal et de leurs liens avec les résultats.

Attribution Établissement d’un lien de cause à effet entre un résultat particulier et les activités et extrants d’une politique, d’un programme ou d’une initiative du gouvernement.

Cadre de gestion et de responsabilisation axé sur les résultats (CGRR)

Document qui donne un aperçu de la justification, de la théorie, des ressources et des structures de gouvernance et de responsabilisation d’un programme, d’une politique ou d’une initiative, et qui décrit le plan visant à mesurer les résultats, à en faire le suivi et à en rendre compte tout au long du cycle de vie de la politique, du programme ou de l’initiative. Les CGRR sont conçus pour aider les ministères à atteindre les résultats attendus d’une politique, d’un programme ou d’une initiative.

Cadre horizontal de gestion et de responsabilisation axé sur les résultats (CHGRR)

Cadre qui garantit que les initiatives horizontales et les domaines de politiques et de programmes sont dotés de structures de gouvernance et de responsabilisation adéquates, qu’ils sont logiquement conçus et qu’ils disposent des processus et des structures nécessaires pour la mesure du rendement et l’établissement de rapports connexes. Par exemple, le CGRR de l’Initiative sur la lutte contre le crime organisé.

Cible Rendement mesurable ou niveau de réussite prévu par une organisation ou attendu d’un programme ou d’une initiative au cours d’une période donnée. Les cibles peuvent être quantitatives ou qualitatives et elles conviennent tant pour les extrants que pour les résultats. Par exemple, 70 % des ménages au Canada posséderont leur propre maison en 2006.

Chaîne des résultats

Voir Modèle logique.

Lexique de la gestion axée sur les résultats

47




Critère de rendement

Variable utilisée pour caractériser ou déterminer la mesure dans laquelle une organisation, un programme, une politique ou une initiative produit les extrants ou atteint les résultats attendus, par exemple, la satisfaction de la clientèle.

Exemples de liens entre les intrants et extrants, les critères de rendement et les mesures du rendement :

Intrant/ExtrantCritères de rendement

Mesures du rendement / indicateurs

Sessions de formation pour les clients

Quantité Nombre de sessions de formation présentées

Réduction des GES dans une industrie

Appui des intervenants

Nombre d’intervenants qui ont indiqué leur intérêt à participer à des programmes de réduction de GES

Réduction des GES

% de réduction des GES pour les niveaux de 2004

Des résultats pour les Canadiens et les Canadiennes

Document clé décrivant le cadre de gestion du gouvernement du Canada publié au début de 2000. On y expose les quatre engagements du gouvernement fédéral en matière de gestion : l’accent sur les citoyens, les valeurs de la fonction publique, une gestion axée sur les résultats et des dépenses judicieuses.

Efficacité Mesure dans laquelle une organisation, une politique, un programme ou une initiative produit les résultats prévus. Terme connexe : efficacité en fonction du coût – Mesure dans laquelle une organisation, une politique, un programme ou une initiative utilise les moyens les plus appropriés et les plus efficaces pour atteindre les résultats prévus par rapport à d’autres modes de conception ou d’exécution.

Efficience Rapport entre les extrants et les résultats d’une organisation, d’une politique, d’un programme ou d’une initiative et les ressources engagées pour les produire.

Évaluation La collecte et l’analyse systématiques de données probantes sur les résultats des programmes afin d’en évaluer la pertinence et le rendement et de trouver d’autres modes de prestation ou d’autres façons d’obtenir les mêmes résultats.

Extrant Produit ou service direct découlant des activités d’une organisation, d’une politique, d’un programme ou d’une initiative, et habituellement contrôlé par l’organisation elle-même, par exemple une brochure, une étude de recherche, une usine de traitement de l’eau, une séance de formation.

Gestion axée sur les résultats

Une approche de la gestion à la fois globale et axée sur le cycle de vie qui intègre la stratégie, les personnes, les ressources, les processus et les mesures pour améliorer la prise de décision et susciter le changement. Elle met l’accent sur l’adoption hâtive d’un plan bien conçu dans tout processus, ainsi que sur la mesure du rendement, l’établissement de rapports connexes, l’apprentissage et l’adaptation.

Groupe cible (Population cible)

Ensemble des personnes sur lesquelles une activité est censée exercer une influence.

Indicateur de rendement

Voir Mesure de rendement

48




Initiative Actions et moyens mis en œuvre pour atteindre un objectif qui constitue une priorité du gouvernement du Canada. Une initiative peut être prise par un ou plusieurs ministères dans le cadre d’un ou plusieurs programmes.

Initiative horizontale

Initiative à laquelle participent des partenaires de deux organismes ou plus qui établissent une entente de financement officielle (p. ex. mémoire au Cabinet, présentation au Conseil du Trésor, accord fédéral-provincial) pour travailler à l’atteinte de résultats communs. Par exemple, Stratégie canadienne antidrogue, Initiative sur des mesures pour combattre le crime organisé.

Intrants Ressources financières et non financières utilisées par des organisations pour la mise en œuvre de politiques, de programmes et d’initiatives visant à produire des extrants et des résultats, par exemple, des fonds, du personnel, du matériel des fournitures.

Modèle logique Illustration de la relation de cause à effet, ou lien logique, entre les activités, les intrants, les extrants et les résultats d’une politique, d’un programme, ou d’une initiative, par exemple la chaîne des résultats.

Figure 1: Modèle logique

Mesure de rendement

Un moyen qualitatif ou quantitatif de mesurer un résultat ou un extrant dans le but de déterminer dans quelle mesure une organisation, une politique, un programme ou une initiative atteint les résultats attendus. Les mesures de rendement quantitatives se composent d’un nombre et d’une unité. Le nombre donne une idée de la magnitude (combien) et l’unité fournit au nombre sa signification (quoi), par exemple le nombre de plaintes écrites reçues.

Mesure du rendement

Processus ou systèmes de sélection, d’élaboration et d’utilisation continue de mesures de rendement pour guider le processus décisionnel.

Partie prenante Personne, groupe, institution ou gouvernement, qu’une mesure, une proposition, un projet ou une activité intéresse sur les plans économique, social ou environnemental. En outre, les parties prenantes sont également des entités qui peuvent avoir une influence sur le projet ou ses résultats ou être influencées par le projet ou ses résultats.

Plans Énoncé de choix stratégiques qui présente de l’information sur la manière dont une organisation entend concrétiser ses priorités et obtenir les résultats connexes. En général, un plan justifiera les stratégies choisies et portera essentiellement sur les actions qui mènent au résultat attendu.

49




Politique Loi, règlement, lignes directrices officielles ou principes directeurs du gouvernement qui influencent les comportements en vue de l’atteinte d’un résultat convenu. Par exemple : Loi canadienne sur la santé.

Portée Cible sur laquelle un programme ou un organisme donné doit exercer une influence, y compris des personnes, des organismes, des clients, des partenaires et d’autres parties intéressées (voir groupe cible).

Priorités (RPP) Plans ou projets qu’une organisation a choisi de favoriser et sur lequel elle prépare des rapports au cours de la période de planification. Ils représentent les éléments les plus importants ou ce qui doit être fait en priorité pour appuyer l’atteinte des résultats stratégiques souhaités.

Production de rapports sur le rendement

Processus de communication d’information sur le rendement fondée sur les faits. L’établissement de rapports sur le rendement appuie la prise de décision, la responsabilisation et la transparence.

Programme Groupe d’activités connexes conçues et gérées de manière à répondre à un besoin particulier du public et souvent traitées comme une unité budgétaire.

Rapports ministériels sur le rendement (RMR)

Les rapports ministériels sur le rendement (RMR), déposés chaque année à l’automne par le président du Conseil du Trésor au nom de tous les ministères et organismes du gouvernement fédéral désignés dans les annexes I, I.1 et II de la Loi sur la gestion des finances publiques, font partie du processus du Budget des dépenses et du processus d’attribution des crédits. Leur but premier est de rendre compte des résultats atteints et des progrès accomplis au regard des attentes énoncées dans les rapports sur les plans et priorités (RPP) pour offrir aux parlementaires une connaissance et une compréhension de l’intendance des ressources publiques par le gouvernement.

Rapports sur les plans et les priorités (RPP)

Rapports qui font partie du Budget principal des dépenses et renferment de l’information sur les plans et le rendement attendu des ministères sur une période de trois ans. Ces rapports sont déposés au Parlement chaque année au printemps, après les discussions sur l’affectation des ressources. On y trouve généralement de l’information sur la mission ou le mandat, les résultats stratégiques, les stratégies, les plans et les objectifs de rendement des ministères ou organismes.

Régie Les processus et les structures par lesquels le pouvoir décisionnel s’exerce. Par exemple, une structure de régie efficace garantit que des personnes ou groupes de personnes sont responsables de l’établissement des orientations stratégiques et des priorités, de la prise des décisions en matière d’investissement, de la réaffectation des ressources et de la conception des programmes.

Rendement Mesure de ce qu’accomplit un gouvernement à l’aide des ses ressources pour produire ses résultats ainsi que du degré de correspondance de ces résultats avec les objectifs établis et de la capacité à tirer des leçons de l’expérience.

Le Rendement du Canada

Rapport sur le rendement à l’échelle du gouvernement déposé à l’automne de chaque année par le président du Conseil du Trésor. Le Rendement du Canada offre aux parlementaires et aux Canadiens une perspective globale du gouvernement pour comprendre les plans, les résultats et les ressources dont font état les divers ministères et organismes du gouvernement fédéral lors de leur planification du printemps et dans leurs rapports sur le rendement de l’automne. Par exemple : Le Rendement du Canada 2003.

50




Responsabilisation Obligation de démontrer que l’on assume ses responsabilités en ce qui concerne à la fois les moyens utilisés et les résultats obtenus en fonction d’attentes convenues.

Résultat Conséquence externe attribuable, en partie, à une organisation, à une politique, à un programme ou à une initiative. Les résultats ne sont pas le fait d’une seule organisation, d’une seule politique, d’un seul programme ou d’une seule initiative. Ils relèvent plutôt de la sphère d’influence de l’organisation. Les résultats peuvent être décrits comme étant immédiats, intermédiaires, finaux, attendus, directs ou autre.

Trois types de résultats liés au modèle logique sont définis comme suit :

Résultat immédiatRésultat directement attribuable aux extrants d’une politique, d’un programme ou d’une initiative. En termes de temps et de niveau, il s’agit de résultats à court terme et ils se traduisent souvent par une plus grande sensibilisation d’une population cible.

Résultat intermédiaireRésultat auquel on s’attend logiquement une fois que l’on a atteint un ou des résultats immédiats. En termes de temps et de niveau, ce sont des résultats à moyen terme et ils se traduisent souvent par un changement de comportement dans la population cible.

Résultat finalLe plus haut niveau de résultat qui peut être raisonnablement attribué à une politique, à un programme ou à une initiative d’une manière déterminante, et qui est la conséquence d’un ou de plusieurs résultats immédiats déjà atteints. Ces résultats représentent généralement la raison d’être d’une politique, d’un programme ou d’une initiative. Il y a des résultats à long terme qui représentent un changement d’orientation d’une population cible. Les résultats ultimes des divers programmes, politiques ou initiatives contribuent au plus haut niveau de résultats stratégiques ministériels.

Résultat attendu Résultat qu’un programme, une politique ou une initiative est censé produire. (Expected Result) Résultat du gouvernement du Canada – Avantage durable et à long terme pour les Canadiens que plus d’un ministère et organisme s’efforcent de produire, par exemple une économie innovatrice et fondée sur le savoir.

Résultat stratégique Un avantage durable à long terme pour les Canadiens qui découle du mandat, de la vision et des efforts d’un ministère ou organisme. Ce résultat représente ce que l’organisation veut accomplir pour les Canadiens. Il doit être clair et mesurable et relever directement de la sphère d’influence du ministère ou de l’organisme.

Structure de gestion des ressources et des résultats (SGRR)

Cadre d’ensemble qui consiste en un inventaire des activités, des ressources, des résultats, de la mesure du rendement et de l’information sur la régie d’une organisation. Les activités et les résultats sont décrits de manière à mettre en évidence les liens logiques entre eux ainsi que les résultats stratégiques auxquels ils contribuent. La SGRR est élaborée à partir d’une architecture d’activités de programme (AAP).

Suivi du rendement Processus continu de collecte, d’analyse et d’utilisation d’’information sur le rendement pour établir un constat et rendre compte des progrès accomplis par un organisme vers l’atteinte des résultats attendus et, s’il y a lieu, de permettre l’apport des modifications nécessaires pour garantir la concrétisation de ces résultats.

51




Quelques liens utiles

GAR et Gestion par analyse de résultat au GC

Bureau du vérificateur général du Canada, Mise en oeuvre de la gestion axée sur les résultats : leçons tirées de la documentation : http://www.oag-bvg.gc.ca/internet/Francais/meth_gde_f_10225.html

Forum sur le rendement et la planification : http://www.ppx.ca/

Secrétariat de Conseil du Trésor du Canada :

• Politique sur la structure de la gestion, des ressources et des résultatshttp://www.tbs-sct.gc.ca/pol/doc-fra.aspx?id=18218&section=text

• Centre d’excellence en évaluation (CEE)http://www.tbs-sct.gc.ca/cee/index-fra.asp

GAR au MAECD

Gestion axe sur les résultats : www.acdi-cida.gc.ca/acdi-cida/acdi-cida.nsf/fra/NAT-92213444-N2H

• Les outils de la Gestion axée sur les résultats à l’ACDI : Guide pratique

• Vérification interne

GAR et le développement international

OCDE, Glossaire des principaux termes relatifs à l’évaluation et la gestion axée sur les résultats : www.oecd.org/development/peer-reviews/2754804.pdf

OCDE, Prise de décision fondée sur des données factuelles pour poursuivre le développement humain : http://www.oecd.org/fr/cad/efficacite/prisededecisionfondeesurdesdonneesfactuellespourpoursuivreledeveloppementhumain.htm

Banque mondiale : http://www.banquemondiale.org/resultats/

52