STUDY DESIGN AND EVALUATION OF PERFORMANCE-BASED FINANCING (PBF) IN THE

REPUBLIC OF THE CONGODonald Shepard, Wu Zeng, Jean Rusatira,

Aaron Beaston-Blaakman Workshop on PBF, Brazzaville, The

Republic of the CongoDecember 20, 2011, Updated Dec. 30,

2011

Two arms (variable & fixed) designDessin avec deux bras (payement variable & fixe)

Three departments Pool, Plateaux, Niari

Operational health centers within the three departments randomized to be one of two PBF arms Implementing variable

RBF (Arm 1: PBF arm) Implementing fixed RBF.

Receiving the same funding as average RBF facilities (Arm 2: resource arm)

Trois départements Pool, Plateaux, Niari

Les centres des santé opérationnels seront attribués de façon aléatoire a l’une des 2 catégories suivantes: Intervention n°1 : payement

variable. Structures avec subventions liées aux performances (catégorie 1)

Intervention n°2 : payement fixe. Structures avec subventions non liées aux performances (catégorie 2)

Pre-post evaluation

Health facility and household survey conducted before and after the implementation of RBF Health facility

survey Randomly draw

health facilities for evaluation

Household survey Women of

reproductive age (15- 44 years)

Children under five

Enquête des structures de santé et des ménages a mener avant et après la mise en place du RBF Structures de Santé

Structures de sante choisies de façon aléatoire pour l’évaluation

Ménages Femmes a l’age de

reproduction (15- 44 ans) Enfants de moins de 5 ans

Health Facility SurveyEnquêtes des structures de santé

Sample Size/Taille de l’échantillon There are approx

114 health facilities in the districts in the three departments

On average, 57 health facilities per arm

Randomly draw 28 health facilities/arm

+114 structures sanitaires dans les 3 départements

En moyenne , 57 structures de santé par catégorie (bras)

De façon aléatoire 28 structures/catégorie

Evaluation indicators, 1

Incentivized services Preventive care

1. Vaccinations Maternal health services

2. Pre-post natal care3. Institutional delivery4. Family planning

Prevention of HIV/AIDS (e.g. PMTCT and VCT)

Health care of illnesses with great public health concerns5. HIV/AIDS services (e.g. ART)6. Testing and treatment of fever7. Treatment of respiratory infection

(infections respiratoires superieures)

8. Treatment of diarrhea Quality and management

9. Timely reporting required indicators

10. Accurate documentation and reporting

Results-based financing (RBF) services Soins préventifs

1. Vaccinations Santé maternelle

2. Consultation Pré/Post natale3. Accouchements assistes4. Planification familiale

Prévention VIH/SIDA (ex PTME and VCT)

Soins de sante des maladies de grande envergure de sante publique:5. VIH/SIDA services (ex. ARV)6. Test et traitement de la fièvre7. Traitement des infections respiratoires

(infections respiratoires supérieures) 8. Traitement de la diarrhée

Qualité et gestion9. Préparation et production a temps des

rapport sur les indicateurs demandes 10. Exactitude dans la documentation et

rapportage.

Evaluation indicators, 2

Non-incentivized services Quality of curative

care for adults (excluding pregnant women) Abdominal pain

(douleurs abdominales)

Utilization of curative care for adults Number of

visits/capita

Services sans RBF Qualité des soins

curatives des adultes (exclus les femmes enceintes) douleurs

abdominales Utilisation des soins

de sante curatives des adultes Nombre des

visites/capita

Data collection strategies/Strategies de la collection des données

Data Abstracted from

monthly facility report to the district CSS

Obtained from district hospitals, complemented with health facility survey if data missing

From 2011 Jan to date (Pre measurement)

Données Exploitation des

rapports mensuels des CSI soumis au CSS

Obtenus des CSS et complétées des info 's de l’enquête des structures de santé en cas de besoin

De Jan 2011 a ce jour (Pré-mesurage)

Household Survey/Equête des ménages

Evaluation indicators

Preventive care1. Vaccinations2. Ownership and use of bed net

Maternal health services3. Pre- and post-natal care4. Institutional delivery5. Family planning

Prevention of HIV/AIDS (e.g. PMTCT and VCT)

Health care of illnesses of public health importance

6. Testing and treatment of fever (Tem)

7. Treatment of respiratory infection (infections respiratoires superieures)

8. Treatment of diarrhea

Soins préventifs1. Vaccinations2. Possession et utilisation des

moustiquaires Santé maternelle

2. Consultation Pré/Post natale3. Accouchements assistes4. Planification familiale

Prévention VIH/SIDA (ex PTME and VCT)

Soins de sante pour les maladies de grande envergure de santé publique:5. VIH/SIDA services (ex. ARV)6. Test et traitement de la fièvre7. Traitement des infections

respiratoires (infections respiratoires supérieures)

8. Traitement de la diarrhée

Sample size/Taille de l’echantillon Simple random sample

Number of pregnant women: 123/arm

Number of children 24-59 months: 200/arm

Number of children under 24 months: 250/arm

Cluster sample (assuming design effect is 2) Number of pregnant women:

268/arm Number of children 24-59 months:

400/arm (643 households/arm) Number of children under 24

months: 500/arm (households/arm) Combining all three categories

together, we would like to have household of 650 for the evaluation, using number of children < 2

Simple échantillonnage aléatoire Nombre de femmes enceintes:

123/catégorie (bras) Nombre d’enfants (24-59 mois):

200/catégorie Nombre d’enfants de < 24 mois:

250/catégorie Echantillonnage par grappe

(supposant un effet de plan de 2) Nombre de femmes enceintes:

268/catégorie Nombre d’enfants de 24-59 mois:

400/catégorie (643 ménages/catégorie)

Nombre d’enfants < 24 mois: 500/catégorie (ménage/arm)

Combine toutes les 3 populations, nous voudrions avoir 650 ménages pour l’évaluation en utilisant le nombre d’enfants < 2 ans par catégorie

Sampling objectives/Objective de l’échantillonnage

Every household in study area with young child should have approximately equal probability of selection

Every sampled household can be linked to a study health center and its arm

Relatively large number of clusters minimizes the design effect (effet du plan), improving the accuracy of the sample

Chaque ménage ayant un enfant dans la zone d’ étude devrait avoir approximativement une probabilité égale de sélection

Chaque ménage sélectionné pourrait être lié a un centre de sante faisant l’objet de l’étude et a sa catégorie

Un nombre relativement grand de l’échantillon par grappe minimise l’effet du plan et ainsi assure l’exactitude de l’échantillon

Sampling strategy, 1

Data collected with questionnaire of short, objective questions based on World Bank survey for PBF in Rwanda

Multi-level sampling: health centers, villages, households

Department team leader asks the health center staff to list the villages in its catchment area.

Department team leaders and field coordinator work with census and Planning Department to enumerate all villages under each health center with their estimated current populations..

Field coordinator determines number of villages to be sampled based on the average population per village, and randomly selects the villages.

Données collectées avec un court questionnaire, questions objectives basées sur l’enquête de la Banque Mondiale pour le PBF au Rwanda

Echantillonnage a multiple-niveaux: structures de sante, villages, ménages

Les chefs de l'équipe demanderont aux responsables des CSI de dresser une liste des villages dans l’aire de sante

Les chefs de l'équipe au niveau des départements et le coordonnateur travaillent avec le Département du Plan pour énumérer tous les villages sous chaque centre de sante.

Le coordonnateur et les chefs de l'équipe détermineront le nombre des villages a sélectionner sur base de la moyenne de la population par village, et de façon aléatoire ils sélectionneront les villages

Sampling strategy, 2

Relais or head asked to make a list of households in their village with children under 2

Relais or head asked randomly sample 5 households with children under 2 using systematic sampling following specified procedures.

Relais or head asked to alert mothers that an interviewer will come on specified date and requests their cooperation.

Relais or village head each given small monetary incentive (e.g. 2000 F CFA) to cover travel and incidental expenses

Interviewer surveys selected households on specified date.

Relais/chef de village établira une liste des ménages ayant des enfants <2 ans dans leur villages

Relais/Chef de village demandera de façon aléatoire 5 ménages ayant des enfants <2 ans en utilisant un échantillonnage systématique suivant les procédures spécifiées.

Relai/Chef de village informera les mères de la date de la visite d’un enquêteur et demandera leur coopération

Relai/Chef de village recevra un montant pour couvrir ses dépenses de transport et autres (ex 2.000 FCFA)

La personne chargée de l’interview enquêtera les ménages sélectionnes a une date déterminée.

Post-measurement/Post mesurage If funding

available, Same indicators will be collected one year after the implementation of RBF

S’il y a disponibilité des fonds, Les mêmes indicateurs seront collectes une année après la mise en œuvre du RBF

Statistical analysis/Analyse statistique

Baseline evaluation to assess the comparability of the three arms

Difference-in-difference approach to examine the effect of PBF

Adjusts for design effect and control for key covariates

Evaluation de base pour déterminer la comparabilité des trois catégories

Approche de différence des différence pour examiner l’effet du RBF

Ajuster l’effet du plan et contrôler les covariantes clés

Monitoring of implementation

Indicators for monitoring implementation, 1

Item Sample of 10 Indicators to be examined in evaluating ANSS (Purchasing Agent, CORDAID)

Rusatira (activities in Brazzaville)

Team leaders

(activities in field)

1 Timeliness of Implementation of PBF

Is the planned schedule of activities of ANSS appropriate 100% 0%

Has the implementation of ANSS activities followed the plan 100% 0%

How often and regularly are PBF payments made? 100% 0%

2 Method and Efficiency of Operation

Has ANSS helped incentive health facilities to set up bank accounts to receive incentive payments? 100% 0%

Do all intervention health facilities have bank accounts? 100% 0%

How consistent is payment related to activity or PBF study arm for intervention groups? 50% 50%

3 Verification and relability checking of data

Has ANSS implented a thorough to verify the accuracy and appropriateness of supervisors' ratings? 25% 75%

Has ANSS implented a thorough to train supervisors and peers to judge the quality of services? 25% 75%

Has ANSS implented a thorough validation plan to ensure the accuracy of all quantitative data received? 25% 75%

How reliable are reports from ANSS (Agence d'Achats de Services de Sante)? 25% 75%

4 Relationship with health facility managers

How strong is the communication and regular communication between ANSS and facility managers? 25% 75%

Indicators for monitoring implementation, 2

5 Relationship with health system stakeholders (including central level staff)How strong is the communication and regular communication between ANSS and stakeholders? 50% 50%

6 Assessment of overall resource inputs (staff, space, other non-personnel resources)Is the current mix of resources appropriate? Should it be scaled up later in the implementation? 75% 25%

7 Assessment of Satisfaction of stakeholders with ANSSWhat is the level of statisfaction? 25% 75%

8 Organizational Functioning

What is the level of organizational functioning on management and supervision scales? 75% 25%

9 Cost of ANSS servicesWhat is the current cost of ANSS services? Is the budget appropriate? 75% 25%

10 Technological functioningIs the current mix of technology appropiate? 75% 25%

Proposed EPOS Staffing

Central level staff (3)

Field supervisor (1)

Department team leaders (3)

Interviewers (3) Data entry staff

(3)

Personnel Niveau Central (3)

Coordinateur base a Brazza (1)

Chefs de l'équipe au niveau des départements (3)

Enquêteurs (3) Personnel charges

de la saisie des données (3)

Thank you / Merci

Aaron Beaston-Blaakman[aaron.beaston-blaakman@epos.de]

Donald Shepard [shepard@brandeis.edu] Wu Zeng [wuzengcn@brandeis.edu] Jean de Dieu Rusatira

[Jean.Rusatira@epos.de]