district hospital evaluation by central level report...

25
Page 1 of 25 Prepared by Dr. Joseph Ntibilingirwa and Dr. Ludwig De Naeyer on 20110118 District Hospital Evaluation by central level for the period July – September 2010 Contents Background ................................................................................................................................................................. 2 Définition : ............................................................................................................................................................... 2 Mission, Rôles & Responsabilités ............................................................................................................................ 2 Evaluation des hôpitaux de district ......................................................................................................................... 2 Introduction ................................................................................................................................................................ 3 Methodology ............................................................................................................................................................... 3 Results ......................................................................................................................................................................... 3 National averages.................................................................................................................................................... 3 Comparison of overall score with previous quarters .............................................................................................. 5 Individual components and specific indicators: volet “clinical activities” .............................................................. 5 Payments................................................................................................................................................................... 11 Conclusions ............................................................................................................................................................... 11 Annex ............................................................................................................................................................................ 13 Summary sheet hospitals .......................................................................................................................................... 13 Detailed scores HIV component................................................................................................................................ 15 Evaluation grid for 2010Q3 .......................................................................................................................................... 17 National average scores for individual indicators and their ranking ............................................................................. 23

Upload: hoangdat

Post on 03-Jul-2018

216 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: District Hospital Evaluation by central level REPORT ...siteresources.worldbank.org/EXTPBFTOOLKIT/Resources/7364043... · District Hospital Evaluation by central level ... Data were

Page 1 of 25  Prepared by Dr. Joseph Ntibilingirwa and Dr. Ludwig De Naeyer on 2011‐01‐18 

District Hospital Evaluation by central level for the period July – September 2010 

Contents Background ................................................................................................................................................................. 2 

Définition : ............................................................................................................................................................... 2 

Mission, Rôles & Responsabilités ............................................................................................................................ 2 

Evaluation des hôpitaux de district ......................................................................................................................... 2 

Introduction ................................................................................................................................................................ 3 

Methodology ............................................................................................................................................................... 3 

Results ......................................................................................................................................................................... 3 

National averages .................................................................................................................................................... 3 

Comparison of overall score with previous quarters .............................................................................................. 5 

Individual components and specific indicators: volet “clinical activities” .............................................................. 5 

Payments ................................................................................................................................................................... 11 

Conclusions ............................................................................................................................................................... 11 

Annex ............................................................................................................................................................................ 13 

Summary sheet hospitals .......................................................................................................................................... 13 

Detailed scores HIV component ................................................................................................................................ 15 

Evaluation grid for 2010Q3 .......................................................................................................................................... 17 

National average scores for individual indicators and their ranking ............................................................................. 23 

 

 

   

Page 2: District Hospital Evaluation by central level REPORT ...siteresources.worldbank.org/EXTPBFTOOLKIT/Resources/7364043... · District Hospital Evaluation by central level ... Data were

Page 2 of 25  Prepared by Dr. Joseph Ntibilingirwa and Dr. Ludwig De Naeyer on 2011‐01‐18 

Background 

Définition :   The Performance Based Financing (PBF) is a strategy for financing health services based on performance aimed at increasing the quantity and quality of preventive health care and curative services provided to the public in compliance with standards through the "purchase of care "guaranteed by a contract between the party financing (buyer) and service (seller). 

Mission, Rôles & Responsabilités • The PBF mission is to strengthen the health system by ensuring the efficiency of health financial resources 

and coverage of high impact interventions in a bit to accelerate the achievement of the MDGs. 

• The role consists on assessing the quantity and quality of all health facilities through performance indicators and then allocates funds accordingly. 

• We have the responsability of elaborating and updating guides and indicators on year basis organize the functioning of the PBF system in the country and monitor the performance of the health facilities in relation to indicators. 

Evaluation des hôpitaux de district Assessment is qualitative • Are two types of evaluation: 1. Peer Review: peer assessment have formative role, it allows peer reviewers to exchange experiences. 2. Evaluation of the central level (why): Evaluation of Central level's goal is to check against the peer review • Frequency: every six months for each type of assessment • Organization: o Peer Review: 

♣ Calendar communicated in advance to the peer review 

♣ Evaluation Period known short (+ / ‐ 2 weeks) o Assessing central level: 

♣ unexpectedly 

♣ Extent score is 6 months (a series of hospitals are selected monthly) 

Tool and evaluation process Is a single grid:  • The grid is based on: o Direct observation o Literature review (forms, records, reports ...) o Interview of beneficiaries (patients, FOSA) • Components that make up the grid: o Operation (fonctionnement) o Supervision of CS o Clinic (Clinical activities of patients, clinical infrastructure, HIV, interview patients in preparation • The grid consists of 70 to 90 checklist items. • Semi‐annually a series of indicators will be drawn from this list to being evaluated. 

Page 3: District Hospital Evaluation by central level REPORT ...siteresources.worldbank.org/EXTPBFTOOLKIT/Resources/7364043... · District Hospital Evaluation by central level ... Data were

Page 3 of 25  Prepared by Dr. Joseph Ntibilingirwa and Dr. Ludwig De Naeyer on 2011‐01‐18 

• Appraisers:  o Peer Review: Medical Officer of staff, Adm. Manager, Nursing and responsible for M & E o Central assessment: MOH and partners 

 

Introduction All 39 district hospitals were evaluated by central level unannounced during the 3rd quarter of 2010 over 3 rounds. Period du 9/12 au 19/12/2010.  

The indicators have been revised during a 1‐day meeting with all partners and focal points (experienced people from the field) trying to capture more reliably the quality of management of clinical care. Component on supervision of health centers changed the least and is still heavily relying on reports of supervision but also included a visit the 2 supervised health centers for counter –verification. The latter was only implemented during the first round due to time constraints. The other components have been more thoroughly changed. An extra component of observation of patients at hospitalization has been added and one on infrastructure and equipment. For the first time the opinion of patients was assessed but this was not done consistently and results were not used yet for the calculation of total quality scores and PBF‐payments. Details of the selected indicators that were evaluated for this specific quarter can be found in annex.  

Methodology Data were collected in separate excel‐files by the evaluators. These data were subsequently automatically extracted into 1 database and analyzed with excel pivot‐tables and Stata 9.2. 

Three types of analyses were done: 

1. Component and total scores are presented by district hospital and compared to previous quarters. 2. Specific indicators and scores are presented as national averages 3. Specific indicators are grouped together when appropriate (e.g. are vital signs taken) and are presented as 

national averages and per hospital 

Results It is important to note that scores do not reflect per se the perceived quality of the hospital since quality is as such difficult to measure and only certain elements are picked out which are considered to be lagging behind and can be only objectively verified by a central evaluation. Overall scores can as such not be compared with previous quarters but are comparable between the hospitals for the same quarter. Nevertheless certain specific which are measured frequently can and will be compared over time. 

National averages The overall average measured quality score for the whole country is 72.2% but ranges from 33% for Kanombe MH to 96.1% for Kibogora DH. Kanombe has only been evaluated for the second time and is not yet fully acquainted with the requirements but is slowly incorporating recommendations from the previous evaluation. It is also a hospital which is under plain renovation and it is likely that the score will improve significantly for the next 

Page 4: District Hospital Evaluation by central level REPORT ...siteresources.worldbank.org/EXTPBFTOOLKIT/Resources/7364043... · District Hospital Evaluation by central level ... Data were

Page 4 of 25  Prepared by Dr. Joseph Ntibilingirwa and Dr. Ludwig De Naeyer on 2011‐01‐18 

evaluation. Detailed results of each hospital can be found in annex. Per hospital, well performing services do not always guarantee good performance in another service. 

Component  Mean  Std. Dev.  Min  Max TOTAL SCORE  72.2% 10.9% 33.0% 96.1% Volet 1 Fonctionnement  70.2% 15.1% 16.6% 90.1% Volet 2 Encadrement  76.8% 18.0% 22.2% 100.0% Volet 3 Activites cliniques  71.6% 13.6% 28.1% 98.1% General clinical activities  73.8% 19.1% 24.0% 100.0% HIV Activities  67.1% 23.2% 0.0% 100.0% Infrastructure  73.8% 15.9% 32.6% 100.0% 

Table 1: National scores for the specific components 

The Std. Dev is the standard deviation (SD) and indicates the spread around the mean. The higher this number, the more extreme the variation of the scores is. Minimum and maximum values also indicate this but can be due to a sole extreme value where the SD gives an overall idea of the spread around the average values. 

The average/mean is useful when there is a normal distribution of the values (bell shaped Gauss‐curve), meaning that more or less the same number of hospitals are below the average as above the average with less and less hospitals having very low or very high scores. With 39 hospitals it is rare to obtain a nice bell shaped curve and box plot with whiskers are more informative (they display essentially the same information as the table above in a visual attractive way. 

 

Figure 1: Overall score and scores per component for the 39 hospitals presented in box plots 

Explanation graph: The graph above displays the median, interquartile range (IQR) (P25‐P75) and minimum and maximum difference for each component. The dark line within each box is the median while the contours of the box correspond with the IQR. Finally the “whiskers” of these boxplots are the minimum and maximum values. For all box plots, the extra dots are values which are so extreme (too different from the 2nd smallest/largest value) that are considered outliers and presented separately. Here it concerns Kanombe MH (see explanation above). 

2040

6080

100

perc

enta

ges

overall and 3 voletsQuality scores

score_total_evaluation_niv_centr volet_1_fonctionnementvolet_2_encadrement volet_3_activites_cliniques

Page 5: District Hospital Evaluation by central level REPORT ...siteresources.worldbank.org/EXTPBFTOOLKIT/Resources/7364043... · District Hospital Evaluation by central level ... Data were

Page 5 of 25  Prepared by Dr. Joseph Ntibilingirwa and Dr. Ludwig De Naeyer on 2011‐01‐18 

Conclusion: Supervision of health centers has the largest spread (so most variability between hospitals) but also highest median score. Management and clinical activities have similar scores and similar IQR although the upper scores are close to 100% for clinical activities. 

Comparison of overall score with previous quarters The comparison holds only so far as to the extent that the same indicators are evaluated. But since the overall score is grouping many aspects of the hospital, an overall score should be comparable between different quarters. 

 

Figure 2: Comparison of overall scores for the 3 evaluated quarters of 2010 

During quarter 2, the score is obtained via peer evaluation while the other 2 quarters have scores for evaluations done by central level. The latter 2 are clearly lower than the peer evaluation indicating that central level is stricter, that unannounced visit is capturing better reality and/or that evaluated indicators were more difficult to achieve. Of notice is that the evaluation of quarter 3 by central level is clearly providing lower scores and larger spread than the similar evaluation of quarter 1: is this due to introduction of HIV‐component to be evaluated or because evaluators become more severe or due to the one outlier (Kanombe) skewing the averages downwards? When excluding Kanombe from the above analysis, total scores were still lower for 2010Q3 compared to the other 2 quarters. 

Individual components and specific indicators: volet “clinical activities” This component incorporates the following elements: 1) observation of nursing care in the wards, 2) follow‐up of HIV‐patients and 3) infrastructure needed for good quality clinical care. Each of these 3 is weighted equally in the total score for clinical activities. 

As can be seen by the box plot below, all 3 elements have similar median scores with the widest spread and extremes for the HIV‐activities. This is due to some hospitals performing badly in the management and the M&E of 

2040

6080

100

perc

enta

ges

Q1 Q2 Q3

Total scoreQuality scores

Page 6: District Hospital Evaluation by central level REPORT ...siteresources.worldbank.org/EXTPBFTOOLKIT/Resources/7364043... · District Hospital Evaluation by central level ... Data were

Page 6 of 25  Prepared by Dr. Joseph Ntibilingirwa and Dr. Ludwig De Naeyer on 2011‐01‐18 

this service or to the sole monitoring via an electronic system and the inability to evaluate the service appropriately. 

 

Figure 3: clinical activities: overall and detailed scores 

HIV service This is a newly introduced component evaluating the follow‐up of an HIV cohort. HIV‐treatment does take place at the hospital and the health center but since last year, task shifting has been introduced and it is encouraged that patients are followed up at the health center. The hospital still remains the place for follow‐up of complicated cases but depending on the area it can still be a highly frequented service for routine initiation and follow‐up. 

The different evaluated indicators focus on 2 aspects:  

1. one is the outcome of quarterly cohorts of 2007, 2008 and 2009 (i.e. % of those who initiated 12months, 24 months and 36 months ago that are still alive and followed up – the official referrals are excluded since it is encouraged to have these followed at health center level). 

2. The second is the proper implementation of standard protocols for the medical follow‐up of a patient (either on ART or not): weight, STI screening at enrolment, regular TB screening, monthly cotrimoxazole supply, regular and appropriate CD4 follow‐up and regular pharmacy visits. 

The available data are based on real percentages and not on an “all or nothing” score for each indicator. For the cohort outcomes, numerator and denominator is not known so 32 patients followed up after 24 months of the 40 who are initiated will receive the same score as 160 followed up of the 200. Both will have a 80% score. One could argue that it demands more of a district hospital to follow up a larger cohort and that it is less straightforward to have the same success. For the next evaluation, the additional numerator and denominator will be added.  

For the review of the medical files denominator is always 15. 

The table below displays the national averages and standard deviations for the 9 different assessed HIV‐indicators.  

020

4060

8010

0pe

rcen

tage

s

volet Clinical ActivitiesQuality scores

volet_3_activites_cliniques general_clinical_activitieshiv_clin__activities infrastructure

Page 7: District Hospital Evaluation by central level REPORT ...siteresources.worldbank.org/EXTPBFTOOLKIT/Resources/7364043... · District Hospital Evaluation by central level ... Data were

Page 7 of 25  Prepared by Dr. Joseph Ntibilingirwa and Dr. Ludwig De Naeyer on 2011‐01‐18 

Sub‐component  Variable  Mean (%) Std. Dev. 

(%)  Min  Max Outcome cohort  FU after 12m  83.2  22.4  0  100 Outcome cohort  FU after 24m  74.6  24.5  0  100 Outcome cohort  FU after 36m  77.4  24.0  0  100 Medical care  Weight taken  66.5  28.5  0  100 Medical care  STI screening  75.7  29.8  0  100 Medical care  TB screening  81.6  21.3  0  100 Medical care  CD4 done  79.7  23.0  0  100 Medical care  CTX supplied  86.2  20.4  0  100 

Medical care Pharmacie supply  87.0  20.8  0  100 

  

It is remarkable to see that the outcome of the 2008 cohort was worse than the one of the previous year. Is this merely a temporarily dip and will the cohort of October‐December 2008 fare better? The guideline which is the least well applied is the monthly taking of the weight while this seems to be normally the easiest to comply to. Compiled at national level, this was on average only correctly done in 66% of cases. 

When scrutinizing the cohort outcomes more in detail, the following is revealed. The results for the more recent cohorts for all hospitals are closer to the median value indicating that from July 2009 onwards, the majority hospitals performed equally well. Although the national average score is fairly high (83.2%), the cut‐off for having on all or nothing score was 85% and 10 out of the 40 hospitals still did not reach this threshold. For 2008 cohort this figure was higher (15/40) while for 2007 cohort only 6 hospitals did not reach the threshold of 65%. 

 

Figure 4: box plots for all 40 district hospitals for the FU of the quarterly cohort of HIV‐patients on ART after 1, 2 and 3 year after initiation 

Detailed box plots for the result of the review of the 15 medical files per hospital are displayed below. 

020

4060

8010

0pe

rcen

tage

s

Outcome cohortQuality scores

hiv12m hiv24mhiv36m

Page 8: District Hospital Evaluation by central level REPORT ...siteresources.worldbank.org/EXTPBFTOOLKIT/Resources/7364043... · District Hospital Evaluation by central level ... Data were

Page 8 of 25  Prepared by Dr. Joseph Ntibilingirwa and Dr. Ludwig De Naeyer on 2011‐01‐18 

 

Figure 5: box plots for all 40 district hospitals for patient care according to review of medical files 

Best results (and smallest inter‐quartile range indicating larger number of hospitals hovering around the median score) are obtained for CTX‐provision and for ART‐supply. Since these 2 go hand‐in hand it seems logical to have equivalent scores. As mentioned below, it is surprising to have many hospitals performing poorly on monthly weight taking. Regular CD4‐screening is performed rather well but this does not necessarily mean that appropriate action is taken after the results are available or that the results are communicated in time to the patient. There are still very often poor mechanisms with long delays when alarming CD4‐results come in: data is not specifically collected on this indicator but detailed review in 4 hospitals revealed this fact. Feedback (recommendations) given to the hospital HIV‐services included this frequently as key point. 

In annex the detailed scores per indicator and per hospital are displayed. 

Nursing care An example of an indicator that can be analyzed in an aggregated matter is the nursing care provided in the hospital wards. Three questions are asked to 2 randomly chosen patients per hospital ward: 1) are vital signs taken this morning and yesterday evening, 2) were complimentary examinations (lab, X‐ray etc) done and results available and 3) did the nurse assist in the administration of drugs. 

Unfortunately there were 10 hospitals with missing data for 4 patients (partially due to a different data collection tool used and also because some hospitals do not provide all services). Results were extrapolated for these hospitals. Confidence intervals are for national level (not clustered). 

 

 

020

4060

8010

0pe

rcen

tage

s

Medical care sample patient filesQuality scores

hivpoids hiv_isthiv_tb_screening hiv_ctxhiv_cd4 hiv_pharmacie

Page 9: District Hospital Evaluation by central level REPORT ...siteresources.worldbank.org/EXTPBFTOOLKIT/Resources/7364043... · District Hospital Evaluation by central level ... Data were

Page 9 of 25  Prepared by Dr. Joseph Ntibilingirwa and Dr. Ludwig De Naeyer on 2011‐01‐18 

 National level (40 DH)  Mean  St. Dev 95% CI low  95% CI high  Median Min  Maxvital signs  8.39  2.26  8.00  8.74  10.0  2.0  10.0 

compl. Exams  9.13  1.30  8.80  9.38  10.0  5.0  10.0 

drug administration  8.67  1.87  8.30  8.99  10.0  4.0  10.0 

 

 

Figure 6: Box plots displaying scores for nursing care for the 40 hospitals comparing quarter 1 with quarter 3 

Complimentary exams were the best done across the board followed equally by taking of vital signs and administrating drugs to the patient. Compared to the previous evaluation done during period January to March 2010, there is a significant improvement for 2 indicators (see table below). The “complementary exams” indicator was had already a high score and further improvement seemed difficult. Of note is that only 8 patients (4 services were evaluated in the first quarter and that extrapolation to 10 patients was applied while extrapolation of scores was also needed for quarter 3 for 10 hospitals). 

         Difference between Q1 and Q3    

Scores on 10 patients  Mean Q1  Mean Q3  value  95%CI low  95%CI high  p‐value1 

vital signs  7.24  8.56  1.31  0.02  2.41  0.02 

compl. Exams  9.07  9.10  0.03  ‐0.73  0.79  0.93 

drug administration  7.53  8.66  1.13  0.11  2.14  0.03  

                                                            1 Paired t‐test, Kanombe DH was excluded since no data for 2010Q1. 

02

46

810

scor

e on

10

patie

nts

nursing care comparing Q1 with Q3Quality scores

vital_signs_q1 vital_signs_q3complim_ex_q1 complim_ex_q3drug_admin_q1 drug_admin_q3

Page 10: District Hospital Evaluation by central level REPORT ...siteresources.worldbank.org/EXTPBFTOOLKIT/Resources/7364043... · District Hospital Evaluation by central level ... Data were

Page 10 of 25  Prepared by Dr. Joseph Ntibilingirwa and Dr. Ludwig De Naeyer on 2011‐01‐18 

Vaccination indicators Since the start of the national PBF‐evaluation for district hospitals, indicators assessing the management of drugs, consumables and vaccines have been used. We present below the evolution of these indicators. The period 2008‐2009 and the evaluation of 2010Q2 was done by the peers while the evaluations of 2010Q1 and 2010Q3 were done by the central level and hence might be considered more reliable and objective. 

Subject  Indicator 2008Q2 

2008Q3 

2008Q4 

2009Q1 

2009Q2 

2009Q3 

2009Q4 

2010Q1 

2010Q2 

2010Q3 

Gestion du stock des vaccins 

concordance stock reel et stock theorique  92%  95%  95%  87%  97%  95%  97%  92%  na  88% 

Gestion du stock des vaccins 

Absence de rupture de stock de vaccins   95%  95%  100%  95%  100%  95%  97%  97%  na  98% 

gestion chaine de froid 

 Température du frigo dans les limites  92%  97%  97%  95%  95%  97%  100%  100%  97%  98% 

gestion chaine de froid 

Absence de rupture de la chaîne de froid au cours des 3 derniers mois  92%  95%  100%  95%  100%  97%  100%  97%  na  100% 

gestion chaine de froid 

Conservation garantie en cas de panne d'électricité  92%  97%  100%  95%  100%  97%  100%  97%  100%  100% 

 Gestion de stock de médicaments et consommables 

Seuil d'alerte défini et respecté  71%  76%  82%  85%  95%  87%  85%  na  na  na 

Gestion de stock de médicaments et consommables 

stock de sécurité défini et respecté  76%  82%  79%  87%  97%  85%  87%  92%  97%  85% 

Gestion de stock de médicaments et consommables 

Concordance entre stock réel et stock théorique  84%  84%  79%  74%  87%  77%  85%  82%  95%  75% 

Gestion de stock de médicaments et consommables 

Commande en cas d'alerte (voir fiche de commande)  76%  95%  79%  87%  95%  87%  97%  na  na  na 

Gestion de stock de médicaments et consommables 

Système de conservation pour les produits nécessitant une conservation particulière  92%  100%  82%  90%  97%  90%  95%  95%  na  90% 

Gestion de stock de médicaments et consommables 

Absence de rupture de stock des médicaments traceurs au cours des trois derniers mois et lors de la session d'évaluation  82%  87%  84%  87%  95%  87%  92%  92%  95%  88% 

 

Page 11: District Hospital Evaluation by central level REPORT ...siteresources.worldbank.org/EXTPBFTOOLKIT/Resources/7364043... · District Hospital Evaluation by central level ... Data were

Page 11 of 25  Prepared by Dr. Joseph Ntibilingirwa and Dr. Ludwig De Naeyer on 2011‐01‐18 

Scores for the individual indicators of the management of drugs range from 71% to 100% with in general an increase over time. Frequent scores like 92%, 95% and 97% correspond with respectively 3, 2 and 1 hospital(s) not fulfilling the criteria. Some indicators (underlined) have been excellent (or improved substantially to reach near to maximum score) over the past 3 years (only 1 or 2 hospitals who did not fulfill the criterion) and could be considered as not necessary to be followed every quarter. While others (in bold) require continuous follow‐up: they seem to be sometimes positively influenced by PBF‐monitoring until independent evaluation by central level took place or they do improve but not in a consistent matter. 

Individual indicators One of the novelties in the current evaluation is the continuous adaptation of the evaluation grid following scrutiny of the evolution and performance of individual indicators. In annex, there is a list of all individual indicators assessed for the 3rd quarter 2010, their respective national averages and their ranking from low to high scores. 

Long‐standing indicators have the tendency to perform better (warranting need for frequent updating of these indicators) while new indicators are in general performing less well. A composite indicator might be doing very badly (due to all or nothing score) while e.g. 3 out of the 4 sub‐indicators are having high national average scores and might be replaces by other sub‐indicators capturing the same subject. Unless the indicators are an integral part of the subject and do not take much time to evaluate. 

The list in annex will be the basis for adapting the indicators at regular basis. 

Payments As explained in the updated guidelines for the PBF for district hospitals, payment procedures have changed and take into account the fact that the nature of the evaluations done by central level and by peers is different. The central evaluation is unannounced and selects randomly indicators from a known list. Since this is considered to be more objective, there is more weight given to this evaluation. The following formula is applied: 

(Overall quality score central level evaluation * 60%) + (overall quality score peer evaluations *40%) = payment score for following 2 quarters. The next payment cycle for 2011 will take into account these last scores of the central level evaluation together with the scores for the peer evaluation to be effectuated in January 2011 (evaluated quarter: Oct‐Dec 2010). 

Conclusions 1. Scores were in general lower than previous quarters and lower than the last evaluation performed by 

national level. It is not very clear why this is the case. Kanombe military hospital did skew results lower since they are not acquainted yet with the evaluation and the assessed indicators and their scores are far below the averages but after exclusion of this hospital, 2010Q3 score remained lower than usual. It demonstrates that updating the evaluation grid, picking out specific indicators at random (although also guided by perception that they are difficult to achieve) and having unannounced visits by central level remains useful and that PBF does not guarantee constantly high scores and high revenues. 

2. The HIV‐component was newly introduced and was therefore analyzed in detail. Once more evaluations will be performed, results can be compared over time (albeit different cohorts and sample medical files will be used and will make comparison more difficult). In general, hospitals did well in the follow‐up of their 

Page 12: District Hospital Evaluation by central level REPORT ...siteresources.worldbank.org/EXTPBFTOOLKIT/Resources/7364043... · District Hospital Evaluation by central level ... Data were

Page 12 of 25  Prepared by Dr. Joseph Ntibilingirwa and Dr. Ludwig De Naeyer on 2011‐01‐18 

cohort with respect to the outcome. But it was surprising to notice that measurement of weight was least well done among the elements assessed in the medical files. CD4‐counts were fairly well done but decision making after the results were known together with time between the tests and a communication/clinical advice to the patients were still unsatisfying. 

3. One specific sub‐component was analyzed more in detail being the drug and vaccine management. It was noted that some specific indicators have been very well applied since 2008 and probably do not need quarterly evaluation unless the time involved in their assessment is very low. Other indicators had a more diverse score over time and might receive more weight in future evaluations.  

   

Page 13: District Hospital Evaluation by central level REPORT ...siteresources.worldbank.org/EXTPBFTOOLKIT/Resources/7364043... · District Hospital Evaluation by central level ... Data were

Page 13 of 25  Prepared by Dr. Joseph Ntibilingirwa and Dr. Ludwig De Naeyer on 2011‐01‐18 

Annex 

Summary sheet hospitals 

Hopital de district / Scores 2010Q3 

Volet 1 Fonctionnement 

Volet 2 Encadrement 

Volet 3 Activites cliniques 

Score total Evaluation Niv central 

Bushenge  89.4%  81.9% 87.0% 86.7%Butaro  81.5%  54.2% 61.5% 66.0%Byumba  85.6%  75.8% 85.5% 83.6%Gahini  57.0%  81.9% 79.2% 73.1%Gakoma  53.0%  66.7% 54.1% 56.3%Gihundwe  63.1%  68.5% 70.9% 68.1%Gisenyi  68.9%  95.8% 59.6% 69.6%Gitwe  71.5%  83.3% 60.9% 68.6%Kabaya  73.5%  84.7% 64.9% 71.4%Kabgayi  88.1%  84.7% 62.8% 74.8%Kabutare  63.8%  93.5% 64.3% 70.0%Kaduha  64.2%  83.3% 80.4% 76.1%Kanombe  48.3%  22.2% 28.1% 33.0%Kibagabaga  60.0%  70.2% 73.2% 68.6%Kibirizi  50.3%  61.1% 85.6% 70.1%Kibogora  90.1%  100.0% 98.1% 96.1%Kibungo  73.5%  95.8% 72.9% 77.7%Kibuye  74.2%  88.9% 83.4% 81.7%Kigeme  81.5%  68.1% 86.4% 81.3%Kirehe  80.8%  100.0% 59.6% 74.1%Kirinda  64.9%  88.9% 58.7% 66.6%Kiziguro  88.1%  80.6% 58.2% 71.6%Mibilizi  54.4%  58.1% 85.5% 70.7%Mugonero  56.9%  62.9% 61.3% 60.3%Muhima  62.9%  83.3% 86.1% 78.6%Muhororo  83.4%  84.7% 79.2% 81.6%Munini  82.8%  100.0% 78.1% 83.9%Murunda  76.3%  93.5% 75.9% 79.5%Nemba  64.2%  72.2% 64.7% 66.1%Ngarama  69.4%  65.3% 64.9% 66.3%Nyagatare  84.4%  68.5% 57.2% 67.6%Nyamata  51.7%  38.9% 93.0% 69.8%Nyanza  83.4%  68.1% 86.4% 81.9%Remera_Rukoma  16.6%  63.9% 66.0% 50.7%Ruhengeri  63.8%  34.7% 61.5% 56.8%Ruli  72.8%  91.7% 78.5% 79.4%Rutongo  82.8%  91.7% 69.2% 77.7%Rwamagana  89.4%  87.5% 58.6% 73.6%Rwinkwavu  82.1%  90.3% 79.0% 82.2%Shyira  61.6%  87.5% 81.9% 76.9%National average  70.2%  76.8% 71.6% 72.2% 

Page 14: District Hospital Evaluation by central level REPORT ...siteresources.worldbank.org/EXTPBFTOOLKIT/Resources/7364043... · District Hospital Evaluation by central level ... Data were

Pa

 

age 14 of 25 

 

Prepared by Dr. Joseph Ntibilingirwa and Dr. Luudwig De Naeeyer on 2011‐‐01‐18 

Page 15: District Hospital Evaluation by central level REPORT ...siteresources.worldbank.org/EXTPBFTOOLKIT/Resources/7364043... · District Hospital Evaluation by central level ... Data were

Page 15 of 25  Prepared by Dr. Joseph Ntibilingirwa and Dr. Ludwig De Naeyer on 2011‐01‐18 

Detailed scores HIV component 

DH  HIV12M  

 HIV24M  HIV36M HIVPoids HIV_IST 

HIV_Tb screening HIV_CTX HIV_CD4 HIV_Pharmacie

 HIV_TOTAL 

Bushenge  97.0%  90.0% 86.0% 87.0% 100.0% 100.0% 87.0% 100.0% 100.0% 89%Butaro  88.4%  73.0% 77.7% 40.0% 100.0% 72.0% 100.0% 100.0% 100.0% 72%Byumba  96.2%  82.9% 70.3% 93.3% 100.0% 100.0% 100.0% 73.3% 100.0% 94%Gahini  85.0%  81.8% 66.6% 71.0% 100.0% 100.0% 100.0% 64.0% 100.0% 83%Gakoma  100.0%  92.3% 82.2% 40.0% 86.6% 86.6% 40.0% 53.0% 80.0% 50%Gihundwe  80.0%  72.9% 57.0% 53.3% 80.0% 93.3% 100.0% 100.0% 100.0% 50%Gisenyi  62.7%  29.0% 35.7% 20.0% 100.0% 53.3% 100.0% 73.3% 55.6% 28%Gitwe  88.0%  80.0% 100.0% 33.0% 66.0% 60.0% 53.0% 33.0% 88.0% 39%Kabaya  100.0%  74.0% 96.8% 40.0% 100.0% 100.0% 100.0% 73.3% 44.4% 61%Kabgayi  74.6%  81.5% 68.8% 60.0% 73.3% 73.3% 66.6% 66.6% 55.5% 33%Kabutare  100.0%  72.0% 90.0% 73.3% 100.0% 73.0% 100.0% 93.3% 100.0% 72%Kaduha  95.9%  95.7% 100.0% 86.6% 60.0% 100.0% 93.3% 73.3% 100.0% 89%Kanombe  0.0%  0.0% 0.0% 60.0% 66.7% 80.0% 93.3% 20.0% 93.3% 28%Kibagabaga  90.0%  66.7% 83.9% 93.3% 100.0% 86.7% 93.3% 80.0% 93.3% 78%Kibirizi  85.5%  85.1% 83.0% 20.0% 46.6% 93.3% 100.0% 66.6% 53.3% 67%Kibogora  97.0%  97.0% 91.0% 100.0% 96.0% 94.0% 90.0% 95.0% 70.0% 94%Kibungo  94.0%  100.0% 100.0% 53.0% 93.0% 86.0% 67.0% 93.0% 89.0% 67%Kibuye  90.0%  86.0% 80.0% 91.0% 85.0% 88.0% 100.0% 100.0% 100.0% 100%Kigeme  88.1%  77.0% 90.0% 100.0% 0.0% 100.0% 86.7% 100.0% 86.7% 78%Kirehe  0.0%  0.0% 0.0% 0.0% 0.0% 0.0% 0.0% 0.0% 0.0% 0%Kirinda  80.0%  60.0% 67.0% 69.0% 64.0% 62.0% 68.0% 92.0% 86.0% 39%Kiziguro  91.0%  84.0% 92.0% 73.0% 80.0% 73.0% 86.0% 67.0% 100.0% 67%Mibilizi  93.8%  100.0% 94.7% 86.7% 93.3% 100.0% 93.3% 100.0% 100.0% 94%Mugonero  92.0%  91.0% 87.5% 60.0% 100.0% 60.0% 100.0% 87.0% 89.0% 67%Muhima  91.7%  83.5% 84.8% 100.0% 93.3% 93.3% 100.0% 73.3% 100.0% 94%Muhororo  87.9%  89.4% 94.5% 100.0% 100.0% 80.0% 100.0% 86.6% 100.0% 89%Munini  85.5%  85.1% 83.0% 86.7% 40.0% 86.7% 93.3% 100.0% 93.3% 78%Murunda  100.0%  72.0% 90.0% 73.3% 100.0% 73.0% 100.0% 93.3% 100.0% 78%

Page 16: District Hospital Evaluation by central level REPORT ...siteresources.worldbank.org/EXTPBFTOOLKIT/Resources/7364043... · District Hospital Evaluation by central level ... Data were

Page 16 of 25  Prepared by Dr. Joseph Ntibilingirwa and Dr. Ludwig De Naeyer on 2011‐01‐18 

Nemba  40.7%  18.4% 24.4% 26.6% 45.4% 93.3% 93.3% 86.6% 100.0% 39%Ngarama  66.0%  61.0% 85.0% 73.3% 93.3% 86.6% 93.3% 80.0% 100.0% 61%Nyagatare  94.1%  68.0% 61.5% 63.0% 27.2% 72.0% 90.9% 72.0% 100.0% 44%Nyamata  95.7%  95.2% 89.8% 100.0% 93.3% 100.0% 100.0% 100.0% 66.7% 89%Nyanza  88.1%  77.0% 90.0% 100.0% 0.0% 100.0% 86.7% 100.0% 86.7% 78%Remera_Rukoma  89.5%  97.7% 91.5% 86.7% 86.7% 93.3% 93.3% 93.3% 77.8% 83%Ruhengeri  87.9%  79.9% 78.2% 33.0% 33.0% 60.0% 60.0% 100.0% 100.0% 67%Ruli  85.7%  93.3% 88.9% 86.7% 93.3% 93.3% 93.3% 93.3% 100.0% 94%Rutongo  84.6%  62.5% 76.2% 84.6% 76.9% 84.6% 84.6% 53.8% 90.0% 44%Rwamagana  86.0%  88.0% 84.0% 61.5% 100.0% 23.0% 61.5% 69.2% 100.0% 56%Rwinkwavu  96.9%  91.1% 96.0% 0.0% 81.0% 90.0% 90.0% 81.0% 83.0% 72%Shyira  78.0%  50.0% 76.0% 80.0% 73.0% 100.0% 90.0% 100.0% 100.0% 78%National mean  83.2%  74.6% 77.4% 66.5% 75.7% 81.6% 86.2% 79.7% 87.0% 67.1%St. Dev  22.4%  24.5% 24.0% 28.5% 29.8% 21.3% 20.4% 23.0% 20.8% 23.2%

Median  88.3%  81.7% 84.4% 73.2% 86.6% 86.7% 93.3% 86.6% 96.7% 72.2%

Page 17: District Hospital Evaluation by central level REPORT ...siteresources.worldbank.org/EXTPBFTOOLKIT/Resources/7364043... · District Hospital Evaluation by central level ... Data were

Page 17 of 25  Prepared by Dr. Joseph Ntibilingirwa and Dr. Ludwig De Naeyer on 2011‐01‐18 

Evaluation grid for 2010Q3

Page 18: District Hospital Evaluation by central level REPORT ...siteresources.worldbank.org/EXTPBFTOOLKIT/Resources/7364043... · District Hospital Evaluation by central level ... Data were

Page 18 of 25  Prepared by Dr. Joseph Ntibilingirwa and Dr. Ludwig De Naeyer on 2011‐01‐18 

Page 19: District Hospital Evaluation by central level REPORT ...siteresources.worldbank.org/EXTPBFTOOLKIT/Resources/7364043... · District Hospital Evaluation by central level ... Data were

Page 19 of 25  Prepared by Dr. Joseph Ntibilingirwa and Dr. Ludwig De Naeyer on 2011‐01‐18 

Page 20: District Hospital Evaluation by central level REPORT ...siteresources.worldbank.org/EXTPBFTOOLKIT/Resources/7364043... · District Hospital Evaluation by central level ... Data were

Page 20 of 25  Prepared by Dr. Joseph Ntibilingirwa and Dr. Ludwig De Naeyer on 2011‐01‐18 

Page 21: District Hospital Evaluation by central level REPORT ...siteresources.worldbank.org/EXTPBFTOOLKIT/Resources/7364043... · District Hospital Evaluation by central level ... Data were

Page 21 of 25  Prepared by Dr. Joseph Ntibilingirwa and Dr. Ludwig De Naeyer on 2011‐01‐18 

Page 22: District Hospital Evaluation by central level REPORT ...siteresources.worldbank.org/EXTPBFTOOLKIT/Resources/7364043... · District Hospital Evaluation by central level ... Data were

Page 22 of 25  Prepared by Dr. Joseph Ntibilingirwa and Dr. Ludwig De Naeyer on 2011‐01‐18 

Page 23: District Hospital Evaluation by central level REPORT ...siteresources.worldbank.org/EXTPBFTOOLKIT/Resources/7364043... · District Hospital Evaluation by central level ... Data were

Page 23 of 25  Prepared by Dr. Joseph Ntibilingirwa and Dr. Ludwig De Naeyer on 2011‐01‐18 

National average scores for individual indicators and their ranking Indicator nr    Section    Subject   Nr DH   Q3 rank                     45    1.2.1    Gestion des ressources humaines               30   43.3% 146                   452    1.7.3    CPT                40   44.2% 145                   453    1.7.3    CPT                40   45.0% 144                   503    2.1.6    visite 2 CS               40   46.7% 142                   504    2.1.6    visite 2 CS               40   46.7% 142                   518    2.1.13    visite 2 CS               40   50.0% 140                   520    2.1.13    visite 2 CS               40   50.0% 140                   505    2.1.6    visite 2 CS               40   54.2% 136                   506    2.1.6    visite 2 CS               40   54.2% 136                   507    2.1.6    visite 2 CS               40   54.2% 136                   508    2.1.6    visite 2 CS               40   54.2% 136                   451    1.7.3    CPT                40   55.0% 135                   480    1.7.3    CPT                40   55.0% 134                       4    1.1.1.    Execut. Action Plan trimestr.               40   57.5% 131                     91    1.4.3    Gestion de l'ambulance               40   57.5% 131                   114    1.6.4    Toilettes et douches               40   57.5% 131                     38    1.1.5.    Gestion des ressources financières               40   60.0% 130                     49    1.2.1    Gestion des ressources humaines               40   60.0% 128                   519    2.1.13    visite 2 CS               40   60.0% 128                   465    Score if no 2nd line                                                                                                   40   60.6% 127                   479    1.7.3    CPT                40   62.5% 125                   481    1.7.3    CPT                40   62.5% 125                       6    1.1.3.    Analyse de données SIS               40   62.5% 124                   464    3.3.2 Observation                                                                                                   40   63.2% 123                     47    1.2.1    Gestion des ressources humaines               40   65.0% 120                     48    1.2.1    Gestion des ressources humaines               40   65.0% 120                   457    2.1.17                                                                                                    40   65.0% 120                   466    3.3.2.1    HIV dossier: poids               40   66.5% 119                   157    2.1.14    Evaluation trimestrielle des Plans de               40   67.5% 118                     37    1.1.5.    Gestion des ressources financières               40   67.8% 117                       7    1.1.3.    Analyse de données SIS               40   68.3% 116                     10    1.1.3.    Analyse de données SIS               40   68.3% 115                     12    1.1.3.    Analyse de données SIS               40   69.2% 114                   500    2.1.4    visite 2 CS               40   69.6% 111                   501    2.1.4    visite 2 CS               40   69.6% 111                   502    2.1.4    visite 2 CS               40   69.6% 111                     11    1.1.3.    Analyse de données SIS               40   70.8% 110                     13    1.1.3.    Analyse de données SIS               40   71.7% 109                   153    2.1.12    Encadrement des CS par le médecin                40   72.2% 108                     68    1.3.2    Gestion de la chaîne de froid               40   72.5% 104                   449    1.7.3    CPT                40   72.5% 104                   158    2.1.14    Evaluation trimestrielle des Plans de               40   72.5% 104                   159    2.1.14    Evaluation trimestrielle des Plans de               40   72.5% 104                       8    1.1.3.    Analyse de données SIS               40   73.3% 102                       9    1.1.3.    Analyse de données SIS               40   73.3% 102                   462    3.3.1.2   Cohort ART after 24months              40   74.6% 101                     56    1.2.3    Formation                40   75.0% 97                     71    1.3.2    Gestion de la chaîne de froid               40   75.0% 97                   115    1.6.4    Toilettes et douches               40   75.0% 97

Page 24: District Hospital Evaluation by central level REPORT ...siteresources.worldbank.org/EXTPBFTOOLKIT/Resources/7364043... · District Hospital Evaluation by central level ... Data were

Page 24 of 25  Prepared by Dr. Joseph Ntibilingirwa and Dr. Ludwig De Naeyer on 2011‐01‐18 

                   478    1.7.3    CPT                40   75.0% 97                   155    2.1.12    Encadrement des CS par le médecin                40   75.0% 96                   467    3.3.2.2    HIV dossier: IST               40   75.7% 95                     39    1.1.5.    Gestion des ressources financières               40   75.8% 94                   463    3.3.1.3   Cohort ART after 36months              40   77.4% 93                       3    1.1.1.    Execut. Action Plan trimestr.               40   77.5% 88                     46    1.2.1    Gestion des ressources humaines               40   77.5% 88                     54    1.2.3    Formation                40   77.5% 88                   116    1.6.4    Toilettes et douches               40   77.5% 88                   450    1.7.3    CPT                40   77.5% 88                   154    2.1.12    Encadrement des CS par le médecin                40   79.5% 87                   470    3.3.2.5    HIV dossier: CD4               40   79.7% 86                       1    1.1.1.    Execut. Action Plan trimestr.               40   80.0% 76                     97    1.5.3    Archivage               40   80.0% 76                   100    1.6.1    Salles               40   80.0% 76                   118    1.6.4    Toilettes et douches               40   80.0% 76                   521    2.1.13    visite 2 CS               40   80.0% 76                   509    2.1.9    visite 2 CS               40   80.0% 76                   510    2.1.9    visite 2 CS               40   80.0% 76                   511    2.1.9    visite 2 CS               40   80.0% 76                   512    2.1.9    visite 2 CS               40   80.0% 76                   513    2.1.9    visite 2 CS               40   80.0% 76                   137    2.1.7    Analyse de données SIS               40   80.8% 75                   468    3.3.2.3    HIV dossier: TB               40   81.6% 74                   141    2.1.7    Analyse de données SIS               40   81.7% 72                   143    2.1.7    Analyse de données SIS               40   81.7% 72                   156    2.1.12    Encadrement des CS par le médecin                40   81.9% 71                     55    1.2.3    Formation                40   82.5% 66                     57    1.2.3    Formation                40   82.5% 66                     90    1.4.3    Gestion de l'ambulance               40   82.5% 66                   142    2.1.7    Analyse de données SIS               40   82.5% 66                   145    2.1.8    Formation                40   82.5% 66                   461    3.3.1 Contrôle dans                                                                                                   40   83.2% 65                     82    1.4.2    Maintenance des  infrastructures               30   83.3% 64                   144    2.1.7    Analyse de données SIS               40   85.0% 63                     70    1.3.2    Gestion de la chaîne de froid               40   85.0% 58                   443    1.7.3    CPT                40   85.0% 58                   446    1.7.3    CPT                40   85.0% 58                   146    2.1.8    Formation                40   85.0% 58                   149    2.1.8    Formation                40   85.0% 58                   469    3.3.2.4    HIV dossier: CTX               40   86.2% 57                   471    3.3.2.6    HIV dossier: Pharmacie               40   87.0% 56                   138    2.1.7    Analyse de données SIS               40   87.5% 55                     62    1.3.1    Gestion de stock               40   87.5% 50                     74    1.3.2    Gestion de la chaîne de froid               40   87.5% 50                     81    1.4.2    Maintenance des  infrastructures               40   87.5% 50                   498    1.7.3    CPT                40   87.5% 50                   148    2.1.8    Formation                40   87.5% 50                   140    2.1.7    Analyse de données SIS               40   88.3% 49                   139    2.1.7    Analyse de données SIS               40   89.2% 48                     73    1.3.2    Gestion de la chaîne de froid               40   90.0% 40

Page 25: District Hospital Evaluation by central level REPORT ...siteresources.worldbank.org/EXTPBFTOOLKIT/Resources/7364043... · District Hospital Evaluation by central level ... Data were

Page 25 of 25  Prepared by Dr. Joseph Ntibilingirwa and Dr. Ludwig De Naeyer on 2011‐01‐18 

                     86    1.4.2    Maintenance des  infrastructures               40   90.0% 40                     89    1.4.3    Gestion de l'ambulance               40   90.0% 40                   112    1.6.3    Elimination des déchets               40   90.0% 40                   119    1.6.4    Toilettes et douches               40   90.0% 40                   447    1.7.3    CPT                40   90.0% 40                   147    2.1.8    Formation                40   90.0% 40                   514    2.1.9    visite 2 CS               40   90.0% 40                     42    1.2.1    Gestion des ressources humaines               40   92.5% 28                     50    1.2.1    Gestion des ressources humaines               40   92.5% 28                     85    1.4.2    Maintenance des  infrastructures               40   92.5% 28                     88    1.4.3    Gestion de l'ambulance               40   92.5% 28                   108    1.6.2    Environnement               40   92.5% 28                   110    1.6.2    Environnement               40   92.5% 28                   117    1.6.4    Toilettes et douches               40   92.5% 28                   120    1.6.4    Toilettes et douches               40   92.5% 28                   122    1.6.4    Toilettes et douches               40   92.5% 28                   444    1.7.3    CPT                40   92.5% 28                   445    1.7.3    CPT                40   92.5% 28                   499    1.7.3    CPT                40   92.5% 28                       2    1.1.1.    Execut. Action Plan trimestr.               40   95.0% 22                     84    1.4.2    Maintenance des  infrastructures               40   95.0% 22                   107    1.6.2    Environnement               40   95.0% 22                   111    1.6.2    Environnement               40   95.0% 22                   113    1.6.3    Elimination des déchets               40   95.0% 22                   123    2.1.1    Evaluation trimestrielle de la qualité               40   95.0% 22                   455    2.1.16                                                                                                    40   95.6% 20                   522    2.1.16                                                                                                    40   95.6% 20                   456    2.1.16                                                                                                    40   97.1% 19                     43    1.2.1    Gestion des ressources humaines               40   97.5% 10                     44    1.2.1    Gestion des ressources humaines               40   97.5% 10                     63    1.3.1    Gestion de stock               40   97.5% 10                     64    1.3.2    Gestion de la chaîne de froid               40   97.5% 10                     83    1.4.2    Maintenance des  infrastructures               40   97.5% 10                     87    1.4.2    Maintenance des  infrastructures               40   97.5% 10                   109    1.6.2    Environnement               40   97.5% 10                   121    1.6.4    Toilettes et douches               40   97.5% 10                   124    2.1.1    Evaluation trimestrielle de la qualité               40   97.5% 10                     65    1.3.2    Gestion de la chaîne de froid               40   100.0% 1                     66    1.3.2    Gestion de la chaîne de froid               40   100.0% 1                     67    1.3.2    Gestion de la chaîne de froid               40   100.0% 1                     98    1.5.3    Archivage               40   100.0% 1                   101    1.6.1    Salles               40   100.0% 1                   102    1.6.1    Salles               40   100.0% 1                   103    1.6.1    Salles               40   100.0% 1                   104    1.6.1    Salles               40   100.0% 1                   105    1.6.1    Salles               40   100.0% 1